CN108464002A - 视频译码中具有非正方形预测单元的线性模型预测 - Google Patents

视频译码中具有非正方形预测单元的线性模型预测 Download PDF

Info

Publication number
CN108464002A
CN108464002A CN201680068132.5A CN201680068132A CN108464002A CN 108464002 A CN108464002 A CN 108464002A CN 201680068132 A CN201680068132 A CN 201680068132A CN 108464002 A CN108464002 A CN 108464002A
Authority
CN
China
Prior art keywords
lightness
block
sample
reference sample
square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680068132.5A
Other languages
English (en)
Inventor
张莉
陈建乐
钱威俊
赵欣
李翔
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108464002A publication Critical patent/CN108464002A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本公开描述一种视频译码器，其重建色度参考样本集合且重建非正方形预测单元的明度样本。另外，所述视频译码器对所述明度参考样本集合进行子采样，使得与所述非正方形预测块的较长侧相邻的所述明度参考样本的总数目和与所述非正方形预测块的较短侧相邻的所述明度参考样本的总数目相同。所述视频译码器基于公式I确定线性模型LM参数，其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的明度参考样本，yi为所述色度参考样本集合中的色度参考样本。所述视频译码器在过程中使用所述LM参数确定所述非正方形预测块的色度样本的值。β＝(∑yi‑α·∑xi)/I。

Description

视频译码中具有非正方形预测单元的线性模型预测
本申请案要求2015年11月25日申请的美国临时专利申请案62/260,103及2016年3月18日申请的美国临时专利申请案62/310,271的权益，所述申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本公开涉及视频编码及视频解码。
背景技术
数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式传输装置等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。为进行进一步压缩，可将残余数据从像素域变换到变换域，从而导致残余变换系数，可接着量化所述残余变换系数。可应用熵译码以实现甚至更多压缩。
发明内容
本公开涉及帧内及帧间预测分割、非正方形变换、非正方形块的帧内及帧间译码模式及相关联的熵译码。本公开的技术可用于高级视频编解码器的上下文中，例如HEVC的扩展或视频译码标准的下一代中。在一个实例中，线性模型(LM)预测适用于与非正方形预测块一起使用。特定地说，在非正方形预测块存在下针对确定用于LM预测的参数而描述技术。
在一个实例中，本公开描述一种解码视频数据的方法，所述方法包括：通过视频解码器接收包括视频数据的经编码表示的位流；通过视频解码器重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；通过视频解码器重建非正方形明度块的明度样本；通过视频解码器子采样所述明度参考样本集合，以使得所述明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与所述明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；通过视频解码器确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，通过视频解码器确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；及通过视频解码器部分基于预测性色度块对译码块进行重建。
在另一实例中，本公开描述一种用于编码视频数据的方法，所述方法包括：通过视频编码器接收视频数据；通过视频编码器重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；通过视频编码器重建非正方形明度块的明度样本；通过视频编码器子采样所述明度参考样本集合，使得所述明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与所述明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；通过视频编码器确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，通过视频编码器确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；通过视频编码器基于预测性色度块获得残余数据；及通过视频编码器将表示残余数据的数据包含于包括视频数据的经编码表示的位流中。
在另一实例中，本公开描述一种用于解码视频数据的设备，所述设备包括：一或多个存储媒体，其经配置以存储视频数据；及视频解码器，其经配置以：接收包括视频数据的经编码表示的位流；重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；重建非正方形明度块的明度样本；对明度参考样本集合进行子采样，使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；及部分基于预测性色度块重建译码块。
在另一实例中，本公开描述一种用于编码视频数据的设备，所述设备包括：一或多个存储媒体，其经配置以存储视频数据；及视频编码器，其经配置以：接收视频数据；重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；重建非正方形明度块的明度样本；对明度参考样本集合进行子采样，使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；基于预测性色度块获得残余数据；及将表示残余数据的数据包含于包括视频数据的经编码表示的位流中。
在另一实例中，本公开描述一种用于解码视频数据的设备，所述设备包括：用于接收包括视频数据的经编码表示的位流的装置；用于重建明度参考样本集合及色度参考样本集合的装置，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；用于重建非正方形明度块的明度样本的装置；用于对明度参考样本集合进行子采样以使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同的装置；用于确定第一参数以使得第一参数是基于以下内容的装置：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；用于针对预测性色度块的每一相应色度样本，确定相应色度样本的值以使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数的装置，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；及用于部分基于预测性色度块重建译码块的装置。
在另一实例中，本公开描述一种用于编码视频数据的设备，所述设备包括：用于接收视频数据的装置；用于重建明度参考样本集合及色度参考样本集合的装置，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；用于重建非正方形明度块的明度样本的装置；用于对明度参考样本集合进行子采样以使得明度参考样本集合中与非正方形明度块的较长侧相邻的的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同的装置；用于确定第一参数以使得第一参数是基于以下内容的装置：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；用于针对预测性色度块的每一相应色度样本，确定相应色度样本的值以使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数的装置，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；用于基于预测性色度块获得残余数据的装置；及用于将表示残余数据的数据包含于包括视频数据的经编码表示的位流中的装置。
在另一实例中，本公开描述一种其上存储有指令的计算机可读数据存储媒体，所述指令在执行时配置用于解码视频数据的设备以进行以下操作：接收包括视频数据的经编码表示的位流；重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；对明度参考样本集合进行子采样，使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；及部分基于预测性色度块重建译码块。
在另一实例中，本公开描述一种其上存储有指令的计算机可读数据存储媒体，所述指令在执行时配置用于编码视频数据的设备以进行以下操作：接收视频数据；重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与当前图片的非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本；重建非正方形明度块的明度样本；对明度参考样本集合进行子采样，使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同；确定第一参数，使得第一参数是基于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本；针对预测性色度块的每一相应色度样本，确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者；基于预测性色度块获得残余数据；及将表示残余数据的数据包含于包括视频数据的经编码表示的位流中。
在随附图式及以下描述中阐述本公开的一或多个方面的细节。本公开中所描述的技术的其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为说明经配置以实施本公开的技术的实例视频编码及解码系统的框图。
图2A为说明基于高效率视频译码(HEVC)中的残余四分树的实例变换方案的概念图。
图2B为说明图2A的译码单元的残余四分树的概念图。
图3为说明基于HEVC中的系数群组的实例系数扫描的概念图。
图4为说明16×16块的帧内预测的实例的概念图。
图5为说明HEVC中定义的35个帧内预测模式的实例的概念图。
图6为说明HEVC中定义的平面模式的概念图。
图7为HEVC中定义的实例角度模式的概念图。
图8为HEVC中用于针对分裂帧间预测分裂译码单元的分割模式的概念图。
图9为短距离帧内预测(SDIP)单元分割的概念图。
图10为经扫描及经重组织为8×8矩阵的16×4系数矩阵的概念图。
图11为64个帧内预测模式的概念图。
图12A为帧内模式34的界限滤波器的概念图。
图12B为帧内模式30到33的界限滤波器的概念图。
图13为说明用于导出线性模型(LM)参数α及β的实例样本位置的概念图。
图14为说明用于对当前预测单元(PU)的经重建明度块的样本进行下采样的明度位置及色度位置的实例的概念图。
图15为说明用于对用于产生预测性块的明度块的样本进行下采样的明度位置及色度位置的实例的概念图。
图16为说明具有N×N变换的nR×2N预测模式的概念图。
图17为说明用于2N×N、2N×nD及2N×nU预测模式的非正方形四分树(NSQT)的概念图。
图18为说明用于N×2N、nR×2N及nL×2N预测模式的NSQT的概念图。
图19说明用于估计照明补偿(IC)模型中的参数的相邻像素。
图20为说明用于估计IC模型中的参数的实例相邻像素的概念图，其中通过使用当前预测单元的视差或运动向量发现当前译码单元的参考块。
图21为说明分区大小等于2N×N的实例变换结构的概念图。
图22为说明根据本公开的技术的分区大小等于N×N/4(U)的变换结构的概念图。
图23为说明根据本公开的技术的分区大小等于N×N/4(U)的变换结构的概念图。
图24为说明可实施本公开的技术的实例视频编码器的框图。
图25为说明经配置以实施本公开的技术的实例视频解码器的框图。
图26为说明支持根据本公开的技术的基于LM的编码的实例视频编码器的框图。
图27为说明支持根据本公开的技术的基于LM的解码的实例视频解码器的框图。
图28为说明根据本公开的基于LM的译码技术的视频编码器的实例操作的流程图。
图29为说明根据本公开的基于LM的译码技术的视频解码器的实例操作的流程图。
图30为说明根据本公开的量化技术的视频编码器的实例操作的流程图。
图31为说明根据本公开的量化技术的视频解码器的实例操作的流程图。
图32为说明根据本公开的技术的使用IC的视频编码器的实例操作的流程图。
图33为说明根据本公开的技术的使用IC的视频解码器的实例操作的流程图。
图34为说明根据本公开的技术的使用弹性残余树的视频编码器的实例操作的流程图。
图35为说明根据本公开的技术的使用弹性残余树的视频解码器的实例操作的流程图。
具体实施方式
一般来说，本公开涉及帧内及帧间预测分割、非正方形变换、非正方形块的帧内及帧间译码模式及相关联的熵译码。本公开的技术可用于先进视频编解码器的上下文，例如高效率视频译码(HEVC)的扩展或视频译码标准的下一代。
在HEVC中，视频译码器(即，视频编码器或视频解码器)将图片的译码单元(CU)分割成一或多个预测单元(PU)。视频译码器使用帧内预测或帧间预测产生CU的每一PU的预测性块。CU的残余数据表示CU的PU的预测性块与CU的原始译码块之间的差。在CU经帧内预测(即，使用帧内预测产生CU的PU的预测性块)的情况下，CU的残余数据可分割成一或多个正方形变换单元(TU)。然而，在CU经帧间预测(即，使用帧间预测产生CU的PU的预测性块)的情况下，CU的残余数据可分割成一或多个正方形或非正方形TU。在本公开中，对单元(例如，CU、PU、TU)的形状的参考可指代对应块的形状。因此，非正方形PU可解释为指代非正方形预测块，非正方形TU可解释为指代非正方形变换块，且反之亦然。此外，应注意，预测块不必限制于如PU是定义于HEVC中的PU的概念中，而是具有在其上执行预测(例如，帧间预测、帧内预测)的样本块的含义。类似地，变换块不必限制于如TU是定义于HEVC中的TU的概念中，而是具有在其上应用变换的样本块的含义。
如下所述，非正方形TU的引入可在与特定译码工具一起使用时引入某些问题。
举例来说，线性模型(LM)预测模式为用于减小在HEVC的开发期间所研究的跨组件相关性的技术。当视频译码器使用LM预测模式时，视频译码器基于CU的PU的经重建明度样本预测PU的色度样本。PU的色度样本为PU的色度预测性块的色度样本。色度样本的实例类型包含Cb样本及Cr样本。视频译码器可通过将PU的明度预测性块的样本与PU的对应明度残余样本求和而产生PU的经重建明度样本。
特定地说，当视频译码器使用LM预测模式时，视频译码器可将PU在位置(i,j)处的经预测色度样本确定为α·recL(i,j)+β，其中recL(i,j)为PU在位置(i,j)处的经重建明度样本且α及β为参数。在一些情况下，例如在4:2:0色彩格式中，一个M×K色度块对应于2M×2K明度块，在此情形下，recL(ij)指示位于2M×2K明度块的下采样型式(具有M×K)的(i,j)处的值。视频译码器基于经重建明度参考样本及经重建色度参考样本的值确定α及β的值。经重建明度参考样本及经重建色度参考样本为沿PU的顶侧及左侧的样本。用于确定β的公式涉及除以参考样本的总数目(标示为I，其等于M及K的总和)的除法运算。在典型案例中，M及K相等且可表示为2l，在HEVC中，l为正整数值。只要预测块为正方形，I等于2m，其中m可针对不同预测块大小而变化。因此，当计算β的值时视频译码器可执行右移运算，而非执行除以I的除法运算。右移运算明显比执行除法运算更快且更不复杂。在本公开中，对各种类型的块(例如，CU、TU及PU)的大小的参考分别指代CU、TU及PU的译码块、变换块及预测块的大小。此外，在本公开中，对各种类型的视频译码单元(例如，CU、TU及PU)的侧面的参考指代对应于各种类型的块的块(例如，译码块、变换块、预测/预测性块)的侧面。
然而，如果明度块(例如，PU的明度预测块)并非正方形(例如，M等于12且K等于16)，那么I并不始终等于2m。因此，如果明度块并非正方形，那么当计算β的值时不可能使用右移运算来代替除法运算。因此，视频译码器可能需要执行高成本除法运算来计算β的值。
本公开描述当针对非正方形块使用LM预测模式时可消除在计算β的值时执行除法运算所需要的技术。在一些情况下，即使对于其中M等于K但M并不为2的幂次方的正方形PU，本文所述的技术也可适用。根据此技术的实例，视频译码器可重建明度参考样本集合及色度参考样本集合。明度参考样本集合可包括与视频数据的当前图片的非正方形明度块的顶侧相邻的明度样本及与非正方形明度块的左侧相邻的明度样本。非正方形明度块可为PU的明度预测块。因此，PU可被视为非正方形PU。色度参考样本集合可包括与非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本。非正方形色度块可为PU的色度预测块。另外，视频译码器可重建非正方形预测块的明度样本。此外，视频译码器可对所述明度参考样本集合进行子采样，使得所述明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与所述明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同。视频译码器可确定第一参数等于：
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的明度参考样本，且yi为色度参考样本集合中的色度参考样本。另外，视频译码器可确定第二参数等于：
β＝(∑yi-α·∑xi)/I
针对预测性色度块的每一相应色度样本，视频译码器可确定相应色度样本的值，使得相应色度样本的值等于α乘以对应于相应色度样本的相应经重建明度样本加β。预测性色度块可为非正方形PU的预测性色度块。视频译码器可部分基于预测性色度块来重建译码块。
在以上实例中，通过子采样明度参考样本集合以使得与非正方形明度块的较长侧相邻的明度参考样本的总数目和与非正方形明度块的较短侧相邻的明度参考样本的总数目相同，视频译码器可确保明度参考样本集合中的参考样本的总数目为2的幂次方。因此，当计算β的值时，视频译码器可能够使用右移运算而非除法运算。因此，当计算β的值时，实施以上实例的视频译码器可比强制使用除法运算的视频解码器更不复杂及/或更快。然而，应注意，视频译码器可使用除法运算而非移位运算来执行以上实例中所描述的动作，尽管此视频译码器可能不具有使用移位运算而非除法运算的优点。在一些实例中，与非正方形预测块的短侧或长侧相邻的参考样本可为不可用的，在此情况下，可能不需要对位于另一侧的可用参考样本执行子采样处理。
在HEVC中，视频编码器将变换应用于残余数据的块(即，变换块)，从而将残余数据的块转换成变换系数的块。在较高层级处，视频编码器可通过将N点1维DCT变换应用于变换块的列而首先产生中间值块，从而产生变换系数的块(即，变换系数块)。N等于变换块的高度及宽度。视频编码器可接着通过将同一N点1维DCT变换应用于中间值块的行来产生变换系数的块。视频解码器以类似方式逆向所述变换以恢复变换块。
如由以上论述可见，在HEVC中应用变换的过程是取决于变换块为正方形。然而，可能需要具有非正方形变换块。举例来说，当变换块的界限跨越帧间或帧内预测性块的界限时压缩性能可减小。非正方形预测性块的使用对于捕获并不在正方形区域中的对象来说是宝贵的。因此，非正方形预测性块及/或非正方形变换在译码性能改进方面可为有用的。如果变换矩阵系数为N点1维DCT变换，那么使用等于的分母定义变换矩阵系数。在本公开之前，分母被视为归一化因子且在量化过程中由右移执行。考虑到2维DCT变换，例如，K×L变换，归一化因子将为如果N由符合方程log2(N*N)＝((log2(K)+log2(L))>>1)<<1)的一者定义，那么所利用归一化因子(sqrt(N)*sqrt(N))与实际归一化因子的比率将为归因于经提高归一化因子，将正方形变换(例如，应用于列及行两者的N点变换)直接应用于非正方形变换块可改变所得变换系数块中的总能量(即量化之后所有经变换系数的平方的总和)，其导致降低的压缩性能。
如本公开中其它处所详细描述，对于大小K×L的变换块，当(log2(K)+log2(L))为奇数时，视频编码器将变换系数乘以且当(log2(K)+log2(L))为奇数时，视频解码器将变换系数除以可解决此问题。
3D-HEVC为用于3维(3D)视频数据的HEVC的扩展。3D-HEVC从不同视点提供相同场景的多个视图。3D-HEVC的标准化成果包含基于HEVC的多视图视频编解码器的标准化。在3D-HEVC中，启用基于来自不同视图的经重建视图分量(即，经重建图片)的视图间预测。此外，3D-HEVC实施视图间运动预测及视图间残余预测。
每一视图的表示视频的相同时间例子的图片包含类似视频内容。然而，视图的视频内容可相对于彼此在空间上位移。特定地说，视图的视频内容可表示相同场景上的不同视角。举例来说，第一视图中的图片中的视频块可包含与第二视图中的图片中的视频块类似的视频内容。在此实例中，第一视图中的图片中的视频块的位置与第二视图中的图片中的视频块的位置可不同。举例来说，不同视图中的视频块的位置之间可存在一些位移。
视频块的视差向量提供对此位移的测量。举例来说，第一视图中的图片的视频块可与指示第二视图中的图片中的对应视频块的位移的视差向量相关联。
由于不同相机设定或距光源的不同距离，对应于相同时间例子(但在不同视图中)的图片可含有几乎相同的图片，但图片中的一者中的对象可比其它图片中的对应对象更亮。照明补偿(IC)为实施于3D-HEVC中以用于在执行视图间预测时补偿视图之间的照明的此类差异的技术。在3D-HEVC中，视频译码器确定当前图片的当前CU的当前PU的视差向量。另外，视频译码器可计算当前CU的两个IC参数。本公开将IC参数标示为a及b。另外，针对当前PU的明度预测性块的每一相应样本，视频译码器计算：
p(i,j)＝a*r(i+dvx,j+dvy+b)
在以上方程中，p(i,j)为当前PU的明度预测性块的相应样本，(i,j)为指示相应样本相对于当前图片的左上角的位置的坐标，dvx为当前PU的视差向量的水平分量，dvy为当前PU的视差向量的竖直分量，且a及b为IC参数。
如本公开中其它处更详细地描述，在3D-HEVC中定义IC参数b的公式涉及除以与当前CU的顶侧及左侧相邻的参考样本的数目的除法运算。在3D-HEVC中，与当前CU的顶侧及左侧相邻的参考样本的数目始终为2的幂次方。因此，公式中定义IC参数b的除法运算可使用右移运算来执行。如本公开中其它处所描述，右移运算可明显不比执行除法运算复杂且可明显比执行除法运算更快。
对于2维视频译码，如H.Liu，“局部照明补偿(Local IlluminationCompensation)”(ITU电信标准化部门，研究组16问题6，视频译码专家组(VCEG)，第52次会议，2015年6月19到26日，波兰华沙，文件VCEG-AZ06(在下文中，“VCEG-AZ06”))中所描述，针对每一经帧间模式译码的译码单元(CU)适应性地启用或停用局部照明补偿(LIC)，且LIC是基于照明变化的线性模型，使用比例因子a及偏移b。当LIC适用于CU时，对于属于CU的每一PU/子PU，以使用CU的经子采样(2:1子采样)相邻样本及参考图片中的对应像素(由当前PU/子PU的运动信息识别)的方式来导出LIC参数。对于具有等于N×N的大小的CU，用于参数计算的界限像素的总数目为N而非2N。在图20中说明实例。LIC参数经导出且针对每一预测方向分开应用。基于上述相邻样本采用最小平方误差来导出参数a及b。
仅在CU仅具有单个PU时使用IC。然而，在CU具有多个PU的情况下可能需要使用IC，包含其中CU被分割成2个或3个PU及/或CU经不对称分割的情况。在这些情况下，与当前CU的顶侧及左侧相邻的参考样本的数目可不再为2的幂次方。因此，使用右移运算来计算IC参数b可为不可能的。相反地，视频译码器可能需要使用更慢且更复杂的除法运算来计算IC参数b。
为解决此问题，视频译码器可对第一参考样本集合进行子采样以产生包含总共2m个参考样本的第一经子采样的参考样本集合，其中m为整数。在本公开中，术语子采样指示从样本集合选择一或多个样本，且下采样指示滤波过程，其中若干参考样本可一起使用以导出经滤波样本。参考样本集合可包括在PU的非正方形预测性块外的沿非正方形预测性块的左侧及顶侧的样本。因此，参考样本在本文中还可被称作相邻者样本或相邻样本。另外，视频译码器可对第二参考样本集合进行子采样以产生包含总共2m个参考样本的第二经子采样的参考样本集合，其中m为整数。第二参考样本集合可包括在参考块(例如，视图间参考块或时间参考块)外的沿参考块的左侧及顶侧的样本。视频译码器可接着基于第一经子采样的参考样本集合及第二经子采样的参考样本集合确定至少IC参数b。由于第一经子采样的参考样本集合及第二经子采样的参考样本集合各自包含2m个样本，视频译码器可使用右移运算而非除法运算来计算IC参数b。以此方式，本公开的技术可降低视频译码器的复杂度及/或加速视频译码。
如上文所提及，非正方形TU的引入可引入某些问题。举例来说，即使CU的PU不为正方形，将CU分割成TU的现有技术遵循四分树分裂模式。在本公开中，四分树还可被称作四分之一树。始终使用四分树分裂模式可导致次优视频数据压缩性能，尤其在四分树分裂模式不将TU的侧面与CU的PU的侧面对准的情况下。
因此，根据本公开的技术，CU的变换树并不受限于四分树分裂模式。相反地，变换树中的节点可具有两个子节点。因此，在一个实例中，视频解码器可确定CU基于树结构经分割成TU。在此实例中，视频解码器可确定树结构中的节点恰好具有树结构中的两个子节点。在此实例中，树结构的根节点对应于CU的译码块，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块，且树结构的叶节点对应于CU的TU。在一些实例中，变换树中的节点可具有2个或4个子节点。节点具有2个或4个子节点的弹性可增加视频译码压缩性能。
图1为说明可利用本公开的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后时间将由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型计算机(即，膝上型计算机)、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些情况下，源装置12及目的地装置14可能经装备以用于无线通信。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20及输出接口22。目的地装置14包含输入接口28、经配置以存储视频数据的存储媒体29、视频解码器30及显示装置32。在其它实例中，源装置及目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。
图1的所说明系统10仅为一个实例。用于处理视频数据的技术可由任何数字视频编码及/或解码装置执行。尽管本公开的技术通常由视频编码装置执行，但所述技术还可由视频编码器/解码器(通常被称为“编解码器”)执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，装置12、14可以大体上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射以用于(例如)视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置(例如摄像机)、含有先前所捕获的视频的视频存档，及/或用以从视频内容提供者接收视频数据的视频馈入接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。在一些情况下，源装置12及目的地装置14可形成所谓的相机电话或视频电话。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如，存储媒体19)。本公开中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可通过视频编码器20编码所捕获、经预先捕获或计算机产生的视频。输出接口22可接着将经编码视频信息输出到计算机可读媒体16上。
输出接口22可包括各种类型的组件或装置。举例来说，输出接口22可包括无线发射器、调制解调器、有线网络连接组件(例如，以太网卡)或另一物理组件。在输出接口22包括无线接收器的实例中，输出接口22可经配置以接收根据蜂窝式通信标准(例如，4G、4G-LTE、高级LTE、5G等)调制的数据，例如，位流。在输出接口22包括无线接收器的一些实例中，输出接口22可经配置以接收根据其它无线标准(例如，IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、蓝牙TM标准等)调制的数据，例如，位流。在一些实例中，输出接口22的电路可集成于源装置12的视频编码器20及/或其它组件的电路中。举例来说，视频编码器20及输出接口22可为系统单芯片(SoC)的部分。SoC还可包含其它组件，例如，通用微处理器、图形处理单元等。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如局域网、广域网或全球网络(例如因特网))的一部分。通信媒体可包含路由器、交换器、基站或可适用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包括经配置以存储经编码视频数据及/或经解码视频数据的一或多个数据存储媒体。
在一些实例中，输出接口22可将经编码数据输出到存储装置。类似地，输入接口28可存取来自存储装置的经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如，硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将彼经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)存取经编码的视频数据。此数据连接可包含适于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或两者的组合。来自存储装置的经编码视频数据的发射可为流式传输发射、下载发射，或其组合。
所述技术可应用于视频译码以支持多种多媒体应用中的任一者的视频译码，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射以支持应用例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络发射，或非暂时性存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且(例如)经由网络发射将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，可将计算机可读媒体16理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。输入接口28可包括各种类型的组件或装置。举例来说，输入接口28可包括无线接收器、调制解调器、有线网络连接组件(例如，以太网卡)或另一物理组件。在输入接口28包括无线接收器的实例中，输入接口28可经配置以接收根据蜂窝式通信标准(例如，4G、4G-LTE、LTE高级、5G等)调制的数据，例如，位流。在输入接口28包括无线接收器的一些实例中，输入接口28可经配置以接收根据其它无线标准(例如，IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、蓝牙TM标准等)调制的数据，例如，位流。在一些实例中，输入接口28的电路可集成于目的地装置14的视频解码器30及/或其它组件的电路中。举例来说，视频解码器30及输入接口28可为系统单芯片(SoC)的部分。SoC还可包含其它组件，例如，通用微处理器、图形处理单元等。
计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(其还由视频解码器30使用)，所述语法信息包含描述块及其它经译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。显示装置32可向用户显示经解码视频数据。举例来说，目的地装置14或视频解码器30可针对显示装置32来显示而输出视频数据的经重建图片。此类经重建图片可包括经重建块。显示装置32可包括多种显示装置中的任一者，例如，阴极光线套管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器单元30各自可实施为多种合适编码器电路中的任一者，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本公开的技术。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编码解码器)的部分。
在一些实例中，视频编码器20及视频解码器30可根据视频译码标准操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还被称作ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。另外，ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)近来已开发出新的视频译码标准，即高效率视频译码(HEVC)。Wang等人的“高效率视频译码(HEVC)缺陷报告(High Efficiency Video Coding(HEVC)Defect Report)”(ITU-T SG16WP 3及ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)，第14次会议:奥地利，维也纳，2013年7月25日到8月2日，文件JCTVC-N1003_v1(在下文中，“JCTVC-N1003”))为HEVC标准的草案。JCTVC-N1003是获自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片还可被称为“帧”。图片可包含一或多个样本阵列。图片的每一相应样本阵列可包括相应色彩分量的样本阵列。在HEVC中，图片可包含三个样本阵列，标示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
作为编码视频数据的部分，视频编码器20可编码视频数据的图片。换句话说，视频编码器20可产生视频数据的图片的经编码表示。图片的经编码表示可被称为“经译码图片”或“经编码图片”。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可包括明度样本的CTB、色度样本的两个对应CTB，及用以译码CTB的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一CTB块及用以译码所述CTB的样本的语法结构。CTB可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。语法结构可被定义为以指定次序一起存在于位流中的零或多个语法元素。切片可包含按光栅扫描次序连续地定序的整数数目个CTU。
本公开可使用术语“视频单元”或“视频块”或“块”指代一或多个样本块及用于对样本的所述一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区，等等。在一些上下文中，PU的论述可与宏块或宏块分区的论述互换。
在HEVC中，为产生经译码CTU，视频编码器20可对CTU的译码树型块递归地执行四分树分割，以将译码树型块划分成译码块，因此命名“译码树单元”。译码块为样本的N×N块。CU可包括图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，及用以对所述译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码块及用于对所述译码树型块的样本进行译码的语法结构。
视频编码器20可编码视频数据的图片的CU。作为编码CU的部分，视频编码器20可将CU的译码块分割成一或多个预测块。预测块为其上应用相同预测的样本的矩形(即，正方形或非正方形)块。预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块及用以对预测块进行预测的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块及用以对所述预测块进行预测的语法结构。视频编码器20可针对CU的每一PU的预测块(例如，明度、Cb及Cr预测块)产生预测性块(例如，明度、Cb及Cr预测性块)。
因此，一般来说，PU可包括样本的一或多个预测块及用于对所述预测块进行预测的语法结构。在一些实例编解码器中，例如HEVC，PU可为CU的子单元。在其它实例编解码器中，CU与PU之间可不存在区别。在一些实例中，其它术语可用于PU。
视频编码器20可使用帧内预测或帧间预测，从而产生PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于包含PU的图片的经解码样本产生PU的预测性块。如果视频编码器20使用帧间预测以产生当前图片的PU的预测性块，那么视频编码器20可基于参考图片(即，除当前图片外的图片)的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性块(例如，明度、Cb及Cr预测性块)之后，视频编码器20可产生CU的一或多个残余块。举例来说，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
重申，在HEVC中，切片中的最大译码单元称为CTU。每一图片经划分成CTU，可针对特定图像块或切片按光栅扫描次序译码所述CTU。CTU为正方形块且表示四分树(即，译码树)的根。CTU含有四分树，所述四分树的节点为CU。在一些情况下，CTU的大小可在HEVC主规范中的16×16到64×64范围内(尽管在技术上可支持8×8CTU大小)。在一些情况下，CTU大小可在8×8到64×64明度样本范围内，但通常使用64×64。每一CTU可进一步经分裂成称为CU的较小正方形块。CU可与CTU的大小相同，尽管CU可与8×8一样小。每一CU通过一个模式而译码。举例来说，CU可经帧间译码或经帧内译码。当CU经帧间译码时，CU可进一步分割成2个或4个PU，或当不应用进一步分割时变为仅一个PU。当两个PU存在于一个CU中时，两个PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。当CU经帧间译码时，针对每一PU存在一个运动信息集合。另外，每一PU通过唯一帧间预测模式译码以导出组运动信息集合。换句话说，每一PU可具有其自身运动信息集合。
此外，视频编码器20可将CU的残余块分解为一或多个变换块。举例来说，视频编码器20可使用四分树分割以将CU的残余块(例如，明度、Cb及Cr残余块)分解成一或多个变换块(例如，明度、Cb及Cr变换块)。变换块为其上应用相同变换的样本的矩形(即，正方形或非正方形)块。
CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有明度变换块、Cb变换块以及Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用以对所述变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的明度变换块，从而产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。在一些实例中，一或多个变换将变换块从像素域转换到频域。
在一些实例中，视频编码器20不对变换块应用变换。换句话说，视频编码器20将变换的应用跳到变换块。在这些实例中，视频编码器20可以与变换系数相同的方式处理残余样本值。因此，在视频编码器20跳过变换的应用的实例中，变换系数及系数块的以下论述可适用于残余样本的变换块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。在一些实例中，视频编码器20不量化系数块。在视频编码器20不将变换应用于变换块的实例中，视频编码器20可或可不量化变换块的残余样本。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数或残余样本的语法元素。举例来说，视频编码器20可对指示经量化变换系数或残余样本的语法元素执行上下文自适应性二进制算术译码(CABAC)。在一些实例中，视频编码器20使用基于调色板的译码来编码CU。因此，经编码块(例如，经编码CU)可包含指示经量化变换系数的经熵编码语法元素。
视频编码器20可输出包含形成视频数据及相关联数据(即，与经编码图片相关联的数据)的经编码图片的表示的位序列的位流。因此，位流包括视频数据的经编码表示。位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有对NAL单元中的数据类型的指示及位组的语法结构，所述位组含有呈按需要穿插有仿真阻止位的原始位组序列酬载(RBSP)的形式的彼数据。NAL单元中的每一者可包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有囊封于NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可剖析位流以从所述位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重建视频数据的图片。重建视频数据的图片的过程通常可与由视频编码器20执行以编码图片的过程互逆。举例来说，为了重建视频数据的图片，视频解码器30可基于从位流获得的语法元素及/或来自外部源的数据解码图片的块，例如，CU。
在一些实例中，作为解码图片的当前CU的部分，视频解码器30可使用帧间预测或帧内预测来产生当前CU的每一PU的一或多个预测性块。当使用帧间预测时，视频解码器30可使用PU的运动向量确定当前CU的PU的预测性块。另外，在一些实例中，视频解码器30可逆量化当前CU的TU的系数块。在一些实例中，视频解码器30可对系数块执行逆变换以重建当前CU的TU的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应经解码样本(例如，残余样本)来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
此外，在HEVC中，已指定将图片分割为被称作图像块的矩形区域的选择。图像块的主要目的在于增加平行处理的能力而非提供错误恢复。图像块为图片的使用一些共享标头信息经编码的可独立解码区域。图像块另外可用于对视频图片的本地区域的空间随机存取的目的。图片的典型图像块配置由将图片分段为在每一图像块中具有大致上相等数目的CTU的矩形区域构成。图像块提供在粒度(图片/子图片)的更粗糙电平的平行度，且针使用所述图像块不需要线程的复杂同步。
为了调适残余块的各种特性，在HEVC中应用使用残余四分树(RQT)的变换译码结构，所述变换译码结构经简要地描述于Marpe等人的“使用残余四分树(RQT)的变换译码(Transform Coding Using the Residual Quadtree(RQT))”(Fraunhofer HeinrichHertz Institute)中，其可获自http://www.hhi.fraunhofer.de/fields-of-competence/image-processing/researchgroups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html。在CTU递归地分裂成CU之后，将每一CU进一步划分为PU及TU。将CU分割成TU是基于四分树方法递归地进行，因此每一CU的残余信号是通过树结构(即，残余四分树(RQT))来译码。RQT允许从4×4达32×32明度样本的TU大小。图2A及图2B为说明基于HEVC中的残余四分树的实例变换方案的概念图。特定地说，图2A展示CU 40包含十个TU(使用字母a到j标记)及对应块分割的实例。图2B为说明图2A的CU的RQT的概念图。
视频译码器可以深度优先树遍历次序处理个别TU，深度优先树遍历次序在图2A中以字母次序说明，其遵循使用深度优先遍历的递归Z扫描。四分树方法使得能够将调适变换到残余信号的变化空间频率特性。通常，具有更大空间支持的更大变换块大小提供更优选频率分辨率。然而，具有更小空间支持的更小变换块大小提供更优选空间分辨率。(例如)基于率失真优化技术通过编码器模式决策选择两个(空间及频率)分辨率之间的折衷。率失真优化技术针对每一译码模式(例如，特定RQT分裂结构)计算译码位及重建失真的加权总和(即，率失真成本)，且选择具有最小率失真成本的译码模式作为最优选模式。
三个参数定义于RQT中：树的最大深度、最小允许的变换大小及最大允许的变换大小。在HEVC中，最小及最大变换大小可在从4×4到32×32样本范围内变化，所述范围对应于先前段落中提到的所支持块变换。RQT的最大允许的深度限制TU的数目。最大深度等于零意味着：如果每一所包含TU达到最大允许变换大小(例如，32×32)，那么不能更进一步分裂CTU。在HEVC中，不采用更大的大小变换(例如，64×64变换)，主要因为考虑到其受限的益处及对于相对较小分辨率视频的相对较高的复杂度。
在HEVC中，无论TU的大小，使用非重叠系数群组(CG)来译码TU的残余(例如，TU的系数块)。CG中的每一者含有TU的4×4块的系数。举例来说，32×32TU具有总共64个CG，且16×16TU具有总共16个CG。根据某一预定义扫描次序译码TU的CG。当译码每一CG时，根据用于4×4块的某一预定义扫描次序扫描并译码当前CG内部的系数。图3为说明基于HEVC中的系数群组的实例系数扫描的概念图。特定地说，图3说明用于含有四个4×4CG的8×8TU的系数扫描。
如上文所提到，视频编码器20及视频解码器30可执行帧内预测以产生预测性块。帧内预测使用其空间相邻经重建图像样本执行图像块预测。图4为说明16×16块的帧内预测的实例的概念图。在图4中，块正方形含有16×16块50。在图4中，通过上方及左方相邻经重建样本52、54(即，参考样本)沿经选择预测方向来预测块50。在图4中，黑色方块外的样本为参考样本。图4中的白色箭头指示经选择预测方向。
图5为说明HEVC中定义的35个帧内预测模式的实例的概念图。如图5中所指示，HEVC定义用于明度块的帧内预测的35个模式(包含平面模式、DC模式及33个角度模式)。定义于HEVC中的帧内预测的35个模式如下表中所展示经索引化：
表1-帧内预测模式及相关联名称的说明
帧内预测模式 相关联名称
0 INTRA_PLANAR
1 INTRA_DC
2..34 INTRA_ANGULAR2..INTRA_ANGULAR34
HEVC帧内译码支持两种类型的PU划分，2N×2N及N×N。2N×2N将CU分裂成一个PU。换句话说，CU具有与CU具有相同大小的一个PU。N×N将CU分裂成四个相等大小的PU。然而，通过分割类型PART_N×N指定的四个区域还可由具有分割类型PART_2N×2N的四个较小CU表示。由于此原因，HEVC允许帧内CU仅以最小CU大小分裂成四个PU。
图6为说明HEVC中定义的平面模式的概念图。平面模式通常为最常使用的帧内预测模式。为执行N×N块的平面预测，针对位于(x,y)处的每一样本pxy，使用具有双线性滤波器的四个特定的相邻经重建样本(即，参考样本)来计算预测值。四个参考样本包含右上经重建样本TR、左下经重建样本BL及与当前样本位于同一列(rx,-1)及行(r-1,y)中的两个经重建样本60、62。平面模式可公式化如下：
pxy＝((N-1-x)·L+(x+1)·TR+(N-1-y)·T+(y+1)·BL+N)>>(Log2(N)+1 (1)
在以上公式(1)中，L对应于经重建样本60且T对应于经重建样本62。对于DC模式，简单地用相邻经重建样本的平均值填充预测块。一般来说，针对模型化平稳地变化及恒定图像区域应用平面及DC模式两者。
图7为HEVC中定义的实例角度模式的概念图。HEVC中的角度帧内预测模式的帧内预测过程描述如下。对于每一给定角度帧内预测模式，可相应地识别帧内预测方向。举例来说，可根据图5识别给定角度帧内预测模式。如图5中所示，帧内模式18对应于纯水平预测方向，且帧内模式26对应于纯竖直预测方向。给定一特定帧内预测方向，针对预测块的每一相应样本，相应样本的坐标(x,y)沿预测方向首先投射到相邻经重建样本的行或列。举例来说，如图7的实例中所示，预测块72的样本70的坐标(x,y)沿特定帧内预测方向74投射。假设(x,y)投射到两个相邻经重建样本L与R之间的分数位置α。随后，使用二分接头双线性内插滤波器来计算(x,y)的预测值，公式如下：
pxy＝(1-α)·L+α·R。
在HEVC中，为了避免浮点运算，使用整数算术将以上计算估算为：
pxy＝((32-a)·L+a·R+16)>>5，
其中a为等于32*α的整数。
图8为HEVC中用于针对帧间预测分裂CU的分割模式的概念图。如图8中所示，在HEVC中，经帧间译码CU可分裂成一个、两个或四个分区且各种类型的此分裂为可能的。经帧间预测译码块的分割概率描绘于图8中。较高四个分割类型分别说明不分裂大小N×N的CU、将CU分裂成大小N×N/2或N/2×N的两个分区及将CU分裂成大小N/2×N/2的四个分区的情况。图8中的较低四个分割类型被称为不对称运动分割(AMP)。AMP模式的一个分区分别具有高度或宽度N/4及宽度或高度N，且其它分区通过具有高度或宽度3N/4及宽度或高度N来填充CU的剩余部分。每一经帧间译码分区指派有一个或两个运动向量及参考图片索引。
对于帧内切片，仅允许帧内预测模式。因此，不需要用信号发送预测模式。然而，对于帧间切片(P或B切片)，允许帧内预测模式及帧间预测模式两者。因此，在HEVC中，对于每一CU，针对非跳跃模式用信号发送一个旗标pred_mode_flag。在下文中呈现CU的定义于HEVC中的语法及语义的部分列表：
7.3.8.5译码单元语法
cu_skip_flag[x0][y0]等于1指定对于当前译码单元，当解码P或B切片时，除合并候选索引merge_idx[x0][y0]外没有语法元素在cu_skip_flag[x0][y0]之后解析。cu_skip_flag[x0][y0]等于0指定不跳过译码单元。阵列索引x0、y0指定所考虑译码块的左上明度样本相对于图片的左上明度样本的位置(x0,y0)。当不存在cu_skip_flag[x0][y0]时，推断cu_skip_flag[x0][y0]等于0。
pred_mode_flag等于0指定当前译码单元是以帧间预测模式译码。pred_mode_flag等于1指定当前译码单元是以帧内预测模式译码。由于x＝x0..x0+nCbS-1且y＝y0..y0+nCbS-1，如下导出变量CuPredMode[x][y]：
-如果pred_mode_flag等于0，那么CuPredMode[x][y]经设定等于MODE_INTER。
-否则(pred_mode_flag等于1)，CuPredMode[x][y]经设定等于MODE_INTRA。
当不存在pred_mode_flag时，由于x＝x0..x0+nCbS-1且y＝y0..y0+nCbS–1，如下导出变量CuPredMode[x][y]：
-如果slice_type等于I，那么推断CuPredMode[x][y]等于MODE_INTRA。
-否则(slice_type等于P或B)，当cu_skip_flag[x0][y0]等于1时，推断CuPredMode[x][y]等于MODE_SKIP。
在开发HEVC的过程期间及之后已经提出各种提议以增强HEVC。举例来说，JianleChen等人的“对HMKTA-1.0的进一步改进(Further improvements to HMKTA-1.0)”(文件：VCEG-AZ07_v2，第52次会议：2015年6月19日到26日，波兰，华沙，(在下文中，“VCEG-AZ07”))描述短距离帧内译码方案。与始终针对帧内预测产生正方形块的传统块分割方法不同，VCEG-AZ07的短距离帧内预测(SDIP)方案采用HEVC的基于四分树的块结构的非正方形块分裂。如VCEG-AZ07中所描述，块经分裂成具有四分之一宽度或高度的四个非正方形块，且每一非正方形块被视为预测的基本单元。按次序译码及重建非正方形块，且所述非正方形块可为下一相邻块提供帧内预测的参考像素。因此，参考像素与局部像素之间的距离可减小，且帧内预测的精确度可改进许多。
图9为SDIP单元分割的概念图。在SDIP方案中，小于64×64的CU可分裂成具有大小N/2×2N或2N×N/2的四个竖直或水平矩形PU(这些分割模式在本公开中可被称作hN×2N及2N×hN，其中h意指一半)。在hN×2N模式中从左到右，及在2N×hN模式中从上到下按次序译码及重建四个PU。在图9中，点虚线表示PU/TU分裂，且阴影区域78标示32×8TU被分裂成RQT结构中的4个32×2TU。具有分割模式2N×hN的右上方32×32CU分裂成四个32×8PU，具有模式hN×2N的左下方16×16CU分裂成四个4×16PU，右下方8×8CU分裂成8×2PU等等。在HEVC中还可存在CU的正方形分裂，例如2N×2N模式中的左下方16×16CU及N×N模式中的右下方8×8CU。
此外，在SDIP方案中，M×N(M>N)TU可分裂成具有大小M×N/4(或当M<N时，M/4×N)的四个TU。换句话说，SDIP方案中的分裂应始终沿CU中的同一方向(竖直或水平)进行。下文表2列出了SDIP方案中存在的所有非正方形单元及对应RQT深度。
表2-SDIP方案中的单元及对应RQT深度的列表
在Xiaoran Cao等人的“关于短距离帧内预测方法的CE6.b1报告(CE6.b1Reporton Short Distance Intra Prediction Method)”(文件JCTVC-E0278，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第5次会议：日内瓦，2011年3月16日到23日(在下文中，“Cao 1”))中，进一步包含类似1×N及N×1的分区且对应RQT深度及变换大小在下表3中列出：
表3-Cao 1中的SDIP中的变换大小的列表
此外，一些SDIP方案使用非正方形变换及熵译码。举例来说，将n×m变换用于非正方形块。对于n×m(n>m)块，如下描述正变换：
在以上方程中，Bnxm标示具有n行及m列的块，Tn及Tm分别为大小n×n及m×m的变换矩阵，且Cnxm标示经变换块。Tn及Tm与HEVC中的变换矩阵相同。因此，对于硬件实施方案，变换部分可再次用于非正方形块。对于n×m(n<m)块，块首先经转置成m×n(m>n)块且接着按方程(1)变换。对于熵译码，为了避免重复实施方案，还再使用正方形块的系数译码。举例来说，图10为经扫描及组织为8×8矩阵82的16×4系数矩阵80的概念图。在此实例中，系数矩阵80的系数首先从高频到低频扫描到1D缓冲器84，如图10中所示，且接着按的字形次序重新组织成使用HEVC中的现有方法译码的8×8矩阵82。
在所提出的对HEVC的增强的另一实例中，Liu等人的“矩形(2N×N,N×2N)帧内预测(Rectangular(2N×N,N×2N)Intra Prediction)”(文件JCTVC-G135，ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC)，第7次会议：日内瓦，2011年11月21日到30日(在下文中，“JCTVC-G135”))描述将帧间译码的2N×N及N×2N分区大小的使用扩展到帧内译码。在下表2中给定额外PU大小及对应TU。在JCTVC-G135中，采用常规的变换四分树结构。
表2-JCTVC-G135中的变换大小的列表
以下技术描述于VCEG-AZ07中。为捕获自然视频中所呈现的更平滑边缘方向，如HEVC中所定义，VCEG-AZ07提出将方向帧内模式从33扩展到65。图11为说明所提出的67个帧内预测模式的概念图。VCEG-AZ07中描述的方向模式在图11中指示为虚线箭头，且平面及DC模式保持相同。VCEG-AZ07中所提出的更密集方向帧内预测模式适用于所有PU大小及明度帧内预测及色度帧内预测两者。
为了适应增加数目个方向性帧内模式，VCEG-AZ07提出了使用6个最可能模式(MPM)的经改进帧内模式译码方法。涉及两个主要技术方面：1)6个MPM的导出，及2)6个MPM的熵译码。当导出6个MPM的集合时，VCEG-AZ06改变了对左方及上方相邻帧内模式的定义。如在HEVC中，沿顶部相邻行且沿左方相邻列的最常使用的帧内模式经计算，且接着分别用作左方相邻模式及上方相邻模式，而非直接使用从顶部及左方相邻块的帧内模式。
此外，如VCEG-AZ07中所描述，利用四分接头帧内内插滤波器来改进方向帧内预测的准确度。举例来说，如上文关于图7所描述，HEVC使用二分接头线性内插滤波器在方向性预测模式(即，不包含平面及DC预测子的帧内预测模式)中产生帧内预测块。特定地说，在图7的实例中，视频译码器将二分接头滤波器应用于样本L及R以确定样本50的预测性值。相较于HEVC的将滤波器应用于两个参考样本以确定预测块的样本的预测性值的方法，VCEG-AZ07将滤波器应用于四个参考样本以确定预测块的样本的预测性值。在VCEG-AZ07中，使用两个类型的四分接头内插滤波器：用于4×4及8×8块的立方形内插滤波器及用于16×16及更大块的高斯(Gaussian)内插滤波器。在VCEG-AZ07中，在所有方向模式中，根据块大小，滤波器的参数为固定的，且同一滤波器用于所有经预测像素。
在HEVC中，在已针对竖直及水平帧内模式产生帧内预测块之后，分别进一步调整最左列及最上行的预测样本(即，预测性块的样本)。使用二分接头(针对帧内模式2及34)或三分接头滤波器(针对帧内模式3到6及30到33)进一步调整达四个列或行的界限样本。
图12A及图12B为帧内模式30到34的界限滤波器的概念图。特定地说，图12A为帧内模式34的界限滤波器的概念图。图12B为帧内模式30到33的界限滤波器的概念图。在图12A及图12B中，最左列的块为参考样本集合且剩余块为经帧内预测块的样本。视频译码器可以常规方式产生帧内预测性块的样本。然而，对于帧内预测模式30到34，视频编码器可将一或多个额外滤波器应用于阴图像素。因此，帧内模式34及30到33的界限预测滤波器的实例展示于图12A及图12B中，且帧内模式2及3到6的界限预测滤波器为类似的。
特定地说，在图12A中，对于帧内模式34，视频译码器基于相应样本上方及右方的参考样本产生帧内预测性块的每一相应样本。然而，此可忽略获自左参考样本的信息。因此，视频译码器可将四个不同滤波器应用于四个最左列。对于帧内预测性块的线1到4中的每一相应样本，视频译码器基于帧内模式34的相反方向(即，左方及下方)上的相应样本及参考样本应用滤波器。对于线1，所得样本可经计算为(8*a+8*b)/16，其中a为相应样本且b为参考样本。对于线2，所得样本可经计算为(12*a+4*b)/16，其中a为相应样本且b为参考样本。在图12B的实例中，帧内预测模式30到33的方向不与全整数位置像素对准。相反地，对于预测性块的每一样本，帧内预测模式30到33的方向与参考样本在两个参考样本之间的分数位置处相交。因此，当针对帧内预测模式30到33应用界限滤波器时，针对最左列的预测性块的每一样本存在两个参考样本。在图12B的实例中，对于最左列的预测性块的每一相应样本，当帧内预测模式为33时，视频译码器可将相应样本的值计算为(8*a+8*b+2*c)，其中a为相应样本，b为参考样本中的一者且c为参考样本的另一者。
可基于色彩空间及色彩格式执行视频译码。举例来说，色彩视频在多媒体系统中起主要作用，其中多个色彩空间用于有效地表示色彩。色彩空间使用多个分量指定具有数值的色彩。常用色彩空间为RGB色彩空间，其中色彩表示为三原色分量值(即，红色、绿色及蓝色)的组合。对于色彩视频压缩，如伦敦，威斯敏斯特大学的A.Ford及A.Roberts的“色彩空间转换(Colour space conversions)”(1998年8月，Tech.Rep)中所描述，已广泛地使用YCbCr色彩空间。
可易于经由线性变换从RGB色彩空间转换YCbCr，且不同分量之间的冗余(即跨分量冗余)在YCbCr色彩空间中显著降低。YCbCr的一个优点为与黑色及白色TV具有回溯兼容性，这是由于Y信号传达明度信息。另外，色度带宽可通过以与RGB中的子采样相比具有显著较小主观影响的4:2:0色度采样格式来子采样Cb及Cr分量而减少。由于这些优点，YCbCr已成为视频压缩中的主要色彩空间。还存在用于视频压缩的其它色彩空间，例如YCoCg。在本公开中，无论所使用的实际色彩空间如何，YCbCr色彩空间用于表示视频压缩方案中的三个色彩分量。
尽管跨分量冗余在YCbCr色彩空间中显著减少，但三个色彩分量之间仍存在相关性。已研究各种技术以通过进一步减少三个色彩分量之间的相关性而改进视频译码性能。
举例来说，Xiaoran Cao等人的“用于HEVC的短距离帧内译码方案(Shortdistance intra coding scheme for HEVC)”(2012图片译码会议(PCS)第501到504页，2012年5月7日到9日，波兰，克拉科夫(在下文中，“Cao 2”))描述短距离帧内译码方案。Cao2描述4:2:0色度视频译码中名为线性模型(LM)预测模式的方法，所述方法在HEVC标准的开发期间经研究。参看(例如)J.Chen等人的“CE6.a.4：通过重建明度样本的色度帧内预测(CE6.a.4:Chroma intra prediction by reconstructed luma samples)”(ITU-TSG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),JCTVC-E266，第5次会议：日内瓦，2011年3月16日到23日)，且在下文中称作JCTVC-E266。在4:2:0采样中，两个色度阵列中的每一者具有明度阵列的高度的一半及宽度的一半。利用LM预测模式，通过使用如下线性模型基于相同块的重建明度样本预测色度样本：
predc(i,j)＝α*recL(i,j)+β (2)
其中predc(i,j)表示当前块中的色度样本的预测，且recL(i,j)表示当前块的经下采样的经重建明度样本。参数α及β从当前块周围的致因性重建样本导出。块的因果样本为按解码次序在块之前出现的样本。如果通过N×N标示色度块大小，那么i及j两者皆在范围[0,N)内。
通过最小化当前块周围的相邻经重建明度样本与色度样本之间的回归错误导出方程(2)中的参数α及β。
如下解析参数α及β：
β＝(∑yi-α·∑xi)/I (5)
在以上方程中，xi为经下采样的经重建明度参考样本，其中色彩格式并非4:4:4(即，色彩格式为其中一个色度样本对应于多个明度样本的一者)，yi为未经下采样的经重建色度参考样本，且I为参考样本的数目。换句话说，视频译码器可基于色彩格式不为4:4:4对经重建明度参考样本进行下采样，但基于色彩格式为4:4:4避免对经重建明度参考样本进行下采样。对于目标N×N色度块，当左方及上方因果样本两者可用时，所涉及样本的总目数I等于2N。当仅左方或上方因果样本可用时，所涉及样本的总数目I等于N。在此，N始终等于2m(其中m针对不同CU大小可不同)。因此，为了减小复杂度，移位运算可用于执行方程(4)及(5)中的除法运算。
图13为说明用于导出α及β的样本的实例位置的概念图。特定地说，图13说明PU的色度预测性块90及同一PU的明度预测性块92。由于色度样本相对于明度样本经下采样，色度预测性块90的宽度及高度(即，N)为明度预测性块92的宽度及高度(即，2N)的一半。在图13的实例中，较大黑正方形外的小正方形为参考样本。在图13的实例中，小圆圈指示用于确定LM参数α及β的样本值。如图13的实例中所示，用于确定LM参数α及β的色度样本值与色度预测性块90的参考样本相同。然而，用于确定LM参数α及β的明度样本值是从明度参考样本内插。用于确定LM参数α及β的所得明度样本集合的总数目与用于确定LM参数α及β的色度样本的数目相同。
一般来说，当LM预测模式应用于当前PU时，视频译码器可执行以下步骤。第一，视频译码器可重建当前PU的明度块。作为重建当前PU的明度块的部分，视频译码器可执行帧内预测以确定当前PU的明度预测性块。此外，作为重建当前PU的明度块的部分，视频译码器可将残余数据添加到当前PU的明度预测性块以重建当前PU的明度块。第二，视频译码器可对与当前PU的顶侧及左侧相邻的参考明度样本进行下采样。第三，视频译码器可使用上文方程(4)及(5)以基于与当前PU的顶侧及左侧相邻的色度参考样本及经下采样的明度参考样本来导出线性参数(即，α及β)。本公开还可将线性参数称作为“比例因子”。第四，视频译码器可对当前PU的经重建明度块进行下采样。第五，视频译码器可使用上文方程(2)从当前PU的经下采样的明度块及线性参数预测色度样本(例如，导出预测性色度块)。
如上文所提及，视频译码器可对当前PU的经重建明度块进行下采样。视频译码器可以各种方式对当前PU的经重建明度块进行下采样。举例来说，由于色度分量的典型采样比率为明度分量的比率的一半且在4:2:0采样中的竖直方向上具有0.5样本相位差，所以当前PU的经重建明度样本在竖直方向上经下采样且在水平方向上经子采样以匹配色度信号的大小及相位。举例来说，对于从0到当前PU的预测性色度块的宽度减1的每一值i及从0到当前PU的预测性色度块的高度减1的每一值j，视频译码器可计算：
recL(i,j)＝(RecLOrig[2i,2j]+RecLOrig[2i,2j+1])>>1 (6)
在以上方程中，recL(i,j)为对应于相对于当前PU的下采样的经重建明度块的左上角的位置(i,j)的明度样本。RecLOrig[2i,2j]及RecLOrig[2i,2j+1]为相对于当前PU的原始经重建明度块的左上角的位置(2i,2j)及(2i,2j+1)处的经重建明度样本。因此，在方程(6)中，在当前PU的经下采样的经重建明度块的位置(i,j)处的明度样本为当前PU的原始经重建明度块的位置(2i,2j)处的明度样本与当前PU的原始经重建明度块的位置(2i,2j+1)处的明度样本的平均值。
图14为说明用于对当前PU的经重建明度块的样本进行下采样的明度位置及色度位置的实例的概念图。图14将色度样本描绘为三角形且将明度样本描绘为圆圈。视频译码器通过应用[1,1]滤波器而从两个明度样本(在图14中由两个实心圆表示)预测当前色度样本(在图14中由实心三角形表示)的值。[1,1]滤波器为2分接头滤波器的一个实例。在[1,1]滤波器中，两个分接头经等加权。对于图14中的每一相应三角形，视频译码器可将方程(6)应用于由相应三角形上方及下方的圆形表示的样本以确定由相应三角形表示的样本的相应明度值。
此外，如上文所提及，视频译码器可对明度参考样本进行下采样。视频译码器可以各种方式对明度参考样本进行下采样。如图14中所示，当前PU的预测性色度块的列与当前PU的预测性明度块的列对准。在使用4:2:0色彩格式的一个实例中，与当前明度块的顶侧相邻的经下采样的明度参考样本可由明度参考样本集合中的经偶数索引位置处的每一明度参考样本组成。因此，对于从0到当前PU的预测性色度块的宽度减1范围内的每一相应值i，下采样过程可被定义为：
recL(i,-1)＝RecLOrig[2i,-1] (7)
在以上方程中，recL(i,-1)为相对于当前PU的色度预测性块的左上角的位置(i,-1)处的经下采样明度参考样本。RecLOrig[2i,-1]为相对于当前PU的原始预测性明度块的左上角的位置(2i,-1)处的明度参考样本。
如图14中所示，在4:2:0色彩格式中，当前PU的预测性色度块的行不与当前PU的预测性明度块的行对准。然而，用于计算基于LM的预测的参数α及β的方程(4)及(5)在此经预测为每一色度参考样本的一个明度参考样本。因此，对于当前PU的预测性色度块的相应行，视频译码器可计算预测性色度块的行上方的当前PU的预测性明度块的行中的明度参考样本与预测性色度块的行下方的当前PU的预测性明度块的行中的明度参考样本的平均值。举例来说，对于从0到预测性色度块中的行的数目减1范围内的每一值j，视频译码器可如下计算左方相邻明度参考样本的值：
recL(-1,j)＝(RecLOrig[-2,2j]+RecLOrig[-2,2j+1])>>1 (8)
在以上方程中，recL(-1,j)为相对于当前PU的预测性色度块的左上角的位置(-1,j)处的经下采样明度参考样本。RecLOrig[-2,2j]及RecLOrig[-2,2j+1]为相对于当前PU的原始预测性明度块的左上角的位置(-2,2j)及(-2,2j+1)处的原始明度样本。
还已提出了其它下采样技术。举例来说，在Yi-Jen Chiu等人的“用以改进帧内色度预测的跨信道技术(Cross-channel techniques to improve intra chromaprediction)”(ITU-T SG16WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合合作小组(JCT-VC),JCTVC-F502，第6次会议，义大利，都灵(Torino)，2011年7月14日到22日(在本文中被称作“JCTVC-F502”))的中，视频译码器将2维6分接头滤波应用于当前明度块及相邻明度块两者，而非使用二分接头滤波器。将2维滤波器系数设定为：
通过方程(10)导出经下采样的明度样本：
在以上方程中，recL(i,j)为相对于当前PU的经下采样的经重建明度块的左上角的位置(i,j)处的经重建明度样本，且RecLOrig[..]为相对于当前PU的原始经重建明度块的左上角的位置处的当前PU的原始经重建明度块的经重建明度样本。
举例来说，视频译码器可执行方程(10)的运算以确定经下采样的明度块。方程(10)将构建包含于6分接头滤波器中，所述6分接头滤波器由[1,2,1；1,2,1]表示，其具有RecLOrig[2i,2j]、RecLOrig[2i,2j+1]、RecLOrig[2i,2j-1]、RecLOrig[2i+1,2j]、RecLOrig[2i+1,2j+1]及RecLOrig[2i+1,2j-1]作为6个输入样本。滤波器的分接头数目指示用于应用滤波器的输入样本的数目。举例来说，在方程(10)中，视频译码器使用来自经重建明度块的六个值产生经下采样的明度块。
图15为说明用于对用于产生预测性块的明度块的样本进行下采样的明度位置及色度位置的实例的概念图。如图15中所描绘，视频译码器通过应用6分接头滤波器从由六个实心圆表示的六个明度样本预测由实心三角形表示的色度样本。如方程(2)中所定义，由于色度样本的预测子是使用线性函数导出，可见当应用6分接头滤波器时，一个色度样本的预测子依赖于六个相邻明度样本。当组合方程(2)及(10)时，结果为以下方程(11)：
predC(i,j)＝α·(RecLOrig[2i,2j]*2+RecLOrig[2i,2j+1]+RecLOrig[2i,2j-1]
+RecLOrig[2i+1,2j]*2+RecLOrig[2i+1,2j+1]+RecLOrig[2i+1,2j-1])＞＞3)
+β (11)
以下文本将经下采样的经重建明度样本recL(i,j)称作位于(i,j)处的色度样本的对应经下采样明度样本。举例来说，归因于4:2:0采样，2N×2N明度块对应于N×N色度块。通过下采样，2N×2N明度块成为N×N下采样明度块。此N×N经下采样明度块被称作recL(i,j)且对应于N×N色度块。
此外，尽管关于4:2:0采样描述以上实例，但本公开中描述的技术并未如此受限。举例来说，本公开中描述的技术还可适用于4:2:2采样。因此，关于4:2:0的实例仅作为辅助理解而提供。
此外，在一些实例中，本公开中描述的技术还可适用于4:4:4采样。举例来说，在4:4:4采样中，色度块并未相对于明度块经子采样。然而，在此类实例中，确定色度块的预测性块也为可能的。举例来说，可滤波明度块且经滤波块可用作色度块的预测性块。在这些实例中，可能不需要下采样明度块。如更详细解释，实例技术描述基于色度块的位置选择应用于明度块的样本的滤波器。用于选择应用于明度块的样本的滤波器的技术可扩展到LM预测(例如，4:4:4采样)不需要下采样的实例。在此类实例中，滤波器可不包含任何下采样以使得4:4:4采样得以保留。因此，对4:2:0采样的描述为一实例，且所述技术还适用于4:4:4采样。
举例来说，视频译码器(例如，视频编码器20或视频解码器30)可从一组滤波器确定用于下采样明度块的滤波器，而非限于仅使用二分接头滤波器或六分接头滤波器来下采样所述明度块。作为实例，可存在视频译码器可用以下采样的X数目个不同滤波器。举例来说，可存在一分接头滤波器、二分接头滤波器、三分接头滤波器等。此外，对于每一滤波器，特定分接头可为不同(例如，用于第一二分接头滤波器的明度样本不同于用于第二二接头滤波器的明度样本)。在本公开中描述的实例中的一些中，所述组滤波器包含两个滤波器；然而，视频译码器从其确定哪一滤波器应用于下采样明度块的多于两个滤波器为可能的。
视频译码器可使用各种准则，所述视频译码器通过所述准则确定应用的滤波器。作为一个实例，视频译码器基于色度块的位置从所述组滤波器确定应用哪一滤波器。如果色度块邻接图片、CU、PU或TU的左边界限(例如，图片、CU、PU或TU的左边界限与色度块边缘相同)，那么视频译码器可使用第一滤波器来下采样对应于左边界限上的色度块的色度样本的明度块的明度样本。左边界限上的色度块的样本指代最接近左边界限的包含刚好在所述界限上的样本的色度块的样本。可将第一滤波器应用于最接近界限的N个样本(例如，最接近所述界限的样本，紧邻彼样本的一个样本及N个此类样本)。
在一些情况下，视频译码器可将第一滤波器应用于明度块的所有明度样本，而非仅对应于与左边界限相邻的色度样本的那些样本。然而，本公开中所描述的技术并未如此受限。对于所有其它情况，视频译码器可使用第二、不同滤波器以下采样明度块。
举例来说，在4:2:0采样中，四个明度样本对应于一个色度样本。因此，视频译码器可确定哪一色度样本对应于哪些明度样本。当使用具有更大分接头的滤波器时，一个色度样本可对应于多于四个明度样本。针对对应于左边界限上的色度样本的明度样本(紧邻或在样本数目内)，视频译码器可将第一滤波器应用于对应明度样本以下采样明度块，且针对对应于并非在左方界限上的色度样本的明度样本(并非紧邻或并未在样本数目内)，视频译码器可将第二滤波器应用于对应明度样本以下采样明度块。
在一些实例中，第一滤波器可包含比第二滤波器更少的分接头(例如，滤波器在其上延伸的样本数目)。作为一个实例，第一滤波器为二分接头滤波器且第二滤波器为六分接头滤波器。在此实例中，视频译码器可执行方程(6)的运算以在色度块的对应色度样本在左边界限上的情况下确定明度块的经下采样明度样本，且可执行方程(10)的运算以在色度块的对应色度样本并未在左边界限上的情况下确定明度块的经下采样明度样本。因此，在色度样本的对应经下采样明度样本的导出过程期间，与应用于对应于不在左方图片界限或CU、PU或TU的左方界限处的色度样本的明度块的其它样本的滤波器相比，视频译码器可将不同滤波器应用于对应于定位在左方图片界限或CU/PU/TU的左方界限(即，侧面)的色度块的色度样本的明度块的明度样本。左方界限处的色度样本指代紧邻左方界限或在从左方界限起的一定数目的样本内的色度样本。
使用不同滤波器允许视频译码器恰当地使用可用样本值。举例来说，针对对应于在图片、CU、PU或TU的左方界限处的色度样本的明度样本使用六分接头滤波器可导致要求视频译码器使用并非明度块的部分的明度样本值以用于下采样，且导致视频译码器必须执行一些额外处理以解决明度样本的短缺(例如，填充明度样本值以产生并非明度块的部分的样本的值)。然而，在左方界限处使用二分接头滤波器可不要求视频译码器使用并非明度块的部分的明度样本值以用于下采样。因此，尽管描述二分接头及六分接头滤波器，但考虑到避免需要要求并非明度块的部分的明度样本(例如，为避免需要填充左边界限上的明度样本)，用于下采样的其它大小的滤波器可为可能的。
作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，与应用于对应于并未定位于左边图片界限处的色度样本的其它明度样本的滤波器相比，视频译码器将不同滤波器应用于对应于定位在左边图片界限处的色度样本的明度样本。在一个实例中，用于导出左方图片界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，分接头)(即，滤波器在其上方延伸的样本数目)小于用于导出不在左边图片界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，二分接头用于左边界限且六分接头用于其它所有)。
作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，与应用于当前CU内的其它明度样本的滤波器相比，视频译码器将不同滤波器应用于定位于左方CU界限处的色度样本的明度样本。在一个实例中，用于导出在左方CU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，分接头)(即，滤波器在其上延伸的样本数目)小于用于导出并未在左方CU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，二分接头用于左方界限及六分接头用于其它所有)。
作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，与应用于当前PU内的其它样本的滤波器相比，视频译码器将不同滤波器应用于位于左方PU界限处的色度样本。在一个实例中，用于导出在左边PU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，分接头)(即，滤波器在其上延伸的样本数目)小于用于导出并未在左边PU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，二分接头用于左边界限及六分接头用于其它所有)。
作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，与应用于当前TU内的其它样本的滤波器相比，视频译码器可将不同滤波器应用于位于左方TU界限处的色度样本。在一个实例中，用于导出在左方TU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，分接头)(即，滤波器在其上延伸的样本数目)小于用于导出并未在左方TU界限处的色度样本的对应经下采样明度样本的滤波器的长度(例如，二分接头用于左方界限且六分接头用于其它所有)。
在一些情况下，同一图片中可能不存在对应明度样本。下文描述解决此类情况的一些实例技术。举例来说，尽管在一些情况下避免填充可为有益的，但在一些情况下，避免填充可为不可能的。举例来说，由于一些明度样本不可用(例如，由于偏离图片)，视频译码器可以填充样本值替代这些不可用样本，并通过这些填充样本值执行下采样(例如，使用可用明度样本的实际明度样本值及不可用明度样本的填充样本值下采样)。填充样本值可为默认值(例如，2bitdepth，其中bitdepth指示明度分量的位深度)、由视频编码器20确定且用信号发送到视频解码器30的值，或基于并不要求用信号发送信息的一些隐含技术确定的值。添加填补样本值可减少复杂度，因为可不需要单独滤波器。
在色度样本的对应经下采样明度样本的导出过程期间，当明度样本在图片外或CU/PU/TU需要包含在下采样过程中时，视频译码器可首先应用填充操作，接着应用下采样过程。在样本的填充中，视频译码器可使用填充样本值替代偏离屏幕的那些样本。
作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，视频译码器可填充位于当前图片外的明度样本(例如，仅明度样本)。对于所有其它位置，使用经重建样本。作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，视频译码器可填充位于当前CU外的明度样本。对于所有其它位置，使用经重建样本。作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，视频译码器可填充位于当前PU外的明度样本。对于所有其它位置，使用经重建样本。作为一个实例，在色度样本的对应经下采样明度样本的导出过程期间，视频译码器可填充位于当前TU外的明度样本。对于所有其它位置，使用经重建样本。在针对填充的以上实例中，将同一下采样过程应用于所有位置。
当用于LM预测模式的明度经重建样本的位置位于当前切片或当前图像块外时，视频译码器可将此类样本标记为不可用(例如，视频译码器可将此类样本确定为不可用)。当样本经标记为不可用时，视频译码器可执行下文中的一或多者。
在用于相邻明度块的下采样过程时，不可用样本并不用于相邻明度块的下采样过程。替代地或另外，滤波器可不同于用于其它样本的滤波器。在用于当前明度块的下采样过程时，不可用样本并不用于当前明度块的下采样过程。替代地或另外，滤波器可不同于用于其它样本的滤波器。将不可用样本重新标记为可用；然而，将样本值修改为填充样本值或默认值。替代地或另外，滤波器与用于其它样本的滤波器保持相同。在一个实例中，默认值取决于位深度。在另一实例中，填充可始于标记为可用的左方/右方/上方/下方样本。
一般来说，针对另一图像块中的明度样本，视频译码器可将图像块界限外的像素标记为不可用且不将其包含于下采样过程中。在一些实例中，视频译码器可将另一图像块中的明度样本标记为可用，但针对另一图像块中的此类明度样本使用填充像素。作为另一实例，视频译码器可针对另一图像块中的明度样本使用填充“扩展”值(例如，基于位深度的一半可能值，因此8位，使用128)，而非将所述样本标记为不可用。
在一些实例中，视频译码器可将不同滤波器应用于不同色度色彩分量(Cb或Cr)。在一些实例中，当启用LM预测模式时，一或多组下采样滤波器可进一步在序列参数集(SPS)、图片参数集(PPS)或切片标头中的任一者中用信号发送。替代地或另外，引入补充增强信息(SEI)消息语法以描述下采样滤波器。此外，替代地或另外，在不用信号发送的情况下定义默认下采样滤波器，例如，6分接头滤波器[1,2,1；1,2,1]。替代地或另外，一个PU/CU/最大CU可用信号发送用于LM预测模式的滤波器的索引。替代地或另外，在无需用信号发送的情况下可通过视频解码器30实时导出滤波器分接头的使用。可存在还提供滤波器支持的其它方式。
此外，在一个实例中，应用αi等于α(i+3)的约束条件。此外，在一个实例中，应用αi等于α(i+2)的约束条件，其中i等于0或3。在一个实例中，可仅针对更大经译码CU(例如，CU大小大于16×16)启用此实例技术。在一个实例中，将参数中的一或多者限制于为0。
此外，视频译码器还可针对跨分量残余预测应用上述技术中的一或多者，其中经下采样明度残余用于预测色度残余。在此情况下，作为一个实例，将下采样过程应用于重建明度残余。
下文为本公开中所描述的技术可通过视频译码器实施的实例方式。实例实施技术不应被视为限制的。
以下为针对左方图片界限处的样本应用不同下采样处理的实例。将用于当前明度块的下采样过程定义如下：
-如果色度样本不位于图片的左方界限处，那么应用6分接头滤波器(例如，[1 21；1 2 1])导出对应经下采样明度样本：
-否则，如果色度样本位于图片的左方界限处，那么应用2分接头滤波器(例如，[1；1])导出对应经下采样明度样本：
recL(i,j)＝(RecLOrig[2i,2j]+RecLorig[2i,2j+1]+offset1)>>1 (14)
在一个实例中，offset0及offset1均设定为等于0。在另一实例中，将offset0设定为等于4且offset1设定为等于1。
在HEVC中，始终应用正方形变换，即使对于矩形PU。举例来说，图16为说明具有N×N变换的nR×2N预测模式的概念图。在图16的实例中，nR×2N预测模式将具有2N×2N块大小的译码块100分割成分别具有0.5N×2N及1.5N×2N的大小的两个预测块。然而，在图16的实例中，变换块大小为N×N。
图17为说明用于2N×N、2N×nD及2N×nU预测模式的非正方形四分树(NSQT)的概念图。在图17中，0阶处的2N×2N块分裂成位于1阶处的四个2N×0.5N块；1阶处的块进一步分裂成位于2阶处的四个N×0.25N块。图18为说明用于N×2N、nR×2N及nL×2N预测模式的NSQT的概念图。在图18中，0阶处的2N×2N块分裂成位于1阶处的四个0.5N×2N块；1阶处的块进一步分裂成位于2阶处的四个0.25N×N块。
考虑到残余可在两个连接性预测块的界限处断开，可能将产生高频变换系数且译码性能将受到影响。在本公开中，连接性预测性块为共享四个界限中的至少一者的预测性块。因此，在Yuan等人的“用于HEVC的非正方形四分树变换结构(Non-Square QuadtreeTransform Structure for HEVC)”(2012图片译码会议(PCS)，第505-508页，2012年5月7日到9日，波兰，克拉科夫(在下文中，“Yuan”))的中，描述非正方形四分树变换(NSQT)结构。
在NSQT中，添加两个额外变换块大小：2N×0.5N及0.5N×2N。在此结构中，变换块分裂成2N×0.5N及0.5N×2N，且变换矩阵可通过再使用0.5N×0.5N及2N×2N变换矩阵而获得。在本公开中，变换矩阵还可被称作变换核心。在Yuan中，HEVC的N×N量化表经再使用以量化2N×0.5N及0.5N×2N变换块的变换系数。
如上文所提及，视频译码器可应用变换以将样本转换到频域，或反之亦然。应用于HEVC中的特定类型的变换为两种类型的分离余弦变换，即DCT-II及4×4DST-VII。Xin Zhao等人的美国专利公开案2016/0219290A1提出了除用于经帧间及帧内译码块的DCT-II及4×4DST-VII外的增强型多重变换(EMT)方案。EMT方案利用来自除HEVC中的当前变换外的DCT/分离正弦变换(DST)家族的多个所选变换。美国专利公开案2016/0219290中新引入的变换矩阵为DST-VII、DCT-VIII、DST-I及DCT-V。
美国专利公开案2016/0219290A1中所提出的EMT适用于小于64×64的CU，且在CU层级处使用旗标(即EMT旗标)的CU层级下控制是否将EMT应用于CU内的所有TU。对于具EMT功能的CU内的每一TU，通过索引(即EMT索引)将待使用的水平或竖直用信号发送到所选变换集合。通过从前述变换矩阵选择两个变换而形成每一变换集合。
对于帧内预测残余，基于帧内预测模式预定义变换集合，如X.Zhao等人的“使用率失真优化变换的视频译码(Video coding with rate-distortion optimizedtransform)”(IEEE Trans.Circuits Syst.Video Technol.，第22卷第1号，第138-151页，2012年1月)中所描述；因此每一帧内预测模式具有其自身变换集合。举例来说，一个变换集合可为{DCT-VIII,DST-VII}。应注意，水平变换的变换集合可与竖直变换的变换集合不同，即使对于同一帧内预测模式。然而，所有帧内预测模式的不同变换集合的总数目以及新引入变换的数目受限。然而，对于帧间预测残余，仅将一个变换集合用于所有帧间模式及水平及竖直变换两者。
将多视图视频译码中的照明补偿(IC)用于补偿不同视图之间因每一相机可不同程度地暴露于光源下所致的照明偏差。通常，重量因子及/或偏移用于补偿不同视图中的经译码块与预测块之间的差异。引入照明补偿以改进从视图间参考图片预测的块的译码效率。因此，照明补偿可仅应用于由视图间参考图片预测的块。
Liu等人的“3D-CE1.h关于：用于视图间预测的照明补偿(3D-CE1.h related:Illumination Compensation for Inter-View Prediction)”(ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的3D视频译码扩展开发联合合作小组，第1次会议，瑞典，斯德哥尔摩，2012年7月16日到20日，文献JCT3V-A0086(在下文中，JCT3V-A0086))描述照明补偿(IC)。在JCT3V-A0086中，针对视图间预测启用IC。此外，如JCT3V-A0086中所描述，IC过程基于当前CU的相邻样本及参考块的相邻样本导出IC参数。在JCT3V-A0086中，IC仅适用于2N×2N分割模式。此外，在JCT3V-A0086中，对于AMVP模式，针对从视图间参考图片预测的每一CU用信号发送一个IC旗标。对于合并模式，为了节省位，仅当PU的合并索引不等于0时用信号发送IC旗标。IC旗标指示IC是否用于CU。不将IC应用于仅从时间参考图片预测的CU。
如JCT3V-A0086中所描述，用于视图间预测的线性IC模型展示于方程(6)中：
p(i,j)＝a*r(i+dvx,j+dvy+b)，其中(i,j)∈PUc (15)
在此，PUc为当前PU，(i,j)为PUc中的像素的坐标，(dvx,dvy)为PUc的视差向量，p(i,j)为PUc的预测，且r为来自相邻视图的当前PU的参考图片。a及b为线性IC模型的参数。
在JCT3V-A0086中，图19中所示的两个像素集合用于估计当前PU的参数a及b。第一像素集合包含当前CU(即，含有当前PU的CU)的左方列及上方行中的可用经重建相邻像素。第二像素集合包含当前CU的参考块的对应相邻像素。将当前PU的视差向量用于寻找当前CU的参考块。
图19说明用于估计IC模型中的参数的相邻像素。特定地说，图19包含当前CU 110及参考块112。图19的每一相应正方形对应于相应样本。因此，当前CU 110及参考块112各自包含64个样本。包括与当前CU 110相邻的圆的正方形对应于当前CU 110的相邻样本(即，Recneigh)。包括与参考块CU 112相邻的圆的正方形对应于相邻块112的相邻样本(即，Recrefneigh)。如本公开中其它处所描述，视频译码器可使用Recneigh及Refrefneigh估计IC的参数。
此外，如JCT3V-A0086中所描述，使Recneig标示由当前CU使用的相邻像素集合。使Recrefneigh标示由当前CU的参考块使用的相邻像素集合。使当前CU的大小及当前CU的参考块的大小两者都等于N×N。使2N标示Recneig及Recrefneig中的像素的数目。随后，a及b可经计算为：
在一些情况下，仅将a用于线性模型且b始终设定为等于0，或仅使用b且a始终设定为等于1。
在VCEG-AZ06中，针对每一帧间模式译码的CU适应性地启用或停用局部照明补偿(LIC)。在VCEG-AZ06中，LIC是基于使用比例因子a及偏移b的用于照明变化的线性模型。图20为说明用于如VCEG-AZ06中所描述的导出IC参数的实例相邻样本的概念图。
在VCEG-AZ06中，当LIC适用于CU时，对于属于CU的每一PU/子PU，视频译码器以使用CU的经子采样(2:1子采样)相邻样本及参考图片中的对应像素(通过当前PU/子PU的运动信息识别)的方式来导出LIC参数。对于具有等于N×N的大小的CU，用于方程(16)及(17)的界限像素的总数目为N而非2N。在图20中说明实例。因此，图20为说明用于估计照明补偿模型中的参数的实例相邻像素的概念图，其中当前CU 116的参考块114通过使用当前PU的视差向量而发现。在VCEG-AZ06中，IC参数经导出且分开应用于每一预测方向。视频译码器可采用最小平方误差方法来基于上述相邻样本导出参数a及b。
HEVC中的当前RQT设计及其它技术(例如，NSQT及IC)可具有以下缺点。举例来说，无论是使用NSQT还是HEVC的变换树，始终采用在不考虑PU信息的情况下可为次优的四分树结构。然而，HEVC仅支持帧内预测模式的正方形PU。
将2N×N及N×2N分区引入帧内模式(如JCTVC-G135中所进行)可具有以下问题。第一，不允许AMP。第二，尚未研究如何定义变换树结构以实现高译码效率。第三，LM预测模式仅已与正方形PU一起使用，且如何导出在具有非正方形PU的LM预测模式中所使用的参数α及β为未知的。第四，在现有技术中，系数必须以正方形形式重新组织，所述正方形形式可减少相邻系数之间的相关性。此外，层级当前EMT设计具有因EMT控制在CU层级下所致的问题。然而，如果CU中的每一PU的残余特性(例如，分布)不同，那么在CU层级下控制EMT并不有效。
为解决上文所提及的问题，本公开提出以下技术。可个别地应用以下详细列举的技术。替代地，可应用其任何组合。在以下描述中，CU大小由M×M标示且PU大小由K×L标示，其中K及L两者都不大于M。
根据本公开的第一实例技术，提出变换树并不限于四分之一树。举例来说，可组合变换四分树及变换二进制树。即，对于至少某一变换深度，一个TU可分裂成两个较小TU或四个较小TU。在本公开中，对于变换树的每一相应节点，相应节点的相应变换深度是指变换树的相应节点与根节点之间的变换树中的节点数目。将TU分裂成两个TU或四个TU的弹性可提高视频编码器20以将TU界限与PU界限对准的方式来构造变换树的能力。将TU界限与PU界限对准可增加压缩性能。
因此，在此实例中，视频编码器20可基于树结构将视频数据的CU分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。在此实例中，树结构中的至少一个节点恰好具有树结构中的两个子节点。在一些情况下，树结构中的至少一个节点可恰好具有树结构中的四个子节点。在此实例中，视频编码器20可将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。
在对应实例中，视频解码器30可基于树结构确定CU经分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。在此实例中，树结构中的至少一个节点恰好具有树结构中的两个子节点，且树结构中的至少一个节点恰好具有树结构中的四个子节点。在此实例中，视频解码器30可基于CU的TU中的至少一者的数据重建CU的译码块。
此外，在变换树并不限于四分的一树(即，不必为所有非叶节点均具有4个子节点的树)的实例中，对于变换深度等于0，应用具有等于M×M的大小的正方形变换。对于变换深度等于1，将变换分裂成两个或四个(取决于PU的数目)且变换大小等于K×L。对于剩余变换深度，仍应用四分树结构，其中将一个TU分裂成四个较小TU，即，对于变换深度等于2，将变换大小设定成K/2×L/2。在图21中给定实例。在变换深度1下将变换限于分裂成二或四的原因在于为使变换大小与PU大小对准，例如，如果PU大小为2N×N或N×2N，那么分裂成2可为优选的。如果PU为N×N分区，那么4向变换分裂可产生更优选结果。在另一原因中，如果对应变换矩阵为未知的，例如，如果使用AMP，那么一个16×16CU可分裂成4×16及12×16PU，而未定义12×12变换，因此，分裂成4可用于此情况。
图21为说明分区大小等于2N×N的实例变换结构的概念图。在图21及以下图式中，虚线指示下一变换深度的分裂信息。特定地说，在图21中，变换块130具有与CU的译码块相同的大小。变换块130经分割成变换块132及134。此外，在图21的实例中，将变换块132分割成变换块136、137、138及139。将变换块134分割成变换块140、141、142及143。因此，如图21中所示，根节点可具有2个子节点，但其它变换深度的节点可需要具有0个或4个子节点。
在CU的变换树不受限于四分之一树的一些实例中，应用二进制树或四分之一树。视频译码器可基于CU中的PU数目确定是否应用二进制树还是四分之一树。举例来说，当存在两个PU时，视频译码器利用二进制变换树。如果CU具有四个PU，那么视频译码器可使用四分之一树结构以将CU分割成TU。在一个实例中，选择二进制树或四分之一树的方法仅应用于某些变换深度，例如1。
因此，在此实例中，视频编码器20可基于树结构将视频数据的CU分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块，树结构的叶节点对应于CU的TU，且CU具有一或多个PU。此外，在此实例中，取决于CU的PU数目，以下各者中的恰好一者适用：树结构中的每一节点恰好具有树结构中的两个子节点，或树结构中的每一节点恰好具有树结构中的四个子节点。在此实例中，视频编码器20可将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。
在对应实例中，视频解码器30可基于树结构确定视频数据的CU经分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块，树结构的叶节点对应于CU的TU，且CU具有一或多个PU。在此实例中，取决于CU的PU数目，以下各者中的恰好一者适用：树结构中的每一节点恰好具有树结构中的两个子节点，或树结构中的每一节点恰好具有树结构中的四个子节点。此外，在此实例中，视频解码器30可基于CU的TU中的至少一者的数据重建CU的译码块。
在变换树不限于四分之一树的一些实例中，用信号发送二进制或四分之一树的分裂方法。举例来说，视频编码器20可将表示指示CU是根据二进制树还是根据四分之一树经分割成TU的语法元素的数据包含于位流中。在此实例中，视频解码器30可基于位流中的数据确定语法元素的值。此外，在此实例中，视频解码器30可基于语法元素的值确定CU是根据二进制树还是根据四分之一树经分割成TU。
此外，替代地，用信号发送可跳过某些PU分区。换句话说，视频编码器20可基于块分裂成PU的方式跳过块的变换树分裂的用信号发送。举例来说，在一个实例中，对于等于2N×N的PU分区，始终使用二进制树且因此不需要用信号发送将二进制或四分之一树分裂用于对应变换树。
根据本公开的第二技术，提出某一变换深度，变换大小等于矩形PU的PU大小。在本公开中，变换大小是指TU的变换块的大小。因此，在此实例中，对应于CU的变换树的特定深度处的节点的变换块具有与CU的PU的预测块相同的大小。如先前所论述，将TU界限与PU界限对准可改进压缩性能。
在第二技术的一个实例中，以上方法仅适用于经帧间译码CU。换句话说，视频译码标准可需要视频编码器20确保变换大小等于经帧间译码CU的PU，但此要求不适用于经帧内译码CU。
此外，在一些实例中，视频编码器20可用信号发送每一PU的一个旗标以指示此处是否存在三个色彩分量(例如，Y、Cb及Cr)的至少一个非零系数。如上文所提及，本公开的第二技术需要CU的TU的大小等于在变换树中的特定深度下的CU的PU的大小。因此，在特定深度处，变换树包含CU的每一相应PU的相应变换树节点。对于特定深度处的变换树的每一相应变换树节点，相应变换树节点对应于具有与对应PU的明度预测块及色度预测块具有相同大小及形状的明度变换块及色度变换块。因此，编码器20可通过用信号发送对应PU中的信息来用信号发送关于特定深度下的变换树节点(及特定深度下的变换树节点的后代变换树节点)的信息。举例来说，视频编码器20可在位流中用信号发送PU的第一语法元素、PU的第二语法元素及PU的第三语法元素。在此实例中，PU的第一语法元素指示对应变换树节点抑或其后代变换树节点的明度系数块中存在非零变换系数，PU的第二语法元素指示对应变换树节点抑或其后代变换树节点的Cb系数块中存在非零变换系数，且PU的第三语法元素指示对应变换树节点抑或其后代变换树节点的Cr系数块中存在非零变换系数。
在现有技术中，仅针对经帧间预测CU准许矩形PU。然而，在本公开的第二技术的一些实例中，当矩形PU(例如，2N×N、N×2N)经引入到经帧内译码CU时，还应用上述方法(即，需要变换大小在特定变换深度下等于PU大小)。
根据第三技术，一个TU可分裂成多个较小TU而较小TU的大小可不同。换句话说，视频译码器可将TU分裂成以不同方式设定大小的两个子TU。在一些情况下，将TU分裂成以不同方式设定大小的两个或多于两个子TU可改进视频译码性能情况，其中因将TU分裂成以不同方式设定大小的两个或多于两个子TU可更优选地对准子TU的界限与PU界限而启用AMP。如本公开中其它处所论述，将TU的界限与PU的界限对准可减少与预测性块之间的界限处的不连续性相关联的高频变换系数的发生率且因此增加压缩效率。举例来说，如果块(例如，CU)具有12×16PU，那么对应于12×16PU的块的一部分可分裂成两个8×8TU加两个4×4TU，或两个8×8TU加一个4×16TU。
在第三技术的一个实例中，当针对一个CU启用AMP模式时，较大PU的变换树可分裂成两个部分，其中一个部分等于较小PU且另一部分为另一TU。在图22中给定实例。图22为说明根据本公开的技术的分区大小等于N×N/4(U)的变换结构的概念图。在图22的实例中，将变换块150分割成变换块152及154。此外，在图22的实例中，将变换块152分割成变换块156、158、160及162。将变换块154分割成变换块164及166。变换深度2下的右分支展示两个分裂变换大小为不同的。即，变换块164及变换块166具有不同大小。
在第三技术的一些实例中，TU的不对称分裂仅适用于AMP情况，其中两个PU大小为不同的或一个CU含有具有不同大小的PU中的至少两者的多个PU。换句话说，如果含有TU的CU经分裂成不同大小的PU，那么视频译码器可仅将TU分裂成不同大小的子TU。
因此，在TU可分裂成以不同方式设定大小的多个TU的实例中，视频编码器20可基于树结构将CU分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。在此实例中，树结构的至少一个节点的子节点对应于不同大小的块。此外，在此实例中，视频编码器20可将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。
在对应实例中，视频解码器30可基于树结构确定CU经分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。在此实例中，树结构的至少一个节点的子节点对应于不同大小的块。此外，在此实例中，视频解码器30可基于CU的TU中的至少一者的数据重建CU的译码块。
根据本公开的第四技术，允许变换的分裂不沿CU中的同一方向(竖直或水平)进行。换句话说，CU的变换树可包含水平地分裂的变换块及竖直地分裂的变换块。允许变换块的水平及竖直分裂两者可更优选地对准CU的TU的界限与CU的PU的界限。如本公开中其它处所论述，将CU的TU的界限与CU的PU的界限对准可减少与预测性块之间的界限处的不连续性相关联的高频变换系数的发生率且因此增加压缩效率。在第四技术的一个实例中，CU的TU的水平及竖直分裂两者的使用仅适用于某些分割模式，例如，AMP。
图23为说明根据本公开的技术的分区大小等于N×N/4(U)的变换结构的概念图。在图23的实例中，CU分割沿水平方向且TU分割可来自水平及/或竖直方向。特定地说，将TU180水平地分裂成TU 182及TU 184。将TU 182分裂成TU 186、188、190及192。将TU 184水平地及竖直地分裂成TU 194、196及198。
在允许变换块的分裂沿CU中的不同方向的实例中，视频编码器20可基于树结构将CU分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。在此实例中，树结构中的第一节点恰好具有两个子节点，且对应于第一节点的子节点的块之间的界限为竖直的。另外，在此实例中，树结构中的第二节点恰好具有两个子节点，且对应于第二节点的子节点的块之间的界限为水平的。在此实例中，视频编码器20可将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。
类似地，视频解码器30可基于树结构确定CU经分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块，且树结构的叶节点对应于CU的TU。此外，在此实例中，树结构中的第一节点恰好具有两个子节点，且对应于第一节点的子节点的块之间的界限为竖直的。在此实例中，树结构中的第二节点恰好具有两个子节点，且对应于第二节点的子节点的块之间的界限为水平的。在此实例中，视频解码器30可基于CU的TU中的至少一者的数据重建CU的译码块。
根据本公开的第五技术，一个CU可含有帧内及帧间PU两者，所述帧内及帧间PU在以下描述中被称为comb_mode。在一些情况下，comb_mode的使用可增加CU的预测性块的准确度且因此可最终导致增加的压缩性能。CU的PU的预测性块的准确度为PU的预测性块的对应样本与CU的译码块的样本之间的差异的测量值。
因此，根据第五技术，视频编码器20可执行帧内预测以获得CU的第一PU的第一预测性块。另外，在此实例中，视频编码器20可执行帧间预测以获得同一CU的第二PU的第二预测性块。在此实例中，视频编码器20可基于第一预测性块及第二预测性块获得CU的残余数据。此外，在此实例中，视频编码器20可将表示CU的残余数据的数据包含于包括视频数据的经编码表示的位流中。
类似地，根据第五技术，视频解码器30可执行帧内预测以获得CU的第一PU的第一预测性块。在此实例中，视频解码器30可执行帧间预测以获得同一CU的第二PU的第二预测性块。此外，在此实例中，视频解码器30可基于第一预测性块及第二预测性块重建CU的译码块。
当使用comb_mode译码一个CU，且在竖直方向上将CU分裂成两个PU(例如在N×2N分割模式中)时，视频译码器可如下确定CU的变换树的变换深度：如果左方PU为经帧内译码PU，那么变换深度可从0起。换句话说，基于左方PU经帧内译码，允许CU的变换树的深度为0或更大。因此，在CU的变换树的深度等于0的情况下，TU大小可等于CU大小且一个TU可包括两个PU，即，跨PU界限。否则(左方PU为经帧间译码PU)，变换深度限于从1起。换句话说，CU的变换树的深度可为1或更大，但不等于0。在此实例中，当左方PU为经帧间译码PU时，TU大小应不大于PU大小。
因此，在此实例中，视频编码器20可产生符合视频译码标准的位流。在此实例中，基于CU沿竖直界限分裂成第一PU及第二PU且CU的左方PU为经帧内译码PU，视频译码标准允许CU的TU包括第一及第二PU两者。在类似实例中，视频解码器30可获得包括视频数据的经编码表示的位流。在此实例中，位流可符合视频译码标准：基于CU沿竖直界限分裂成第一PU且第二PU且CU的左方PU为经帧内译码PU，允许CU的TU包括第一及第二PU两者。在视频编码器20及视频解码器30的实例两者中，视频译码标准可提供约束条件，所述约束条件要求：基于CU沿竖直界限分裂成第一PU及第二PU且CU的左方PU为经帧间译码PU，CU的TU的TU大小不大于第一PU或第二PU的大小。
此外，当一个CU分裂成水平方向上的两个PU时，例如当使用2N×N分割模式时，视频译码器可如下确定在CU含有帧内及帧间PU两者时所使用的变换深度：如果上方PU为经帧内译码PU，那么变换深度可从0起。换句话说，CU的变换树的深度为0或更大。在此实例中，上方PU为水平划分的CU的上部PU。在变换深度为0的情况下，TU大小等于CU大小且一个TU包括两个PU。否则(即，上方PU为经帧间译码PU)，变换深度限于从1起。换句话说，CU的变换树的深度为1或更大，但不能为0。在此实例中，当上方PU为经帧间译码PU时，TU大小应不大于PU大小。
因此，在此实例中，视频编码器20可产生符合视频译码标准的位流。在此实例中，基于CU沿水平界限分裂成第一PU及第二PU且CU的上方PU为经帧内译码PU，视频译码标准允许CU的TU包括第一及第二PU两者。另外，在一些实例中，位流符合提供约束条件的视频译码标准，所述约束条件要求：基于CU沿水平界限分裂成第一PU且第二PU且CU的上方PU为经帧间译码PU，CU的TU的TU大小不大于第一PU或第二PU的大小。
在类似实例中，视频解码器30可获得包括视频数据的经编码表示的位流。在此实例中，位流符合视频译码标准：当CU沿水平界限分裂成第一PU及第二PU且CU的上方PU为经帧内译码PU时，允许CU的TU包括第一及第二PU两者。另外，在一些实例中，视频解码器30获得符合提供约束条件的视频译码标准的位流，所述约束条件要求：基于CU沿水平界限分裂成第一PU及第二PU且CU的上方PU为经帧间译码PU，CU的TU的TU大小不大于第一PU或第二PU的大小。
在一些实例中，当使用comb_mode译码一个CU时，添加约束条件使得TU不应跨PU界限。此约束条件可减少编码器复杂度，这是由于不需要检查TU可跨PU界限的情况下的率失真成本。因此，在此实例中，视频编码器20可产生符合提供约束条件的视频译码标准的位流，所述约束条件要求：基于CU具有经帧内译码PU及经帧间译码PU，CU的TU不跨越CU的PU界线。在类似实例中，视频解码器30可获得包括视频数据的经编码表示的位流。在此实例中，位流符合提供约束条件的视频译码标准，所述约束条件要求：基于CU具有经帧内译码PU及经帧间译码PU，CU的TU不跨越CU的PU界限。
此外，在涉及comb_mode的一些实例中，将comb_mode限于仅应用于大于(不包含)例如8×8的某一大小的CU。应注意，对于较小块，增加用信号发送comb_mode是否应用于CU的位可不补偿由comb_mode引入的经节省率失真成本。因此，对于某些较小大小，在无需额外用信号发送的情况下可始终停用comb_mode。在本公开中，约束条件可防止视频编码器执行某一动作或以某一方式产生位流。举例来说，视频编码器20可产生符合提供约束条件的视频译码标准的位流，所述约束条件要求：不允许小于特定大小的CU具有经帧内译码PU及经帧间译码PU两者。在类似实例中，视频解码器30可获得包括视频数据的经编码表示的位流。在此实例中，位流符合提供约束条件的视频译码标准，所述约束条件要求：不允许小于特定大小的CU具有经帧内译码PU及经帧间译码PU两者。
在涉及comb_mode的一些实例中，可使用具有一个8×4帧内PU及一个8×4帧间PU，或一个4×8帧内PU及一个4×8帧间PU的comb_mode译码一个8×8CU。在此实例中，可仅使用经帧间译码明度PU的帧间预测模式或仅使用经帧内译码明度PU的帧内预测模式来译码此8×8CU的对应4×4色度块(在4:2:0色彩格式中)，或4×4色度块基于明度PU分区进一步对应地分割为两个4×2或2×4块，且两个4×2或2×4中的每一者由对应明度预测模式预测，且产生4×4残余块且对所产生44残余块执行4×4变换以避免引入2×2变换。2×2变换的引入可能不可避免地增加复杂度。
因此，在以上实例中，视频编码器20可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。另外，在此实例中，视频编码器20可执行帧间预测以获得同一CU的第二PU的第二预测性块。在此实例中，CU的大小为2N×2N，第一PU的大小为2N×N且第二PU的大小为N×2N，或第一PU的大小为N×2N且第二PU的大小为2N×N。此外，在此实例中，使用4:2:0色彩格式译码CU。在此实例中，第一PU的第一预测性块为第一PU的明度预测性块。在此实例中，第二PU的第二预测性块为第二PU的明度预测性块。在此实例中，视频编码器20仅使用帧间预测以获得第三预测性块，所述第三预测性块为大小N×N的色度预测性块。在此实例中，视频编码器20基于第一、第二及第三预测性块获得CU的残余数据。类似实例替换仅使用帧内预测获得第三预测性块而非帧内预测的视频编码器20，而非基于第一、第二及第三预测性块获得CU的残余数据的视频编码器20。
另外，在对应实例中，视频解码器30可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频解码器30可执行帧间预测以获得同一CU的第二PU的第二预测性块。在此实例中，CU的大小为2N×2N，第一PU的大小为2N×N且第二PU的大小为N×2N，或第一PU的大小为N×2N且第二PU的大小为2N×N，且使用4:2:0色彩格式译码CU。此外，在此实例中，第一PU的第一预测性块为第一PU的明度预测性块，且第二PU的第二预测性块为第二PU的明度预测性块。在此实例中，视频解码器30仅使用帧间预测获得第三预测性块，所述第三预测性块为大小N×N的色度预测性块。此外，在此实例中，视频解码器30可基于第一、第二及第三预测性块重建CU的译码块。类似实例替换仅使用帧内预测获得第三预测性块而非帧内预测的视频解码器30的不同配置。
如上文所提及，在一些实例中，可使用具有一个8×4帧内PU及一个8×4帧间PU，或一个4×8帧内PU及一个4×8帧间PU的comb_mode译码一个8×8CU译码，且可仅使用经帧间译码明度PU的帧间预测模式来译码此8×8CU的对应4×4色度块，视频译码器可基于明度PU分区将4×4色度块对应地分割为两个4×2或2×4块，视频译码器通过对应明度预测模式预测两个4×2或2×4中的每一者，且视频译码器产生4×4残余块且对所产生4×4残余块执行4×4变换。
因此，在这些实例中，视频编码器20可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。另外，在此实例中，视频编码器20可执行帧间预测以获得同一CU的第二PU的第二预测性块。在此实例中，CU的大小为2N×2N，第一PU的大小为2N×N且第二PU的大小为N×2N，或第一PU的大小为N×2N且第二PU的大小为2N×N，且使用4:2:0色彩格式译码CU。此外，第一PU的第一预测性块为第一PU的明度预测性块，且第二PU的第二预测性块为第二PU的明度预测性块。在此实例中，视频编码器20可使用第一PU的帧内预测模式产生第一PU的色度预测性块。此外，在此实例中，视频编码器20可使用帧间预测产生第二PU的色度预测性块。在此实例中，视频编码器20可基于第一预测性块、第二预测性块、第一PU的色度预测性块及第二PU的色度预测性块获得CU的残余数据。
在类似实例中，视频解码器30可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频解码器30可执行帧间预测以获得同一CU的第二PU的第二预测性块。在此实例中，CU的大小为2N×2N，第一PU的大小为2N×N且第二PU的大小为N×2N，或第一PU的大小为N×2N且第二PU的大小为2N×N，且使用4:2:0色彩格式译码CU。此外，在此实例中，第一PU的第一预测性块为第一PU的明度预测性块，且第二PU的第二预测性块为第二PU的明度预测性块。在此实例中，视频解码器30可使用第一PU的帧内预测模式产生第一PU的色度预测性块。视频解码器30可使用帧间预测产生第二PU的色度预测性块。此外，视频解码器30可基于第一预测性块、第二预测性块、第一PU的色度预测性块及第二PU的色度预测性块重建CU的译码块。
另外，在涉及comb_mode的一些实例中，当使用两个或多于两个PU译码一个CU且使用帧间及帧内预测模式两者时，对于经帧间译码PU，以与当前HEVC设计相同的方式处理CU。即，将重建定义为在可能的逆量化/变换之后的经解码残余与使用其运动信息的经运动补偿预测块的总和。另外，对于经帧内译码PU，视频译码器使用涉及两个预测子的过程，即，将重建定义为在可能的逆量化/变换之后的经解码残余与使用来自其相邻经帧间译码PU的运动信息的经运动补偿预测块及使用与当前PU相关联的帧内预测模式的帧内预测块的总和。
因此，在此实例中，视频编码器20可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频编码器20可执行帧间预测以获得同一CU的第二PU的第二预测性块。此外，在此实例中，作为获得CU的残余数据的部分，针对对应于第一PU的残余数据的每一相应样本，视频编码器20可获得相应样本，使得相应样本等于CU的译码块的相应样本减使用第二PU的运动信息获得的预测性样本且减第一预测性块的样本。使用运动信息获得的预测性样本可为帧间预测性PU的预测性块的样本。
在对应实例中，视频解码器30可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频解码器30可执行帧间预测以获得同一CU的第二PU的第二预测性块。此外，在此实例中，作为重建CU的译码块的部分，针对对应于第一PU的译码块的每一相应样本，视频解码器30可获得相应样本，使得相应样本等于相应经解码残余样本、使用第二PU的运动信息获得的预测性样本及第一预测性块的样本的总和。
替代地，在涉及comb_mode的一些实例中，当使用两个或多于两个PU译码一个CU且使用帧间及帧内预测模式两者时，对于经帧内译码PU，重建CU的译码块的过程与当前HEVC设计相同，即，将重建定义为在可能的逆量化/变换之后的经解码残余与使用其帧内预测模式的帧内预测块的总和。另外，对于CU的经帧间译码PU，用于重建对应于经帧间译码PU的译码块的部分的过程与HEVC中的重建过程不同，因为两个预测子是针对经帧间译码PU定义。此外，针对对应于经帧间译码PU的样本的CU的译码块的每一样本，所述样本经定义为经解码残余样本(例如，在可能的逆量化/变换之后)与使用经帧间译码PU的运动信息产生的经帧间译码PU的经运动补偿预测的样本及使用与邻接经帧间译码PU的经帧内译码PU相关联的帧内预测模式产生的帧内预测块的样本的总和。
因此，在此实例中，视频编码器20可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频编码器20可执行帧间预测以获得同一CU的第二PU的第二预测性块。此外，在此实例中，作为获得CU的残余数据的部分，针对对应于第二PU的残余数据的每一相应样本，视频编码器20可获得相应样本，使得相应样本等于CU的译码块的相应样本减使用第一PU的帧内预测模式获得的预测性样本且减第二预测性块的样本。
在对应实例中，视频解码器30可执行帧内预测以获得视频数据的CU的第一PU的第一预测性块。在此实例中，视频解码器30可执行帧间预测以获得同一CU的第二PU的第二预测性块。此外，在此实例中，作为重建CU的译码块的部分，针对对应于第二PU的译码块的每一相应样本，视频解码器30可获得相应样本，使得相应样本等于相应经解码残余样本、使用第一PU的帧内预测模式获得的预测性样本及第一预测性块的样本的总和。
在一个实例中，当允许两个预测子时，两个预测块与线性加权函数组合，例如，两者的平均值。举例来说，例如视频编码器20或视频解码器30的视频译码器可使用帧内预测以产生PU的第一预测性块且可使用帧间预测以产生PU的第二预测性块。在此实例中，针对最终预测性块的每一相应样本，视频译码器可通过确定对应于最终预测性块的相应样本的第一及第二预测性块的样本的加权平均值而确定PU的最终预测性块。在此实例中，与经帧内预测的预测性块相比，用于加权平均值的权重可有助于经帧间预测的预测性块，或反之亦然。在一些情况下，使用此类线性加权函数可导致更准确的最终预测性块，所述块可最终增加压缩性能。线性加权因子可经用信号发送为旁侧信息或从某些经译码信息导出。
举例来说，针对对应于CU的PU的CU的译码块的每一相应样本，视频编码器20可获得相应样本的第一预测性样本及相应样本的第二预测性样本。举例来说，可使用帧间预测产生相应样本的第一预测性样本，且可使用帧内预测产生相应样本的第二预测性样本。在此实例中，视频编码器20可通过将线性加权函数应用于相应样本的第一预测性样本及相应样本的第二预测性样本来确定相应样本的经加权预测性样本。另外，在此实例中，视频编码器20可确定等于相应样本的初始值与相应样本的经加权预测性样本之间的差的相应样本的残余样本。
类似地，针对译码块的每一相应样本，视频解码器30可获得相应样本的残余样本。举例来说，视频解码器30可从位流获得指示变换系数的语法元素，将逆量化应用于变换系数，且将逆变换应用于变换系数以获得残余样本。此外，在此实例中，视频解码器30可确定相应样本的第一预测性样本及相应样本的第二预测性样本。举例来说，可使用帧间预测产生相应样本的第一预测性样本，且可使用帧内预测产生相应样本的第二预测性样本。在此实例中，视频解码器30可通过将线性加权函数应用于相应样本的第一预测性样本及相应样本的第二预测性样本而确定相应样本的经加权预测性样本。另外，在此实例中，视频解码器30可将相应样本重建为相应样本的残余样本与相应样本的经加权预测性样本的总和。
当针对切片、图片或序列(即，经译码视频序列)启用comb_mode时，以下实例指示comb_mode的使用。在HEVC中，CU包含1位pred_mode_flag语法元素。CU的pred_mode_flag语法元素等于0指定CU是以帧间预测模式译码。CU的pred_mode_flag语法元素等于1指定CU是以帧内预测模式译码。根据本公开的一个实例，CU的1位pred_mode_flag由具有三个可能值的语法元素替换。在此实例中，所述三个值分别对应于常规帧内模式、常规帧间模式及comb_mode。在此实例中，常规帧内模式是指CU的所有PU是使用帧内预测模式译码的情况。此外，在此实例中，常规帧间预测模式是指CU的所有PU是使用帧间预测模式译码的情况。在一些实例中，当针对CU启用comb_mode时，对于CU的仅一个PU，视频编码器20用信号发送1位值以指示PU是以帧内预测模式还是帧间预测模式译码。由于CU是以comb_mode译码，另一PU为与针对其用信号发送1位值的PU不同的预测模式。在另一实例中，comb_mode被视为常规帧间模式。在此实例中，对于CU的每一PU，添加额外旗标以指示帧内或帧间预测模式的使用。
在本公开的第七技术中，可从帧内预测及帧间预测两者预测一个PU，且将来自帧内预测及帧间预测的两个预测性块用于导出PU的最终预测性块。以此方式导出最终预测性块可产生PU的更准确预测性块，此可增加压缩性能。
因此，根据第七技术，视频编码器20可执行帧内预测以获得CU的第一PU的第一预测性块。另外，在此实例中，视频编码器20可执行帧间预测以获得同一CU的同一PU的第二预测性块。在此实例中，视频编码器20可基于第一预测性块及第二预测性块导出PU的最终预测性块。此外，视频编码器20可基于PU的最终预测性块获得CU的残余数据。举例来说，视频编码器20可通过计算PU的最终预测性块的样本与CU的译码块的对应样本之间的差来产生CU的残余数据的至少一部分。在此实例中，视频编码器20可将表示CU的残余数据的数据包含于包括视频数据的经编码表示的位流中。
在对应实例中，视频解码器30可执行帧内预测以获得CU的PU的第一预测性块。另外，在此实例中，视频解码器30可执行帧间预测以获得同一CU的相同PU的第二预测性块。在此实例中，视频解码器30可基于第一预测性块及第二预测性块导出PU的最终预测性块。此外，在此实例中，视频解码器30可基于PU的最终预测性块重建CU的译码块。举例来说，视频解码器30可将PU的最终预测性块添加到CU的残余数据以重建CU的译码块的至少一部分。
此外，在第七技术的一些实例中，视频译码器将线性加权函数应用于两个预测块，例如，位于两个预测块的同一相对位置中的像素的加权因子为固定的。在一些实例中，不同位置的加权因子可为可变的。此外，在一些实例中，加权因子取决于帧内预测模式。在一个实例中，对于块内的左上位置，如果帧内预测模式为DC模式，那么帧间及帧内预测性块中的左上样本的权重相等，即，(0.5,0.5)，而如果帧内预测为竖直预测模式，那么帧内预测性块中的左上样本的权重可大于帧间预测性块中的左上样本的权重。
在第七技术的一些实例中，一或多个位置(但并非所有位置)处的一个像素的最终预测值可从帧内预测块或帧间预测块复制，即，两个加权因子中的一者为0且另一者为1。
在一些实例中，将第七技术应用于特定分区大小(例如，2N×2N)及/或特定预测模式(合并/跳过模式)。此外，在一些实例中，当应用第七技术时，帧内预测模式限于用于常规帧内预测的帧内预测模式的子集。在一个实例中，子集经定义仅包含MPM(最可能模式)。
如上文所论述，视频译码器可基于相同块的经重建明度样本使用线性模型(LM)预测模式来预测块的色度样本。此外，如上文所描述，LM预测模式尚未与非正方形PU一起使用。根据本公开的第八技术，视频译码器可使用具有非正方形PU的LM预测模式。更一般地说，用于应用LM预测模式的相同技术与非正方形明度及色度块一同起作用。因此，一般来说，本公开中与关于非正方形PU的第八技术有关的论述可应用于非正方形明度及色度块，例如，PU的明度预测块及色度预测块。此外，第八技术的实例可以若干方式导出用于LM预测模式的参数。
举例来说，在第八技术的一些实例中，非正方形PU的较长侧处的界限经下采样或子采样，使得经下采样或经子采样界限中的像素数目等于较短界限中的像素数目。所述过程可为抽取或内插采样。在视频解码器30使用抽取执行子采样的实例中，视频解码器30可以规律间隔(例如，每隔一个样本)去除样本以减小样本数目而不改变剩余样本的值。在另一实例中，视频解码器30可使用内插法执行子采样。在视频解码器30使用内插法执行子采样的实例中，对于相邻样本的相应对，视频解码器30可在相应对的样本之间内插值且可包含经子采样样本集合中的内插值。
因此，在本公开的第八技术的实例中，视频编码器20可执行线性模型预测操作以从PU的经下采样或子采样的经重建明度样本预测CU的非正方形PU的预测性色度块。此外，在此实例中，视频编码器20可基于预测性色度块获得CU的残余数据。在此实例中，视频编码器20可将表示CU的残余数据的数据包含于包括视频数据的经编码表示的位流中。在对应实例中，视频解码器30可执行线性模型预测操作以从PU的经下采样的经重建明度样本预测视频数据的当前图片的CU的非正方形PU的预测性色度块。在此实例中，视频解码器30可部分基于预测性色度块重建CU的译码块。在所述段落的实例中的任一者中，视频编码器20或视频解码器30可对非正方形PU的较长侧的明度样本进行下采样或子采样，使得非正方形PU的较长侧上的经下采样或子采样明度样本的数目与非正方形PU的较短侧上的明度样本相同。
在一个实例中，当使用方程(4)及方程(5)计算线性模型参数时，对于明度及色度分量两者，非正方形PU的较长侧处的界限的像素经子采样使得经下采样或子采样界限中的像素的数目等于较短界限(即，最小(K,L))中的像素的数目。子采样过程可为抽取或内插采样。
因此，在此实例中，作为执行LM预测操作的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中第一参数等于：
且第二参数等于：
β＝(∑yi-α·∑xi)/I，
其中I为非正方形PU的左上界限中的参考样本的数目，xi为经下采样或子采样的经重建明度参考样本，yi为经重建色度参考样本。
替代地，在一些实例中，位于PU的较长及较短侧两者处的像素可经子采样且子采样比率可不同。子采样比率为子采样之前的样本比子采样之后的样本的比率。然而，可能要求子采样之后两侧处的像素的总数目应等于2m(其中m为整数，m可针对明度及色度分量不同)。m的值可取决于块大小K及L。
因此，在此实例中，作为执行LM预测操作的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中第一参数等于：
且第二参数等于：
β＝(∑yi-α·∑xi)/I，
其中I为参考样本集合中的参考样本的数目，xi为经重建明度参考样本，且yi为经重建色度参考样本。在此实例中，参考样本集合为左方参考样本与上方参考样本经子采样集合，左方参考样本紧接在当前PU的左方界限的左方且上方参考样本紧接在当前PU的顶部界限的上方。
在第八技术的另一实例中，基于界限中的实际像素数目调整方程(4)及(5)中的像素数目I。举例来说，对于2N×N PU，I＝3N。当仅左方或上方因果样本为可用时，所有所涉及样本数目I等于左方或上方界限的长度。因此，视频译码器可计算α如下：
另外，视频译码器可计算β如下：
β＝(∑yi-α·∑xi)/3N。
当针对一个非正方形色度PU(具有等于K×L的大小，其中K不等于L)启用LM时，参数(即，a及b)可以各种方式导出。举例来说，当使用方程(4)及方程(5)计算线性模型参数时，对于明度及色度分量两者，非正方形PU的较短侧处的界限的像素经上采样，使得经上采样界限中的像素的数目等于较长界限(即，最大(K，L))中的像素的数目。上采样过程可为复制或内插采样。复制上采样过程为其中复制现有样本以产生新样本的上采样过程。内插上采样过程通过基于两个或多于两个现有样本内插新样本的值而增大样本的数目。
因此，在此实例中，作为执行LM预测操作的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中在方程(4)及(5)中定义第一参数及第二参数。在此实例中，参考样本集合为经上采样左方参考样本及上方参考样本的集合，左方参考样本紧接在当前PU的左方界限的左方且上方参考样本紧接在当前PU的顶部界限的上方。在此实例中，视频译码器可通过将上采样方法应用于左边参照样本及/或上方参考样本而确定参考样本集合。举例来说，上采样方法可上采样对应于当前PU的左方界限及当前PU的顶部界限中的较短者的左边参考样本或上方参考样本中的任一者，而非为当前PU的左方参考样本及当前PU的上方参考样本中的较长者的任一者。
在一些实例中，位于PU的较长及较短侧两者处的像素可经上采样且上采样比率可不同。然而，可能要求上采样之后两侧处的像素总数目应等于2m(其中m为整数，m可针对明度及色度分量不同)。m的值可取决于块大小K及L。换句话说，m取决于PU的高度及/或宽度。举例来说，PU可为8×16，且视频译码器可上采样参考样本，使得沿PU的左侧存在32个参考样本且沿PU的顶侧存在32个参考样本。在此实例中，m等于6。在另一实例中，PU可为4×8，且视频译码器可上采样参考样本，使得沿PU的左侧存在16个参考样本且沿PU的顶侧存在16个参考样本。在此实例中，m等于4。
此外，在第八技术的一些实例中，当使用方程(4)及方程(5)计算LM参数时，对于明度及色度分量两者，非正方形PU的较短侧处的界限的像素经上采样，且较长界限(即，最大(K,L))的像素经子采样，使得经上采样较短界限中的像素数目等于经子采样较长界限中的像素数目。上采样过程可为复制或内插采样。子采样过程可为抽取或内插采样。
因此，在此实例中，作为执行LM预测操作的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中如在方程(4)及(5)中定义第一参数及第二参数。在此实例中，参考样本集合为经上采样参考样本集合及经子采样参考样本集合的联合，经上采样参考样本集合为含有左方参考样本及上方参考样本中的极少样本中的任一者的经上采样版本。在此实例中，经子采样参考样本集合为含有左方参考样本及上方参考样本中的更多样本中的任一者的经子采样版本。在此实例中，左边参考样本紧接在当前PU的左方界限的左方且上方参考样本紧接在当前PU的顶部界限的上方。
在一些实例中，对于上文所提及的第八技术的实例，在子采样或上采样过程之后，仅针对明度分量的下采样过程(例如，如本公开中其它处所描述)可进一步经应用以包括色彩格式并非4:4:4的情况。因此，基于当前图片的色彩格式并非4:4:4，视频译码器可对预测性块的明度样本进行子采样或下采样。在一些实例中，明度样本的两个下采样过程可合并成一个。
此外，在第八技术的一些实例中，可应用界限像素的子采样/上采样的不同方式。在一个实例中，子采样/上采样方法取决于PU大小(即，K及L的值)。在另一实例中，用于子采样/上采样的方法可在序列参数集、图片参数集、切片标头或另一语法结构中用信号发送。
在第八技术的一些实例中，以隐式方式实施上采样/下采样(或子采样)。换句话说，隐式地确定上采样或子采样技术。即，总和值，例如左侧界限或/及顶侧界限的方程(4)及方程(5)中的∑xi·yi、∑xi及∑yi乘以或除以因子S。S的值可取决于左侧界限或/及上侧界限中的像素数目的比率。
因此，在此实例中，作为执行LM预测操作以对预测性色度块进行预测的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中第一LM参数等于：
其中S取决于非正方形PU的左方界限或/及上部界限中的像素数目的比率，I为根据子采样方法确定的当前PU的左方及顶部界限中的样本子集中的参考样本的数目，xi为经子采样的经重建明度参考样本，且yi为经重建色度参考样本。在一些实例中，针对K×L色度块，S＝最大(K,L)/最小(K,L)。
如上文所描述，已经提出使用DST-VII、DCT-VIII、DST-I及DCT-V的增强型多重变换(EMT)方案。此外，如上文所论述，在使用旗标(即，EMT旗标)的CU层级下控制是否将EMT应用于CU内的所有TU。对于具EMT功能的CU内的每一TU，通过索引(即EMT索引)将待使用的水平或竖直变换用信号发送到所选变换集合。
然而，如果CU中的每一PU的残余特性不同，那么控制如先前所提出的EMT方案可并非有效的。举例来说，对于CU内的经帧内译码PU及经帧间译码PU，控制如先前所提出的EMT方案可并非有效的。因此，根据本公开的第九技术，当针对一个切片、图片或序列启用EMT且在竖直方向上将一个CU分裂成两个PU(例如，N×2N分区)时，通过以下方式修改EMT旗标的用信号发送：如果左方PU为经帧内译码PU，那么变换深度可为0。换句话说CU的变换树可具有为0或更大的深度。在此情况下，可在CU层级用信号发送EMT旗标。如果变换深度不为0，那么可在PU层级用信号发送EMT旗标。因此，可或可不针对每一PU启用EMT。
此外，根据本公开的第九技术，当针对一个切片、图片或序列启用EMT时，且当在水平方向上将一个CU分裂成两个PU(例如，2N×N分区)时，通过以下方式修改EMT旗标的用信号发送：如果上方PU为经帧内译码PU，那么变换深度可为0。换句话说，CU的变换树可具有为0或更大的深度。在此情况下，可在CU层级用信号发送EMT旗标。如果变换深度不为0，那么可在PU层级用信号发送EMT旗标。即，每一PU可启用EMT或不启用EMT。
因此，根据第九技术，视频编码器20可将第一语法元素包含于包括视频数据的经编码表示的位流中。第一语法元素指示是否针对沿界限分割成恰好两个PU的特定CU启用EMT。在此实例中，第一语法元素是在特定CU还是两个PU中的特定PU中取决于CU的PU的分裂方向。此外，在此实例中，基于针对特定CU启用EMT，对于特定CU的每一相应TU，视频编码器20可将指示相应TU的相应所选变换集合的相应语法元素包含于位流中。在此实例中，基于针对特定CU启用EMT，视频编码器20可将相应所选变换集合中的一或多个变换应用于相应TU的变换系数，从而获得样本域中的相应TU的相应变换块。在此实例中，视频编码器20可将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。在此实例中，界限可为水平界限或界限可为竖直界限。
在对应实例中，视频解码器30可获得第一语法元素。第一语法元素指示是否针对沿界限分割成恰好两个PU的特定CU启用EMT。在此实例中，第一语法元素是在特定CU还是两个PU中的特定PU中取决于CU的PU的分裂方向。在此实例中，响应于确定针对特定CU启用EMT，对于特定CU的每一相应TU，视频解码器30可获得指示相应TU的相应所选变换集合的相应语法元素。另外，响应于确定针对特定CU启用EMT，对于特定CU的每一相应TU，视频解码器30可将相应所选变换集合中的一或多个变换的逆向应用于相应TU的变换系数，从而获得样本域中的相应TU的相应变换块。在此实例中，视频解码器30可至少部分基于CU的TU的变换块重建CU的译码块。在此实例中，界限可为水平界限或界限可为竖直界限。
根据本公开的第十技术，若干变换树结构可适用于对一个切片、图片或序列进行译码。举例来说，在一个实例中，预定义变换树结构。在一些实例中，对于每一图片、切片、最大译码单元、CU或PU，视频编码器20可用信号发送所选变换树结构。替代地，在一些实例中，视频解码器30可从经译码信息(例如，预测模式/分区大小)导出所选变换树。
因此，根据第十技术，视频编码器20可基于从多个预定义树结构中的特定树结构将视频数据的CU分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。此外，在此实例中，树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。另外，在此实例中，视频编码器20将表示CU的TU中的一或多者的数据包含于包括视频数据的经编码表示的位流中。在一些实例中，视频编码器20可进一步将包含识别特定树结构的一或多个语法元素包含于位流中。在一些实例中，指示适用于CU的特定树结构的一或多个语法元素在以下各者中的一者中：图片、切片、LCU、CU及PU。此外，在一些实例中，作为确定CU经分割成TU的部分，视频编码器20从经译码信息确定特定树结构而无需显式用信号发送特定树结构。在这些实例中，经译码信息可包括以下各者中的至少一者：预测模式及分区大小。
在对应实例中，视频解码器30可基于来自多个预定义树结构中的特定树结构确定视频数据的CU经分割成CU的TU。在此实例中，树结构的根节点对应于CU的译码块。树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。在此实例中，树结构的叶节点对应于CU的TU。另外，在此实例中，视频解码器30可基于CU的TU中的至少一者的数据重建CU的译码块。在一些实例中，视频解码器30可从包括经编码视频数据的位流获得识别特定树结构的一或多个语法元素。指示适用于CU的特定树结构的一或多个语法元素在以下各者中的一者中：图片、切片、LCU、CU及预测单元。此外，在一些实例中，作为确定CU经分割成TU的部分，视频解码器30可从经译码信息确定特定树结构而无需显式用信号发送特定树结构。经译码信息可包括以下各者中的至少一者：预测模式及分区大小。
在本公开的第十一实例中，具有等于1×N及N×1的大小的变换还可应用于经帧间译码块。举例来说，在一个实例中，仅针对特定变换深度(例如，最高变换深度)允许此类TU。在一些实例中，仅针对特定译码块(例如，等于8×8的CU大小)允许此类TU。此外，在一些实例中，第十一技术仅适用于特定色彩分量，例如明度。
因此，根据第十一技术，视频编码器20可通过将1×N或N×1变换应用于经帧间译码块的残余数据而确定变换域数据(例如，变换系数)。在此实例中，视频编码器20可将表示变换域数据的数据包含于包括视频数据的经编码表示的位流中。在对应实例中，视频解码器30可通过将1×N或N×1变换应用于经帧间译码块的变换系数而确定样本域数据。在此实例中，视频解码器30可部分基于样本域数据重建视频数据的CU的译码块。举例来说，视频解码器30可将样本域数据的样本添加到残余数据的对应样本以重建CU的译码块。在一些情况下，对于上文涉及视频编码器20及视频解码器30的第十一技术的实例，仅针对特定变换深度允许1×N及N×1变换。另外，在一些情况下，对于上文涉及视频编码器20及视频解码器30的第十一技术的实例，仅针对特定大小的CU允许1×N及N×1变换。
根据本公开的第十二技术，针对经帧间译码CU定义于HEVC中的不对称运动分割还应用于经帧内译码CU。将经帧内预测CU不对称地分割成PU可使得视频编码器20能够更准确地将CU划分成对应于不同对象的区域，此可增加压缩性能。因此，根据第十二技术的实例，视频编码器20可将视频数据的经帧内预测CU不对称地分割成PU。在此实例中，视频编码器20可确定经帧内预测CU的每一相应PU的相应预测性块。此外，在此实例中，视频编码器20可基于经帧内预测CU的PU的预测性块及经帧内预测CU的译码块获得残余数据。另外，在此实例中，视频编码器20可将表示残余数据的数据包含于包括视频数据的经编码表示的位流中。
在第十二技术的对应实例中，视频解码器30可确定视频数据的经帧内预测CU经不对称地分割成PU。在此实例中，视频解码器30可确定经帧内预测CU的每一相应PU的相应预测性块。另外，在此实例中，视频解码器30可基于经帧内预测CU的PU的预测性块重建经帧内预测CU的译码块。
根据本公开的第十三技术，当一个经帧内译码CU含有多个PU时，每一PU可具有其自身色度预测模式。换句话说，PU可具有第一帧内预测模式(即，明度预测模式)及第二帧内预测模式(即，色度预测模式)。视频译码器可使用明度预测模式确定PU的明度预测性块且可使用色度预测模式确定PU的色度预测性块。因此，根据第13技术，视频编码器20可确定视频数据的经帧内预测CU具有至少第一PU及第二PU。在此实例中，第一PU及第二PU具有不同色度预测模式。此外，在此实例中，视频编码器20可至少基于第一PU及第二PU的预测性块及CU的译码块将表示残余数据的数据包含于包括视频数据的经编码表示的位流中。
在第13技术的对应实例中，视频解码器30可确定视频数据的经帧内预测CU具有至少第一PU及第二PU。在此实例中，第一PU及第二PU具有不同色度预测模式。此外，在此实例中，视频解码器30可至少基于第一PU及第二PU的预测性块重建CU的译码块。
此外，根据第13技术的实例，对于译码后续PU，可考虑经先前译码PU的色度帧内预测模式。如此，视频译码器可至少部分基于按译码次序在当前PU之前的PU的色度预测模式确定当前PU的色度预测模式。举例来说，视频译码器可在用于当前PU的色度帧内预测模式的上下文模型化中使用经先前译码PU的色度帧内预测模式。上下文模型化可包括对上下文自适应性熵译码的译码上下文的识别。译码上下文可指示值的概率。在另一实例中，视频译码器可添加经先前译码PU的色度帧内预测模式作为色度帧内预测模式列表的一个新的候选者。
在第13技术的一些实例中，可首先在CU层级处译码一个旗标以指示所有PU是否共享相同色度帧内预测模式。因此，在此实例中，视频编码器20可将指示经帧内预测CU的所有PU是否共享相同色度帧内预测模式的语法元素包含于位流中。类似地，视频编码器20可从包括视频数据的经编码表示的位流获得指示经帧内预测CU的所有PU是否共享相同色度帧内预测模式的语法元素。
此外，在第十三技术的一些实例中，一个CU内的所有色度PU经限定以遵循相同变换树。通过将一个CU内的所有色度PU限于遵循相同变换树，视频编码器20可不必将指示不同色度PU的不同变换树的结构的数据包含于位流中。因此，视频编码器20可产生符合限制视频编码器产生位流的视频译码标准的位流，其中CU的色度PU具有以不同方式构造的变换树。类似地，视频解码器30可获得包括视频数据的经编码表示的位流。在此实例中，位流符合限制视频编码器产生位流的视频译码标准，其中CU的色度PU具有以不同方式构造的变换树。
在本公开的第十四实例中，当一个经帧内译码CU含有多个矩形PU时，视频译码器可应用依靠模式的扫描。依靠模式的扫描为用于将TU的2维系数块中的变换系数扫描成用于熵编码的1维系数向量的扫描次序。视频编码器20可基于将哪一帧内预测模式用于对应于TU的PU而选择依靠模式的扫描以用于扫描来自多个可用扫描次序中的TU的变换系数。对应于TU的PU可与TU共同延伸或含有与TU相关联的区域。使用依靠模式的扫描可更优选地布置CABAC的变换系数。在HEVC中，仅针对8×8及4×4TU允许依靠模式的扫描。
因此，根据第十四技术的实例，视频编码器20可基于2维变换系数块获得残余数据。在此实例中，视频编码器20可获得视频数据的经帧内预测CU的多个矩形PU中的每一者的预测性块。此外，在此实例中，视频编码器20可应用依靠模式的扫描以将变换系数的2维块布置成对应于CU的TU的变换系数的1维阵列。在此实例中，视频编码器20可将表示变换系数的1维阵列的数据包含于包括视频数据的经编码表示的位流中。
在类似实例中，视频解码器30可应用依靠模式的扫描以将变换系数的1维阵列布置成对应于视频数据经帧内预测CU的TU的2维变换系数块。在此实例中，经帧内预测CU具有多个矩形PU。此外，在此实例中，视频解码器30可基于变换系数块获得残余数据。另外，视频解码器30可获得PU中的每一者的预测性块。在此实例中，视频解码器30可基于残余数据及预测性块重建CU的译码块。
在第十四技术的一个实例中，依靠模式扫描的应用限于某些TU大小，例如8×4或4×8。在一些实例中，依靠模式的扫描限于某些CU大小，例如仅8×8或8×8及16×16。此外，在一些实例中，可再使用HEVC中的帧内预测模式与用于等于8×8及4×4的TU大小的扫描模式之间的映射的规则。在一些实例中，可应用取决于矩形TU大小的不同映射函数。
如本公开中其它处所描述，VCEG-AZ07提出使用4分接头帧内内插滤波器改进关于用于HEVC的2分接头帧内内插滤波器的方向帧内预测的精确度。然而，VCEG-AZ07不指示视频译码器选择用于非正方形经帧内译码PU的4分接头帧内内插滤波器的方式。相反地，VCEG-AZ07指定视频译码器针对4×4及8×8块使用立方内插滤波器，且针对16×16及更大块使用高斯内插滤波器。在本公开的第十五技术中，对于具有等于K×L的大小的非正方形经帧内译码PU，当关于四分接头帧内内插滤波器确定如本公开中其它处所描述的4分接头滤波器类型或扫描模式时，非正方形经帧内译码PU被视为等于N×N的变换大小，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)，其中log2为二进制对数，且>>及<<分别为逻辑右移及左移。
因此，在第十五技术的实例中，视频编码器20可确定用于视频数据的CU的非正方形经帧内译码PU的4分接头内插滤波器。此外，在此实例中，视频编码器20可应用所确定4分接头内插滤波器作为获得非正方形经帧内译码PU的预测性块的部分。举例来说，当确定位于两个整数位置参考样本(即，关于图片的左上样本的整数坐标处的参考样本)之间的参考样本的值时，视频编码器20可应用4分接头滤波器。另外，在此实例中，视频编码器20可将表示至少部分基于非正方形PU的预测性块及CU的译码块的残余数据的数据包含于包括视频数据的经编码表示的位流中。在此实例中，作为确定4分接头内插滤波器的部分，视频编码器20可基于正方形PU的大小确定4分接头内插滤波器，其中正方形PU的大小是基于非正方形经帧内译码PU的高度及宽度。
在第十五技术的对应实例中，视频解码器30可确定用于视频数据的CU的非正方形经帧内译码PU的4分接头内插滤波器。另外，在此实例中，视频解码器30可应用所确定4分接头内插滤波器作为获得非正方形经帧内译码PU的预测性块的部分。此外，视频解码器30可至少部分基于非正方形PU的预测性块重建CU的译码块。在此实例中，作为确定4分接头内插滤波器的部分，视频解码器30可基于正方形PU的大小确定4分接头内插滤波器，其中正方形PU的大小是基于非正方形经帧内译码PU的高度及宽度。
在第十五技术的一些实例中，新的4分接头滤波器可应用于非正方形经帧内译码PU。即，即使对于非正方形经帧内译码PU，可应用4分接头滤波器且此滤波器可与针对正方形PU定义的滤波器不同。此外，在第十五技术的一些实例中，帧内预测模式与扫描模式索引之间的不同映射表可应用于非正方形经帧内译码PU。
K×L变换块被视为等于N×N的变换大小，其中log2(N*N)＝(log2(K)+log2(L)+1)。因此，对K×L变换块的扫描模式的选择可与N×N块相同。
如上文所论述，HEVC中的变换块具有大小N×N，其中N＝2m且m为整数。此外，在HEVC中，视频编码器将2维N×N变换应用于变换块以产生变换系数。更特定地说，视频编码器通过将N点1维变换分开应用于变换块的每一行及变换块的每一列而应用2维N×N变换。以此方式应用变换产生变换系数的N×N块。
在HEVC中，视频编码器可通过以下计算将N点1维DCT变换应用于变换块wi的样本的第i行或列：
在以上方程中，i＝0、…、N-1。DCT变换矩阵C的元素cij经定义为：
在以上方程中，i,j＝0、…、N–1，且其中对于i＝0及i>0，A分别等于1及21/2。
在方程(19)中，使标示为Xij。因此，方程(18)可重写为由于视频编码器在水平及竖直方向两者中应用1维DCT变换，故变换系数wi可最终重写为：
此可进一步重写为：
因此，变换可最终被视为具有的“归一化因子”。由于N＝2m，故还为2的幂次方。因此，可通过右移位运算而非除法运算来实施变换系数的值。如本公开中其它处所论述，使用右移位运算而非除法运算可减少复杂度且改进译码速度。
然而，当与TU的非正方形变换块一起再使用方程(19)时可产生问题。对于2-D变换(包含水平及竖直变换两者)，考虑到K*L变换，归一化因子将为如果将N定义为符合方程log2(N*N)＝((log2(K)+log2(L))>>1)<<1)的值，那么所利用归一化因子与实际归一化因子的比率将为换句话说，当再使用从量化过程中的N×N变换块导出的同一归一化因子时，能量(即，经量化变换系数的平方总和)改变
本公开的第十六技术可解决此问题。举例来说，在本公开的第十六技术中，对于具有等于K×L的大小的非正方形变换块，当(log2(K)+log2(L))为奇数时，HEVC中的变换及量化过程保持不变且非正方形变换块被视为具有等于N×N的大小的变换块，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)。换句话说，基于(log2(K)+log2(L))为奇数，视频编码器20可确定值N，使得log2(N*N)＝((log2(K)+log2(L))>>1)<<1)。视频编码器20可随后使用DCT变换矩阵C的元素，所述元素系根据使用“归一化因子”中的所确定N值的方程(19)定义。因此，视频编码器20可继续使用除以方程(21)中的“归一化因子”的右移位运算。
此外，根据本公开的第十六技术，在变换过程之后及量化过程之前，变换系数经修改，乘以因子换句话说，在将变换应用于非正方形变换块以产生系数块之后，视频编码器20将系数块的每一变换系数乘以因子这是由于所使用归一化因子(即，)与实际归一化因子(即，)的比率等于
举例来说，使K＝8且L＝4。在此实例中，log2(4*4)＝((log2(8)+log2(4))>>1)<<1)，因此N＝4。等于等于等于应注意，对于K及L的值，其中(log2(K)+log2(L))为偶数，所使用归一化因子(即，)比实际归一化因子(即，)的比率等于1。因此，当(log2(K)+log2(L))为偶数时，视频编码器20可不需要将变换系数乘以因子
在解量化过程之后，进一步修改解量化系数，除以因子在量化之前将变换系数乘以且将变换系数除以可保留在量化过程中将另外损失的信息。保留此信息可确保原始变换块的更准确重建。
在第十六技术的另一实例中，HEVC中的变换及量化过程保持不变且其被视为等于N×N的变换大小，其中log2(N*N)＝(log2(K)+log2(L)+1)。在变换之后及量化过程之前，修改变换系数，除以因子在解量化过程之后，进一步修改解量化系数，乘以因子
在以上第十六技术的实例中，因子可由其近似值表示。举例来说，的过程可由(x*181)>>7估算，其中>>表示右移位运算。的过程可由估算，即，(x*181)>>8，其中>>表示右移位运算。
因此，在上文所提出的第十六技术的实例中，视频编码器20可将变换应用于CU的非正方形TU的变换块以产生变换系数的块。另外，视频编码器20可修改变换系数，使得变换系数的块的每一相应变换系数是基于相应经解量化变换系数乘以的近似值。在此实例中，在修改变换系数之后，视频编码器20可将量化过程应用于CU的非正方形PU的经修改变换系数。此外，在此实例中，视频编码器20可将基于经量化变换系数的数据包含于包括视频数据的经编码表示的位流中。在一些实例中，作为将变换应用于非正方形TU的变换块的部分，视频编码器20可将具有大小N×N的变换应用于经解量化变换系数，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)。
在对应实例中，视频解码器30可将解量化过程应用于视频数据的CU的非正方形PU的变换系数。在此实例中，将解量化过程应用于变换系数之后，视频解码器30可修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数基于相应经解量化变换系数除以的近似值。在一些实例中，作为将逆变换应用于经修改经解量化变换系数的部分，包括视频解码器30可将具有大小N×N的变换应用于经修改的经解量化变换系数，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)。
在HEVC中，视频编码器20可使用以下方程计算经量化变换系数(即，level)：
其中coeff为变换系数，offsetq为偏移值，QP为量化参数，shift 2＝29-M-B,B为位深度，M＝log2(N)，且
f＝[f0,…f5]T＝[26214,23302,20560,18396,16384,14564]T (23)
此外，在HEVC中，视频解码器30可使用以下方程对经量化变换系数进行逆量化：
在方程(24)中，coeffQ为经逆量化变换系数，level为经量化变换系数，offsetIQ为＝1<<(M-10+B)的偏移值，shift1＝(M-9+B)，且g如以下方程(25)中所展示经定义：
g＝[f0,…f5]T＝[40,45,51,57,64,72]T (25)
根据本公开的技术，视频编码器20可取决于(log2(W)+log2(H))是奇数还是偶数而使用不同量化矩阵(即，f的版本)。类似地，视频解码器30可取决于(log2(W)+log2(H))是奇数还是偶数而使用不同逆量化矩阵(即，g的版本)。g的实例定义如下：
[40,45,51,57,64,72]，//当总和为偶数时
[7240,8145,9231,10317,11584,13032]//当总和为奇数时
应注意，g的每一对应值在为偶数的情况下乘以181。在此实例中，在量化阶段之前或之后不需要执行乘法或除法过程，这是由于在g中已经考虑了的补偿。
此外，在方程(22)及(24)中，在量化矩阵f及g中所选择的值是基于量化参数QP而选择的。量化矩阵f及g中的所选值在本文中可被称作量化矩阵系数。在本公开的一些实例中，视频编码器20及视频解码器30可基于量化参数且还基于(log2(W)+log2(H))是奇数还是偶数而选择量化矩阵系数。
如上文所简要描述及图2A及图2B中所说明，在HEVC中，视频译码器始终以递归z扫描次序处理CU的TU。因此，如图2A中所示，对应于TU的变换系数“a”的数据在位流中出现于对应于TU的变换系数“b”的数据之前。本公开的第十七技术提出：对于使用帧间模式或comb_mode或帧内模式译码但具有非正方形分区的CU，变换系数的译码次序取决于PU译码次序而非始终使用递归z扫描。在第十七技术的一些实例中，一个PU内的所有系数应在译码另一PU中的系数之前一起经译码。因此，对于视频编码器20，CU的PU中的一者内的所有系数在编码CU的PU中的另一者的系数之前一起经编码。类似地，在此实例中，对于视频解码器30，CU的一个PU内的所有系数在解码CU的PU中的另一者的系数之前一起经解码。
在此实例中，PU的变换系数为TU的变换系数，所述TU的变换块在PU的预测块的区域内。举例来说，让16×16CU的PU的预测块的左上角的坐标相对于CU的译码块的左上角为(0,0)，且让PU的预测块的右下角的坐标为(7,15)。此外，在此实例中，让CU的TU的变换块的左上角的坐标为(4,0)，且让TU的变换块的右下角的坐标为(7,15)。在此实例中，TU的变换系数为PU的变换系数。然而，在此实例中，如果TU的变换块的左上角为(8,0)，且TU的变换块的右下角为(15,7)，那么TU的变换系数不为PU的变换系数。
举例来说，关于图2A，假定CU 40具有竖直穿过CU 40的中心而分割CU 40的两个PU。因此，CU 40的第一PU的变换系数包含TU的变换系数“a”、“b”、“c”、“d”及“f”。CU 40的第二PU的变换系数包含TU的变换系数“e”、“g”、“h”、“i”及“j”。在此实例中，视频编码器20可包含在表示TU的变换系数“f”的数据之后的表示TU的变换系数“e”的数据。相反地，在HEVC中，无论CU 40的PU的形状及大小如何，表示TU的变换系数“f”的数据在表示TU的变换系数“e”的数据之后。换句话说，当一个PU含有多个TU时，将具有深度优先遍历的递归Z扫描应用于译码PU内的这些系数。拿图2举例，如果分区大小等于N×2N，那么译码次序可为a、b、c、d、e、f、g、h、i、j。
当变换深度不等于0时，即，变换大小不大于PU大小，第十七技术的一些实例仅为适用的。应注意，上文所提及的AMP可包含其它不对称分割，不止HEVC中所定义的四种情况。
如上文简要地所提及，HEVC中的IC设计仅支持正方形PU。在本公开之前，导出非正方形PU的IC参数a及b的方式是未知的。本公开的第十八技术使得IC能够与非正方形PU一起使用。举例来说，视频编码器20可使用IC产生视频数据的图片的当前PU的非正方形预测性块。另外，视频编码器20可基于预测性块产生残余数据。举例来说，视频编码器20可产生残余数据，使得残余数据的每一相应样本等于当前CU的译码块的相应样本与预测性块的对应相应样本之间的差。此外，视频编码器20可输出包含基于残余数据的数据的位流。举例来说，视频编码器20可将变换应用于残余数据以产生系数块、系数块的量化系数，且将表示经量化系数中的每一者的一或多个语法元素包含于位流中。在此实例中，视频编码器20可熵编码每一经量化系数的语法元素中的一或多者。在其它实例中，视频编码器20可跳过变换及/或量化的应用。
此外，根据涉及上文所提供的IC的实例中的一或多者，视频解码器30可使用IC产生视频数据的图片的当前CU的当前PU的非正方形预测性块。另外，视频解码器30可基于预测性块重建图片的块(例如，译码块)。举例来说，视频解码器30可通过将预测性块的样本添加到对应残余样本而重建块的样本。
在第十八技术的实例中，作为使用IC产生非正方形预测性块的部分，视频译码器(例如，视频编码器20及/或视频解码器30)可如下确定预测性块的样本：
p(i,j)＝a*r(i+dvx,j+dvy+b)，其中(i,j)∈PUc，
其中PUc为当前PU，(i,j)为预测性块中的像素的坐标，(dvx,dvy)为PUc的向量(例如，视差向量)。p(i,j)为PUc的预测，r为视图间参考图片，a为第一IC参数且b为第二IC参数。此外，作为使用IC产生非正方形预测性块的部分，视频译码器可如下计算第一IC参数：
另外，视频译码器可如下计算第二IC参数：
在以上方程中，Recneig及Recrefneig分别标示当前CU及参考块的相邻像素集合，2N标示Recneig及Recrefneig中的像素数目，且当前CU具有等于N×N的大小。其它实例可对上文所指示的公式使用变体。
此外，在第十八技术的实例中，当针对具有等于K×L(K不等于L)大小的一个非正方形PU启用IC时，可以各种方式导出参数。举例来说，当使用方程(16)及方程(17)计算线性模型参数时，位于PU的较长及较短侧两者处的像素可使用不同方式(例如不同子采样比率)子采样。然而，可要求，一起在两侧处的像素的总数目应等于2m(其中m为整数，且其值可取决于块大小)。因此，在此实例中，Recneigh为紧接在当前CU上方且紧接在当前CU左方的像素的子集，Recrefneigh为紧接在参考块上方且紧接在参考块左方的像素的子集，且Recneigh及Recrefneigh中的像素的总数目等于2m，其中m为整数。子采样过程可为抽取或内插采样。
在导出IC的参数的另一实例中，当使用方程(16)及方程(17)计算线性模型参数时，非正方形PU的较短侧处的界限的像素经上采样，使得经上采样界限中的像素数目等于较长界限(即，最大(K,L))中的像素数目。上采样过程可为复制或内插采样。因此，在此实例中，作为使用IC产生预测性块的部分，视频译码器可产生Recneigh，使得Recneigh包含在当前CU的左侧及顶侧中的较短者中的经上采样像素。另外，在此实例中，视频译码器可产生Recrefneigh，使得Recrefneigh包含在参考块的左侧及顶侧中的较短者中的经上采样像素。
替代地，位于PU的较长及较短侧两者处的像素可经上采样且上采样比率可不同。因此，在此实例中，作为使用IC产生预测性块的部分，视频译码器可产生Recneigh，使得Recneigh包含在当前CU的左侧及顶侧中的较长者中的经上采样像素。另外，视频译码器可产生Recrefneigh，使得Recrefneigh包含参考块的左侧及顶侧中的较长者中的经上采样像素。然而，可要求，一起在两侧处的像素的总数目应等于2m(其中m为整数，m可针对明度及色度分量不同)。
此外，在导出IC的参数的一些实例中，可应用对界限像素进行子采样/上采样的不同方式。在一个实例中，子采样/上采样方法取决于PU大小(即，K及L的值)。因此，视频译码器可基于当前PU的大小确定用于产生Recneigh及Recrefneigh的子采样方法或上采样方法。在另一实例中，用于子采样/上采样的方法可在序列参数集、图片参数集及/或切片标头中用信号发送。因此，在一些实例中，视频编码器20可将指示用于产生Recneigh及Recrefneigh的子采样方法的语法元素包含于位流中，且视频解码器30可从位流获得所述语法元素。在一些实例中，视频编码器20可将指示用于产生经上采样像素的上采样方法的语法元素包含于位流中，且视频解码器30可从位流获得所述语法元素。
在导出IC的参数的一些实例中，以隐式方式实施上采样/下采样(或子采样)。举例来说，左侧界限或/及上侧界限的方程(16)及方程(17)中的总和值可乘以或除以因子S。S的值可取决于左侧界限或/及上侧界限中的像素数目的比率。
在第十八技术的一些实例中，还应将相同子采样/上采样方法应用于参考块的界限像素(即，Recrefneigh)。举例来说，抽取可用于对Recneigh及Recrefneigh两者进行子采样。
此外，根据本公开的特定技术，当针对正方形PU启用LM时，可首先子采样明度及色度界限像素以(例如)使用方程(16)及(17)导出参数。子采样方法可在序列参数集、图片参数集或切片标头中预定义或用信号发送。子采样方法可取决于预测单元大小。
因此，视频译码器(例如，视频编码器20或视频解码器30)可执行线性模型预测操作以从PU的经子采样的经重建明度样本预测当前PU的预测性色度块。另外，视频译码器可部分基于预测性色度块重建图片的块。作为执行线性模型预测操作的部分，视频译码器可获得预测性色度样本，使得预测性色度样本等于第一参数乘以共置明度样本加第二参数，其中第一参数等于：
且第二参数等于：
β＝(∑yi-α·∑xi)/I。
在以上方程中，I为根据子采样方法确定的当前PU的左方及顶部界限中的样本子集中的参考样本的数目，xi为经子采样的经重建明度参考样本，yi为经重建色度参考样本。在此实例的一些情况下，视频编码器20可将指示子采样方法的语法元素包含于位流中，且视频解码器30可从位流获得所述语法元素。在此实例的一些情况下，视频编码器20及视频解码器30可基于当前PU的大小确定子采样方法。
已描述各种实例。本公开的特定实例可分别地或彼此组合地使用。
图24为说明可实施本公开的技术的实例视频编码器20的框图。出于解释的目的提供图24，且不应将所述图视为对如本公开中所广泛例示及描述的技术的限制。出于解释的目的，本公开在HEVC译码在的上下文中描述视频编码器20。然而，本公开的技术可适用于其它译码标准或方法。
视频编码器20包含处理电路，且视频编码器20经配置以执行本公开中所描述的实例技术中的一或多者。此类处理电路可包含固定功能及/或可编程电路。举例来说，视频编码器20包含集成电路，且图24中说明的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块或所述单元中的两者或多于两者可组合为共享硬件电路块。硬件电路块可形成为电子组件的组合，所述电子组件形成例如算术逻辑单元(ALU)、基础功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。
在图24的实例中，视频编码器20包含预测处理单元200、视频数据存储器201、残余产生单元202、变换处理单元204、量化单元206、逆量化单元208、逆变换处理单元210、重建单元212、滤波器单元214、经解码图片缓冲器216及熵编码单元218。预测处理单元200包含帧间预测处理单元220及帧内预测处理单元226。帧间预测处理单元220可包含运动估计单元及运动补偿单元(未示出)。在一些实例中，预测处理单元200执行本公开的照明补偿技术。在一些实例中，预测处理单元200执行本公开的LM技术以产生非正方形色度预测性块。此外，在一些实例中，预测处理单元200执行本公开的IC技术以产生非正方形预测性块。
视频数据存储器201可经配置以存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18(图1)获得存储于视频数据存储器201中的视频数据。经解码图片缓冲器216可为存储用于视频编码器20(例如，以帧内或帧间译码模式)编码视频数据的参考视频数据的参考图片存储器。视频数据存储器201及经解码图片缓冲器216可由多种存储装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储装置。视频数据存储器201及经解码图片缓冲器216可由同一存储装置或单独存储装置提供。在各种实例中，视频数据存储器201可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元200可执行四分树分割以将CTU的CTB划分成逐渐较小的块。较小块可为CU的译码块。举例来说，预测处理单元200可将与CTU相关联的CTB分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子子块，等等。
视频编码器20可编码CTU的CU以产生所述CU的经编码的表示(即，经译码CU)。作为编码CU的部分，预测处理单元200可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的非对称分割。
帧间预测处理单元220可通过对CU的每一PU执行帧间预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及PU的运动信息。取决于PU是在I切片中、P切片中还是B切片中，帧间预测处理单元220可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元220不对PU执行帧间预测。因此，对于以I模式编码的块，经预测块是使用空间预测由同一帧内的先前经编码相邻块形成。如果PU在P切片中，那么帧间预测处理单元220可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元220可使用单向或双向帧间预测以产生PU的预测性块。
帧内预测处理单元226可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元226可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元226可使用多个帧内预测模式来产生用于PU的预测性数据的多个集合。帧内预测处理单元226可使用来自相邻PU的样本块的样本来产生PU的预测性块。对于PU、CU及CTU，假定从左到右、从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左方。帧内预测处理单元226可使用各种数目个帧内预测模式，例如，33个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元200可从由帧间预测处理单元220针对PU产生的预测性数据或由帧内预测处理单元226针对PU产生的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元200基于预测性数据的集合的率/失真度量而选择用于CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元202可基于CU的译码块(例如，明度、Cb及Cr译码块)及CU的PU的所选预测性块(例如，预测性明度、Cb及Cr块)产生CU的残余块(例如，明度、Cb及Cr残余块)。举例来说，残余产生单元202可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性样本块中的对应样本之间的差的值。
变换处理单元204可执行分割(例如四分树分割)以将与CU相关联的残余块分割为与CU的TU相关联的变换块。因此，TU可与明度变换块及两个色度变换块相关联。CU的TU的明度及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的分叶节点。
在一些实例中，变换处理单元204可执行本公开的技术以用于确定包含具有两(及/或4)个子节点的节点的残余树结构。举例来说，视频数据存储器201可接收视频数据，且变换处理单元204可基于树结构将视频数据的CU分割成CU的TU。在此实例中，作为基于树结构将CU分割成CU的TU的部分，变换处理单元204可确定树结构中的节点恰好具有树结构中的两个子节点。在一些情况下，变换处理单元204可进一步确定树结构中的第二节点恰好具有树结构中的四个子节点。对于CU的TU中的至少一者，变换处理单元204可将变换应用于TU的残余块以产生TU的变换系数块。
变换处理单元204可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元204可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元204可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元204不将变换应用于变换块。在这些实例中，变换块可被视为变换系数块。在一些实例中，变换处理单元204执行本公开的EMT技术。
量化单元206可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数舍入到m位变换系数，其中n大于m。量化单位206可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息损失；因此，经量化变换系数可具有比原始变换系数低的精确度。
在一些实例中，量化单元206修改变换系数，使得变换系数的块的每一相应变换系数是基于相应经解量化变换系数乘以的近似值。在此实例中，在修改变换系数之后，量化单元206将量化过程应用于CU的非正方形PU的经修改变换系数。
逆量化单元208及逆变换处理单元210可分别将逆量化及逆变换应用于系数块，以从系数块重建残余块。重建单元212可将经重建残余块添加到来自通过预测处理单元200产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重建CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元214可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。在滤波器单元214对经重建译码块执行一或多个解块操作之后，经解码图片缓冲器216可存储经重建译码块。帧间预测处理单元220可使用含有经重建译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元226可使用经解码图片缓冲器216中的经重建译码块来对与CU在同一图片中的其它PU执行帧内预测。
熵编码单元218可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元218可从量化单元206接收系数块，且可从预测处理单元200接收语法元素。熵编码单元218可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元218可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元218产生的经熵编码数据的位流。举例来说，位流可包含表示CU的RQT的数据。
图25为说明经配置以实施本公开的技术的实例视频解码器30的框图。出于解释的目的而提供图25，且其并不限制如本公开中所广泛例示及描述的技术。出于解释的目的，本公开在HEVC译码的上下文中描述视频解码器30。然而，本公开的技术可适用于其它译码标准或方法。
视频解码器30包含处理电路，且视频解码器30经配置以执行本公开中所描述的实例技术中的一或多者。举例来说，视频解码器30包含集成电路，且图25中说明的各种单元可形成为与电路总线互连的硬件电路块。这些硬件电路块可为单独电路块或所述单元中的两者或多于两者可组合为共享硬件电路块。硬件电路块可形成为电子组件的组合，所述电子组件形成例如算术逻辑单元(ALU)、基础功能单元(EFU)的操作块，以及例如AND、OR、NAND、NOR、XOR、XNOR及其它类似逻辑块的逻辑块。
在一些实例中，图25中说明的单元中的一或多者可由在处理电路上执行的软件单元提供。在此类实例中，用于这些软件单元的目的码存储于存储器中。操作系统可使得视频解码器30检索目的码并执行目的码，其使得视频解码器30执行实施实例技术的操作。在一些实例中，软件单元可为视频解码器30在启动时执行的固件。因此，视频解码器30为具有执行实例技术的硬件的结构性组件或具有在硬件上执行以特化所述硬件以执行所述实例技术的软件/固件。
在图25的实例中，视频解码器30包含熵解码单元250、视频数据存储器251、预测处理单元252、逆量化单元254、逆变换处理单元256、重建单元258、滤波器单元260及经解码图片缓冲器262。预测处理单元252包含运动补偿单元264及帧内预测处理单元266。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。在一些实例中，预测处理单元266执行本公开的照明补偿技术。在一些实例中，预测处理单元266执行本公开的LM技术。
视频数据存储器251可存储待由视频解码器30的组件解码的经编码视频数据(例如，经编码视频位流)。可(例如)从计算机可读媒体16(例如，从例如相机的本地视频源经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体)获得存储于视频数据存储器251中的视频数据。视频数据存储器251可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器262可为存储用于视频解码器30(例如)以帧内或帧间译码模式解码视频数据的，参考视频数据的参考图片存储器。视频数据存储器251及经解码图片缓冲器262可由多种存储装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储装置。可通过相同存储装置或单独存储装置提供视频数据存储器251及经解码图片缓冲器262。在各种实例中，视频数据存储器251可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频数据存储器251接收并且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元250可从视频数据存储器251接收经编码视频数据(例如，NAL单元)，且可剖析所述NAL单元以获得语法元素。熵解码单元250可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元252、逆量化单元254、逆变换处理单元256、重建单元258及滤波器单元260可基于从位流提取的语法元素产生经解码视频数据。熵解码单元250可执行大体上与熵编码单元218的彼过程互逆的过程。
除从位流获得语法元素之外，视频解码器30还可对未经分割的CU执行重建操作。为了对CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建CU的残余块。
作为对CU的TU执行重建操作的部分，逆量化单元254可逆量化(即，解量化)与TU相关联的系数块。在逆量化单元254对系数块进行逆量化之后，逆变换处理单元256可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元256可将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。在一些实例中，逆变换处理单元256执行本公开的EMT技术。
根据本公开的一些实例，逆量化单元254可将解量化过程应用于视频数据的CU的非正方形TU的变换系数。此外，在将解量化过程应用于变换系数之后，逆量化单元254可修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数除以的近似值。
在一些实例中，逆变换处理单元256可将本公开的技术应用于确定包含具有两(及/或4)个子节点的节点的残余树结构。举例来说，逆变换处理单元256可基于树结构确定视频数据的CU经分割成CU的TU。在此实例中，作为基于树结构确定CU经分割成CU的TU的部分，逆变换处理单元256可确定树结构中的节点恰好具有树结构中的两个子节点。在一些实例中，逆变换处理单元256可确定树结构中的第二节点恰好具有树结构中的四个子节点。此外，在此实例中，对于CU的TU中的至少一者，逆变换处理单元256可将变换应用于TU的系数块以产生TU的残余块。
如果使用帧内预测编码PU，那么帧内预测处理单元266可执行帧内预测以产生PU的预测性块。帧内预测处理单元266可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元266可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测编码PU，那么熵解码单元250可确定PU的运动信息。运动补偿单元264可基于PU的运动信息确定一或多个参考块。运动补偿单元264可基于一或多个参考块产生PU的预测性块(例如，预测性明度、Cb及Cr块)。
重建单元258可在适当时使用CU的TU的变换块(例如，明度、Cb及Cr变换块)及CU的PU的预测性块(例如，明度、Cb及Cr块)(即，帧内预测数据或帧间预测数据)来重建CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重建单元258可将变换块(例如，明度、Cb及Cr变换块)的样本添加到预测性块(例如，预测性明度、Cb及Cr块)的对应样本，从而重建CU的译码块(例如，明度、Cb及Cr译码块)。
滤波器单元260可将一或多个滤波器应用于CU的译码块。举例来说，滤波器单元260可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储于经解码图片缓冲器262中。因此，经解码图片缓冲器262可存储经解码视频数据块。经解码图片缓冲器262可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器262中的块对其它CU的PU执行帧内预测或帧间预测操作。
图26为说明根据本公开的技术支持基于LM的编码的实例视频编码器20的框图。在图26的实例中，视频编码器20的组件以与图24的视频编码器20的对应组件相同的方式操作。然而，图26的视频编码器20还包含基于LM的编码单元222。
基于LM的编码单元222可根据本公开中其它处所描述的实例执行LM预测编码。举例来说，逆量化单元208、逆变换处理单元210、重建单元212及滤波器单元214可重建明度参考样本集合、色度参考样本集合，且还可重建非正方形PU的明度样本。基于LM的编码单元222可对明度参考样本集合进行下采样或子采样，使得明度参考样本集合中与非正方形PU的较长相邻的明度参考样本的总数目与明度参考样本集合中与非正方形PU的较短侧相邻的明度参考样本的总数目相同。另外，基于LM的解码单元222可确定第一参数，使得第一参数等于：
(∑yi-α·Σxi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本。针对非正方形PU的预测性色度块的每一相应色度样本，基于LM的编码单元222可确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形PU的经重建明度样本中的一者。基于LM的编码单元222可确定第一参数，使得第二参数等于：
基于LM的编码单元222可将预测性块输出到残余产生单元202。残余产生单元202可从预测性块及色度块产生残余块。所得残余块由变换处理单元103变换、由量化单元206量化且由熵编码单元218熵编码。接着经由位流用信号发送所述结果，且视频解码器30可使用位流中的信息来重建色度块。
图27为说明根据本公开的技术的支持基于LM的解码的实例视频解码器30的框图。在图27的实例中，视频解码器30的组件以与图27的视频解码器30的对应组件相同的方式操作。然而，图27的视频解码器30还包含基于LM的解码单元265。
根据本公开的各种实例，视频解码器30可经配置以根据本公开中其它处所提供的实例执行基于LM的译码。举例来说，逆量化单元254、逆变换处理单元256、重建单元258及滤波器单元260可重建明度参考样本集合、色度参考样本集合，且还可重建非正方形PU的明度样本。基于LM的解码单元265可对明度参考样本集合进行下采样或子采样，使得明度参考样本集合中与非正方形PU的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形PU的较短侧面相邻的明度参考样本的总数目相同。另外，基于LM的解码单元265可确定第一参数，使得第一参数等于：
(∑yi-α·∑xi)/I
其中I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本。对于非正方形PU的预测性色度块的每一相应色度样本，基于LM的解码单元266可确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数，对应于相应色度样本的经重建明度样本为非正方形PU的经重建明度样本中的一者。基于LM的解码单元266可确定第一参数，使得第二参数等于：
基于LM的解码单元265可将预测性块输出到重建单元258。重建单元258还接收残余块(例如，在位流中的用于残余块的信息使用熵解码单元250经熵解码、使用逆量化单元254经逆量化、使用逆变换处理单元256经逆变换之后)。重建单元258添加具有预测性块的残余块以重建色度块。
图28为说明根据本公开的基于LM的译码技术的视频编码器20的实例操作的流程图。本公开的流程图作为实例提供。本公开的范围内的其它实例可包含更多、更少或不同动作。本公开的范围内的其它实例可包含以不同次序或并行执行的动作。
在图28的实例中，视频编码器20可接收视频数据(300)。举例来说，视频编码器20可从视频源18(图1)或另一来源接收视频数据。
另外，在图28的实例中，视频编码器20可重建明度参考样本集合及色度参考样本集合(302)。明度参考样本集合可包括与视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本。在一些实例中，非正方形明度块为非正方形PU的明度预测块。色度参考样本集合可包括与非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本。在一些实例中，非正方形明度块为非正方形PU的明度预测块。
此外，视频编码器20可重建非正方形明度块的明度样本(304)。举例来说，视频编码器20可产生如本公开中其它处所描述的CU的明度残余样本。在此实例中，视频编码器20可将非正方形明度块的明度预测性块的样本添加到明度残余样本的对应样本以重建非正方形明度块的明度样本。
在一些实例中，视频编码器20可对非正方形明度块的明度样本进行下采样或子采样。通过对非正方形明度块的明度样本进行下采样或子采样，视频编码器20可获得针对色度预测性块(例如，与明度块相同的PU的色度预测性块)的每一色度样本具有一个明度样本的经下采样或子采样明度样本集合。视频编码器20可响应于确定当前图片的色彩格式并非4:4:4而对非正方形明度块的明度样本进行下采样或子采样。
另外，视频编码器20可对所述明度参考样本集合进行下采样或子采样，以使得明度参考样本集合中与非正方形明度块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同(306)。视频编码器20可根据本公开中其它处所描述的技术对明度参考样本集合进行下采样或子采样。举例来说，视频编码器20可对明度参考样本集合进行抽取，使得与非正方形明度块的较长侧相邻的明度参考样本集合与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同。在一些实例中，视频编码器20可下采样或子采样对应于明度的左方界限及明度的顶部界限中的较长者的左边参考样本或上方参考样本中的任一者，而非为明度块的左方界限及明度块的顶部界限中的较短者的任一者。在一些实例中，明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于非正方形明度块的高度及/或宽度的整数。
在一些实例中，视频编码器20还可对色度参考样本集合进行下采样或子采样，使得色度参考样本集合中与非正方形色度块的较长侧相邻的色度参考样本的总数目与色度参考样本集合中与非正方形色度块的较短侧相邻的色度参考样本的总数目相同。
在图28的动作(308)中，视频编码器20可确定第一参数(β)，使得第一参数是基于：
(∑yi-α·∑xi)/I
在以上方程中，I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本。视频编码器20可基于以上公式确定第一参数，意义在于视频编码器20直接使用以上公式或以上公式的变体，例如包含额外常量或系数的一个公式。
在一些实例中，视频编码器20还可确定第二参数(α)，使得第二参数是基于：
视频编码器20可基于以上公式确定第二参数，意义在于视频编码器20直接使用以上公式或以上公式的变体，例如包含额外常量或系数的一个公式。
另外，在图28的实例中，对于预测性色度块的每一相应色度样本，视频编码器20可确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数(310)。对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者。
此外，视频编码器20可基于预测性色度块获得残余数据(312)。举例来说，视频编码器20可确定残余数据的色度样本的值等于非正方形预测块的色度块的样本与CU的色度译码块的样本之间的差。
另外，视频编码器20可将表示残余数据的数据包含于包括视频数据的经编码表示的位流中(314)。举例来说，视频编码器20可将一或多个变换应用于残余数据以产生一或多个系数块；对系数块进行量化；产生指示变换系数是否为非零、变换系数是否大于1、变换系数是否大于2、变换系数的正负号及变换系数的剩余者的语法元素。在此实例中，视频编码器20可将CABAC译码应用于这些语法元素中的一或多者且包含位流中的所得值。
图29为说明根据本公开的基于LM的译码技术的视频解码器30的实例操作的流程图。在图29的实例中，视频解码器30接收包括视频数据的经编码表示的位流(350)。
此外，在图29的实例中，视频解码器30重建明度参考样本集合及色度参考样本集合(352)。明度参考样本集合包括与视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与非正方形明度块的左侧相邻的左方明度样本。在一些实例中，非正方形明度块为非正方形PU的明度预测块。色度参考样本集合包括与非正方形色度块的顶侧相邻的色度样本及与非正方形色度块的左侧相邻的色度样本。在一些实例中，非正方形明度块为非正方形PU的明度预测块。
视频解码器30可重建非正方形明度块的明度样本(354)。举例来说，作为重建非正方形明度块的明度样本的部分，视频解码器30可使用帧内预测或帧间预测产生非正方形明度块的明度预测性块。另外，在此实例中，视频解码器30可将非正方形预测块的明度预测性块的样本添加到对应残余样本以重建明度样本。
在一些实例中，视频解码器30可对非正方形明度块的明度样本进行下采样或子采样。通过对非正方形明度块的明度样本进行下采样或子采样，视频解码器30可获得针对色度预测性块(例如，与明度块相同的PU的色度预测性块)的每一色度样本具有一个明度样本的经下采样或子采样明度样本集合。视频解码器30可响应于确定当前图片的色彩格式并非4:4:4而对非正方形明度块的明度样本进行下采样或子采样。
此外，在图29的实例中，视频解码器30可对明度参考样本集合进行下采样或子采样，使得明度参考样本集合中与非正方形预测块的较长侧相邻的明度参考样本的总数目与明度参考样本集合中与非正方形预测块的较短侧相邻的明度参考样本的总数目相同(356)。视频解码器30可根据本公开中其它处所描述的技术对明度参考样本集合进行下采样或子采样。举例来说，视频解码器30可对明度参考样本集合进行抽取，使得与非正方形明度块的较长侧相邻的明度参考样本集合与明度参考样本集合中与非正方形明度块的较短侧相邻的明度参考样本的总数目相同。在一些实例中，视频解码器30可下采样或子采样对应于明度块的左方界限及明度块的顶部界限中的较长者的左边参考样本或上方参考样本中的任一者，而非为明度块的左方界限及明度块的顶部界限中的较短者的任一者。在一些实例中，明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于非正方形明度块的高度及/或宽度的整数。
在一些实例中，视频解码器30还可对色度参考样本集合进行下采样或子采样，使得色度参考样本集合中与非正方形色度块的较长侧相邻的色度参考样本的总数目与色度参考样本集合中与非正方形色度块的较短侧相邻的色度参考样本的总数目相同。
另外，在图29的动作(358)中，视频解码器30可确定第一参数(β)，使得第一参数是基于：
(∑yi-α·∑xi)/I
在以上方程中，I为明度参考样本集合中的参考样本的总数目，xi为明度参考样本集合中的第i明度参考样本，且yi为色度参考样本集合中的第i色度参考样本。在本公开中，视频编码器20及/或视频解码器30可基于公式确定值，意义在于视频编码器20及/或视频解码器30可直接使用公式或公式的变体，例如包含额外常量或系数的一个公式。
在一些实例中，视频解码器30还可确定第二参数(α)，使得第二参数是基于：
在图29的实例中，对于预测性色度块的每一相应色度样本，视频解码器30可确定相应色度样本的值，使得相应色度样本的值等于第二参数乘以对应于相应色度样本的相应经重建明度样本加第一参数(360)。在此实例中，对应于相应色度样本的经重建明度样本为非正方形明度块的经重建明度样本中的一者。
此外，视频解码器30可部分基于预测性色度块重建CU的译码块(362)。举例来说，视频解码器30可将预测性色度块的样本添加到CU的对应残余色度样本以确定CU的译码块的样本。
图30为说明根据本公开的量化技术的视频编码器20的实例操作的流程图。在图30的实例中，视频编码器20接收视频数据(400)。此外，视频编码器20可产生CU的非正方形TU的残余块，使得残余块的每一残余样本指示CU的译码块与CU的PU的预测性块的对应样本之间的差(402)。
视频编码器20可将变换应用于残余块以产生变换系数的块(404)。举例来说，视频编码器20可将DCT变换应用于残余块。另外，视频编码器20可修改变换系数，使得变换系数的块的每一相应变换系数是基于相应经解量化变换系数乘以的近似值(406)。举例来说，视频编码器20可修改变换系数，使得每一相应变换系数等于相应变换系数的初始值乘以的近似值。在本公开中，的近似值可为的表示(例如，的浮点表示)。在一些实例中，修改变换系数，使得每一相应变换系数等于相应变换系数的初始值乘以的近似值可包括执行一或多个数学运算以确定大致变换系数乘以的值。
在非正方形TU具有大小K×L的一些实例中，作为将变换应用于残余块的部分，视频编码器20可将具有大小N×N的变换应用于残余块，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)及((log2(K)+log2(L))为奇数。举例来说，视频编码器20可如上方方程(18)中所示将N点1维DCT变换应用于残余块的行及列。
此外，在图30的实例中，在修改变换系数之后，视频编码器20可将量化过程应用于CU的非正方形预测块的经修改变换系数(408)。举例来说，视频编码器20可量化如以上方程(22)中所描述的经修改变换系数。
视频编码器20可将基于经量化变换系数的数据包含于包括视频数据的经编码表示的位流中(410)。举例来说，视频编码器20可产生指示经量化变换系数是否为非零、经量化变换系数是否大于1、经量化变换系数是否大于2、经量化变换系数的正负号及经量化变换系数的剩余者的语法元素。在此实例中，视频编码器20可将CABAC译码应用于这些语法元素中的一或多者且包含位流中的所得值。
在非正方形TU具有大小K×L的一些实例中，视频编码器20可基于((log2(K)+log2(L))为奇数修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数乘以的近似值。在这些实例中，当((log2(K)+log2(L))为偶数时，视频编码器20不修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数乘以的近似值。
图31为说明根据本公开的量化技术的视频解码器30的实例操作的流程图。在图31的实例中，视频解码器30可接收包括视频数据的经编码表示的位流(450)。此外，视频解码器30可将解量化过程应用于视频数据的CU的非正方形TU的变换系数(452)。举例来说，视频解码器30可通过应用以上方程(24)来解量化(即，逆量化)变换系数。
在将解量化过程应用于变换系数之后，视频解码器30可修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数除以的近似值(454)。举例来说，视频解码器30可确定每一相应经修改变换系数等于变换系数除以的近似值。在本公开中，的近似值可为的表示(例如，的浮点表示)。在一些实例中，修改变换系数，使得每一相应变换系数等于相应变换系数的初始值乘以的近似值可包括执行一或多个数学运算以确定大致变换系数除以的值。
此外，视频解码器30可将逆变换应用于经修改经解量化变换系数以重建残余块(456)。举例来说，视频解码器30可应用具有变换矩阵C的转置的方程(18)(或其以整数精确度表示的近似值)以将逆变换应用于经修改的经解量化变换系数。在非正方形TU具有大小K×L的一些实例中，作为将变换应用于残余块的部分，视频解码器30可将具有大小N×N的变换应用于残余块，其中log2(N*N)＝((log2(K)+log2(L))>>1)<<1)及((log2(K)+log2(L))为奇数。视频解码器30可通过将预测性块的样本添加到CU的TU的残余块的对应样本来重建译码块的样本(458)。
在非正方形TU具有大小K×L的一些实例中，视频解码器30可基于((log2(K)+log2(L))为奇数而修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数除以的近似值。在这些实例中，当((log2(K)+log2(L))为偶数时，视频解码器30不修改经解量化变换系数，使得经解量化变换系数中的每一相应经解量化变换系数是基于相应经解量化变换系数除以的近似值。
图32为说明根据本公开的技术的使用IC的视频编码器20的实例操作的流程图。在图32的实例中，视频编码器20接收视频数据(500)。举例来说，视频编码器20可从视频源18(图1)或其它处接收视频数据。此外，视频编码器20可使用IC产生视频数据的当前图片的当前CU的当前PU的非正方形预测性块(502)。
作为使用IC产生非正方形预测性块的部分，视频编码器20可基于当前PU的向量确定参考图片中的参考块(504)。在一些实例中，所述向量为视差向量，且参考图片为视图间参考图片。在一些实例中，向量为运动向量，且参考图片为时间运动向量。参考块及非正方形预测性块可具有相同大小及形状。在一些实例中，为了基于当前PU的向量确定参考块，视频编码器20可通过将向量的水平分量添加到非正方形预测性块的左上角的x坐标及将向量的竖直分量添加到非正方形预测性块的左上角的y坐标来确定参考块的左上角的参考图片中的位置。在此实例中，如果参考块的左上角的指示位置不指示整数像素的参考图片中的位置，那么视频编码器20可内插参考块的样本以确定参考块。
此外，在图32的实例中，作为使用IC产生非正方形预测性块的部分，视频编码器20可对第一参考样本集合进行子采样以产生具有第一子采样比率的第一经子采样参考样本集合(506)。在此实例中，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m。此外，在此实例中，第一参考样本集合包括沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的样本，且m为整数。
另外，作为使用IC产生非正方形预测性块的部分，视频编码器20可对第二参考样本集合进行子采样以产生具有第二子采样比率的第二经子采样参考样本集合(508)。第一子采样比率可与第二子采样比率相同或不同。在此实例中，第二参考样本集合中的参考样本的总数目不等于2m，且第二子采样的参考样本集合中的参考样本的总数目等于2m。此外，在此实例中，第二参考样本集合包括沿参考块的左侧及顶侧在参考块外的样本。
在动作(506)及(508)中，视频编码器20可以各种方式执行子采样。举例来说，视频编码器20可使用抽取执行子采样。在视频编码器20使用抽取执行子采样的实例中，视频编码器20可以规律间隔(例如，每隔一个样本)去除样本以减小样本数目而不改变剩余样本的值。因此，在此实例中，视频编码器20可执行以下各者中的至少一者：抽取第一参考样本集合以产生第一经子采样参考样本集合；及抽取第二参考样本集合以产生第二经子采样参考样本集合。
在另一实例中，视频编码器20可使用内插法执行子采样。在视频编码器20使用内插法执行子采样的实例中，对于相邻样本的相应对，视频编码器20可在相应对的样本之间内插值且可包含经子采样样本集合中的内插值。因此，在此实例中，视频编码器20可执行以下各者中的至少一者：执行第一参考样本集合的内插采样以产生第一经子采样参考样本集合；及执行第二参考样本集合的内插采样以产生第二经子采样参考样本集合。
在另一实例中，视频编码器20可使用由位流中的语法元素指示的子采样方法执行子采样。因此，在此实例中，视频编码器20可将指示子采样方法的语法元素包含于位流中。在此实例中，视频编码器20可执行以下各者中的至少一者：使用所指示子采样方法对第一参考样本集合进行子采样以产生第一经子采样参考样本集合；及使用所指示子采样方法对第二参考样本集合进行子采样以产生第二经子采样参考样本集合。
在另一实例中，视频编码器20可基于当前PU的大小确定子采样方法。在此实例中，视频编码器20可执行以下各者中的至少一者：使用所确定子采样方法对第一参考样本集合进行子采样以产生第一经子采样参考样本集合；及使用所确定子采样方法对第二参考样本集合进行子采样以产生第二经子采样参考样本集合。
作为使用IC产生非正方形预测性块的部分，在图32的动作(510)中，视频编码器20可基于第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目、第一经子采样参考样本集合及第二经子采样参考样本集合确定第一IC参数。举例来说，视频编码器20可确定第一IC参数，使得第一IC参数是基于：
在以上方程中，2N标示第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目，Recneigh(i)标示第一经子采样参考样本集合中的第i参考样本，且Recrefneigh(i)标示第二经子采样参考样本集合中的第i参考样本。
在一些实例中，视频编码器20可确定第二IC参数，使得第二IC参数是基于：
此外，作为使用IC产生非正方形预测性块的部分，在图32的动作(512)中，视频编码器20可基于第一IC参数确定非正方形预测性块的样本。举例来说，所述样本可关于当前图片的左上角在坐标(i,j)处，且视频编码器20可确定所述样本使得所述样本是基于：
a*r(i+dvx,j+dvy+b)
在以上方程中，b为第一IC参数，a为第二IC参数，r为参考图片，dvx为当前PU的向量(例如，视差向量、运动向量)的水平分量，且dvy为当前PU的向量的竖直分量。
在图32的实例中，视频编码器20可基于非正方形预测性块产生残余数据(514)。举例来说，视频编码器20可产生残余数据，使得残余数据的样本等于非正方形预测性块的样本与当前CU的译码块的样本之间的差。另外，视频编码器20可输出包含基于残余数据的数据的位流(516)。举例来说，视频编码器20可输出包含指示残余数据的经熵编码语法元素(例如，指示大于1、大于2、剩余者等的语法元素)的位流。
图33为说明根据本公开的使用IC的技术的用于编码视频数据的视频解码器30的实例操作的流程图。在图32的实例中，视频解码器30接收包括视频数据的经编码表示的位流(550)。此外，视频解码器30使用IC产生视频数据的当前图片的当前CU的当前PU的非正方形预测性块(552)。
作为使用IC产生非正方形预测性块的部分，视频解码器30可基于当前PU的向量确定参考图片中的参考块(554)。在一些实例中，所述向量为视差向量，且参考图片为视图间参考图片。在一些实例中，向量为运动向量，且参考图片为时间运动向量。参考块及非正方形预测性块具有相同大小及形状。为了基于当前PU的视差向量确定参考块，视频解码器30可通过将向量的水平分量添加到非正方形预测性块的左上角的x坐标及将向量的竖直分量添加到非正方形预测性块的左上角的y坐标来确定参考块的左上角的参考图片中的位置。在此实例中，如果参考块的左上角的指示位置不指示整数像素的参考图片中的位置，那么视频解码器30可内插参考块的样本以确定参考块。
此外，作为使用IC产生非正方形预测性块的部分，视频解码器30可对第一参考样本集合进行子采样以产生具有第一子采样比率的第一经子采样参考样本集合(556)。在此实例中，第一参考样本集合中的参考样本的总数目不等于2m，且第一经子采样参考样本集合中的参考样本的总数目等于2m。在此实例中，第一参考样本集合可包括沿非正方形预测性块的左侧及顶侧在非正方形预测性块外的样本，且m为整数。
另外，作为使用IC产生非正方形预测性块的部分，视频解码器30可对第二参考样本集合进行子采样以产生具有第二子采样比率的第二经子采样参考样本集合(558)。第一子采样比率可与第二子采样比率相同或不同。在此实例中，第二集合中的参考样本的总数目并不等于2m，且第二经子采样参考样本集合中的参考样本的总数目等于2m。此外，在此实例中，第二参考样本集合可包括沿参考块的左侧及顶侧在参考块外的样本。
在动作(556)及(558)中，视频解码器30可以各种方式执行子采样。举例来说，视频解码器30可使用抽取执行子采样。在视频解码器30使用抽取执行子采样的实例中，视频解码器30可以规律间隔(例如，每隔一个样本)去除样本以减小样本数目而不改变剩余样本的值。因此，在此实例中，视频解码器30可执行以下各者中的至少一者：抽取第一参考样本集合以产生第一经子采样参考样本集合；及抽取第二参考样本集合以产生第二经子采样参考样本集合。
在另一实例中，视频解码器30可使用内插法执行子采样。在视频解码器30使用内插法执行子采样的实例中，对于相邻样本的相应对，视频解码器30可在相应对的样本之间内插值且可包含经子采样样本集合中的内插值。因此，在此实例中，视频解码器30可执行以下各者中的至少一者：执行第一参考样本集合的内插采样以产生第一经子采样参考样本集合；及执行第二参考样本集合的内插采样以产生第二经子采样参考样本集合。
在另一实例中，视频解码器30可使用由位流中的语法元素指示的子采样方法执行子采样。因此，在此实例中，视频解码器30可从位流获得指示子采样方法的语法元素。在此实例中，视频解码器30可执行以下各者中的至少一者：使用所指示子采样方法对第一参考样本集合进行子采样以产生第一经子采样参考样本集合；及使用所指示子采样方法对第二参考样本集合进行子采样以产生第二经子采样参考样本集合。
在另一实例中，视频解码器30可基于当前PU的大小确定子采样方法。在此实例中，视频解码器30可执行以下各者中的至少一者：使用所确定子采样方法对第一参考样本集合进行子采样以产生第一经子采样参考样本集合；及使用所确定子采样方法对第二集合参考样本进行子采样以产生第二经子采样参考样本集合。
此外，在图33的动作(560)中，视频解码器30可基于第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目、第一经子采样参考样本集合及第二经子采样参考样本集合来确定第一IC参数。举例来说，视频解码器30可确定第一IC参数，使得第一IC参数是基于：
在以上方程中，2N标示第一经子采样参考样本集合中的参考样本的总数目及第二经子采样参考样本集合中的参考样本的总数目，Recneigh(i)标示第一经子采样参考样本集合中的第i参考样本，且Recrefneigh(i)标示第二经子采样参考样本集合中的第i参考样本。
在一些实例中，视频解码器30可确定第二IC参数，使得第二IC参数是基于：
另外，在图33的动作(562)中，视频解码器30可基于第一IC参数确定非正方形预测性块的样本。举例来说，所述样本可关于当前图片的左上角在坐标(i,j)处，且视频解码器30可确定所述样本使得所述样本是基于：
a*r(i+dvx,j+dvy+b)
在以上方程中，b为第一IC参数，a为第二IC参数，r为参考图片，dvx为当前PU的向量的水平分量，且dvy为当前PU的向量的竖直分量。
视频解码器30可基于非正方形预测性块重建当前CU的译码块(564)。举例来说，视频解码器30可通过将非正方形预测性块的样本添加到当前CU的TU的残余块的对应样本来重建译码块的样本。
图34为说明根据本公开的技术的将弹性残余树用于编码视频数据的视频编码器20的实例操作的流程图。在图34的实例中，视频编码器20可接收视频数据(600)。此外，视频编码器20可基于树结构将视频数据的CU分割成CU的TU(602)。在一些实例中，视频编码器20可针对树结构的每一相应节点确定相应节点的分裂指示符的值。相应节点的分裂指示符可指示相应节点所具有的子节点的数目。在一些情况下，视频编码器20可在位流中用信号发送显式地指示相应节点的分裂指示符的值的语法元素。在其它情况下，视频解码器30可推断相应节点的分裂指示符的值(例如，基于树结构中的节点的深度、父节点的分裂节点的值、对应于相应节点的预测性块的大小及/或形状等)。
作为基于树结构将CU分割成CU的TU的部分，视频编码器20可确定树结构中的节点恰好具有树结构中的两个子节点(604)。在此实例中，树结构的根节点对应于CU的译码块。树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。树结构的叶节点对应于CU的TU。
举例来说，视频编码器20可基于CU的PU的总数目确定树结构是二进制树还是四分之一树。在此实例中，基于具有两个PU的CU，节点恰好具有树结构中的两个子节点。换句话说，视频编码器20可基于恰好具有两个PU的CU确定节点恰好具有树结构中的两个子节点。
在一些实例中，视频编码器20可基于恰好具有两个PU的CU确定所述节点恰好具有树结构中的两个子节点。
此外，在图34的实例中，对于CU的TU中的至少一者，视频编码器20将变换应用于TU的残余块以产生TU的变换系数的块(606)。举例来说，视频编码器20可将离散余弦变换(DCT)、离散正弦变换(DST)或另一类型的变换应用于TU的残余块以产生变换系数的块。另外，视频编码器20可熵编码指示TU的变换系数的语法元素(608)。举例来说，视频编码器20可产生指示变换系数是否为非零、变换系数是否大于1、变换系数是否大于2、变换系数的正负号及变换系数的剩余者的语法元素。在此实例中，视频编码器20可将CABAC译码应用于这些语法元素中的一或多者。
图35为说明根据本公开的技术的将弹性残余树用于解码视频数据的视频解码器30的实例操作的流程图。在图35的实例中，视频解码器30可接收包括视频数据的经编码表示的位流(650)。另外，视频解码器30可基于树结构确定视频数据的CU经分割成CU的TU(652)。在一些实例中，视频解码器30可针对树结构的每一相应节点确定相应节点的分裂指示符的值。相应节点的分裂指示符可指示相应节点所具有的子节点的数目。在一些情况下，视频解码器30可从位流获得显式地指示相应节点的分裂指示符的值的语法元素。在其它情况下，视频解码器30可推断相应节点的分裂指示符的值(例如，基于树结构中的节点的深度、父节点的分裂节点的值、对应于相应节点的预测性块的大小及/或形状等)。
作为基于树结构确定将CU分割成CU的TU的部分，视频解码器30可确定树结构中的节点恰好具有树结构中的两个子节点(654)。在此实例中，树结构的根节点对应于CU的译码块。树结构的每一相应非根节点对应于为对应于相应非根节点的父节点的块的分区的相应块。树结构的叶节点对应于CU的TU。如本公开中其它处所描述，视频解码器30可基于CU中的多个PU、基于树结构中的节点的深度、基于所用信号发送的语法元素或基于其它数据确定树结构中的节点恰好具有两个子节点。
举例来说，视频解码器30可基于CU的PU的总数目确定树结构是二进制树还是四分之一树。在此实例中，基于具有两个PU的CU，节点恰好具有树结构中的两个子节点。换句话说，视频解码器30可基于恰好具有两个PU的CU确定节点恰好具有树结构中的两个子节点。
对于CU的TU中的至少一者，视频解码器30可将变换应用于TU的系数块以产生TU的残余块(656)。举例来说，视频解码器30可将逆DCT、逆DST或另一类型的变换应用于TU的系数块以产生TU的残余块。另外，视频解码器30可通过将预测性块的样本添加到CU的TU的残余块的对应样本来重建译码块的样本(658)。
出于说明的目的，本公开的某些方面已经关于HEVC标准的扩展而描述。然而，本公开中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本公开中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指代视频编码或视频解码(在适用时)。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行，可添加、合并或完全省略所述动作或事件(例如，并非所有所描述的动作或事件对于所述技术的实践是必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时地(而非依序地)执移动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射，且通过基于硬件的处理单元执行。计算机可读媒体可包含：对应于有形媒体(例如，数据存储媒体)的计算机可读存储媒体，或包含有助于将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本公开所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘使用激光以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效积体或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本公开的技术可以广泛多种装置或设备加以实施，所述装置或设备包含无线手持机、集成电路(IC)或IC的集合(例如，芯片集合)。在本公开中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必需要通过不同硬件单元来实现。相反地，如上文所描述，各种单元可与合适的软件及/或固件一起组合在编解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。
已描述各种实例。这些及其它实例是在以下权利要求书的范围内。

Claims (24)

1.一种解码视频数据的方法，所述方法包括：
通过视频解码器接收包括所述视频数据的经编码表示的位流；
通过所述视频解码器重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
通过所述视频解码器重建所述非正方形明度块的明度样本；
通过所述视频解码器子采样所述明度参考样本集合，以使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同；
通过所述视频解码器确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，通过所述视频解码器确定所述相应色度样本的值，以使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；及
通过所述视频解码器部分基于所述预测性色度块重建译码块。
2.根据权利要求1所述的方法，其进一步包括：
通过所述视频解码器确定所述第二参数，使得所述第二参数基于：
3.根据权利要求1所述的方法，其中子采样所述明度参考样本集合包括通过所述视频解码器抽取所述明度参考样本集合，使得与所述非正方形明度块的所述较长侧相邻的所述明度参考样本集合的总数目与所述明度参考样本集合中与所述非正方形明度块的所述较短侧相邻的明度参考样本的所述总数目相同。
4.根据权利要求1所述的方法，其中子采样所述明度参考样本集合包括：通过所述视频解码器子采样对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较长者的所述左方参考样本或所述上方参考样本中的任一者，而非对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较短者的所述左方参考样本及所述上方参考样本中的任一者。
5.根据权利要求1所述的方法，其中在子采样所述明度参考样本集合之后，所述明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于所述非正方形明度块的高度或宽度中的至少一者的整数。
6.一种编码视频数据的方法，所述方法包括：
通过视频编码器接收所述视频数据；
通过所述视频编码器重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的顶侧相邻的色度样本及与所述非正方形色度块的左侧相邻的色度样本；
通过所述视频编码器重建所述非正方形明度块的明度样本；
通过所述视频编码器子采样所述明度参考样本集合，使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的所述明度参考样本的总数目相同；
通过所述视频编码器确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，通过所述视频编码器确定所述相应色度样本的值，使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；
通过所述视频编码器基于所述预测性色度块获得残余数据；及
通过所述视频编码器将表示所述残余数据的数据包含于包括所述视频数据的经编码表示的位流中。
7.根据权利要求6所述的方法，其进一步包括：
通过所述视频编码器确定所述第二参数，使得所述第二参数是基于：
8.根据权利要求6所述的方法，其中子采样所述明度参考样本集合包括通过所述视频编码器抽取所述明度参考样本集合，使得与所述非正方形明度块的所述较长侧相邻的所述明度参考样本集合的总数目与所述明度参考样本集合中与所述非正方形明度块的所述较短侧相邻的明度参考样本的所述总数目相同。
9.根据权利要求6所述的方法，其中子采样所述明度参考样本集合包括：通过所述视频编码器子采样对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较长者的所述左方参考样本或所述上方参考样本中的任一者，而非对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较短者的所述左方参考样本及所述上方参考样本中的任一者。
10.根据权利要求6所述的方法，其中在子采样所述明度参考样本集合之后，所述明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于所述非正方形明度块的高度或宽度中的至少一者的整数。
11.一种用于解码视频数据的设备，所述设备包括：
一或多个存储媒体，其经配置以存储所述视频数据；及
视频解码器，其经配置以：
接收包括所述视频数据的经编码表示的位流；
重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
重建所述非正方形明度块的明度样本；
对所述明度参考样本集合进行子采样，使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同；
确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值，使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；及
部分基于所述预测性色度块重建译码块。
12.根据权利要求11所述的设备，其中所述视频解码器进一步经配置以：
确定所述第二参数，使得所述第二参数是基于：
13.根据权利要求11所述的设备，其中所述视频解码器经配置使得作为子采样所述明度参考样本集合的部分，通过所述视频解码器，所述视频解码器抽取所述明度参考样本集合，使得与所述非正方形明度块的所述较长侧相邻的所述明度参考样本集合的总数目与所述明度参考样本集合中与所述非正方形明度块的所述较短侧相邻的明度参考样本的所述总数目相同。
14.根据权利要求11所述的设备，其中所述视频解码器经配置使得作为子采样所述明度参考样本集合的部分，所述视频解码器子采样对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较长者的所述左方参考样本或所述上方参考样本中的任一者，而非对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较短者的所述左方参考样本及所述上方参考样本中的任一者。
15.根据权利要求11所述的设备，其中在子采样所述明度参考样本集合之后，所述明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于所述非正方形明度块的高度或宽度中的至少一者的整数。
16.一种用于编码视频数据的设备，所述设备包括：
一或多个存储媒体，其经配置以存储所述视频数据；及
视频编码器，其经配置以：
接收所述视频数据；
重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形明度块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的顶侧相邻的色度样本及与所述非正方形色度块的左侧相邻的色度样本；
重建所述非正方形明度块的明度样本；
对所述明度参考样本集合进行子采样，使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的所述明度参考样本的总数目相同；
确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值，使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；
基于所述预测性色度块获得残余数据；及
将表示所述残余数据的数据包含于包括所述视频数据的经编码表示的位流中。
17.根据权利要求16所述的设备，其中所述视频编码器进一步经配置以：
确定所述第二参数，使得所述第二参数是基于：
18.根据权利要求16所述的设备，其中所述视频编码器经配置使得作为子采样所述明度参考样本集合的部分，所述视频编码器抽取所述明度参考样本集合，使得与所述非正方形明度块的所述较长侧相邻的所述明度参考样本集合的总数目与所述明度参考样本集合中与所述非正方形明度块的所述较短侧相邻的明度参考样本的所述总数目相同。
19.根据权利要求16所述的设备，其中所述视频编码器经配置使得作为子采样所述明度参考样本集合的部分，所述视频编码器子采样对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较长者的所述左方参考样本或所述上方参考样本中的任一者，而非对应于所述非正方形明度块的所述左侧及所述非正方形明度块的所述顶侧中的所述较短者的所述左边参考样本及所述上方参考样本中的任一者。
20.根据权利要求16所述的设备，其中在子采样所述明度参考样本集合之后，所述明度参考样本集合中的参考样本的总数目等于2m，其中m为取决于所述非正方形明度块的高度或宽度中的至少一者的整数。
21.一种用于解码视频数据的设备，所述设备包括：
用于接收包括所述视频数据的经编码表示的位流的装置；
用于重建明度参考样本集合及色度参考样本集合的装置，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
用于重建所述非正方形明度块的明度样本的装置；
用于对所述明度参考样本集合进行子采样以使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同的装置；
用于确定第一参数以使得所述第一参数是基于以下内容的装置：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
用于针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值以使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数的装置，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；及
用于部分基于所述预测性色度块重建译码块的装置。
22.一种用于编码视频数据的设备，所述设备包括：
用于接收所述视频数据的装置；
用于重建明度参考样本集合及色度参考样本集合的装置，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
用于重建所述非正方形明度块的明度样本的装置；
用于对所述明度参考样本集合进行子采样以使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同的装置；
用于确定第一参数以使得所述第一参数是基于以下内容的装置：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
用于针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值以使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数的装置，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；
用于基于所述预测性色度块获得残余数据的装置；及
用于将表示所述残余数据的数据包含于包括所述视频数据的经编码表示的位流中的装置。
23.一种上面存储有指令的计算机可读数据存储媒体，所述指令在执行时配置用于解码视频数据的设备以进行以下操作：
接收包括所述视频数据的经编码表示的位流；
重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
重建所述非正方形明度块的明度样本；
对所述明度参考样本集合进行子采样，使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同；
确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值，使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；及
部分基于所述预测性色度块重建译码块。
24.一种上面存储有指令的计算机可读数据存储媒体，所述指令在执行时配置用于编码视频数据的设备以进行以下操作：
接收所述视频数据；
重建明度参考样本集合及色度参考样本集合，所述明度参考样本集合包括与所述视频数据的当前图片的非正方形块的顶侧相邻的上方明度样本及与所述非正方形明度块的左侧相邻的左方明度样本，所述色度参考样本集合包括与所述当前图片的非正方形色度块的所述顶侧相邻的色度样本及与所述非正方形色度块的所述左侧相邻的色度样本；
重建所述非正方形明度块的明度样本；
对所述明度参考样本集合进行子采样，使得所述明度参考样本集合中与所述非正方形明度块的较长侧相邻的所述明度参考样本的总数目与所述明度参考样本集合中与所述非正方形明度块的较短侧相邻的明度参考样本的所述总数目相同；
确定第一参数，使得所述第一参数是基于：
(∑yi-α·∑xi)/I
其中I为所述明度参考样本集合中的参考样本的总数目，xi为所述明度参考样本集合中的第i明度参考样本，且yi为所述色度参考样本集合中的第i色度参考样本；
针对预测性色度块的每一相应色度样本，确定所述相应色度样本的值，使得所述相应色度样本的所述值等于第二参数乘以对应于所述相应色度样本的相应经重建明度样本加所述第一参数，对应于所述相应色度样本的所述经重建明度样本为所述非正方形明度块的所述经重建明度样本中的一者；
基于所述预测性色度块获得残余数据；及
将表示所述残余数据的数据包含于包括所述视频数据的经编码表示的位流中。
CN201680068132.5A 2015-11-25 2016-11-23 视频译码中具有非正方形预测单元的线性模型预测 Pending CN108464002A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562260103P 2015-11-25 2015-11-25
US62/260,103 2015-11-25
US201662310271P 2016-03-18 2016-03-18
US62/310,271 2016-03-18
US15/359,563 2016-11-22
US15/359,563 US20170150176A1 (en) 2015-11-25 2016-11-22 Linear-model prediction with non-square prediction units in video coding
PCT/US2016/063653 WO2017091759A1 (en) 2015-11-25 2016-11-23 Linear-model prediction with non-square prediction units in video coding

Publications (1)

Publication Number Publication Date
CN108464002A true CN108464002A (zh) 2018-08-28

Family

ID=58721438

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201680068398.XA Pending CN108293137A (zh) 2015-11-25 2016-11-23 视频译码中具有非正方形预测块的照明补偿
CN201680068132.5A Pending CN108464002A (zh) 2015-11-25 2016-11-23 视频译码中具有非正方形预测单元的线性模型预测
CN201680068137.8A Active CN108293112B (zh) 2015-11-25 2016-11-23 视频译码中的弹性变换树结构
CN201680068139.7A Active CN108293119B (zh) 2015-11-25 2016-11-23 在视频译码中用于非正方形变换单元的变换系数的修改

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680068398.XA Pending CN108293137A (zh) 2015-11-25 2016-11-23 视频译码中具有非正方形预测块的照明补偿

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201680068137.8A Active CN108293112B (zh) 2015-11-25 2016-11-23 视频译码中的弹性变换树结构
CN201680068139.7A Active CN108293119B (zh) 2015-11-25 2016-11-23 在视频译码中用于非正方形变换单元的变换系数的修改

Country Status (9)

Country Link
US (4) US20170150176A1 (zh)
EP (4) EP3381186A1 (zh)
JP (4) JP2018535610A (zh)
KR (4) KR20180084813A (zh)
CN (4) CN108293137A (zh)
AU (4) AU2016359165A1 (zh)
BR (4) BR112018010517A2 (zh)
TW (4) TW201722157A (zh)
WO (4) WO2017091759A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446044A (zh) * 2019-08-21 2019-11-12 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
WO2020073864A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Intra prediction method and device
WO2020192717A1 (en) * 2019-03-26 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for inter prediction
US10939128B2 (en) 2019-02-24 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US10979717B2 (en) 2018-11-06 2021-04-13 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
CN112806005A (zh) * 2018-09-26 2021-05-14 Vid拓展公司 用于视频译码的双向预测
US11057642B2 (en) 2018-12-07 2021-07-06 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11115655B2 (en) 2019-02-22 2021-09-07 Beijing Bytedance Network Technology Co., Ltd. Neighboring sample selection for intra prediction
CN113766233A (zh) * 2019-03-25 2021-12-07 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
US11388397B2 (en) 2018-10-12 2022-07-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video picture component prediction method and apparatus, and computer storage medium
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
EP3414906A4 (en) 2016-02-08 2019-10-02 Sharp Kabushiki Kaisha SYSTEMS AND METHOD FOR INTRAPRADICATION CODING
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
ES2710807B1 (es) * 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
WO2017188565A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
KR102331933B1 (ko) * 2016-05-12 2021-11-29 엘지전자 주식회사 계수 유도 복원을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10887626B2 (en) * 2016-05-13 2021-01-05 Sharp Kabushiki Kaisha Image decoding device and image encoding device
US20170332103A1 (en) * 2016-05-13 2017-11-16 Intel Corporation Interleaving luma and chroma coefficients to reduce the intra prediction loop dependency in video encoders and decoders
US20170359575A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Non-Uniform Digital Image Fidelity and Video Coding
US11647228B2 (en) * 2016-07-15 2023-05-09 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using transform domain prediction for prediction unit partition
JP2019525577A (ja) * 2016-07-18 2019-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
EP3503553A4 (en) * 2016-09-22 2020-07-29 LG Electronics Inc. -1- INTER-PREDICTION PROCESS AND APPARATUS BASED ON LIGHTING COMPENSATION IN AN IMAGE CODING SYSTEM
KR102413345B1 (ko) * 2016-10-04 2022-06-27 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
WO2018066983A1 (ko) * 2016-10-04 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
US10694202B2 (en) * 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10554974B2 (en) * 2017-01-13 2020-02-04 Mediatek Inc. Method and apparatus enabling adaptive multiple transform for chroma transport blocks using control flags
AU2018230328B2 (en) * 2017-03-10 2021-05-06 Hfi Innovation Inc. Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
WO2018180579A1 (ja) * 2017-03-31 2018-10-04 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
MX2019012294A (es) * 2017-04-13 2020-01-27 Lg Electronics Inc Metodo de codificacion/decodificacion de imagenes y dispositivo para el mismo.
JP6680260B2 (ja) * 2017-04-28 2020-04-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN108933941A (zh) * 2017-05-26 2018-12-04 富士通株式会社 图像编码方法和装置以及图像解码方法和装置
KR102431855B1 (ko) * 2017-05-31 2022-08-11 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20230308626A1 (en) * 2017-07-17 2023-09-28 B1 Institute Of Image Technology, Inc. Image data encoding/decoding method and apparatus
EP3454556A1 (en) 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
CN116916010A (zh) * 2017-09-08 2023-10-20 株式会社Kt 视频信号处理方法及装置
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
CN111194553A (zh) * 2017-10-05 2020-05-22 交互数字Vc控股公司 用于视频编码和解码中的自适应照明补偿的方法和装置
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
EP3682637A1 (en) * 2017-10-09 2020-07-22 ARRIS Enterprises LLC Adaptive unequal weight planar prediction
CN111373750A (zh) * 2017-10-24 2020-07-03 韦勒斯标准与技术协会公司 视频信号处理方法和装置
CN111279695B (zh) 2017-10-26 2024-03-29 韩国电子通信研究院 用于基于非对称子块的图像编码/解码的方法及装置
GB2567863A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
EP3704855A4 (en) * 2017-11-13 2021-09-15 MediaTek Singapore Pte. Ltd. METHOD AND DEVICE FOR INTRAPREDICTION FUSION IN IMAGE AND VIDEO ENCODING
KR20240032154A (ko) * 2017-11-30 2024-03-08 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
CN115776572A (zh) * 2017-12-21 2023-03-10 Lg电子株式会社 图像解码和编码方法、存储比特流的介质和数据发送方法
CN111602401B (zh) * 2018-01-16 2024-01-09 Vid拓展公司 用于360度视频译码的自适应帧封装
EP3742403A4 (en) * 2018-01-19 2021-03-17 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
KR102568633B1 (ko) * 2018-01-26 2023-08-21 삼성전자주식회사 이미지 처리 장치
EP3518537A1 (en) * 2018-01-26 2019-07-31 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
WO2019147910A1 (en) * 2018-01-26 2019-08-01 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on a linear model responsive to neighboring samples
US11044466B2 (en) * 2018-01-26 2021-06-22 Samsung Electronics Co., Ltd. Image processing device
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
GB2571311B (en) * 2018-02-23 2021-08-18 Canon Kk Methods and devices for improvement in obtaining linear component sample prediction parameters
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure
US11470359B2 (en) * 2018-03-30 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
US10735721B2 (en) * 2018-04-17 2020-08-04 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method using local illumination compensation
US10798382B2 (en) * 2018-04-26 2020-10-06 Tencent America LLC Sub-block transform
WO2019210829A1 (en) * 2018-04-30 2019-11-07 Mediatek Inc. Signaling for illumination compensation
US10462486B1 (en) * 2018-05-07 2019-10-29 Tencent America, Llc Fast method for implementing discrete sine transform type VII (DST 7)
WO2019234604A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks
JP2019213096A (ja) * 2018-06-06 2019-12-12 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
US11350093B2 (en) 2018-06-11 2022-05-31 Hanwha Techwin Co., Ltd. Residual coefficient encoding/decoding method and device
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
US10382772B1 (en) 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
US10284844B1 (en) 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
US10904555B2 (en) * 2018-07-11 2021-01-26 Tencent America LLC Method and apparatus for video coding
US10841602B2 (en) * 2018-07-16 2020-11-17 Tencent America LLC Hierarchical tiles
WO2020035837A1 (en) * 2018-08-17 2020-02-20 Beijing Bytedance Network Technology Co., Ltd. Simplified cross component prediction
WO2020044253A1 (en) 2018-08-28 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Redundancy removal of partitioning methods
WO2020043092A1 (en) * 2018-08-31 2020-03-05 Mediatek Singapore Pte. Ltd. Method and apparatus of intra prediction with mpm generation in image and video processing
BR112021001156A2 (pt) * 2018-09-07 2021-04-27 Panasonic Intellectual Property Corporation Of America sistema e método para codificação de vídeo
WO2020053804A1 (en) * 2018-09-12 2020-03-19 Beijing Bytedance Network Technology Co., Ltd. Downsampling in cross-component linear modeling
CN112806004B (zh) * 2018-09-20 2024-03-05 Lg电子株式会社 图像编码系统中基于cclm预测的图像解码的方法及装置
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020060256A1 (ko) 2018-09-22 2020-03-26 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측을 사용하는 영상 디코딩 방법 및 그 장치
EP3700201A1 (en) * 2019-02-21 2020-08-26 InterDigital VC Holdings, Inc. Separate coding trees for luma and chroma prediction
WO2020068461A1 (en) * 2018-09-25 2020-04-02 Interdigital Vc Holdings, Inc. Separate coding trees for luma and chroma prediction
WO2020071617A1 (ko) * 2018-10-04 2020-04-09 엘지전자 주식회사 Cclm에 기반한 인트라 예측 방법 및 그 장치
KR20230169407A (ko) 2018-10-05 2023-12-15 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 디바이스
CN116170586B (zh) * 2018-10-08 2024-03-26 北京达佳互联信息技术有限公司 对视频信号进行解码或编码的方法、计算装置和存储介质
CN112823513A (zh) * 2018-10-12 2021-05-18 英迪股份有限公司 图像编码/解码方法和装置
CN113287317B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间编解码工具
CN112913247B (zh) 2018-10-23 2023-04-28 北京字节跳动网络技术有限公司 使用局部照明补偿的视频处理
US10939118B2 (en) * 2018-10-26 2021-03-02 Mediatek Inc. Luma-based chroma intra-prediction method that utilizes down-sampled luma samples derived from weighting and associated luma-based chroma intra-prediction apparatus
US20220371274A1 (en) * 2018-11-19 2022-11-24 Continuous Composites Inc. System for additively manufacturing composite structure
US11358331B2 (en) * 2018-11-19 2022-06-14 Continuous Composites Inc. System and head for continuously manufacturing composite structure
KR20210074400A (ko) * 2018-11-21 2021-06-21 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 방법 및 디바이스
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
EP3881546A4 (en) * 2018-12-04 2022-01-26 Huawei Technologies Co., Ltd. VIDEO ENCODER, VIDEO DECODER, AND CORRESPONDING METHOD
CN113287311B (zh) * 2018-12-22 2024-03-12 北京字节跳动网络技术有限公司 两步交叉分量预测模式的指示
JP2022520295A (ja) * 2018-12-25 2022-03-30 オッポ広東移動通信有限公司 デコードのための予測方法及びその装置、並びにコンピュータ記憶媒体
CN116962678A (zh) * 2019-01-12 2023-10-27 Lg电子株式会社 图像解码/编码方法、存储介质和图像数据发送方法
WO2020147745A1 (en) * 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidate lists that use local illumination compensation
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
CN113302919A (zh) 2019-01-17 2021-08-24 北京字节跳动网络技术有限公司 在视频处理中使用虚拟候选预测和加权预测
US11172195B2 (en) * 2019-01-26 2021-11-09 Qualcomm Incorporated Excluding intra coded reference samples from local illumination compensation parameter derivation
WO2020151765A1 (en) * 2019-01-27 2020-07-30 Beijing Bytedance Network Technology Co., Ltd. Interpolation for bi-prediction with cu-level weight
CN113424531A (zh) 2019-02-08 2021-09-21 交互数字Vc控股公司 用于使用照明补偿进行图片编码和解码的方法和设备
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
EP3912343A4 (en) 2019-03-08 2022-07-20 Beijing Bytedance Network Technology Co., Ltd. LIMITATIONS OF MODEL-BASED TRANSFORMING IN VIDEO PROCESSING
BR112021016410A2 (pt) * 2019-03-21 2021-11-09 Samsung Electronics Co Ltd Método de decodificação de vídeo, aparelho de decodificação de vídeo, e método de codificação de vídeo
WO2020198061A1 (en) * 2019-03-22 2020-10-01 Futurewei Technologies, Inc. Transform unit partition method for video coding
KR20210141683A (ko) * 2019-03-25 2021-11-23 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 요소의 예측 방법, 인코더, 디코더 및 컴퓨터 저장 매체
CN116506609B (zh) * 2019-04-09 2024-03-15 北京达佳互联信息技术有限公司 用于在视频编码中用信号发送合并模式的方法和装置
CN113875237A (zh) * 2019-04-10 2021-12-31 韩国电子通信研究院 用于在帧内预测中用信号传送预测模式相关信号的方法和装置
CN113678453A (zh) 2019-04-12 2021-11-19 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
CN117499656A (zh) 2019-04-16 2024-02-02 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
EP3932062A4 (en) * 2019-04-18 2022-07-20 Beijing Bytedance Network Technology Co., Ltd. PARAMETER DEDUCTION IN A CROSS COMPONENT MODE
JP7317991B2 (ja) 2019-04-23 2023-07-31 北京字節跳動網絡技術有限公司 クロスコンポーネント依存性を低減するための方法
CN113796086B (zh) * 2019-04-25 2023-06-06 寰发股份有限公司 编码或解码视频数据的方法和装置
EP3949391A4 (en) 2019-05-01 2022-05-25 Beijing Bytedance Network Technology Co., Ltd. MATRIX-BASED INTRAPREDICTION USING FILTRATION
CN117097912A (zh) 2019-05-01 2023-11-21 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
JP2022530240A (ja) * 2019-05-02 2022-06-28 北京字節跳動網絡技術有限公司 複数の参照フィルタを使用するイントラビデオコーディング
KR102641796B1 (ko) 2019-05-08 2024-03-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 교차-성분 코딩의 적용가능성에 대한 조건들
EP3912341A4 (en) * 2019-05-21 2022-10-19 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR INTER-COMPONENT PREDICTION
WO2020236039A1 (en) * 2019-05-21 2020-11-26 Huawei Technologies Co., Ltd. Method and apparatus of local illumination compensation for inter prediction
CN113875233B (zh) 2019-05-22 2023-12-15 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
US11240499B2 (en) 2019-05-24 2022-02-01 Tencent America LLC Method and apparatus for video coding
CN113924775B (zh) 2019-05-31 2023-11-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测中的限制的上采样
US20220256174A1 (en) * 2019-06-03 2022-08-11 Lg Electronics Inc. Video or image coding based on mapped luma component and scaled chroma component
EP3963890A4 (en) 2019-06-04 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. BUILDING A LIST OF MOVEMENT CANDIDATES USING NEIGHBOR BLOCK INFORMATION
JP7446339B2 (ja) 2019-06-04 2024-03-08 北京字節跳動網絡技術有限公司 幾何学的分割モードコーディングを用いた動き候補リスト
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
US11212545B2 (en) * 2019-06-07 2021-12-28 Tencent America LLC Method and apparatus for improved implicit transform selection
MX2021014971A (es) * 2019-06-17 2022-01-24 Lg Electronics Inc Codificacion de video o imagen en base a mapeo de luma y escalado de croma.
WO2020256399A1 (ko) * 2019-06-17 2020-12-24 엘지전자 주식회사 루마 샘플들의 맵핑 및 크로마 샘플들의 스케일링 기반 비디오 또는 영상 코딩
CN113475073A (zh) * 2019-06-17 2021-10-01 Lg 电子株式会社 基于亮度映射的视频或图像编译
CN114128273B (zh) 2019-06-20 2023-11-17 Lg电子株式会社 图像解码和编码方法及用于图像的数据的发送方法
CN114128272B (zh) 2019-06-20 2024-03-26 Lg电子株式会社 基于亮度样本的映射和色度样本的缩放的视频或图像编码
WO2020256513A1 (ko) * 2019-06-20 2020-12-24 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020253864A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Selective enablement of adaptive in-loop color-space transform in video coding
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
CN114270851A (zh) * 2019-06-24 2022-04-01 Lg电子株式会社 基于亮度映射的视频或图像编码
KR20210099144A (ko) * 2019-06-24 2021-08-11 후아웨이 테크놀러지 컴퍼니 리미티드 지오메트릭 분할 모드를 위한 샘플 거리 계산
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
KR20220003115A (ko) 2019-06-24 2022-01-07 엘지전자 주식회사 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
JP7448568B2 (ja) * 2019-06-25 2024-03-12 オッポ広東移動通信有限公司 画像成分の予測方法、装置およびコンピュータ記憶媒体
US11330298B2 (en) * 2019-06-25 2022-05-10 Qualcomm Incorporated Simplified intra chroma mode coding in video coding
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング
US11432002B2 (en) * 2019-07-08 2022-08-30 Hyundai Motor Company Method and apparatus for encoding and decoding video using inter-prediction
WO2021008513A1 (en) 2019-07-14 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Transform block size restriction in video coding
WO2021013240A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
WO2021013239A1 (en) 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Size restriction for intra-block copy virtual buffer
CN117354527A (zh) 2019-07-26 2024-01-05 北京字节跳动网络技术有限公司 基于块尺寸的图片分割模式确定
WO2021018084A1 (en) * 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Interdependence of transform size and coding tree unit size in video coding
EP4002277A4 (en) * 2019-08-14 2023-02-22 LG Electronics Inc. POINT CLOUD DATA TRANSMITTING DEVICE, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING DEVICE AND POINT CLOUD DATA RECEIVING METHOD
CN117579825A (zh) 2019-09-05 2024-02-20 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
CN110476960B (zh) * 2019-09-19 2021-06-15 河北省农林科学院植物保护研究所 噻虫胺薄膜缓释型种子处理悬浮剂及其制备方法与应用
MX2022002916A (es) 2019-09-19 2022-04-06 Beijing Bytedance Network Tech Co Ltd Derivacion de posiciones de muestra de referencia en codificacion de video.
KR20220066041A (ko) 2019-09-20 2022-05-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 스케일링의 루마 매핑
CN117750036A (zh) * 2019-09-21 2024-03-22 Lg电子株式会社 图像编码/解码方法、存储介质及数据传输方法
JP7307274B2 (ja) 2019-09-23 2023-07-11 北京字節跳動網絡技術有限公司 仮想パイプラインデータユニットに基づいたイントラブロックコピー仮想バッファの設定
WO2021057996A1 (en) 2019-09-28 2021-04-01 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
CN112584157A (zh) * 2019-09-30 2021-03-30 福州瑞芯微电子股份有限公司 一种avs2反变换装置及方法
US11368723B2 (en) 2019-10-22 2022-06-21 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video
CN114641997A (zh) 2019-10-28 2022-06-17 北京字节跳动网络技术有限公司 基于颜色分量的语法信令通知和解析
CN115152219A (zh) 2019-11-07 2022-10-04 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
KR102192631B1 (ko) * 2019-11-28 2020-12-17 주식회사우경정보기술 병렬 포렌식 마킹 장치 및 방법
US20210168354A1 (en) * 2019-12-03 2021-06-03 Mellanox Technologies, Ltd. Video Coding System
JP7469475B2 (ja) * 2019-12-30 2024-04-16 華為技術有限公司 交差成分線形モデル予測のためのフィルタリングの方法及び装置
WO2021134635A1 (zh) * 2019-12-31 2021-07-08 Oppo广东移动通信有限公司 变换方法、编码器、解码器以及存储介质
CN115362674A (zh) 2020-03-18 2022-11-18 抖音视界有限公司 帧内块复制缓冲区和调色板预测值更新
EP4094441A4 (en) * 2020-04-01 2023-08-16 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR SAMPLE EXTRACTION AND FILLING FOR SUB-SAMPLING FILTERING FOR CROSS-COMPONENT LINEAR MODEL PREDICTION
CN115428467B (zh) * 2020-04-14 2024-03-08 Lg电子株式会社 点云数据发送设备和方法、点云数据接收设备和方法
US11310504B2 (en) * 2020-07-30 2022-04-19 Tencent America LLC Complexity reduction for 32-p and 64-p LGT
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
US11394987B2 (en) * 2020-12-11 2022-07-19 Qualcomm Incorporated Chroma samples from luma samples prediction for video coding
JP2024507579A (ja) * 2021-02-24 2024-02-20 エルジー エレクトロニクス インコーポレイティド 映像コーディング方法及びその装置
WO2023110337A1 (en) * 2021-12-18 2023-06-22 Nokia Technologies Oy Coding cu with four-side reference samples for massive parallel coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
CN104685875A (zh) * 2012-10-01 2015-06-03 高通股份有限公司 用于视频译码中的4:2:2样本格式的帧内译码

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2418855B1 (en) * 2009-04-08 2017-12-27 Sharp Kabushiki Kaisha Method of selecting a transform size in a video decoding process
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2011223303A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像符号化装置と画像符号化方法および画像復号化装置と画像復号化方法
JP5874725B2 (ja) * 2011-05-20 2016-03-02 ソニー株式会社 画像処理装置及び画像処理方法
GB2492333B (en) * 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
US9807426B2 (en) * 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
EP2742690B1 (en) 2011-08-08 2016-07-27 Google Technology Holdings LLC Residual tree structure of transform unit partitioning
US9787982B2 (en) 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
CN103096053B (zh) * 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
CN103096052B (zh) * 2011-11-04 2015-11-25 华为技术有限公司 一种图像编码、解码的方法和装置
GB2498550B (en) * 2012-01-19 2016-02-24 Canon Kk Method and device for processing components of an image for encoding or decoding
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
EP2830312A4 (en) * 2012-03-20 2015-12-02 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR SCREENABLE VIDEO CODING BASED ON ARBORESCENT STRUCTURE CODING UNIT, AND METHOD AND DEVICE FOR DECODING SCREENABLE VIDEO BASED ON ARBORESCENT STRUCTURE CODING UNIT
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN105052134B (zh) * 2012-10-01 2019-09-03 Ge视频压缩有限责任公司 一种可伸缩视频编解码方法及计算机可读存储介质
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9800857B2 (en) * 2013-03-08 2017-10-24 Qualcomm Incorporated Inter-view residual prediction in multi-view or 3-dimensional video coding
US9787989B2 (en) * 2013-06-11 2017-10-10 Blackberry Limited Intra-coding mode-dependent quantization tuning
WO2015011752A1 (ja) 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
DE202015009312U1 (de) * 2014-01-26 2017-02-03 Cable Television Laboratories, Inc. Datentransformation
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
CN104954806A (zh) * 2015-06-24 2015-09-30 上海交通大学 帧内视频优化编码方法
US20170150176A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Linear-model prediction with non-square prediction units in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104685875A (zh) * 2012-10-01 2015-06-03 高通股份有限公司 用于视频译码中的4:2:2样本格式的帧内译码
WO2015005418A1 (ja) * 2013-07-10 2015-01-15 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL: ""CE6.a.4: Chroma intra prediction by reconstructed luma samples"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH MEETING: GENEVA, 16-23 MARCH, 2011》 *
JUNGSUN KIM: ""RCE1: EXP1/4 The performance of extended chroma mode for non 4:2:0 format"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: VIENNA, AT, 25 JULY – 2 AUG. 2013》 *
KEI KAWAMURA: ""Non-RC1: Chroma intra prediction with mode-dependent reduced reference"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: VIENNA, AT, 25 JULY – 2 AUG. 2013》 *
XIAORAN CAO ET AL: ""Short distance intra coding scheme for HEVC"", 《2012 PICTURE CODING SYMPOSIUM，IEEE》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112806005B (zh) * 2018-09-26 2024-04-23 Vid拓展公司 用于视频译码的双向预测
CN112806005A (zh) * 2018-09-26 2021-05-14 Vid拓展公司 用于视频译码的双向预测
WO2020073864A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. Intra prediction method and device
CN112789858A (zh) * 2018-10-08 2021-05-11 华为技术有限公司 帧内预测方法及设备
US11876958B2 (en) 2018-10-12 2024-01-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video picture component prediction method and apparatus, and computer storage medium
US11388397B2 (en) 2018-10-12 2022-07-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video picture component prediction method and apparatus, and computer storage medium
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US10979717B2 (en) 2018-11-06 2021-04-13 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
US10999581B2 (en) 2018-11-06 2021-05-04 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
US11019344B2 (en) 2018-11-06 2021-05-25 Beijing Bytedance Network Technology Co., Ltd. Position dependent intra prediction
US11025915B2 (en) 2018-11-06 2021-06-01 Beijing Bytedance Network Technology Co., Ltd. Complexity reduction in parameter derivation intra prediction
US11438598B2 (en) 2018-11-06 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Simplified parameter derivation for intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
US11057642B2 (en) 2018-12-07 2021-07-06 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11115655B2 (en) 2019-02-22 2021-09-07 Beijing Bytedance Network Technology Co., Ltd. Neighboring sample selection for intra prediction
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US10939128B2 (en) 2019-02-24 2021-03-02 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US11438581B2 (en) 2019-03-24 2022-09-06 Beijing Bytedance Network Technology Co., Ltd. Conditions in parameter derivation for intra prediction
CN113766233A (zh) * 2019-03-25 2021-12-07 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN113632474A (zh) * 2019-03-26 2021-11-09 北京字节跳动网络技术有限公司 用于帧间预测的参数推导
CN113632474B (zh) * 2019-03-26 2022-12-09 北京字节跳动网络技术有限公司 用于帧间预测的参数推导
WO2020192717A1 (en) * 2019-03-26 2020-10-01 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for inter prediction
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
CN110446044A (zh) * 2019-08-21 2019-11-12 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置

Also Published As

Publication number Publication date
BR112018010664A8 (pt) 2019-02-26
TW201729593A (zh) 2017-08-16
AU2016359171A1 (en) 2018-05-10
EP3381191A1 (en) 2018-10-03
EP3381189A1 (en) 2018-10-03
US20170150183A1 (en) 2017-05-25
TW201729592A (zh) 2017-08-16
AU2016359155A1 (en) 2018-04-26
JP2019500778A (ja) 2019-01-10
US20170150186A1 (en) 2017-05-25
WO2017091776A9 (en) 2018-06-21
JP2019500779A (ja) 2019-01-10
AU2016359168A1 (en) 2018-04-26
BR112018010660A2 (pt) 2018-11-13
CN108293119B (zh) 2022-05-03
CN108293119A (zh) 2018-07-17
CN108293137A (zh) 2018-07-17
US10200719B2 (en) 2019-02-05
BR112018010660A8 (pt) 2019-02-26
US20170150156A1 (en) 2017-05-25
KR20180084814A (ko) 2018-07-25
KR102048169B1 (ko) 2019-11-22
CN108293112B (zh) 2022-06-17
WO2017091770A1 (en) 2017-06-01
JP2018535610A (ja) 2018-11-29
EP3381188A1 (en) 2018-10-03
WO2017091776A1 (en) 2017-06-01
AU2016359171A9 (en) 2018-12-13
TWI705701B (zh) 2020-09-21
KR20180084816A (ko) 2018-07-25
BR112018010517A2 (pt) 2018-11-13
BR112018010534A2 (pt) 2018-11-13
BR112018010664A2 (pt) 2018-11-13
CN108293112A (zh) 2018-07-17
WO2017091759A1 (en) 2017-06-01
TW201722156A (zh) 2017-06-16
AU2016359165A1 (en) 2018-04-26
WO2017091773A1 (en) 2017-06-01
KR20180084813A (ko) 2018-07-25
EP3381186A1 (en) 2018-10-03
TW201722157A (zh) 2017-06-16
KR20180084815A (ko) 2018-07-25
US20170150176A1 (en) 2017-05-25
JP2018535609A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
CN108464002A (zh) 视频译码中具有非正方形预测单元的线性模型预测
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN106797465B (zh) 一种解码视频数据的方法及装置
CN105308959B (zh) 用于视频译码的自适应颜色变换
CN105874796B (zh) 用于基于调色板的视频译码的颜色索引译码
CN110100436A (zh) 使用导出色度模式译码视频数据
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN103959785B (zh) 在视频译码中用于色度分量的变换单位分割
CN105191320B (zh) 对视频数据进行编码和解码的方法和设备
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN109196867A (zh) 在帧内预测中使用的参考线索引的隐式译码
CN106797468B (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
CN105191317B (zh) 视图内以及跨越视图的深度查找表的预测性译码
CN109716765A (zh) 用于视频译码中的帧内预测的经改进内插滤波器
CN105308956B (zh) 用于深度图帧内译码的预测子
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN108781296A (zh) 为视频译码中非方形块确定预测参数
CN110100439A (zh) 用于视频译码的帧内预测技术
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN109076228A (zh) 滤波信息的发信号
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107690803A (zh) 用于高动态范围及广色域视频译码的自适应常量照度方法
CN105103557B (zh) 用于视频译码的方法、装置和存储媒体
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180828