CN104285447A - 用于视频译码的简化非正方形四叉树变换 - Google Patents

用于视频译码的简化非正方形四叉树变换 Download PDF

Info

Publication number
CN104285447A
CN104285447A CN201380019938.1A CN201380019938A CN104285447A CN 104285447 A CN104285447 A CN 104285447A CN 201380019938 A CN201380019938 A CN 201380019938A CN 104285447 A CN104285447 A CN 104285447A
Authority
CN
China
Prior art keywords
conversion
square
block
prediction
converter unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380019938.1A
Other languages
English (en)
Other versions
CN104285447B (zh
Inventor
郭立威
翔林·王
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104285447A publication Critical patent/CN104285447A/zh
Application granted granted Critical
Publication of CN104285447B publication Critical patent/CN104285447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一实例中，一种对视频数据进行解码的方法包含确定用于预测与视频数据块相关联的像素值的预测分割结构。所述方法还包含确定用于将一或多个变换应用于所述经预测像素值的变换分割结构。确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。

Description

用于视频译码的简化非正方形四叉树变换
本发明主张2012年4月16日申请的第61/625,038号美国临时申请案及2012年4月23日申请的第61/637,220号美国临时申请案的权益，所述申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频译码。
背景技术
可将数字视频能力并入到多种多样的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频译码技术。视频装置可通过实施此些视频译码技术而更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，图片或图片的一部分)可以分割成视频块，视频块还可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可以将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可以对残余变换系数进行量化。可以扫描起初用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，并且可以应用熵译码以实现更多的压缩。
发明内容
一般来说，本发明描述用于在具有非正方形块的情况下进行视频译码的技术。视频译码通常包含预测(例如，帧间预测或帧内预测)及残余数据的译码(也被称作预测误差)。残余块对应于经预测块与实际视频数据块之间的逐像素差。残余块可对应于变换单元(TU)。描述产生经预测块的方式的数据可对应于PU。
在一些状况下，视频数据可使用非正方形块(例如，用非正方形(也被称作不对称)PU)来预测。本发明描述用于应用变换以使得所述变换不会应用于一个以上PU的技术。举例来说，本发明描述用于避免跨越预测分割边界应用变换的技术，此举可提供增加的译码效率。
在一些状况下，视频数据可使用非正方形块(例如，用非正方形TU)进行变换。TU的大小可由四叉树数据结构来描述。本发明描述用于简化非正方形四叉树变换(NSQT)的技术。以此方式，这些技术可提供一种用于使用非正方形变换的简化方案。
在一实例中，一种方法包含：确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；及确定用于将一或多个变换应用于所述经预测像素值的变换分割结构。确定变换分裂结构包含：分裂父代变换确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。所述方法还包含基于所述所确定的变换分割结构而对所述经预测像素值进行解码。
在另一实例中，一种对视频数据进行编码的方法包含：确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；及确定用于将一或多个变换应用于所述经预测像素值的变换分割结构。确定变换分裂结构包含：分裂父代变换确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。所述方法还包含基于所述所确定的变换分割结构而对所述经预测像素值进行编码。
在另一实例中，一种用于对视频数据进行译码的设备包括一或多个处理器，所述一或多个处理器经配置以：确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；及确定用于将一或多个变换应用于所述经预测像素值的变换分割结构。确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。所述一或多个处理器还经配置以基于所述所确定的变换分割结构对所述经预测像素值进行译码。
在另一实例中，一种用于对视频数据进行译码的设备包含：用于确定用于预测与视频数据块相关联的像素值的预测分割结构的装置，其中所述预测分割结构包含一或多个非正方形分割区；及用于确定用于将一或多个变换应用于所述经预测像素值的变换分割结构的装置。确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。所述设备还包含用于基于所述所确定的变换分割结构对所述经预测像素值进行译码的装置。
在另一实例中，一种非暂时计算机可读媒体在其上存储有指令，所述指令在执行时致使一或多个处理器：确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；及确定用于将一或多个变换应用于所述经预测像素值的变换分割结构。确定变换分裂结构包含：分裂父代变换单元；在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换。所述指令还致使所述一或多个处理器基于所述所确定的变换分割结构对所述经预测像素值进行译码。
一或多个实例的细节陈述于随附图式及以下描述中。其它特征、目标及优势将从所述描述及所述图式以及从权利要求书而显而易见。
附图说明
图1为说明可利用用于在视频译码中应用变换的技术的实例视频编码及解码系统的框图。
图2为说明可实施用于在视频译码中应用变换的技术的视频编码器的实例的框图。
图3为说明可实施用于在视频译码中应用变换的技术的视频解码器的实例的框图。
图4A及4B为说明实例四叉树及对应最大译码单元(LCU)的概念图。
图5为说明分割成各种子块的实例块的概念图。
图6通常说明可与预测单元相关联的分割模式。
图7说明用于图6中所示的预测单元的强制变换分裂的实例。
图8说明用于图6中所示的预测单元的强制变换分裂的另一实例。
图9说明根据本发明的方面的强制变换分裂的实例。
图10说明根据本发明的方面的用于对视频数据块进行编码的实例过程。
图11说明根据本发明的方面的用于对视频数据块进行解码的实例过程。
图12说明用于64x64译码单元(CU)的实例TU分解。
图13说明用于32x32CU的实例TU分解。
图14说明用于16x16CU的实例TU分解。
图15为说明根据本发明的方面的用于对当前块进行编码的实例方法的流程图。
图16为说明根据本发明的方面的用于对当前视频数据块进行解码的实例方法的流程图。
图17为说明根据本发明的方面的对视频数据进行译码的实例的流程图。
具体实施方式
视频译码装置实施视频压缩技术以有效地对视频数据进行编码及解码。视频压缩技术可包含应用空间(帧内)预测及/或时间(帧间)预测技术来减少或移除视频序列中所固有的冗余。视频编码器通常将原始视频序列的每一图片分割成被称作视频块或译码单元(CU)的矩形区，如下文较详细描述。这些视频块可使用帧内模式(I模式)或使用帧间模式(P模式或B模式)来编码。
对于P模式及B模式，视频编码器首先搜索与在另一时间位置中的帧(其被称作参考帧且表示为Fref)中正被编码的块类似的块。视频编码器可将搜索限于自待编码的块的某一空间移位。最佳匹配可使用二维(2D)运动向量(Δx，Δy)来定位，其中Δx为相对于经译码的块的水平移位，且Δy为相对于经译码的块的垂直移位。运动向量与参考帧一起可用以建构预测单元(PU)，其也被称作预测分割区或经预测块Fpred：
Fpred(x，y)＝Fref(x+Δx，y+Δy)
其中图片内的像素的位置由(x，y)表示。
对于在I模式中编码的块，视频编码器可基于来自同一图片内的先前编码的相邻块的数据使用空间预测技术而形成经预测块。
在任何状况下，对于I模式及P或B模式两者，预测误差(即，经编码的块及经预测块中的像素值之间的差)可表示为例如离散余弦变换(DCT)等离散变换的一组加权基底函数。变换可使用例如4x4、8x8或16x16及更大等不同大小的块(变换单元(TU))来执行。变换块的形状并不需要总是为正方形。举例来说，也可使用例如具有16x4、32x8等变换块大小的矩形形状变换块。
在变换之后，随后量化权重(即，变换系数)。量化引入信息的损耗，正因为如此，经量化系数具有比原始变换系数低的精确度。压缩比(即，用以表示原始序列及经压缩序列的位数的比率)可通过调整在量化变换系数时使用的量化参数(QP)的值来控制。
经量化变换系数及运动向量为语法元素的实例，所述语法元素连同控制信息及可能其它经译码视频信息一起形成视频序列的经译码表示。在一些情况下，视频编码器可对语法元素进行熵译码，由此进一步减少其表示所需的位数。熵译码为无损操作，其旨在通过利用语法元素的分布特性(例如，辨识一些符号出现的频率超过其它符号)而最小化表示发射或存储的符号(例如，语法元素)所需要的位数。
视频编码器还可再现经译码图片以计算对应于重建构误差的失真。视频编码器可在确定例如块大小、块分割策略、量化参数、译码模式及其类似者等各种译码因数时测量位速率及失真量。块分割策略可包含将CU分割成子CU，选择PU大小及选择TU大小。压缩比(即，用以表示原始序列及经压缩序列的位数的比率)可通过调整在量化变换系数时使用的量化参数(QP)的值来控制。压缩比还可取决于所使用的熵译码的方法。
视频解码器可使用上文所论述的语法元素及控制信息来建构用于对当前帧进行解码的预测性数据(例如，预测性块)。举例来说，视频解码器可将经预测块与经压缩预测误差相加。视频解码器可通过使用经量化系数对变换基底函数进行加权来确定经压缩预测误差。经重建构帧与原始帧之间的差被称为重建构误差。
如上所指出，例如视频编码器及视频解码器等视频译码器可经配置以使用各种大小的块，且所述块可为非正方形。举例来说，视频编解码器可使用为非正方形(例如，矩形)的PU及TU。在一些情况下，非正方形块可将复杂性引入至视频译码过程。在一实例中，使用一或多个非正方形PU及一或多个正方形TU对视频数据块进行译码可产生应用于一个以上预测分割区的变换。此变换配置可影响译码效率。举例来说，包含多个预测分割区(例如，PU)的图像的区可指示所述区中存在不连续性。跨越不连续性(例如，跨越预测分割区)应用单一变换可产生影响译码效率的高频噪声。
本发明的方面通常涉及将变换应用于残余视频数据而不越过预测分割边界。也就是说，根据本发明的方面，例如视频编码器或视频解码器等视频译码器可将一或多个正方形变换应用于非正方形预测分割区，以使得一或多个变换不会应用于一个以上预测分割区。因此，变换不会越过预测分割边界，且视频译码器可避免引入如上文所描述的可能高频噪声。
本发明通常可将预测分割区称作用单一预测技术(例如，帧间预测或帧内预测技术)预测的图片的区域。视频数据块可具有一或多个相关联的预测分割区。在一些情况下，预测分割区可与预测单元(PU)相关联，如根据高效率视频译码(HEVC)标准所描述。如上所指出，预测分割区的形状可为正方形或非正方形。
在另一实例中，使用非正方形块(包含非正方形变换块)还可引入与指示块的布置相关联的复杂性。举例来说，在一些情况下，在位流中用信号发出非正方形TU的布置可为相对复杂的。另外，例如HEVC标准等一些视频译码标准可具有用于应用非正方形变换的相对复杂的规则。
在一实例中，非正方形变换可分裂成四个非正方形变换(例如，32x8变换可分裂成四个16x4变换)。在另一实例中，非正方形变换可分裂成四个正方形变换(例如，16x4变换可分裂成四个4x4变换)。另外，在一些情况下，视频译码器可在残余四叉树(RQT)的深度1处应用非正方形变换(如下文较详细描述)，而在另一实例中，视频译码器可在RQT的深度2处应用非正方形变换。因此，视频译码器可出于变换的目的使用正方形及非正方形变换的组合来分裂块，其布置可在经编码位流中相对复杂地指示。
本发明的方面通常还涉及用于简化非正方形变换的应用的技术。举例来说，根据本发明的方面，例如视频编码器或视频解码器等视频译码器可遵守与非正方形变换的结构相关联的一或多个预定义规则。在一实例中，视频译码器可避免分裂非正方形变换。换句话说，在视频译码器确定TU已分裂成至少一个非正方形TU时，视频译码器可确定非正方形TU不进一步分裂。
根据上文实例，在正方形变换分裂成四个非正方形变换时，分裂停止。因此，视频编码器将不试图进一步分裂变换，且将不用信号发出指示四个非正方形变换是否分裂的任何额外数据。同样，视频解码器将不需要任何其它数据(例如在经编码位流中用信号发出)来确定四个非正方形变换不进一步分裂。
因此，在此些实例中，非正方形变换的存在可解译为不仅定义变换的非正方形形状，而且意味着关于非正方形TU的分裂的结束。在这些状况下，对于此些非正方形变换可以避免以其它方式用于分裂的额外发信号。举例来说，可为非正方形变换除去“非分裂”或“不分裂”旗标。
在另一实例中，非正方形变换可仅分裂成额外非正方形变换。也就是说，在将TU分裂成非正方形变换之后，视频译码器可继续将非正方形变换分裂成非正方形变换，但可能不将非正方形变换分裂成正方形变换。视频译码器可继续使用非正方形变换来分裂非正方形变换直到达到最小变换大小限制为止。
以此方式，本发明的技术可有助于减少与应用非正方形变换相关联的复杂性。举例来说，视频译码器可实施基于是否将TU分裂成非正方形变换的一组规则，以减少正方形及非正方形变换的可能组合的数目。这样做可减少与用信号发出具有一或多个相关联的非正方形变换的块的布置及/或结构相关联的复杂性。
在一些状况下，发信号所需的数据量也可通过消除用信号发出分裂结束的需要来减少。举例来说，可为非正方形变换除去“非分裂”或“不分裂”旗标。在非正方形变换允许分裂但所述分裂进一步受限于非正方形大小或形状的实例中，技术可减少用信号发出分裂所需的语法元素的大小。举例来说，如果将限制应用于可使用的分裂的类型，那么可针对一些状况减少用信号发出分裂的类型所需的位深度。
图1为说明可利用用于在视频译码中应用变换的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，其提供稍后将由目的地装置14解码的经编码的视频数据。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括使得源装置12能够实时将经编码的视频数据直接发射到目的地装置14的通信媒体。经编码的视频数据可以根据通信标准(例如无线通信协议)得到调制，并且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可能形成分组网络(例如局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，可以通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可以对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。这可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可能是流式发射、下载发射或两者的组合。
本发明的技术不必限于无线应用或设定。所述技术可以应用于视频译码并且支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网串流视频发射(例如动态自适应HTTP串流(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包括输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于在视频译码中应用变换的技术。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可以从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可以与外部显示装置介接，而非包括集成显示装置。
图1的说明的系统10只是一个实例。用于在视频译码中应用变换的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术总体上通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术还可通过视频预处理器执行。源装置12及目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频传播以例如用于视频流式传输、视频回放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前所俘获视频的视频档案及/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，可由视频编码器20编码所捕获、预先捕获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可以从源装置12接收经编码的视频数据，并且例如经由网络发射将经编码的视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算装置可以从源装置12接收经编码的视频数据并且生产容纳经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含通过视频编码器20定义的语法信息，所述语法信息还由视频解码器30使用，包含描述块和其它经译码单元(例如GOP)的特性及/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可以根据一种视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，并且可以符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-TH.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件及软件以处置对共同数据流或单独数据流中的音频或视频两者的编码。如果适用的话，多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用到大体符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264，用于通用视听服务的高级视频译码”(ITU-T Recommendation H.264，Advanced Video Coding for genericaudiovisual services)中，其在本文中可称为H.264标准或H.264规范或H.264/AVC标准或规范。联合视频组(JVT)持续致力于扩展H.264/MPEG-4AVC。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。包含视频编码器20及/或视频解码器30的装置可包括集成电路、微处理器及/或无线通信装置，例如蜂窝式电话。
本发明可能总体上参考视频编码器20向另一装置(例如视频解码器30)“用信号发出”某些信息。但是，应理解，视频编码器20可以通过使某些语法元素与视频数据的各种经编码部分相关联来用信号发出信息。也就是说，视频编码器20可以通过将某些语法元素存储到视频数据的各种经编码部分的标头来“用信号发出”数据。在一些情况下，此些语法元素可在被视频解码器30接收和解码之前，先被编码和存储(例如，存储到存储装置32)。因而，术语“发信号”可能总体上指代用于解码经压缩的视频数据的语法或其它数据的通信，不论所述通信是实数或几乎实时发生还是在一段时间中发生，例如可能在编码时将语法元素存储到媒体上的时候发生，接着可以在存储到这个媒体上之后的任何时间由解码装置检索。
JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-TH.264/AVC相对于现存装置的几个额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
一般来说，HM的工作模型描述图片可以划分成包含明度和色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以定义最大译码单位(LCU，其是就像素数目来说的最大译码单位)的大小。切片包含译码次序的多个连续树块。图片可以分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果一个CU分裂成4个子CU，那么对应于CU的节点包含4个叶节点，其中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可以提供对应CU的语法数据。举例来说，四叉树中的一个节点可包括一个分裂旗标，这表明对应于所述节点的所述CU是否分裂成子CU。可以取决于所述CU是否分裂成子CU来递归地定义CU的语法元素。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。
CU具有类似于H.264标准的宏块的用途，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还称为子CU)，并且每一子节点又可以是父代节点并且可以分裂成另外四个子节点。最终的未分裂子节点(被称作四叉树的叶节点)包括译码节点，还称为叶CU。与经译码位流相关联的语法数据可以定义树块可以分裂的最大次数，被称作最大CU深度，并且还可定义译码节点的最小大小。因此，位流还可定义最小译码单位(SCU)。本发明使用术语“块”指代HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一CU可含有一或多个PU及一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个PU的分割。划分模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可以是正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU变换，TU可以针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可以经量化。
未分裂的叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。举例来说，定义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可以使用RQT(还称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可以指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成更多个子TU。当TU不进一步分裂时，其可被称为叶TU。总体上，对于帧内译码，所有属于一个叶CU的叶TU共用相同的帧内预测模式。也就是说，总体上应用相同帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可以使用帧内预测模式针对每一叶TU计算残余值，作为CU的对应于TU的部分与原始块之间的差。TU不必限于PU的大小。因而，TU可比PU大或小。对于帧内译码，PU可以与相同CU的对应叶TU设在同一位置。在一些实例中，叶TU的最大大小可以对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点总体上对应于叶CU，而CU四叉树的根节点总体上对应于树块(或LCU)。未分裂的RQT的TU被称作叶TU。一般来说，本发明分别使用术语CU和TU指代叶CU和叶TU，除非以其它方式指出。
视频序列通常包含一系列图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对各个视频切片内的视频块进行操作以便对视频数据进行编码。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
作为一实例，HM支持各种PU大小的预测。假设特定CU的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称PU大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称划分。在不对称划分中，不分割CU的一个方向，但是另一方向分割成25％和75％。CU的对应于25％分割区的部分由“n”指示，接着是用“上方”、“下方”、“左侧”或“右侧”指示。因而，举例来说，“2NxnU”是指水平地分割的2Nx2NCU，其中上方有2Nx0.5N PU，而下方有2Nx1.5NPU。
在本发明中，“NxN”与“N乘N”可互换使用来根据垂直及水平尺寸指代视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行及列。此外，块未必需要在水平方向与垂直方向上具有相同数目个像素。举例来说，块可包括NxM像素，其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可以计算CU的TU的残余数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。所述残余数据可以对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。
在变换之后，视频编码器20可量化变换系数。量化总体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被下舍入到m位值，其中n大于m。
在量化之后，视频编码器可以扫描变换系数，从包括经量化变换系数的二维矩阵产生一维向量。扫描可以经过设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可以利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可以例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵编码方法对一维向量进行编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上下文。举例来说，所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可以选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方式，使用VLC可以举例来说实现优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。
视频编码器20可例如在图片标头、块标头、切片标头或GOP标头中进一步将例如基于块的语法数据、基于图片的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个图片，且图片语法数据可指示用以对对应图片进行编码的编码/预测模式。
视频解码器30可在接收经译码视频数据后，即刻可执行通常类似于关于视频编码器20描述的编码遍次的解码遍次。举例来说，在解码过程期间，视频解码器30可接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30可对位流进行解码以产生经量化系数、运动向量及其它语法元素。视频解码器30可以接收在视频切片层级及/或视频块层级处的语法元素。
如上所指出，视频编码器20及/或视频解码器30可经配置以使用各种大小的块，且所述块可为非正方形。举例来说，视频编码器20及/或视频解码器30可使用为非正方形(例如，矩形)的PU及TU。
在一些情况下，非正方形块可将复杂性引入到视频译码过程。举例来说，使用一或多个非正方形PU及一或多个正方形TU对视频数据块进行译码可产生应用于一个以上预测分割区的变换，这可能影响译码效率。在另一实例中，在位流中用信号发出非正方形TU的布置可为相对复杂的。另外，例如HEVC标准等一些视频译码标准可具有用于应用非正方形变换的相对复杂的规则。
本发明的方面通常涉及简化非正方形变换的应用。举例来说，根据本发明的方面，视频编码器20及/或视频解码器30可确定用于预测与包含一或多个非正方形分割区的视频数据块相关联的像素值的预测分割结构。视频编码器20及/或视频解码器30还可确定用于将一或多个变换应用于经预测像素值的变换分割结构。在一些实例中，视频编码器20及/或视频解码器30可将父代TU分裂成一或多个子TU。在变换分割结构包含将父代TU分裂成一或多个正方形变换时，视频编码器20及/或视频解码器30可确定一或多个正方形变换以使得一或多个正方形变换中的每一者恰好对应于一个预测分割区。在变换分割结构包含将父代TU分裂成一或多个非正方形变换时，视频编码器20及/或视频解码器30可至少部分基于一或多个非正方形变换为非正方形而确定是否分裂一或多个非正方形变换。视频编码器20及/或视频解码器30接着可基于所述所确定的变换分割结构对经预测像素值进行译码。
举例来说，关于确定一或多个正方形变换以使得一或多个正方形变换中的每一者恰好对应于一个预测分割区，根据本发明的方面，视频编码器20及/或视频解码器30可将变换应用于残余视频数据而不越过预测分割边界。也就是说，根据本发明的方面，视频编码器20及/或视频解码器30可将正方形变换应用于具有一或多个非正方形分割区的PU，以使得变换不会应用于一个以上预测分割区。
在一些情况下，可结合强制变换分裂过程来实施技术。举例来说，如下文较详细描述，最大RQT深度可由视频编码器20选择，且由视频解码器30使用高阶语法用信号发出。最大RQT深度限制变换分裂可出现的次数。举例来说，如果将最大RQT深度设定成1，那么仅存在一个变换选项，即深度0变换。
然而，在一些情况下，视频编码器20及/或视频解码器30可基于预测分割边界执行强制变换分裂(例如，超越设定的最大RQT深度)。举例来说，如下文较详细描述，深度0变换具有CU的大小，且因此将横跨任何非2Nx2N PU(例如，具有多个预测分割区的任何PU)的预测分割边界。因此，对于非2Nx2N PU，视频编码器20及/或视频解码器30可执行强制分裂以防止单一变换横跨一个以上PU。
然而，在非正方形变换不可用的情况下，执行强制变换分裂仍可产生横跨PU的一个以上预测分割区的TU。举例来说，如下文较详细描述，某些预测模式(例如，不对称运动分割(AMP)模式)的强制变换分裂可致使变换横跨运动边界(使经预测运动分割区独立地分开的边界)。也就是说，将一个变换应用于两个不同预测分割区。
在一些实例中，本发明的技术可应用于强制变换分裂过程中。举例来说，视频编码器20及/或视频解码器30可在变换越过例如AMP运动边界等预测分割边界的任何时间执行强制分裂。在执行强制分裂时，视频编码器20及/或视频解码器30可继续分裂变换直到所得变换不横跨多个预测分割区(例如，变换恰好对应于一个预测分割区)为止。以此方式，视频编码器20及/或视频解码器30可使用不越过预测分割边界的最大变换。
关于基于非正方形变换为非正方形而确定是否分裂一或多个非正方形变换，根据本发明的方面，视频编码器20及/或视频解码器可遵守一或多个预定规则以简化非正方形变换的应用。在一实例中，视频编码器20及/或视频解码器可避免分裂非正方形变换。换句话说，在视频编码器20及/或视频解码器确定TU已分裂成至少一个非正方形TU时，视频编码器20及/或视频解码器可确定非正方形TU不进一步分裂。
下文表1中展示了实例。表1通常描述基于包含TU的CU的大小的用于明度(Y)及色度(U，V)TU两者的TU的准许大小的实例。应指出，色度块通常相对于对应明度块降取样达四分之一像素分辨率。此外，RQT结构包含在对应于各种TU大小的各种深度处的节点，其中深度0通常指示父代TU(例如，父代明度变换单元及/或父代色度变换单元)不分裂，深度1指示父代TU分裂一次，且深度2指示在深度1处的TU进一步分裂。根据上文所描述的实例，在TU分裂成一或多个非正方形TU之后，非正方形TU不进一步分裂。因此，表1中“NA”条目可指示对应深度归因于父代TU为非正方形TU而不可用。
表1
在另一实例中，非正方形变换可仅分裂成额外非正方形变换。也就是说，在将TU分裂成非正方形变换之后，视频编码器20及/或视频解码器可继续将非正方形变换分裂成非正方形变换，但可不将非正方形变换分裂成正方形变换。如果非正方形TU无法进一步分裂成非正方形TU(例如，归因于最小TU大小的限制)，那么分裂停止。下文在表2中展示了实例：
表2
在另一实例中，仅将非正方形TU进一步分裂成(先前实例的)非正方形TU的规则可仅应用于视频数据的明度(“明度”)分量。下文在表3中展示了实例：
表3
在又一实例中，可自适应地应用上文实例的规则。举例来说，视频编码器20及/或视频解码器可基于CU大小、图片类型、图片分辨率、块类型或其类似者中的一或多者应用非正方形变换的预定规则，如下文较详细描述。
图2为说明可实施用于在视频译码中应用变换的技术的视频编码器20的实例的框图。视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接图片或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的译码模式中的任一者。
如图2中所示，视频编码器20接收待编码视频图片内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵译码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46及分割单元48。为了视频块重构，视频编码器20还包括反量化单元58、反变换单元60和求和器62。还可包含解块滤波器(图2中未图示)以便对块边界进行滤波，以从经重建视频移除成块效应假影。必要时，解块滤波器将通常对求和器62的输出进行滤波。除了解块滤波器之外，还可使用额外滤波器(环路内或环路后)。为简洁起见未图示这些滤波器，但是必要时，这些滤波器可以对求和器50的输出进行滤波(作为环路内滤波器)。
在编码过程期间，视频编码器20接收待译码的视频帧或切片。图片或切片可划分成多个视频块。运动估计单元42及运动补偿单元44可相对于一或多个参考图片中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的图片或切片中的一或多个相邻块执行对所接收的视频块的帧内预测性译码以提供空间预测。视频编码器20可以执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。
此外，分割单元48可以基于前述译码遍次中的前述划分方案的评估将视频数据块分割成子块。举例来说，分割单元48可以首先将图片或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可以进一步产生指示LCU划分成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可以基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，并且提供到求和器62以便重建经编码块用作参考图片。模式选择单元40还将语法元素(例如运动向量、帧内模式指示符、分割信息和其它这些语法信息)提供到熵译码单元56。
运动估计单元42与运动补偿单元44可高度集成，但出于概念目的分开加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测性块相对于当前图片(或其它经译码单元)内正经译码的当前块的移位。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可以相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56及运动补偿单元44。
运动补偿单元44执行的运动补偿可以包括基于运动估计单元42确定的运动向量来取出或生成预测性块。同样，在一些实例中，运动估计单元42与运动补偿单元44可以在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量和明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可以对当前块进行帧内预测。明确地说，帧内预测单元46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所述测试模式中选择适当帧内预测模式来使用。
举例来说，帧内预测单元46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在针对块选择帧内预测模式之后，帧内预测单元46可将指示用于所述块的所选帧内预测模式的信息提供到熵译码单元56。熵译码单元56可以对指示所选帧内预测模式的信息进行编码。视频编码器20在发射的位流中可包含配置数据，其可包含多个帧内预测模式指数表和多个修改的帧内预测模式指数表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，和对最可能帧内预测模式、帧内预测模式指数表和修改的帧内预测模式指数表的指示以用于所述上下文中的每一者。
视频编码器20通过从经译码原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示可执行此减法运算的组件。
变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如频域。
在一些实例中，变换处理单元52可应用正方形变换以及非正方形变换。另外，变换处理单元52可使色度变换与对应明度变换同步。因此，如果明度变换块分裂，那么只要可能，对应色度变换块也可分裂。变换处理单元52还可对所应用的变换的最小大小施加限制。举例来说，变换处理单元52可应用最小大小的4xN变换，因此16x4块可分裂成四个4x4变换，而不是2x8变换。表4提供用于非正方形变换的变换分裂的一个实例：
表4
根据本发明的方面，变换处理单元52可确定变换以使得变换不越过预测分割边界。也就是说，根据本发明的方面，变换处理单元52可将正方形变换应用于具有一或多个非正方形分割区的PU，以使得变换不会应用于一个以上预测分割区。
在一些情况下，可结合强制变换分裂过程来实施技术。举例来说，变换处理单元52可在变换越过例如AMP运动边界等预测分割边界的任何时间执行强制分裂。在执行强制分裂时，变换处理单元52可继续分裂变换直到所得变换不横跨多个预测分割区(例如，变换恰好对应于一个预测分割区)为止。
根据一些实例，变换处理单元52可仅对一些颜色分量执行强制TU分裂。举例来说，变换处理单元52可仅将强制变换分裂应用于图片的明度颜色分量。在此实例中，变换处理单元52可将2Nx2N变换应用于色度颜色分量，而不管经译码的块的相关联预测分割。在另一实例中，变换处理单元52可将不同强制分裂方案应用于色度颜色分量。
变换处理单元52可自适应地执行根据本发明的技术的强制变换分裂。举例来说，强制变换分裂可基于与视频数据相关联的译码特性启用或停用。在此实例中，用于确定是否强制进行变换分裂的译码特性可包含块大小、图片类型、图片大小、块模式(例如，帧间/帧内，P/B/I)、运动向量振幅、参考索引或多种其它特性。
根据本发明的其它方面，变换处理单元52可另外或替代地遵守一或多个预定规则以简化非正方形变换的应用。在一实例中，变换处理单元52可避免分裂非正方形变换。也就是说，在将TU分裂成至少一个非正方形TU后，变换处理单元52即刻可不进一步分裂非正方形变换。根据此实例，变换处理单元52可应用上文表1中所示的变换分裂限制。
在另一实例中，变换处理单元52可仅将非正方形变换分裂成额外非正方形变换。也就是说，在将TU分裂成非正方形变换之后，变换处理单元52可继续将非正方形变换分裂成非正方形变换，可不将非正方形变换分裂成正方形变换。如果非正方形TU无法进一步分裂成非正方形TU(例如，归因于TU大小的限制)，那么变换处理单元52可不进一步分裂TU。根据此实例，变换处理单元52可应用上文表2中所示的变换分裂限制。
在再一实例中，变换处理单元52可基于经译码的视频数据的颜色分量应用变换分裂限制。举例来说，变换处理单元52可将上文所描述的变换限制应用于视频数据的明度分量，但可将不同变换分裂限制(或不将限制)应用于色度分量。根据此实例，变换处理单元52可应用上文表2中所示的变换分裂限制。
在再一实例中，变换处理单元52可自适应地应用变换分裂限制。举例来说，变换处理单元52可基于CU大小、图片类型、图片分辨率、块类型或与视频信息相关联的其它因数中的一或多者应用上文所描述的变换分裂限制。也就是说，例如，变换处理单元52可将变换分裂限制的第一集合应用于大小为64x64的CU，且将变换分裂限制的第二不同集合应用于大小为32x32的CU。其它因数还可加权到分裂限制中，包含图片类型、图片分辨率、块类型或其它因数。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54对残余变换系数进行量化以进一步降低位速率。量化过程可减少与变换系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码单元56可以执行所述扫描。
在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间划分熵(PIPE)译码或另一熵译码技术。就基于上下文的熵译码而论，上下文可以基于相邻块。在熵译码单元56的熵译码之后，可以将经编码位流发射到另一装置(例如视频解码器30)，或者将所述视频存档用于以后发射或检索。
反量化单元58和反变换单元60分别应用反量化和反变换以在像素域中重构残余块，例如以供稍后用作参考块。运动补偿单元44可以通过将残余块添加到参考图片存储器64的图片中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于所重构的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块添加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考图片存储器64中。经重建视频块可由运动估计单元42和运动补偿单元44使用作为参考块以对后续图片中的块进行帧间译码。
图3为说明可实施用于在视频译码中应用变换的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82及求和器80。
作为背景，视频解码器30可接收经压缩视频数据，所述视频数据已被压缩以用于经由网络发射到所谓的“网络抽象层单元”或NAL单元中。每一NAL单元可包含标头，其识别存储到NAL单元的数据的类型。一般存储到NAL单元的有两个类型的数据。存储到NAL单元的第一类型的数据是视频译码层(VCL)数据，所述数据包含经压缩视频数据。存储到NAL单元的第二类型的数据被称作非VCL数据，所述数据包含例如参数集等额外信息，其定义大量NAL单元共用的标头数据和辅助增强信息(SEI)。
举例来说，参数集可以含有序列层级标头信息(例如，在序列参数集(SPS)中)和不频繁改变的图片层级标头信息(例如，在图片参数集(PPS)中)。参数集中含有的不频繁改变的信息不需要针对每一序列或图片重复，由此改进译码效率。此外，使用参数集使得标头信息能够带外发射，由此不再需要进行冗余发射以便进行错误恢复。
在解码过程期间，视频解码器30接收表示经编码视频切片的视频块及相关联语法元素的经编码视频位流。一般来说，熵解码单元70对位流进行熵解码以产生经量化系数、运动向量及其它语法元素。视频解码器30可以接收在视频切片层级及/或视频块层级处的语法元素。
举例来说，当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可以基于用信号发出的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。在视频图片经译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可基于存储在参考图片存储器82中的参考图片使用默认建构技术建构参考图片列表(列表0和列表1)。
运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元72使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插滤波器执行内插。运动补偿单元72可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下，运动补偿单元72可根据接收的语法信息元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76将在位流中提供且由熵解码单元80解码的经量化变换系数反量化，即解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残余块。举例来说，视频解码器30可从经编码位流重建构二维变换系数块。反变换单元78可将反变换应用于经重建构变换系数块以产生在像素域中的残余块。如本发明中所描述，“变换”通常可指前向变换(例如，如由变换处理单元52(图2)所应用)或反变换(例如，如由反变换单元60(图2)或反变换单元78所应用)中的任一者。
反变换单元78可确定及应用与上文关于变换处理单元52所描述的变换分割过程类似的变换分割过程。在一些情况下，反变换单元78可应用与变换处理单元52(图2)相同的过程以用于确定变换分割结构(例如，RQT)。在其他情况下，反变换单元78可基于接收的发信号(例如，在经编码位流中)确定块的RQT。
在任何状况下，根据本发明的方面，反变换单元78可确定变换以使得变换不越过预测分割边界。也就是说，根据本发明的方面，反变换单元78可将正方形变换应用于具有一或多个非正方形分割区的PU，以使得变换不会应用于一个以上预测分割区。
在一些情况下，可结合强制变换分裂过程来实施技术。举例来说，反变换单元78可在变换越过例如AMP运动边界等预测分割边界的任何时间执行强制分裂。在执行强制分裂时，反变换单元78可继续分裂变换直到所得变换不横跨多个预测分割区(例如，变换恰好对应于一个预测分割区)为止。
根据一些实例，反变换单元78可仅对一些颜色分量执行强制TU分裂。举例来说，反变换单元78可仅将强制变换分裂应用于图片的明度颜色分量。在此实例中，反变换单元78可将2Nx2N变换应用于色度颜色分量，而不管经译码块的相关联的预测分割。在另一实例中，反变换单元78可将不同强制分裂方案应用于色度颜色分量。
反变换单元78可自适应地执行根据本发明的技术的强制变换分裂。举例来说，强制变换分裂可基于与视频数据相关联的译码特性启用或停用。在此实例中，用于确定是否强制进行变换分裂的译码特性可包含块大小、图片类型、图片大小、块模式(例如，帧间/帧内，P/B/I)、运动向量振幅、参考索引或多种其它特性。
根据本发明的其它方面，反变换单元78可另外或替代地遵守一或多个预定规则以简化非正方形变换的应用。在一实例中，反变换单元78可避免分裂非正方形变换。也就是说，在将TU分裂成至少一个非正方形TU后，反变换单元78即刻可不进一步分裂非正方形变换。根据此实例，反变换单元78可应用上文表1中所示的变换分裂限制。
在另一实例中，反变换单元78可仅将非正方形变换分裂成额外非正方形变换。也就是说，在将TU分裂成非正方形变换之后，反变换单元78可继续将非正方形变换分裂成非正方形变换，可不将非正方形变换分裂成正方形变换。如果非正方形TU无法进一步分裂成非正方形TU(例如，归因于TU大小的限制)，那么反变换单元78可不进一步分裂TU。根据此实例，反变换单元78可应用上文表2中所示的变换分裂限制。
在再一实例中，反变换单元78可基于经译码的视频数据的颜色分量应用变换分裂限制。举例来说，反变换单元78可将上文所描述的变换限制应用于视频数据的明度分量，但可将不同变换分裂限制(或不将限制)应用于色度分量。根据此实例，反变换单元78可应用上文表2中所示的变换分裂限制。
在再一实例中，反变换单元78可自适应地应用变换分裂限制。举例来说，反变换单元78可基于CU大小、图片类型、图片分辨率、块类型或其类似者中的一或多者应用上文所描述的变换分裂限制。也就是说，例如，反变换单元78可将变换分裂限制的第一集合应用于大小为64x64的CU，且将变换分裂限制的第二不同集合应用于大小为32x32的CU。
视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元82产生的对应预测性块求和而形成经解码视频块。求和器80表示可以执行此求和运算的一或多个组件。必要时，解块滤波器还可应用于对经解码块进行滤波以便移除成块效应假影。其它环路过滤器(在译码环路中或在译码环路之后)也可用于平滑化像素转变或以其它方式改善视频质量。给定图片中的经解码视频块接着存储于参考图片存储器82中，所述参考图片存储器存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
图4A和4B是说明实例四叉树150和对应最大译码单元172的概念图。图4A描绘实例四叉树150，其包含以分级方式布置的节点。举例来说，四叉树150可以与根据所提议的HEVC标准的树块相关联。例如四叉树150等四叉树中的每一节点可以是没有子节点或具有四个子节点的叶节点。在图4A的实例中，四叉树150包含根节点152。根节点152具有四个子节点，包含叶节点156A到156C(叶节点156)及节点154。因为节点154不为叶节点，所以节点154包含四个子节点，所述子节点在此实例中为叶节点158A到158D(叶节点158)。
四叉树150可包含描述对应LCU(例如在此实例中为LCU 172)的特性的数据。举例来说，四叉树150通过其结构可以描述LCU分裂成子CU。假设LCU 172具有2Nx2N的大小。在此实例中，LCU 172具有四个子CU 176A-176C(子CU 176)和174，其中的每一者大小为NxN。子CU 174进一步分裂成四个子CU 178A-178D(子CU 178)，其中的每一者大小为N/2xN/2。在此实例中，四叉树150的结构对应于LCU 172的分裂。也就是说，根节点152对应于LCU 172，叶节点156对应于子CU 176，节点154对应于子CU 174，并且叶节点158对应于子CU 178。
四叉树150的节点的数据可以描述对应于节点的CU是否分裂。所述CU分裂，那么四叉树150中可能存在四个额外节点。在一些实例中，四叉树的节点可以类似于以下伪码实施：
split_flag值可以是表示对应于当前节点的CU是否分裂的一位值。如果CU未分裂，则split_flag值可以是“0”，而如果CU分裂，则split_flag值可以是“1”。关于四叉树150的实例，分裂旗标值的阵列可以是101000000。
如上所指出，CU深度可以指代例如LCU 172等LCU已划分的程度。举例来说，根节点152可以对应于CU深度零，而节点154和叶节点156可以对应于CU深度一。此外，叶节点158可以对应于CU深度二。
虽然图4A说明CU四叉树的实例，但是应理解可以对叶节点CU的TU应用类似的四叉树。也就是说，叶节点CU可包含TU四叉树(被称作残余四叉树(RQT))，其描述CU的TU的分割。TU四叉树可以总体上类似于CU四叉树，但TU四叉树可以单独地发信号通知CU的TU的帧内预测模式除外。
根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可根据图4A和4B中所示的递归结构执行变换分裂，以使得不会跨越预测分割边界应用变换。举例来说，如下文较详细描述，视频译码器可应用将视频数据块的TU划分成正方形子块，以使得变换不会应用于与块相关联的一个以上预测分割区。
在一些情况下，可结合强制变换分裂过程来实施技术。举例来说，视频译码器可在变换越过例如AMP运动边界等预测分割边界的任何时间执行强制变换分裂(例如，如下文关于图6所描述)。在执行强制分裂时，视频译码器可继续根据RQT结构分裂变换直到所得变换不横跨多个预测分割区(例如，变换恰好对应于一个预测分割区)为止。
图5为说明分割成各种子块的实例块190的概念图。在图5中所示的实例中，存在三个变换分解层级。在层级1(深度1)分解的情况下，整个变换块分裂成四个四分之一大小的块。接着在层级2(深度2)处，第二四分之一大小的变换块进一步分裂成四个1/16大小的变换块。接着，在层级3(深度3)处，第四1/16大小的变换块进一步分裂成四个甚至更小的变换块。实际上，变换块是否需要进一步分裂是基于例如速率失真优化来确定的。
块190表示TU的实例，且块190的分割表示使用四叉树的实例分割。在块190表示TU的状况下，对应四叉树可包括残余四叉树(RQT)。在此实例中，对应于RQT的根节点的层级0分割将对应于块190。层级1分割(即，在根节点正下方的RQT的节点)可对应于子块192A到192D(子块192)。层级2分割(即，在层级1节点正下方的RQT的节点)可对应于子块194A到194D。在此实例中，在层级1处仅分割子块192B。因此，对应于子块192A、192C及192D的在RQT中的节点可被视为叶节点，即，不具有子节点的节点。
在此实例中，子块194D进一步分割成子块196A到196D。再次，对应于块194A、194B及194C的在RQT中的节点可被视为叶节点。同样，对应于子块196A到196D的在RQT中的节点也可被视为叶节点。
尽管图5的块中的每一者的形状为正方形，但应理解，在一些实例中，视频译码器还可将TU分裂成非正方形形状。图12到14说明非正方形TU的各种实例。用于非正方形变换的递归四叉树结构可应用于如图12到14的实例中所示的块或针对具有非正方形PU(例如，Nx2N PU或2NxN PU)的各种CU大小的类似块。
如上所指出，根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可执行变换分裂(如图5的RQT实例中所示)，以使得不会跨越预测分割边界应用变换。举例来说，如下文较详细描述，视频译码器可应用将视频数据块的TU划分成正方形子块，以使得变换不会应用于与块相关联的一个以上预测分割区。
在一些情况下，技术可结合强制变换分裂过程来实施。举例来说，视频译码器可在变换越过例如AMP运动边界等预测分割边界的任何时间执行强制变换分裂(例如，如下文关于图6所描述)。在执行强制分裂时，视频译码器可继续根据RQT结构分裂变换直到所得变换不横跨多个预测分割区(例如，变换恰好对应于一个预测分割区)为止。
图6通常说明可与PU相关联的分割模式。举例来说，假定特定CU的大小为2Nx2N，CU可使用分割模式2Nx2N(200)、NxN(201)、Nx2N(202)、2NxN(203)、nLx2N(204)、nRx2N(205)、2NxnU(206)及2NxnD(207)来预测，由此定义预测分割区。图6的实例中所示的分割模式仅出于说明的目的而呈现，且其它分割模式可用以指示预测视频数据的方式。
在一些情况下，视频译码器(例如，视频编码器20及/或视频解码器30)可使用分割模式200及201执行帧内预测或帧间预测。举例来说，视频译码器可使用2Nx2N PU(分割模式200)作为一整体预测CU。在另一实例中，视频译码器可使用四个NxN大小的PU(分割模式201)预测CU，其中四个部分中的每一者具有所应用的可能不同的预测技术。
关于帧间译码，除了对称分割模式200及201之外，视频译码器还可实施PU的并排式布置(分割模式203及204)或多种不对称运动分割AMP模式。关于AMP模式，视频译码器可使用分割模式nLx2N(205)、nRx2N(206)、2NxnU(207)及2NxnD(208)不对称地分割CU。在不对称划分中，不分割CU的一个方向，但是另一方向分割成25％和75％。CU的对应于25％分割区的部分由“n”指示，接着是用“上方”、“下方”、“左侧”或“右侧”指示。
根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可执行变换分裂以使得不会跨越例如图6中针对分割模式201、202、203、204、205、206及207所示的预测分割边界等预测分割边界应用变换。举例来说，如下文关于图9较详细描述，视频译码器可应用将视频数据块的TU划分成正方形子块，以使得变换不会应用于与块相关联的一个以上预测分割区。
在一些情况下，可结合强制变换分裂过程实施技术。举例来说，视频译码器可在变换越过预测分割边界的任何时间执行强制变换分裂。也就是说，关于图6，视频译码器可继续将TU分裂成较小子TU直到不会跨越与不对称预测分割模式nLx2N(205)、nRx2N(206)、2NxnU(207)及2NxnD(208)相关联的预测分割边界应用变换为止。
图7说明用于图6中所示的预测分割区的强制变换分裂的实例。举例来说，假定特定CU的大小为2Nx2N，图7说明具有虚线(或在实线及虚线重叠的情况下具有两个偏移虚线)的预测分割区，包含由分割模式2Nx2N(210)、NxN(211)、Nx2N(212)、2NxN(213)、nLx2N(214)、nRx2N(215)、2NxnU(216)及2NxnD(217)产生的预测分割区。
图7还说明应用于预测分割区的强制变换分裂。举例来说，如上所指出，在一些情况下，视频编码器(例如视频编码器20)可实施最大RQT深度。可实施最大RQT深度以简化译码。举例来说，如果最大RQT深度设定成1，那么可仅存在一个变换选项，例如，深度0变换210。以此方式限制最大RQT深度可减少与应用变换相关联的可能计算(例如，速率失真计算)及/或与RQT相关联的发信号。视频编码器20可在经编码位流中使用高阶语法用信号发出最大RQT深度，所述经编码位流可由视频解码器(例如视频解码器30)解码及实施。
然而，在PU已分裂的情况下，视频译码器可执行强制变换分裂。举例来说，为了防止变换被应用于两个不同预测分割区，视频译码器可超越最大RQT深度且执行单一变换分裂(例如，将单一变换分裂成四个同样大小的变换)。
以此方式，图7说明具有非正方形变换的强制变换分裂，以使得非正方形变换应用于分割区212到217。然而，如下文关于图8所描述，在一些情况下，非正方形变换可并非可用的(例如，不由特定标准或标准的概况/层级启用)。
图8说明用于图6中所示的预测分割区的强制变换分裂的另一实例。举例来说，假定特定CU的大小为2Nx2N，图8说明具有虚线(或在实线及虚线重叠的情况下具有两个偏移虚线)的预测分割区，包含由分割模式2Nx2N(220)、NxN(222)、Nx2N(224)、2NxN(226)、nLx2N(228)、nRx2N(230)、2NxnU(232)及2NxnD(234)产生的预测分割区。
图8还说明应用于预测分割区的强制变换分裂。举例来说，如上所指出，在一些情况下，视频编码器(例如视频编码器20)可实施最大RQT深度。可实施最大RQT深度以简化译码。举例来说，如果将最大RQT深度设定成1，那么可仅存在一个变换选项，例如深度0变换240。如上所指出，以此方式限制最大RQT深度可减少与应用变换相关联的可能计算(例如，速率失真计算)及/或与RQT相关联的发信号。
然而，在PU已分裂的情况下，视频译码器可执行强制变换分裂。举例来说，为了防止变换被应用于两个不同预测分割区，视频译码器可超越最大RQT深度且执行单一变换分裂(例如，将单一变换分裂成四个同样大小的变换)。
然而，如图8中所示，以此方式执行强制分裂仍可产生应用于两个不同预测分割区的一个变换。举例来说，对于每一视频译码方案，非正方形变换可并非可用的。此外，一些视频译码方案可防止应用非正方形变换以减少视频译码过程的复杂性。举例来说，可根据概况或层级启用或停用非正方形变换。
在图8的实例中，视频译码器可将单一变换240(深度0)应用于分割模式2Nx2N(220)。然而，剩余分割模式将块分裂成一个以上预测分割区。因此，视频译码器可将强制变换分裂过程应用于剩余块，包含将变换242A到242D(深度1)应用于分割模式NxN(222)，将变换244A到244D(深度1)应用于分割模式Nx2N(224)，将变换246A到246D(深度1)应用于分割模式2NxN(226)，将变换248A到248D(深度1)应用于分割模式nLx2N(228)，将变换250A到250D(深度1)应用于分割模式nRx2N(230)，将变换252A到252D(深度1)应用于分割模式2NxnU(232)，且将变换254A到254D(深度1)应用于分割模式2NxnD(234)。
在此实例中，应用强制变换分裂过程仍导致将变换应用于用于AMP模式228、230、232及234的一个以上预测分割区。举例来说，关于分割模式nLx2N(228)，将变换248A及248B应用于第一预测分割区262A及第二预测分割区264A两者。也就是说，跨越预测分割边界(如由虚线划界)应用变换248A及248B。关于分割模式nRx2N(230)，将变换250B及250D应用于第一预测分割区264A及第二预测分割区264B两者。关于分割模式2NxnU(232)，将变换252A及252B应用于第一预测分割区266A及第二预测分割区266B两者。关于分割模式2NxnD(234)，将变换254C及254D应用于第一预测分割区268A及第二预测分割区268B两者。
如上所指出，跨越预测分割边界应用变换可影响译码效率。举例来说，包含多个预测分割区的图像的区可指示在区中存在不连续性。跨越不连续性(例如，跨越预测分割区)应用单一变换可产生影响译码效率的高频噪声。
仅出于说明的目的而呈现所述预测分割区及图8的实例中所示的变换的应用。其它分割模式可用以指示预测视频数据的方式，且可将其它变换应用于所得预测分割区。
图9说明根据本发明的方面的强制变换分裂。举例来说，假定特定CU的大小为2Nx2N，图9说明具有两个偏移虚线的预测分割区，包含由分割模式nLx2N(280)、nRx2N(290)、2NxnU(300)及2NxnD(310)产生的预测分割区。
根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可在不将变换应用于一个以上预测分割区的情况下应用变换。举例来说，视频译码器可执行强制变换分裂直到变换不会应用于一个以上预测分割区为止。也就是说，视频译码器可确定一或多个正方形变换以使得一或多个正方形变换中的每一者恰好对应于一个预测分割区。
如图9的实例中所示，视频译码器可应用强制变换分裂以使得在AMP运动分割区内约束变换。举例来说，图9说明分割模式nLx2N(280)，其具有相关联的深度1变换282A及282B以及深度2变换284A到284D及286A到286D。在此实例中，视频译码器可确定所述块包含一个以上预测分割区。因此，视频译码器可分裂相关联TU，产生四个深度1子TU(包含282A及282B)。视频译码器还可确定一或多个变换仍越过预测分割边界(如图8的对应nLx2N经预测块所示)。因此，视频译码器可执行另一变换分裂以分裂越过预测分割边界的子TU，产生深度2子TU 284A到284D及286A到286D。
视频译码器可应用上文所描述的过程以用于其它预测分割区。举例来说，图9还说明具有相关联的深度1变换292A及292B以及深度2变换294A到294D及296A到296D的分割模式nRx2N(290)、具有相关联的深度1变换302A及302B以及深度2变换304A到304D及306A到306D的分割模式2NxnU(300)，及具有相关联的深度1变换312A及312B以及深度2变换314A到314D及316A到316D的分割模式2NxnD。
以此方式，视频译码器分裂变换直到每一变换恰好对应于一个预测分割区为止。虽然图9说明将变换分裂到RQT深度2，但并不以此方式限制本发明的技术。也就是说，在其它实例中，视频译码器可基于预测分割结构执行更多(或更少)变换分裂。
根据本发明的方面，视频译码器可选择变换以使得使用不会跨越运动分割边界的最大变换。举例来说，如图9中所示，选择变换以使得将相对较小变换(RQT深度2变换)应用于不对称运动分割区域。也就是说，视频译码器仅将变换分裂应用于越过预测分割边界的TU，而不是将整个块分裂到深度2变换。在此实例中，应用于数据块的一或多个变换可小于与块(例如，如在经编码位流中用信号发出)相关联的RQT的最低层级。举例来说，视频译码器可分裂RQT的最小TU，以使得所得TU小于RQT的最小TU。
在一些实例中，视频译码器可仅将图9中所示的强制变换分裂应用于颜色分量的子集。举例来说，视频译码器可仅将强制变换分裂应用于图片的明度颜色分量。在此实例中，视频译码器可将未分裂2Nx2N变换应用于图片的色度颜色分量，而不管用于特定块的预测分割区的布置。在其它实例中，视频译码器可将不同强制分裂方案应用于明度及色度颜色分量两者。
根据本发明的方面，视频译码器可基于多种因数自适应地应用图9中所示的强制分裂过程。举例来说，视频译码器可基于与视频数据相关联的译码特性(例如块大小、图片类型、图片大小、块模式(帧间/帧内、P/B/I)、运动向量振幅、参考索引启用或停用强制变换分裂。
图10说明根据本发明的方面的用于对视频数据块进行编码的实例过程。块可包括当前CU或当前CU的一部分。尽管是关于视频编码器20(图1及2)描述的，但应理解其它装置可经配置以执行与图10的方法类似的方法。
在此实例中，视频编码器20首先预测当前块(320)。举例来说，视频编码器20可计算用于当前块的一或多个预测单元(PU)。视频编码器20还可确定是否使用用于当前块的非正方形PU。举例来说，视频编码器20可确定是否将AMP模式应用于块。视频编码器20接着可计算用于当前块的残余块，例如以产生变换单元(TU)(322)。为了计算残余块，视频编码器20可计算原始未经译码块与用于当前块的经预测块之间的差。
视频编码器20还可确定将残余块分割成子块(324)。举例来说，视频编码器20可确定是否将TU分割成一或多个子TU。视频编码器20可例如根据RQT结构递归地对每一子TU执行分割确定。在一些情况下，视频编码器20可实施最大RQT深度，超过所述最大RQT深度TU便不会进一步分裂。
根据本发明的方面，视频编码器20可确定是否将变换应用于一个以上预测分割区(326)。举例来说，视频编码器20可确定TU是否与一个以上残余块(例如所述所确定的PU中的一者以上)相关联。换句话说，视频编码器20可确定是否跨越预测分割边界应用变换。
如果将变换应用于一个以上预测分割区，那么视频编码器20可分裂变换(328)。在一些实例中，视频编码器20可将变换分裂成四个大小相等的变换。也就是说，视频编码器20可根据RQT结构将与一个以上PU相关联的TU分裂成子TU。视频编码器20可继续分裂与一个以上残余块相关联的变换直到每一变换恰好对应于一个预测分割区为止。
视频编码器20接着可变换及量化残余块的系数(330)。接下来，视频编码器20可扫描残余块的经量化变换系数(332)。在扫描期间，或在扫描之后，视频编码器20可对系数进行熵编码(334)。举例来说，视频编码器20可使用CAVLC或CABAC对系数进行编码。另外，视频编码器20可对语法元素进行译码，所述语法元素指示如何分割残余块(例如，对应于CU的父代TU)，以及是否应用最大RQT深度。
视频编码器20接着可输出块的经熵译码数据，包含指示残余块大小的信息(336)。以此方式，图10的方法表示方法的实例，其包含：确定用于预测与视频数据块相关联的像素值以形成残余值的预测分割结构，其中预测分割结构包含一或多个非正方形分割区；确定用于将一或多个正方形变换应用于残余值的变换分割结构，其中一或多个正方形变换不会应用于与一个以上预测分割区相关联的残余值；及根据所述所确定的变换分割结构将一或多个正方形变换应用于残余值。
图11说明根据本发明的方面的用于对视频数据块进行解码的实例过程。当前块可包括当前CU或当前CU的一部分。尽管是关于视频解码器30(图1及3)进行描述的，但应理解其它装置可经配置以执行与图11的方法类似的方法。
视频解码器30可例如使用帧内或帧间预测模式计算用于当前块的经预测块来预测当前块(340)。视频解码器30还可接收用于当前块的经熵译码数据，例如用于对应于当前块的残余块的系数的经熵译码数据(342)。举例来说，视频解码器30可从经编码位流检索经熵译码数据。视频解码器30可对经熵译码数据进行熵解码以再现残余块的系数(344)。
视频解码器30还可对指示用于一或多个残余块(例如，一或多个TU)的大小的信息进行解码(346)。在一些实例中，视频解码器30可接收关于是否将用于块的TU分裂成一或多个子TU的信息。另外或替代地，视频解码器30可接收关于最大RQT深度的指示。视频解码器30接着可反扫描所再现的系数(348)，以建立经量化变换系数的一或多个块。
根据本发明的方面，视频解码器30可确定是否将变换应用于一个以上预测分割区(350)。举例来说，视频解码器30可确定TU是否与一个以上残余块相关联。换句话说，视频解码器30可确定是否跨越预测分割边界应用变换。
如果将变换应用于一个以上预测分割区，那么视频解码器30可分裂变换(352)。在一些实例中，视频解码器30可将变换分裂成四个大小相等的变换。也就是说，视频解码器30可根据RQT结构将与一个以上PU相关联的TU分裂成子TU。视频解码器30可继续分裂与一个以上残余块相关联的变换直到每一变换恰好对应于一个预测分割区为止。
视频解码器30接着可反量化及反变换所述系数以产生一或多个残余块(354)。视频解码器30最终可通过组合经预测块与残余块对当前块进行解码(356)。
以此方式，图11的方法表示方法的实例，其包含：确定用于预测与视频数据块相关联的像素值以形成残余值的预测分割结构，其中预测分割结构包含一或多个非正方形分割区；确定用于将一或多个正方形变换应用于残余值的变换分割结构，其中一或多个正方形变换不会应用于与一个以上预测分割区相关联的残余值；及根据所述所确定的变换分割结构将一或多个正方形变换应用于残余值。
图12为说明用于64x64CU 400的实例TU分解的概念图。图12的实例分解通常对应于按照惯例实施于HEVC标准中的过程，但此分解也可与本发明的技术一起使用。
在64x64CU包含非正方形PU(例如Nx2N PU)时，如在CU 400的实例中，对应TU可以各种方式分割。在一些情况下，TU的最大大小可被限于32x32。在此实例中，深度0TU 402不是可适用的，且64x64CU可包含至少四个TU。
在一些实例中，视频译码器(例如视频编码器20或视频解码器)可将TU分裂成四个32x32TU，如在具有深度1的TU 404的实例中，所述深度1指示将TU 404分裂成四个32x32TU 406A到406D。视频译码器还可进一步分裂TU。举例来说，TU 408分裂成四个32x32TU 410A到410D。此外，TU 410A进一步分裂成四个非正方形TU 412A到412D。TU 412A到412D可为非正方形，因为对应CU的PU为非正方形，例如具有Nx2N的大小，如块400中所示。
如图12中所示，在一些情况下，视频译码器可使用正方形变换与非正方形变换的组合。举例来说，视频译码器可对具有除2Nx2N及NxN外的大小的经帧间预测块使用正方形变换。或者，视频译码器可对具有垂直分割的运动边界的CU(例如，具有SIZE_Nx2N、SIZE_nLx2N或SIZE_nRx2N的PU)使用非正方形变换。在此实例中，视频译码器可使用0.5Nx2N变换。对于具有水平分割的运动边界的CU(例如具有SIZE_2NxN、SIZE_2NxnU或SIZE_2NxnD的PU)，视频译码器可使用2Nx0.5N变换。
图13为说明用于32x32CU 420的实例TU分解的概念图。在此实例中，假定32x32的最大TU大小，视频译码器(例如视频编码器20或视频解码器30)可应用具有深度0的TU 422。然而，对于在深度1处具有非正方形PU的32x32CU，如在实例CU 420中，视频译码器可将TU 424分裂成四个非正方形TU(例如TU 426A到426D)。对于在深度2处具有非正方形PU的32x32CU，视频译码器可在层级1处将TU 428分裂成四个非正方形TU 432A到432D，且在层级2处将非正方形TU进一步分裂成四个其它非正方形TU 430A到430D。在此实例中，非正方形TU 432A到432D具有0.5Nx2N的大小，且非正方形TU 430A到430D具有0.25NxN的大小。
在一些实例中，根据本发明的技术，非正方形TU 430A到430D不可用。因此，视频译码器可替代地确定因为TU 432A到432D为非正方形，所以TU 432A到432D不会进一步分裂，而不是确定是否进一步分割TU 432A到432D。也就是说，视频译码器可基于TU 432A到432D为非正方形而确定TU 428不会进一步分裂成TU 430A到430D。
在其它实例中，非正方形TU 430A到430D仅因为TU 430A到430D为非正方形且从父代非正方形TU(例如，TU 432A)分裂而可用。也就是说，视频译码器可仅使用非正方形TU 430A到430D，因为TU为非正方形TU的子TU。在再其它实例中，视频译码器可分析其它因数(例如对应CU(例如，CU 420)的大小、图片类型、图片分辨率、用于CU 420的块类型或其它因数)，以确定TU 430A到430D是否可用。
图14为说明用于16x16CU 440的实例TU分解的概念图。在此实例中，假定32x32的最大TU大小，具有深度0的TU 442可用(其可具有16x16的大小)。对于在深度1处具有非正方形PU的16x16CU(例如CU 440)，视频译码器(例如视频编码器20或视频解码器30)可将TU 444分裂成四个非正方形TU 446A到446D。另外，对于在深度2处具有非正方形PU的16x16CU，视频译码器可将TU 448分裂成四个非正方形TU 452A到452D，且在层级1处将非正方形TU分裂成四个正方形TU(例如TU 450A到450D)。在此实例中，非正方形TU 452A到452D具有0.5Nx2N的大小，且正方形TU 450A到450D具有0.5Nx0.5N的大小(例如，在16x16(2Nx2N)CU的状况下，4x4)。
在一些实例中，根据本发明的技术，正方形TU 450A到450D不可用，因为父代TU452A为非正方形。因此，视频译码器可替代地确定因为TU 452A到452D为非正方形，所以TU 452A到452D不进一步分裂，而不是确定是否进一步分割TU 452A到452D。也就是说，视频译码器可基于TU 452A到452D为非正方形而确定TU 448不会进一步分裂成TU 450A到450D。在其它实例中，视频译码器可经配置以确定非正方形TU可仅进一步分割成非正方形TU。在这些实例中，TU 450A到450D也将是不可用的，因为TU 450A到450D的形状为正方形。
图15为说明用于对当前块进行编码的实例方法的流程图。当前块可包括当前CU或当前CU的一部分。尽管是关于视频编码器20(图1及2)描述的，但应理解其它装置可经配置以执行与图15的方法类似的方法。
在此实例中，视频编码器20首先预测当前块(460)。举例来说，视频编码器20可计算用于当前块的一或多个预测单元(PU)。视频编码器20还可确定是否使用用于当前块的非正方形PU。视频编码器20接着可计算用于当前块的残余块，例如以产生变换单元(TU)(462)。为了计算残余块，视频编码器20可计算原始未经译码块与用于当前块的经预测块之间的差。
根据本发明的技术，视频编码器20还可确定将残余块分割成子块(464)。举例来说，视频编码器20可确定是否将TU分割成可或可不为正方形的一或多个子TU。视频编码器20可递归地对每一子TU执行分割确定。在一些实例中，视频编码器20可在将块分割成非正方形TU之后停止分割确定。在其它实例中，视频编码器20可仅在此些子TU也将为非正方形时确定是否将非正方形TU进一步分割成子TU，且可以其它方式停止分割确定。视频编码器20可进一步使分割确定基于一或多个其它因数，例如TU是明度还是色度TU、对应CU的大小、图片类型、图片分辨率、块类型或其它准则。
视频编码器20接着可变换及量化残余块的系数(466)。接下来，视频编码器20可扫描残余块的经量化变换系数(468)。在扫描期间，或在扫描之后，视频编码器20可对系数进行熵编码(470)。举例来说，视频编码器20可使用CAVLC或CABAC对系数进行编码。另外，视频编码器20可对指示如何分割残余块(例如，对应于CU的父代TU)的语法元素进行译码。视频编码器20接着可输出块的经熵译码数据，包含指示残余块大小的信息(472)。当然，在TU的某些大小不可用时，例如在某些非正方形TU不可用时，视频编码器20不需要提供TU是否具有那些大小的信息，因为视频解码器可经配置以推断此信息。
以此方式，图15的方法表示方法的实例，其包含：将视频数据的父代变换单元(TU)分裂成一或多个非正方形TU；至少部分基于一或多个非正方形TU为非正方形而确定一或多个非正方形TU是否可进一步分裂；及基于所述确定对一或多个非正方形TU进行译码。
图16为说明用于对当前视频数据块进行解码的实例方法的流程图。当前块可包括当前CU或当前CU的一部分。尽管是关于视频解码器30(图1及3)描述的，但应理解其它装置可经配置以执行与图16的方法类似的方法。
视频解码器30可例如使用帧内或帧间预测模式计算用于当前块的经预测块来预测当前块(490)。视频解码器30还可接收用于当前块的经熵译码数据，例如用于对应于当前块的残余块的系数的经熵译码数据(492)。视频解码器30可对经熵译码数据进行熵解码以再现残余块的系数(494)。
视频解码器30还可对指示一或多个残余块(例如，一或多个TU)的大小的信息进行解码(496)。举例来说，信息可指示TU是否分裂成非正方形TU。视频解码器30可例如至少部分基于父代TU是否为非正方形基于非正方形TU的可用性推断某块大小信息。在某些块大小不可用(例如，因为块为非正方形或由于最小大小限制)时，视频解码器30可推断具有不可用大小的块不可用，且因此，不需要对指示块不分裂成此些不可用大小的信息进行解码。
视频解码器30接着可反扫描所再现的系数(498)，以建立经量化变换系数的一或多个块。视频解码器30接着可反量化及反变换系数以产生一或多个残余块(500)。视频解码器30最终可通过组合经预测块与残余块对当前块进行解码(502)。
以此方式，图16的方法表示方法的实例，其包含：将视频数据的父代变换单元(TU)分裂成一或多个非正方形TU；至少部分基于一或多个非正方形TU为非正方形而确定一或多个非正方形TU是否可进一步分裂；及基于所述确定对一或多个非正方形TU进行译码。
图17为说明根据本发明的方面的对视频数据进行译码的实例的流程图。尽管是关于视频译码器描述的，但应理解其它装置(例如视频编码器20(图1及2)、视频解码器30(图1及3)或其它处理器)可经配置以执行与图17的方法类似的方法。
在图17的实例中，视频译码器可确定用于视频数据块的预测分割结构(510)。举例来说，视频译码器可例如使用帧内或帧间预测模式计算经预测块来预测当前视频数据块。视频译码器可出于预测的目的确定是否分裂块。在一些实例中，视频译码器可出于预测的目的将块分裂成一个以上子块，如上文所描述，其中一或多个子块的形状不对称。
视频译码器还可确定用于块的变换分割结构(512)。举例来说，视频译码器可确定是否分裂变换的块。在一些实例中，视频译码器可出于变换的目的将块分裂成一个以上子块，如上文所描述，其中一或多个子块的形状不对称。然而，不对称变换可归因于对视频译码器的限制而并非总是可用。
在非正方形变换不可用时，视频译码器可确定恰好对应于一个预测分割区的用于块的正方形变换(516)。举例来说，如上文所描述，视频译码器可分裂变换块直到将每一变换应用于仅一个预测分割区为止。视频译码器可根据强制变换分裂方案执行分裂。在非正方形变换可用且视频译码器应用至少一个非正方形变换时，视频译码器可基于变换为非正方形而确定是否进一步分裂所述块(518)。
应理解，取决于实例，本文中的任何所描述的方法的某些动作或事件可以用不同顺序执行、可以添加、合并或全部省略(例如，实践所述方法并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。此外，虽然为了清晰起见，本发明的某些方面被描述为是通过单个模块或单元执行，但是应理解，本发明的技术可以通过与视频译码器相关联的单元或模块的组合执行。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体来发射，且通过基于硬件的处理单元来执行。计算机可读媒体可包含计算机可读存储媒体或通信媒体，计算机可读存储媒体对应于例如数据存储媒体等有形媒体，通信媒体包含促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储装置、快闪存储器，或可用于存储呈指令或数据结构的形式的所要代码且可由计算机存取的任何其它媒体。而且，任何连接被适当地称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)，或例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL，或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关非暂时有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。以上各物的组合还应包含于计算机可读媒体的范围内。
可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用，术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。更确切地说，如上文所描述，各种单元可组合于编解码器硬件单元中或由交互操作的硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供。
已描述各种实例。此些及其它实例在以下权利要求书的范围内。

Claims (52)

1.一种对视频数据进行解码的方法，所述方法包括：
确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；
确定用于将一或多个变换应用于所述经预测像素值的变换分割结构，其中确定变换分裂结构包含：
分裂父代变换单元；
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换；及
基于所述所确定的变换分割结构对所述经预测像素值进行解码。
2.根据权利要求1所述的方法，其中确定所述一或多个正方形变换包括分裂跨越所述一或多个非正方形分割区的预测分割边界而应用的变换，而并不分裂不跨越预测分割边界而应用的变换。
3.根据权利要求1所述的方法，其进一步包括基于与所述视频数据块相关联的译码特性自适应地启用所述一或多个正方形变换的所述确定，所述译码特性包括与所述块相关联的块大小、图片类型、图片大小、预测模式、运动向量振幅及参考索引中的一者。
4.根据权利要求1所述的方法，其中确定所述一或多个正方形变换包括确定用于将不同大小的变换应用于所述残余值的变换分割结构。
5.根据权利要求4所述的方法，其中所述不同大小的变换包含至少一个变换，所述变换具有小于由残余四叉树指示的最小变换大小的大小。
6.根据权利要求1所述的方法，其中所述预测分割结构包括大小为nLx2N、nRx2N、2NxnU及2NxnD中的一者的预测单元。
7.根据权利要求1所述的方法，其中确定是否分裂所述一或多个非正方形变换包括确定所述一或多个非正方形变换无法进一步分裂。
8.根据权利要求1所述的方法，其中确定是否分裂所述一或多个非正方形变换包括确定所述一或多个非正方形变换可仅进一步分裂成其它非正方形TU。
9.根据权利要求8所述的方法，其中所述父代变换单元包括明度父代变换单元，且其中所述一或多个非正方形变换包括一或多个明度非正方形变换，所述方法进一步包括：
将父代色度变换单元分裂成一或多个色度非正方形变换，其中所述父代色度变换单元对应于所述父代明度变换单元；及
分裂所述一或多个色度非正方形变换。
10.根据权利要求1所述的方法，其中确定是否分裂所述一或多个非正方形变换包括至少部分基于对应于所述父代变换单元的译码单元的大小、包含所述父代变换单元的图片的类型、包含所述父代变换单元的所述图片的像素分辨率及对应于所述父代变换单元的所述译码单元的块类型中的一或多者确定是否分裂所述一或多个非正方形变换。
11.一种对视频数据进行编码的方法，所述方法包括：
确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；
确定用于将一或多个变换应用于所述经预测像素值的变换分割结构，其中确定变换分裂结构包含：
分裂父代变换单元；
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换；及
基于所述所确定的变换分割结构对所述经预测像素值进行编码。
12.根据权利要求11所述的方法，其中确定所述一或多个正方形变换包括分裂跨越所述一或多个非正方形分割区的预测分割边界而应用的变换，而并不分裂不跨越预测分割边界而应用的变换。
13.根据权利要求11所述的方法，其进一步包括基于与所述视频数据块相关联的译码特性自适应地启用所述一或多个正方形变换的所述确定，所述译码特性包括与所述块相关联的块大小、图片类型、图片大小、预测模式、运动向量振幅及参考索引中的一者。
14.根据权利要求11所述的方法，其中确定所述一或多个正方形变换包括确定用于将不同大小的变换应用于所述残余值的变换分割结构。
15.根据权利要求14所述的方法，其中所述不同大小的变换包含至少一个变换，所述变换具有小于由残余四叉树指示的最小变换大小的大小。
16.根据权利要求11所述的方法，其中所述预测分割结构包括大小为nLx2N、nRx2N、2NxnU及2NxnD中的一者的预测单元。
17.根据权利要求11所述的方法，其中确定是否分裂所述一或多个非正方形变换包括确定所述一或多个非正方形变换无法进一步分裂。
18.根据权利要求11所述的方法，其中确定是否分裂所述一或多个非正方形变换包括确定所述一或多个非正方形变换可仅进一步分裂成其它非正方形TU。
19.根据权利要求18所述的方法，其中所述父代变换单元包括明度父代变换单元，且其中所述一或多个非正方形变换包括一或多个明度非正方形变换，所述方法进一步包括：
将父代色度变换单元分裂成一或多个色度非正方形变换，其中所述父代色度变换单元对应于所述父代明度变换单元；及
分裂所述一或多个色度非正方形变换。
20.根据权利要求11所述的方法，其中确定是否分裂所述一或多个非正方形变换包括至少部分基于对应于所述父代变换单元的译码单元的大小、包含所述父代变换单元的图片的类型、包含所述父代变换单元的所述图片的像素分辨率及对应于所述父代变换单元的所述译码单元的块类型中的一或多者确定是否分裂所述一或多个非正方形变换。
21.一种用于对视频数据进行译码的设备，其包括一或多个处理器，所述处理器经配置以：
确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；
确定用于将一或多个变换应用于所述经预测像素值的变换分割结构，其中确定变换分裂结构包含：
分裂父代变换单元；
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换；及
基于所述所确定的变换分割结构对所述经预测像素值进行译码。
22.根据权利要求21所述的设备，其中为了确定所述一或多个正方形变换，所述一或多个处理器经配置以分裂跨越所述一或多个非正方形分割区的预测分割边界而应用的变换，而并不分裂不跨越预测分割边界而应用的变换。
23.根据权利要求21所述的设备，其中所述一或多个处理器经进一步配置以基于与所述视频数据块相关联的译码特性自适应地启用所述一或多个正方形变换的所述确定，所述译码特性包括与所述块相关联的块大小、图片类型、图片大小、预测模式、运动向量振幅及参考索引中的一者。
24.根据权利要求21所述的设备，其中为了确定所述一或多个正方形变换，所述一或多个处理器经配置以确定用于将不同大小的变换应用于所述残余值的变换分割结构。
25.根据权利要求24所述的设备，其中所述不同大小的变换包含至少一个变换，所述变换具有小于由残余四叉树指示的最小变换大小的大小。
26.根据权利要求21所述的设备，其中所述预测分割结构包括大小为nLx2N、nRx2N、2NxnU及2NxnD中的一者的预测单元。
27.根据权利要求21所述的设备，其中为了确定是否分裂所述一或多个非正方形变换，所述一或多个处理器经配置以确定所述一或多个非正方形变换无法进一步分裂。
28.根据权利要求21所述的设备，其中为了确定是否分裂所述一或多个非正方形变换，所述一或多个处理器经配置以确定所述一或多个非正方形变换可仅进一步分裂成其它非正方形TU。
29.根据权利要求28所述的设备，其中所述父代变换单元包括明度父代变换单元，且其中所述一或多个非正方形变换包括一或多个明度非正方形变换，所述一或多个处理器经进一步配置以：
将父代色度变换单元分裂成一或多个色度非正方形变换，其中所述父代色度变换单元对应于所述父代明度变换单元；及
分裂所述一或多个色度非正方形变换。
30.根据权利要求21所述的设备，其中为了确定是否分裂所述一或多个非正方形变换，所述一或多个处理器经配置以至少部分基于对应于所述父代变换单元的译码单元的大小、包含所述父代变换单元的图片的图片类型、包含所述父代变换单元的所述图片的像素分辨率及对应于所述父代变换单元的所述译码单元的块类型中的一或多者确定是否分裂所述一或多个非正方形变换。
31.根据权利要求21所述的设备，其中为了对所述经预测像素值进行译码，所述一或多个处理器经配置以对所述经预测像素值进行编码，其中对所述经预测像素值进行编码包括在经编码位流中提供所述经预测像素值的指示。
32.根据权利要求21所述的设备，其中为了对所述经预测像素值进行译码，所述一或多个处理器经配置以对所述经预测像素值进行解码，其中对所述经预测像素值进行解码包括从经编码位流获得所述经预测像素值的指示。
33.一种用于对视频数据进行译码的设备，所述设备包括：
用于确定用于预测与视频数据块相关联的像素值的预测分割结构的装置，其中所述预测分割结构包含一或多个非正方形分割区；
用于确定用于将一或多个变换应用于所述经预测像素值的变换分割结构的装置，其中确定变换分裂结构包含：
分裂父代变换单元；
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换；及
基于所述所确定的变换分割结构对所述经预测像素值进行译码。
34.根据权利要求33所述的设备，其中所述用于确定所述一或多个正方形变换的装置包括用于分裂跨越所述一或多个非正方形分割区的预测分割边界而应用的变换而并不分裂不跨越预测分割边界而应用的变换的装置。
35.根据权利要求33所述的设备，其进一步包括用于基于与所述视频数据块相关联的译码特性自适应地启用所述一或多个正方形变换的所述确定的装置，所述译码特性包括与所述块相关联的块大小、图片类型、图片大小、预测模式、运动向量振幅及参考索引中的一者。
36.根据权利要求33所述的设备，其中所述用于确定所述一或多个正方形变换的装置包括用于确定用于将不同大小的变换应用于所述残余值的变换分割结构的装置。
37.根据权利要求36所述的设备，其中所述不同大小的变换包含至少一个变换，所述变换具有小于由残余四叉树指示的最小变换大小的大小。
38.根据权利要求33所述的设备，其中所述预测分割结构包括大小为nLx2N、nRx2N、2NxnU及2NxnD中的一者的预测单元。
39.根据权利要求33所述的设备，其中所述用于确定是否分裂所述一或多个非正方形变换的装置包括用于确定所述一或多个非正方形变换无法进一步分裂的装置。
40.根据权利要求33所述的设备，其中所述用于确定是否分裂所述一或多个非正方形变换的装置包括用于确定所述一或多个非正方形变换可仅进一步分裂成其它非正方形TU的装置。
41.根据权利要求40所述的设备，其中所述父代变换单元包括明度父代变换单元，且其中所述一或多个非正方形变换包括一或多个明度非正方形变换，所述设备进一步包括：
用于将父代色度变换单元分裂成一或多个色度非正方形变换的装置，其中所述父代色度变换单元对应于所述父代明度变换单元；及
用于分裂所述一或多个色度非正方形变换的装置。
42.根据权利要求33所述的设备，其中所述用于确定是否分裂所述一或多个非正方形变换的装置包括用于至少部分基于对应于所述父代变换单元的译码单元的大小、包含所述父代变换单元的图片的类型、包含所述父代变换单元的所述图片的像素分辨率及对应于所述父代变换单元的所述译码单元的块类型中的一或多者确定是否分裂所述一或多个非正方形变换的装置。
43.一种非暂时计算机可读媒体，其上存储有指令，所述指令在执行时致使一或多个处理器：
确定用于预测与视频数据块相关联的像素值的预测分割结构，其中所述预测分割结构包含一或多个非正方形分割区；
确定用于将一或多个变换应用于所述经预测像素值的变换分割结构，其中确定变换分裂结构包含：
分裂父代变换单元；
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个正方形变换后，即刻确定一或多个正方形变换以使得所述一或多个正方形变换中的每一者恰好对应于一个预测分割区；及
在确定所述变换分割结构包括将所述父代变换单元分裂成一或多个非正方形变换后，即刻至少部分基于所述一或多个非正方形变换为非正方形而确定是否分裂所述一或多个非正方形变换；及
基于所述所确定的变换分割结构对所述经预测像素值进行译码。
44.根据权利要求43所述的非暂时计算机可读媒体，其中为了确定所述一或多个正方形变换，所述指令致使所述一或多个处理器分裂跨越所述一或多个非正方形分割区的预测分割边界而应用的变换，而并不分裂不跨越预测分割边界而应用的变换。
45.根据权利要求43所述的非暂时计算机可读媒体，其进一步包括致使所述一或多个处理器基于与所述视频数据块相关联的译码特性自适应地启用所述一或多个正方形变换的所述确定的指令，所述译码特性包括与所述块相关联的块大小、图片类型、图片大小、预测模式、运动向量振幅及参考索引中的一者。
46.根据权利要求43所述的非暂时计算机可读媒体，其中为了确定所述一或多个正方形变换，所述指令致使所述一或多个处理器确定用于将不同大小的变换应用于所述残余值的变换分割结构。
47.根据权利要求46所述的非暂时计算机可读媒体，其中所述不同大小的变换包含具有小于由残余四叉树指示的最小变换大小的大小的至少一个变换。
48.根据权利要求43所述的非暂时计算机可读媒体，其中所述预测分割结构包括大小为nLx2N、nRx2N、2NxnU及2NxnD中的一者的预测单元。
49.根据权利要求43所述的非暂时计算机可读媒体，其中为了确定是否分裂所述一或多个非正方形变换，所述指令致使所述一或多个处理器确定所述一或多个非正方形变换无法进一步分裂。
50.根据权利要求43所述的非暂时计算机可读媒体，其中为了确定是否分裂所述一或多个非正方形变换，所述指令致使所述一或多个处理器确定所述一或多个非正方形变换可仅进一步分裂成其它非正方形TU。
51.根据权利要求50所述的非暂时计算机可读媒体，其中所述父代变换单元包括明度父代变换单元，且其中所述一或多个非正方形变换包括一或多个明度非正方形变换，所述一或多个处理器经进一步配置以：
将父代色度变换单元分裂成一或多个色度非正方形变换，其中所述父代色度变换单元对应于所述父代明度变换单元；及
分裂所述一或多个色度非正方形变换。
52.根据权利要求43所述的非暂时计算机可读媒体，其中为了确定是否分裂所述一或多个非正方形变换，所述指令致使所述一或多个处理器至少部分基于对应于所述父代变换单元的译码单元的大小、包含所述父代变换单元的图片的图片类型、包含所述父代变换单元的所述图片的像素分辨率及对应于所述父代变换单元的所述译码单元的块类型中的一或多者确定是否分裂所述一或多个非正方形变换。
CN201380019938.1A 2012-04-16 2013-04-16 对视频数据进行处理的方法、设备及计算机可读媒体 Active CN104285447B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261625038P 2012-04-16 2012-04-16
US61/625,038 2012-04-16
US201261637220P 2012-04-23 2012-04-23
US61/637,220 2012-04-23
US13/863,266 US9912944B2 (en) 2012-04-16 2013-04-15 Simplified non-square quadtree transforms for video coding
US13/863,266 2013-04-15
PCT/US2013/036791 WO2013158650A1 (en) 2012-04-16 2013-04-16 Simplified non-square quadtree transforms for video coding

Publications (2)

Publication Number Publication Date
CN104285447A true CN104285447A (zh) 2015-01-14
CN104285447B CN104285447B (zh) 2018-04-27

Family

ID=49325052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380019938.1A Active CN104285447B (zh) 2012-04-16 2013-04-16 对视频数据进行处理的方法、设备及计算机可读媒体

Country Status (7)

Country Link
US (1) US9912944B2 (zh)
EP (1) EP2839649B1 (zh)
JP (1) JP2015516769A (zh)
KR (1) KR101723280B1 (zh)
CN (1) CN104285447B (zh)
IN (1) IN2014MN02146A (zh)
WO (1) WO2013158650A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107258081A (zh) * 2015-03-06 2017-10-17 高通股份有限公司 对使用非正方形分割编码视频数据的优化
CN108293112A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中的弹性变换树结构
CN110140354A (zh) * 2016-10-05 2019-08-16 交互数字Vc控股公司 编码和解码方法以及对应设备
WO2019174594A1 (en) * 2018-03-14 2019-09-19 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
CN110291792A (zh) * 2017-01-11 2019-09-27 交互数字Vc控股公司 不对称编码单元尺寸的取决于块的比率
CN112470478A (zh) * 2018-07-30 2021-03-09 腾讯美国有限责任公司 编码单元分区约束

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10863184B2 (en) * 2012-08-15 2020-12-08 Texas Instruments Incorporated Fast intra-prediction mode selection in video coding
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
WO2014120367A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video
US20150055697A1 (en) * 2013-08-20 2015-02-26 Media Tek Inc. Method and Apparatus of Transform Process for Video Coding
WO2015135169A1 (en) * 2014-03-13 2015-09-17 Qualcomm Incorporated Constrained depth intra mode coding for 3d video coding
KR20230130772A (ko) 2016-02-12 2023-09-12 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102571062B1 (ko) 2016-05-10 2023-08-25 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10880548B2 (en) * 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
EP3503550A4 (en) * 2016-10-10 2019-06-26 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR ENCODING OR DECODING A LUMINANCE BLOCK AND A CHROMINANCE BLOCK
KR20230125329A (ko) 2016-10-10 2023-08-29 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
CN116567236A (zh) * 2016-12-16 2023-08-08 夏普株式会社 图像解码方法
KR20180103733A (ko) * 2017-03-09 2018-09-19 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
KR102424411B1 (ko) * 2017-04-13 2022-07-25 엘지전자 주식회사 영상의 부호화/복호화 방법 및 이를 위한 장치
CN118200610A (zh) * 2017-07-04 2024-06-14 华为技术有限公司 边界强制分区的改进
US10298895B1 (en) * 2018-02-15 2019-05-21 Wipro Limited Method and system for performing context-based transformation of a video
EP3767955B1 (en) * 2018-04-01 2023-08-09 LG Electronics Inc. Method for processing image and apparatus therefor
US10972758B2 (en) * 2018-04-02 2021-04-06 Qualcomm Incorporated Multi-type-tree framework for transform in video coding
JP2021523627A (ja) 2018-05-10 2021-09-02 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化及び復号のための映像の分割方法及びその装置
CN112119638A (zh) * 2018-05-14 2020-12-22 交互数字Vc控股公司 用于四叉树-二叉树的块形状自适应帧内预测方向
KR20210028652A (ko) 2018-07-16 2021-03-12 인터디지털 브이씨 홀딩스 인코포레이티드 광각 인트라 예측 및 위치 의존적 인트라 예측 조합
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
CN113454994B (zh) * 2019-03-21 2022-03-01 三星电子株式会社 用于对具有针对每个块形状设置的块尺寸的视频进行编码/解码的方法和装置
JP2023507270A (ja) 2019-12-17 2023-02-22 アリババ グループ ホウルディング リミテッド ピクチャ境界におけるブロック区分のための方法及び装置
JP7276549B2 (ja) 2020-12-18 2023-05-18 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011129620A2 (ko) * 2010-04-13 2011-10-20 삼성전자 주식회사 트리 구조에 따른 부호화 단위에 기초한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법 및 그 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN105959688B (zh) * 2009-12-01 2019-01-29 数码士有限公司 用于解码高分辨率图像的方法
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
WO2011127963A1 (en) 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sample region merging
ES2868133T3 (es) * 2010-09-27 2021-10-21 Lg Electronics Inc Método para partición de bloque y dispositivo de decodificación
US8948271B2 (en) * 2011-01-13 2015-02-03 Texas Instruments Incorporated Method and apparatus for a low complexity transform unit partitioning structure for HEVC
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
US8891617B2 (en) * 2011-01-18 2014-11-18 Google Inc. Method and system for processing video data
US9071848B2 (en) 2011-03-15 2015-06-30 Broadcom Corporation Sub-band video coding architecture for packet based transmission
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
US9807426B2 (en) 2011-07-01 2017-10-31 Qualcomm Incorporated Applying non-square transforms to video data
US8964833B2 (en) 2011-07-19 2015-02-24 Qualcomm Incorporated Deblocking of non-square blocks for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011129620A2 (ko) * 2010-04-13 2011-10-20 삼성전자 주식회사 트리 구조에 따른 부호화 단위에 기초한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법 및 그 장치

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107258081A (zh) * 2015-03-06 2017-10-17 高通股份有限公司 对使用非正方形分割编码视频数据的优化
CN107258081B (zh) * 2015-03-06 2020-07-03 高通股份有限公司 对使用非正方形分割编码视频数据的优化
CN108293112A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中的弹性变换树结构
CN108293112B (zh) * 2015-11-25 2022-06-17 高通股份有限公司 视频译码中的弹性变换树结构
CN110140354A (zh) * 2016-10-05 2019-08-16 交互数字Vc控股公司 编码和解码方法以及对应设备
US11889073B2 (en) 2016-10-05 2024-01-30 Interdigital Madison Patent Holdings, Sas Encoding and decoding methods and corresponding devices
US11228759B2 (en) 2016-10-05 2022-01-18 Interdigital Madison Patent Holdings, Sas Encoding and decoding methods and corresponding devices
US11533502B2 (en) 2017-01-11 2022-12-20 Interdigital Madison Patent Holdings, Sas Asymmetric coding unit size block dependent ratio
CN110291792A (zh) * 2017-01-11 2019-09-27 交互数字Vc控股公司 不对称编码单元尺寸的取决于块的比率
CN110291792B (zh) * 2017-01-11 2023-07-18 交互数字麦迪逊专利控股公司 不对称编码单元尺寸的取决于块的比率
WO2019174594A1 (en) * 2018-03-14 2019-09-19 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
US11516513B2 (en) 2018-03-14 2022-11-29 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
CN112470478B (zh) * 2018-07-30 2022-05-24 腾讯美国有限责任公司 视频解码方法、装置和计算机设备
CN112470478A (zh) * 2018-07-30 2021-03-09 腾讯美国有限责任公司 编码单元分区约束

Also Published As

Publication number Publication date
CN104285447B (zh) 2018-04-27
IN2014MN02146A (zh) 2015-08-21
US20130272381A1 (en) 2013-10-17
KR101723280B1 (ko) 2017-04-04
WO2013158650A1 (en) 2013-10-24
EP2839649A1 (en) 2015-02-25
KR20150003324A (ko) 2015-01-08
US9912944B2 (en) 2018-03-06
EP2839649B1 (en) 2016-06-01
JP2015516769A (ja) 2015-06-11

Similar Documents

Publication Publication Date Title
CN104285447A (zh) 用于视频译码的简化非正方形四叉树变换
JP6636564B2 (ja) ビデオコーディングにおける４：２：２サンプルフォーマットのためのコード化ブロックフラグ（ｃｂｆ）コーディング
CN103190147B (zh) 用于视频译码的语法元素的联合译码方法及设备
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN104471942B (zh) 重新使用参数集用于视频译码
CN103563378A (zh) 存储器高效的上下文建模
CN104412591A (zh) 用于差域帧内预测的帧内模式扩展
CN103636202A (zh) 视频译码中的量化参数预测
CN105493507A (zh) 用于帧内块复制的残余预测
CN104303501A (zh) 用于视频译码的量化矩阵和解块滤波器
CN103959785A (zh) 在视频译码中用于色度分量的变换单位分割
CN104584550A (zh) 用于可缩放视频译码的帧内预测改善
CN104247420A (zh) 转换系数译码
CN104704843A (zh) 视频性质的指示
CN105191311A (zh) 用于视频译码的并行处理
CN104718752A (zh) 在可缩放视频译码中减少取样相位信息的发信
CN104221378A (zh) 在视频译码中用于量化矩阵的均匀粒度
CN104255027B (zh) 用于视频译码的层间纹理预测
CN104221381A (zh) 用于视频译码的波前并行处理
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN104488267A (zh) 平铺块及波前并行处理
CN103621082A (zh) 视频译码中的量化
CN104396250A (zh) 用于3d视频译码的深度图的帧内译码
CN104685887A (zh) 于视频译码中发信用于操作点的层识别符

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant