CN110870308A - 通过几何自适应块分割将图片转换成用于视频编码的视频块的系统和方法 - Google Patents

通过几何自适应块分割将图片转换成用于视频编码的视频块的系统和方法 Download PDF

Info

Publication number
CN110870308A
CN110870308A CN201880042999.2A CN201880042999A CN110870308A CN 110870308 A CN110870308 A CN 110870308A CN 201880042999 A CN201880042999 A CN 201880042999A CN 110870308 A CN110870308 A CN 110870308A
Authority
CN
China
Prior art keywords
video
block
values
video data
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880042999.2A
Other languages
English (en)
Inventor
基兰·穆克什·米斯拉
赵杰
克里斯托弗·安德鲁·塞格尔
迈克尔·霍罗威茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FG Innovation Co Ltd
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110870308A publication Critical patent/CN110870308A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种分割用于视频编码的视频数据的方法。所述方法包括接收包括视频数据分量的样本值的视频块、根据由角度和距离限定的分割线分割所述视频块，以及基于所述角度和所述距离的允许值发送所述分割线的信号。所述允许值基于视频数据或视频编码参数的一种或多种属性。

Description

通过几何自适应块分割将图片转换成用于视频编码的视频块 的系统和方法
技术领域
本公开涉及视频编码，并且具体而言涉及用于分割视频数据的图片的技术。
背景技术
数字视频功能可以结合到各种设备中，包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的智能电话)、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4Visual和ITU-TH.264(也称为ISO/IEC MPEG-4AVC)和高效率视频编码(HEVC)。HEVC在2015年4月的ITU-TH.265建议书的高效视频编码(HEVC)中描述，该文献以引用方式并入本文，并且在本文中称为ITU-T H.265。目前正在考虑对ITU-T H.265进行扩展和改进以开发下一代视频编码标准。例如，ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)(统称为联合视频研究组(JVET))正在研究压缩能力显著超过当前HEVC标准的未来视频编码技术的标准化的潜在需求。以引用方式并入本文的联合探索模型3(JEM 3)、联合探索测试模型3(JEM 3)的算法描述、ISO/IECJTC1/SC29/WG11文档：JVET-C1001v3(2016年5月，瑞士，日内瓦)描述了由JVET在联合测试模型研究下的编码特征，该技术是超越ITU-T H.265功能的潜在增强视频编码技术。应当注意，JEM 3的编码功能是在Fraunhofer研究机构维修的JEM参考软件中实现的。目前，可以使用已更新的JEM参考软件版本3(JEM 3.0)。如本文所用，使用术语JEM来统称包括在JEM 3中的算法以及JEM参考软件的具体实施。
视频压缩技术可减少存储和传输视频数据的数据需求。视频压缩技术可通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的片段、片段内的编码树单元(例如，宏块)、编码树单元内的编码块等)。可以使用帧内预测编码技术(例如，图片内(空间))和帧间预测技术(即图片间(时间))来生成待编码的视频数据单元与视频数据的参考单元之间的差值。该差值可被称为残差数据。残差数据可被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引、运动向量和块向量)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在合规比特流中。
发明内容
在一个示例中，分割用于视频编码的视频数据的方法包括：接收包括视频数据分量样本值的视频块；根据依照角度和距离限定的分割线分割视频块；以及基于角度和距离的允许值发送分割线信号，其中允许值基于视频数据或视频编码参数的一个或多个属性。
在一个示例中，重构视频数据的方法包括：确定视频块的残差数据；确定角度和距离的允许值，其中允许值基于视频数据或视频编码参数的一个或多个属性；解析指示角度和距离值的一个或多个语法元素；基于角度和距离的指示值确定分割线；对于由所确定的分割线产生的每个分区，生成预测视频数据；以及基于残差数据和预测视频数据重构视频块的视频数据。
附图说明
图1是示出根据本公开的一种或多种技术的依照四叉树二叉树分割进行编码的一组图片的示例的概念图。
图2是示出根据本公开的一种或多种技术的四叉树二叉树的示例的概念图。
图3是示出根据本公开的一种或多种技术的视频分量四叉树二叉树分割的概念图。
图4是示出根据本公开的一种或多种技术的视频分量采样格式的示例的概念图。
图5是示出根据本公开的一种或多种技术的视频数据块的可能的编码结构的概念图。
图6A是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。
图6B是示出根据本公开的一种或多种技术的对视频数据块进行编码的示例的概念图。
图7是示出根据本公开的一种或多种技术的包括在图像视频块中的对象边界的示例的概念图。
图8是示出用于对图7所示的对象边界进行编码的非对称运动分割的示例的概念图。
图9是示出用于对图7所示的对象边界进行编码的四叉树二叉树分割的示例的概念图。
图10是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码和解码的系统的示例的框图。
图11是示出根据本公开的一种或多种技术的可被配置为编码视频数据的视频编码器的示例的框图。
图12是示出根据本公开的一种或多种技术的几何自适应块分割的概念图。
图13是示出根据本公开的一种或多种技术的几何自适应块分割的概念图。
图14是示出根据本公开的一种或多种技术的几何自适应块分割的概念图。
图15是示出根据本公开的一种或多种技术的几何自适应块分割的概念图。
图16是示出根据本公开的一种或多种技术的可被配置为解码视频数据的视频解码器的示例的框图。
具体实施方式
一般来讲，本公开描述用于编码视频数据的各种技术。具体而言，本公开描述了用于分割视频数据图片的技术。需注意，虽然本公开的技术是关于ITU-T H.264、ITU-T H.265和JEM描述的，但是本公开的技术通常可应用于视频编码。例如，本文描述的编码技术可并入视频编码系统，(包括基于未来视频编码标准的视频编码系统)，包括块结构、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或其他熵编码技术，而不包括ITU-T H.265和JEM中的技术。因此，对ITU-T H.264、ITU-T H.265和/或JEM的参考是用于描述性目的的，并且不应将其解释为限制本文描述技术的范围。此外，应当注意，将文献以引用方式并入本文是出于描述性目的，并且不应被解释为限制或产生关于本文所用术语的歧义。例如，在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文中使用的该术语的情况下，则该术语应以广泛地包括每个相应定义的方式和/或以包括替代方案中每个特定定义的方式来解释。
在一个示例中，分割用于视频编码的视频数据的设备包括被配置为接收包括视频数据分量样本值的视频块、根据依照角度和距离限定的分割线分割视频块、并基于角度和距离的允许值发送分割线信号的一个或多个处理器，其中允许值基于视频数据或视频编码参数的一个或多个属性。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，该指令在被执行时使得设备的一个或多个处理器：接收包括视频数据分量样本值的视频块；根据依照角度和距离限定的分割线分割视频块；并且基于角度和距离的允许值发送分割线信号，其中允许值基于视频数据或视频编码参数的一个或多个属性。
在一个示例中，装置包括：接收包括视频数据分量样本值的视频块的工具、根据依照角度和距离限定的分割线分割视频块的工具；以及基于角度和距离的允许值发送分割线信号的工具，其中允许值基于视频数据或视频编码参数的一个或多个属性。
在一个示例中，重构视频数据的设备包括被配置为确定视频块的残差数据、确定角度和距离的允许值(其中允许值基于视频数据或视频编码参数的一个或多个属性)、解析指示角度和距离值的一个或多个语法元素、基于角度和距离的指示值确定分割线、对于由所确定的分割线产生的每个分区生成预测视频数据、并基于残差数据和预测视频数据重构视频块的视频数据的一个或多个处理器。
在一个示例中，非暂态计算机可读存储介质包括存储在其上的指令，该指令在被执行时使得设备的一个或多个处理器：确定视频块的残差数据；确定角度和距离的允许值，其中允许值基于视频数据或视频编码参数的一个或多个属性；解析指示角度和距离值的一个或多个语法元素；基于角度和距离的指示值确定分割线；对于由所确定的分割线产生的每个分区，生成预测视频数据；并且基于残差数据和预测视频数据重构视频块的视频数据。
在一个示例中，装置包括：确定视频块的残差数据的工具；确定角度和距离的允许值的工具，其中允许值基于视频数据或视频编码参数的一个或多个属性；解析指示角度和距离值的一个或多个语法元素的工具；基于角度和距离的指示值确定分割线的工具；对于由所确定的分割线产生的每个分区，生成预测视频数据的工具；以及基于残差数据和预测视频数据重构视频块的视频数据的工具。
在以下附图和描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从描述和附图以及权利要求书中显而易见。
视频内容通常包括由一系列帧(或图片)组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括多个片段或片，其中片段或片包括多个视频块。如本文所用，术语视频块通常可以指图片的区域，或者可以更具体地指可被预测性地编码的样本值的最大阵列、其子分区和/或对应结构。此外，术语当前视频块可以指正被编码或解码的图片的区域。视频块可被定义为可被预测性地编码的样本值的阵列。应当指出的是，在一些情况下，像素值可被描述为包括视频数据相应分量的样本值，该分量也可被称为颜色分量(例如，亮度(Y)和色度(Cb和Cr)分量或红色、绿色和蓝色分量)。应当指出的是，在一些情况下，术语像素值和样本值可互换使用。视频块可以根据扫描模式(例如，光栅扫描)在图片中排序。视频编码器可对视频块和其子分区执行预测编码。视频块和其子部分可以被称为节点。
ITU-T H.264规定了包括16×16亮度样本的宏块。也就是说，在ITU-T H.264中，图片被分段成宏块。宏块ITU-T H.265规定了类似的编码树单元(CTU)结构。在ITU-T H.265中，图片被分段成CTU。在ITU-T H.265中，图片的CTU尺寸可被设置为包括16×16、32×32或64×64个亮度样本。在ITU-T H.265中，CTU由视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))的相应编码树块(CTB)组成。此外，在ITU-T H.265中，可根据四叉树(QT)分割结构分割CTU，使CTU的CTB被分割成编码块(CB)。也就是说，在ITU-T H.265中，可将CTU分割成四叉树叶节点。根据ITU-T H.265，一个亮度CB连同两个对应的色度CB和相关联的语法元素被称为一个编码单元(CU)。在ITU-T H.265中，可以发信号通知CB的最小允许尺寸。在ITU-TH.265中，亮度CB的最小允许最小尺寸是8×8亮度样本。在ITU-TH.265中，使用帧内预测或帧间预测对图片区域进行编码的决定在CU级进行。
在ITU-T H.265中，CU与具有CU级根的预测单元(PU)结构相关联。在ITU-T H.265中，PU结构允许分裂亮度CB和色度CB以生成对应的参考样本。也就是说，在ITU-T H.265中，可将亮度CB和色度CB分裂成相应的亮度和色度预测块(PB)，其中每个PB包括应用了相同预测的样本值的块。在ITU-T H.265中，可将一个CB分割成一个、两个或四个PB。ITU-T H.265支持从64×64个样本至4×4个样本的PB尺寸。在ITU-T H.265中，支持方形PB用于帧内预测，其中CB可形成PB或者CB可被分裂成四个方形PB(即，帧内预测PB类型包括M×M或M/2×M/2，其中M为方形CB的高度和宽度)。在ITU-T H.265中，除方形PB之外，还支持矩形PB用于帧间预测，其中可将CB竖直地或水平地减半以形成PB(即，帧间预测PB类型包括M×M、M/2×M/2、M/2×M或M×M/2)。此外，在ITU-TH.265中，针对帧间预测，支持四个非对称PB分区，其中在CB高度(在上或下)或宽度(在左或右)的四分之一处将其分割成两个PB(即，不对称分区包括M/4×M左、M/4×M右、M×M/4上和M×M/4下)。应当指出的是，在ITU-TH.264中，针对帧内预测，还可将16×16宏块分割成4个8×8块或16个4×4块，并且针对帧内预测，还可将16×16宏块分割成两个16×8块，两个8×16块，4个8×8块(其中可将每个8×8块进一步分割成8×4块或4×8块)，或16个4×4块。对应于PB的帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)用于生成PB参考和/或预测样本数据。
JEM规定了具有最大尺寸的256×256亮度样本的CTU。JEM规定了四叉树加二叉树(QTBT)块结构。在JEM中，QTBT结构使四叉树叶节点能够通过二叉树(BT)结构进一步分割。也就是说，在JEM中，二叉树结构使四叉树叶节点能够垂直或水平地递归划分。图1示出了将CTU(例如，具有256×256尺寸的亮度样本的CTU)分割成四叉树叶节点并且根据二叉树进一步分割四叉树叶节点的示例。也就是说，在图1中，虚线指示四叉树中附加的二叉树分区。因此，JEM中的二叉树结构实现了方形和矩形叶节点，其中每个叶节点包括一个CB。如图1所示，包括在GOP中的图片可包括片段，其中每个片段包括CTU序列并且可根据QTBT结构分割每个CTU。图1示出了对包括在片段中的一个CTU进行QTBT分割的示例。图2是示出了对应于图1所示的示例性QTBT分区的QTBT的示例的概念图。
在JEM中，通过发送QT分裂标记和BT分裂模式语法元素信号来发送QTBT信号。当QT分裂标记具有值1时，指示QT分裂。当QT分裂标志具有值0时，发送BT分裂模式语法元素信号。当BT分裂模式语法元素具有值0(即，BT分裂模式编码树＝0)时，不指示二叉树分裂。当BT分裂模式语法元素具有值1(即，BT分裂模式编码树＝11)时，指示竖直分裂模式。当BT分裂模式语法元素具有值2(即，BT分裂模式编码树＝10)时，指示水平分裂模式。此外，可执行BT分裂直至达到最大BT深度。
此外，在JEM中，亮度和色度分量可具有单独的QTBT分区。也就是说，在JEM中可以通过发送相应的QTBT信号来独立地分割亮度分量和色度分量。图3示出了根据用于亮度分量的QTBT和用于色度分量的独立QTBT分割CTU的示例。如图3中所示，当独立QTBT用于分割CTU时，亮度分量的CB不需要或不一定与色度分量的CB对准。目前，在JEM中，对使用帧内预测技术的片段启用独立的QTBT结构。应当指出的是，在一些情况下，可能需要从相关联的亮度变量值导出色度变量的值。在这些情况下，可用色度和色度格式的样本位置确定亮度中对应的样本位置，从而确定相关联的亮度变量值。
另外，应当指出的是，JEM包括用于发送QTBT树信号的以下参数：
CTU尺寸：四叉树的根节点尺寸(例如，256×256、128×128、64×64、32×32、16×16个亮度样本)；
MinQTSize：最小允许四叉树叶节点尺寸(例如，16×16、8×8个亮度样本)；
MaxBTSize：最大允许二叉树根节点尺寸，即可以通过二叉树分裂来分割的四叉树叶节点的最大尺寸(例如，64×64个亮度样本)；
MaxBTDepth：最大允许二叉树深度，即可以发生二叉树分裂的最低位阶，其中四叉树叶节点为根(例如，3)；
MinBTSize：最小允许二叉树叶节点尺寸，即二叉树叶节点的最小宽度或高度(例如，4个亮度样本)。
应当指出的是，在一些示例中，对于视频的不同分量，MinQTSize、MaxBTSize、MaxBTDepth和/或MinBTSize可不同。
在JEM中，将CB用于预测而不需要任何进一步的分割。也就是说，在JEM中，CB可以是应用了相同预测的样本值的块。因此，JEM QTBT叶节点可类似于ITU-T H.265中的PB。
视频采样格式(也可以称为色度格式)可以相对于CU中包括的亮度样本的数量来定义CU中包括的色度样本的数量。例如，对于4∶2∶0采样格式，亮度分量的采样率是水平和竖直方向色度分量的两倍。因此，对于根据4∶2∶0格式格式化的CU，用于亮度分量的样本阵列的宽度和高度是用于色度分量的每个样本阵列的宽度和高度的两倍。图4是示出根据4∶2∶0样本格式格式化的编码单元的示例的概念图。图4示出了色度样本相对于CU内的亮度样本的相对位置。如上所述，通常根据水平和垂直亮度样本的数量来定义CU。因此，如图4所示，根据4∶2∶0样本格式格式化的16×16CU包括亮度分量的16×16个样本和用于每个色度分量的8×8个样本。此外，在图4所示的示例中，示出了色度样本相对于用于与该16×16CU相邻的视频块的亮度样本的相对位置。对于根据4∶2∶2格式格式化的CU，亮度分量的样本阵列的宽度是每个色度分量的样本阵列宽度的两倍，但是亮度分量的样本阵列的高度等于每个色度分量的样本阵列的高度。此外，对于根据4∶4∶4格式格式化的CU，亮度分量的样本阵列具有与每个色度分量的样本阵列相同的宽度和高度。
如上所述，使用帧内预测数据或帧间预测数据产生样本值块的参考样本值。包括在当前PB或另一类型的图片区域结构和相关联的参考样本(例如，使用预测生成的那些)中的样本值之间的差可以被称为残差数据。残差数据可以包括对应于视频数据的每个分量的相应的差值阵列。残差数据可能在像素域中。可对差值阵列应用变换，诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换，以生成变换系数。应当指出的是，在ITU-T H.265中，CU与具有CU级根的变换单元(TU)结构相关联。也就是说，在ITU-T H.265中，为了生成变换系数，可以对像素差值的阵列进行再分(例如，可以将四个8×8变换应用于16×16残差值阵列)。对于视频数据的每个分量，此类差值子分区可被称为变换块(TB)。应当指出的是，在ITU-T H.265中，TB不一定与PB对准。图5示出了可用于对特定CB进行编码的另选的PB和TB组合的示例。此外，应当指出的是，在ITU-T H.265中，TB可具有以下尺寸：4×4、8×8、16×16和32×32。
应当指出的是，在JEM中，使用对应于CB的残差值生成变换系数而无需进一步分割。也就是说，在JEM中，QTBT叶节点可以类似于ITU-T.H.265中的PB和TB。应当指出的是，在JEM中，可以(在视频编码器中)应用核心变换和后续二次变换来生成变换系数。对于视频解码器，变换的顺序是相反的。此外，在JEM中，是否应用二次变换来生成变换系数可取决于预测模式。
可以对变换系数执行量化处理。量化可以一般性描述为对变换系数进行缩放以改变表示一组变换系数所需的数据量。量化可包括将变换系数除以量化缩放因子和任何相关联的取整函数(例如，取整为最接近的整数)。量化的变换系数可以被称为系数位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘。需注意，如本文所用，术语量化过程在一些情况下可指除以缩放因子以生成位阶值，并且乘以缩放因子以在一些情况下恢复变换系数。也就是说，量化过程在一些情况下可以指量化，而在一些情况下可以指逆量化。此外，应当注意，虽然在下面的示例中关于与十进制记数法相关的算术运算描述了量化过程，但是这样的描述是为了说明的目的，并且不应该被解释为进行限制。例如，本文描述的技术可在使用二进制运算等的设备中实现。例如，本文描述的乘法和除法运算可以使用移位运算等来实现。
图6A至图6B是示出对视频数据块进行编码的示例的概念图。如图6A所示，通过从当前视频数据块中减去一组预测值以生成残差、对残差执行变换以及量化变换系数(即，通过使用缩放因子阵列来进行缩放)以生成位阶值，对当前的视频数据块(例如，对应于视频分量的CB)进行编码。如图6B所示，通过对位阶值执行逆量化、执行逆变换以及将一组预测值添加到所得的残差来对当前视频数据块进行解码。应当指出的是，在图6A至图6B的示例中，重构块的样本值不同于被编码的当前视频块的样本值。这样，编码可被认为是有损的。然而，对于重构视频的观察者，样本值的差异可被认为是可接受的。
应当指出的是，在ITU-T H.265中，为了量化，通过选择缩放矩阵并将缩放矩阵中的每个条目与量化缩放因子相乘生成缩放因子的阵列。在ITU-T H.265中，基于预测模式和颜色分量来选择缩放矩阵，其中将缩放矩阵限定为以下尺寸：4×4、8×8、16×16和32×32。在ITU-T H.265中，可以由量化参数QP确定量化缩放因子的值。在ITU-T H.265中，QP可取0至51的52个值，并且QP变化1通常对应于量化缩放因子的值变化约12％。此外，在ITU-TH.265中，可以使用预测量化参数值(可以被称为预测QP值或QP预测值)和可选地发信号通知的量化参数增量值(可以被称为QP增量值或增量QP值)来导出一组变换系数的QP值。在ITU-TH.265中，可以针对每个CU更新量化参数，并且可以针对亮度(Y)和色度(Cb和Cr)分量中的每一个导出量化参数。
如图6A所示，量化的变换系数被编码成比特流。可根据熵编码技术对量化的变换系数和语法元素(例如，指示视频块的编码结构的语法元素)进行熵编码。熵编码技术的例子包括内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间划分熵编码(PIPE)等。熵编码的量化变换系数和对应的熵编码语法元素可形成可用于在视频解码器处再现视频数据的兼容比特流。熵编码过程可包括对语法元素进行二值化。二值化是指将语法值的值转换为一系列的一个或多个比特的过程。这些比特可以被称为“箱”。二值化是一个无损过程，并且可以包括以下编码技术中的一种或组合：固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码。例如，二值化可包括使用8比特固定长度二值化技术将语法元素的整数值5表示为00000101，或者使用一元编码二值化技术将整数值5表示为11110。如本文所用，术语固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码中的每一个可以指这些技术的一般实现和/或这些编码技术的更具体实现。例如，可以根据视频编码标准(例如，ITU-TH.265)具体地定义Golomb-Rice编码实现。熵编码过程还包括使用无损数据压缩算法对箱值进行编码。在CABAC的示例中，对于特定箱，可从与该箱相关联的一组可用上下文模型中选择一个上下文模型。在一些示例中，可以基于先前的箱和/或先前语法元素的值来选择上下文模型。上下文模型可识别箱具有特定值的概率。例如，上下文模型可以指示对值为0的箱进行编码的概率为0.7，并且对值为1的箱进行编码的概率为0.3。应当指出的是，在一些情况下，对值为0的箱进行编码的概率和对值为1的箱进行编码的概率的和可不为1。在选择可用的上下文模型之后，CABAC熵编码器可以基于所识别的上下文模型对箱进行算术编码。可基于编码的箱的值来更新上下文模型。可基于与上下文一起存储的相关联的变量(例如，适应窗口尺寸、使用上下文编码的箱的数量)来更新上下文模型。应当指出的是，根据ITU-T H.265，可实施CABAC熵编码器，使得可使用算术编码对一些语法元素进行熵编码而不使用明确指定的上下文模型，此类编码可被称为旁路编码。
如上所述，帧内预测数据或帧间预测数据可以将图片的区域(例如，PB或CB)与对应的参考样本相关联。对于帧内预测编码，帧内预测模式可指定图片内的参考样本的位置。在ITU-T H.265中，已定义的可能的帧内预测模式包括平面(即，表面拟合)预测模式(predMode：0)、DC(即平坦的整体平均)预测模式(predMode：1)，以及33个角度预测模式(predMode：2-34)。在JEM中，定义的可能的帧内预测模式包括平面预测模式(predMode：0)、DC预测模式(predMode：1)，以及65个角度预测模式(predMode：2-66)。应当注意，平面预测模式和DC预测模式可以被称为无方向预测模式，并且角预测模式可以被称为方向预测模式。应当注意，无论定义的可能预测模式的数量如何，本文描述的技术通常都是适用的。
对于帧间预测编码，运动向量(MV)识别除了待编码的视频块的图片之外的图片中的参考样本，从而利用视频中的时间冗余。例如，可以从位于先前编码的帧中的参考块预测当前视频块，并且可以使用运动向量来指示参考块的位置。运动向量和相关数据可以描述例如运动向量的水平分量、运动向量的竖直分量、运动向量的分辨率(例如，四分之一像素精度、二分之一像素精度、一像素精度、二像素精度、四像素精度)、预测方向和/或参考图片索引值。此外，编码标准，诸如例如ITU-T H.265，可以支持运动向量预测。运动向量预测使得能够使用相邻块的运动向量来指定运动向量。运动向量预测的示例包括高级运动向量预测(AMVP)、时间运动向量预测(TMVP)、所谓的“合并”模式，以及“跳过”和“直接”运动推理。此外，JEM支持高级时间运动向量预测(ATMVP)和空间-时间运动向量预测(STMVP)。
如上所述，在ITU-T H.264、ITU-T H.265和JEM中，分割用于生成预测的视频块限于矩形分割。此类分割可能不理想，因为图像中出现的边缘通常不与矩形边界对准。也就是说，图像中的边缘可根据各种几何形状(例如，具有各种取向、弧等的线)限定。图7示出了包括在图像的视频块中的对象边界的示例。也就是说，在图7中，白色所示的样本值形成第一对象的一部分，而黒色所示的样本值形成第二对象的一部分。可将图7中的边缘描述为弧线或对角线。如上所述，对于帧间预测，ITU-T H.265支持四个非对称PB分区。图8示出了使用M/4×M右分区分割图7中的视频块的示例。如图8所示，M/4×M右分区不与图像的边缘对准。此外，在ITU-T H.265中，M/4×M右分区不可用于帧内预测。因此，对于图像中出现的边缘，ITU-T H.265中的分割可能不理想。如上所述，在JEM中，允许任意矩形CB的QTBT叶节点可类似于ITU-T H.265中的PB和TB。图9示出了使用QTBT分割图7中的视频块的示例。如图9所示，虽然第二对象通常包括在BT叶节点中，但第一对象通常包括在四个CB中，这可能造成编码效率低(即，每个CB均发生信令开销)。因此，对于图像中出现的边缘，JEM中的分割可能不理想。本公开描述了根据几何自适应分区形状来分割图片的技术。
图10是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码(即，编码和/或解码)的系统的示例的框图。系统100表示根据本公开的一种或多种技术的可使用任意矩形视频块执行视频编码的系统的示例。如图10所示，系统100包括源设备102、通信介质110和目标设备120。在图10所示的示例中，源设备102可包括被配置为对视频数据进行编码并将编码的视频数据发送到通信介质110的任何设备。目标设备120可包括被配置为经由通信介质110接收编码的视频数据并且对编码的视频数据进行解码的任何设备。源设备102和/或目标设备120可包括配备用于进行有线和/或无线通信的计算设备，并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备，包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第3代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
再次参考图10，源设备102包括视频源104、视频编码器106和接口108。视频源104可包括配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可包括被配置为接收视频数据并产生表示视频数据的合规比特流的任何设备。兼容比特流可以指视频解码器可以从其接收和再现视频数据的比特流。兼容比特流的各方面可根据视频编码标准来定义。当生成合规比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收一致性视频比特流并且将该一致性视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，该计算机系统接口可以使合规的视频比特流能够存储在存储设备上。例如，接口108可以包括支持外围组件互连(Peripheral Component Interconnec，PCI)和高速外围组件互连(Peripheral Component Interconnect Express，PCIe)总线协议的芯片集、专用总线协议、通用串行总线(Universal Serial Bus，USB)协议、12C、或任何其他可用于互连对等设备的逻辑和物理结构。
再次参考图10，目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收合规视频比特流的任何设备。接口108可包括网络接口卡诸如以太网卡，并且可包括光收发器、射频收发器或者可接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括计算机系统接口，使得能够从存储设备检索合规的视频比特流。例如，接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、I2C的芯片组，或者可被用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可包括被配置为接收合规比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。应当指出的是，虽然在图10所示的示例中视频解码器124被描述为将数据输出到显示器126，但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据输出到任何通信介质，如本文所述。
图11是示出可实施用于编码本文描述的视频数据的技术的视频编码器200的示例的框图。应当指出的是，尽管示例性视频编码器200被示出为具有不同的功能块，但此类图示旨在用于描述目的，并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中，视频编码器200可被配置为根据本文描述的技术对视频数据进行编码。视频编码器200可执行图片区域的帧内预测编码和帧间预测编码，并且因此可被称为混合视频编码器。在图11所示的示例中，视频编码器200接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可包括宏块、CTU、CB、其子分区和/或另一等效编码单元。在一些示例中，视频编码器200可被配置为执行源视频块的额外再分。应当指出的是，本文描述的一些技术通常可适用于视频编码，而不管在编码之前和/或期间如何分割源视频数据。在图11所示的示例中，视频编码器200包括加法器202、变换系数发生器204、系数量化单元206、逆量化/变换处理单元208、加法器210、帧内预测处理单元212、帧间预测处理单元214、后置滤波器单元216和熵编码单元218。
如图11所示，视频编码器200接收源视频块并输出比特流。如上所述，ITU-T H.265和JEM中限定的分割技术可能不理想。例如，如上文关于图7至图9所述，对于为图像中出现的边缘生成预测，ITU-T H.265和JEM中的分割技术可能不理想。CongxiaDai，Escoda，O.D.，PengYin，XinLi，Gomila，C.，“Geometry-Adaptive BlockPartitioning for IntraPrediction in Image&Video Coding”，Image Processing，2007年；ICP 2007；IEEE国际会议，第6卷，VI-85，VI-88，2007年9月16日至2007年10月19日(以下简称“Dai”)描述了根据分割线可在哪里分割视频块。在Dai中，分割线由以下的零位阶生成：
f(x，y)＝x cosθ+y sinθ-ρ
其中θ为角度而ρ为距离，如图12所示。
应当指出的是，Dai中限定的分割线可与视频块中的一些样本相交。Dai为每个样本(x，y)提供以下分类：
分区(x，y)＝如果f(x，y)＞0，则为分区0
如果f(x，y)＝0，则为线边界
如果f(x，y)＜0，则为分区1
Dai提供的情况中，线边界上的样本被称为“局部表面”样本，并且如果被完全分类到每个分区，则被计算为其对应值的线性组合。关于对可能分区进行编码，Dai提供了先验定义的可能分区的字典的情况，使得
Figure BDA0002338081760000161
θδ∈[0；2π)，除了当ρ＝0时θ∈[0，π)外；
其中BlockSize为方形视频块的长度(或高度)；以及
Δρ和Δθ分别是为θ和ρ所选择的采样步骤。
关于Dai应该指出的是，Dai假设所有要分割的视频块都是方形，并且
Δρ
以及
Δθ
是先验地确定的。此外，Dai未能提供ρ和θ的信令值的语义和/或语法元素。
根据本文描述的技术，视频编码器200可被配置为根据由ρ和θ限定的分割线分割视频块(例如，将CB根分割成PB)，并且还可被配置为基于视频特性和/或编码参数来确定ρ值和θ值的分辨率和/或分布。此外，视频编码器200可被配置为根据本文所述的一种或多种技术来发送ρ值和θ值信号(供视频解码器在解码期间使用)。在一个示例中，视频编码器200可被配置为在CU级发送ρ值和θ值的分辨率和/或分布信号。在一个示例中，在CU级发送ρ值和θ值的分辨率和/或分布信号可包括发送指示一组可能的ρ值和θ值的语法元素信号。在一个示例中，一组可能的ρ值和θ值可对应于预先限定的分区形状。
应当指出的是，与Dai相反，在下面所述的示例中，根据范围包括负整数值的ρ以及θ的上限π来限定分区几何结构。在一个示例中，根据本文描述的技术，视频编码器200可被配置为使得ρ的允许值可取决于矩形块的尺寸。例如，对于具有高度h和宽度w的视频块(例如，CB)，可对ρ的允许值进行如下限定：
Figure BDA0002338081760000171
其中floor(x)返回小于或等于x的最大整数。
根据该示例，视频编码器200可被配置为使用指示ρ的符号的语法元素(例如，指示正值或负值的1位标记)和指示ρ的绝对值的一个或多个语法元素来发送ρ值信号。应当指出的是，指示ρ的绝对值的一个或多个语法元素的二值化可取决于ρm。也就是说，在上述示例中，ρm确定ρ的绝对值的可能值的数量，而ρ的绝对值的可能值的数量可确定表示ρ的绝对值的语法元素的二值化。例如，如果ρ的绝对值的可能值相对较少，可使用一元编码，而如果ρ的绝对值的可能值相对较多，可使用固定长度编码。
在一个示例中，ρ的允许值可取决于块尺寸和允许的不同ρ的最大数量。例如，对于具有高度h和宽度w的视频块，可对ρ的允许值进行如下限定：
Figure BDA0002338081760000172
其中如果x小于或等于y，则min(x，y)返回x；否则返回y。
根据该示例，视频编码器200可被配置为使用指示ρ的符号的语法元素和指示0至N范围内的一个值的语法元素来发送ρ值信号。以类似于上述示例的方式，指示0至N范围内的一个值的一个或多个语法元素的二值化可取决于ρm和/或ρs。
在一个示例中，ρ的允许值可包括上文限定的集合的子集。例如，如果ρ∈{-floor(ρm)，...，-2，-1，0，1，2，...，floor(ρm)}，ρ的允许值可限于包括整数倍数(例如，ρ∈{-floor(ρm)，...，-2，0，2，...，floor(ρm)}或ρ∈{-floor(ρm)，...，-4，0，4，...，floor(ρm)})。此外，在一些示例中，ρ的允许值可包括具有非线性分布的子集。图13示出了一个示例，其中对于给定的θ值，可能的分割线是基于ρ的非线性分布。也就是说，在图13所示的示例中，ρ的七个允许值并非在0至ρ的最大值之间均匀地间隔开。在一个示例中，非线性分布可包括在0附近相对更为密集的ρ采样。在一个示例中，当θ接近竖直(或水平)值时，非线性分布可包括在允许范围内相对更为密集的ρ采样。此外，在一个示例中，ρ的允许值可取决于量化参数(例如，QP)的值。例如，只有相对较粗糙的ρ分辨率才允许用于较高的QP。在一个示例中，可为ρ的允许值限定查找表(LUT)。例如，视频编码器200可被配置为发送对应于为ρ提供值的LUT条目的索引值信号。在一个示例中，可基于视频特性和/或编码参数来确定LUT。
在一个示例中，根据本文描述的技术，视频编码器200可被配置为使得θ的允许值可取决于矩形块的尺寸。例如，在一个示例中，对于具有高度h和宽度w的视频块，可对θ的允许值进行如下限定：
Figure BDA0002338081760000181
其中N＝0，1，2，...，(θm-1)
在一个示例中，对于具有高度h和宽度w的视频块，可对θ的允许值进行如下限定：
Figure BDA0002338081760000182
其中N＝0.1，2，...，(θm-1)
在一个示例中，根据本文描述的技术，视频编码器200可被配置为使得θ的允许值可取决于块尺寸和允许的不同θ值的最大数量。例如，在一个示例中，对于具有高度h和宽度w的视频块，可对θ的允许值进行如下限定：
Figure BDA0002338081760000183
其中N＝0，1，2，…，(θm-1)
在一个示例中，对于具有高度h和宽度w的视频块，可对θ的允许值进行如下限定：
Figure BDA0002338081760000184
其其中N＝0，1，2，...，(θm-1)
以类似于上述关于ρ的方式，θ的允许值可包括上文限定的集合的子集且该集合可包括非线性分布。在一个示例中，可基于h和/或w来限定集合。在一个示例中，可基于ρ来限定集合。例如，在一个示例中，ρ越靠近块的中心，可进行越密集的θ采样。在一个示例中，对应于垂直分割、水平分割和/或对角分割的角度越接近，可在其允许范围内进行越密集的θ采样。在一个示例中，可基于h、w和/或ρ来限定集合。在一个示例中，视频编码器200可被配置为基于h、w和/或ρ执行θ的二值化。在一个示例中，可基于h、w和/或ρ将对应于θ的语法元素映射到角度值。此外，在一个示例中，θ的允许值可取决于QP的值。例如，只有相对较粗糙的θ分辨率才允许用于较高的QP。在一个例子中，可为θ的允许值定义LUT。例如，视频编码器200可被配置为发送对应于为θ提供值的LUT条目的索引值信号。在一个示例中，视频编码器200可被配置为生成比特流，其中提供ρ值的语法元素在提供θ值的语法元素之前。
应当指出的是，因为一些θ和ρ组合并未提供有意义的视频块分区，可不允许其用于非方形块。例如，当h＝4且w＝8时，ρ＝3和θ＝0的组合对分割没有任何影响。如不允许某些组合，可相应地修改θ和ρ的信令以移除不允许的情况。在一个示例中，可使用索引值来发送允许用于h和w组合的θ和ρ组合信号。在一个示例中，可在CU级发送提供ρ值和θ值的语法元素信号。也就是说，提供ρ值和θ值的语法元素可替换ITU-T H.265中提供的编码单元语法中的语法元素part_mode。例如，可使用对应于允许用于h和w组合的θ和ρ组合的索引值替换part_mode。应当指出的是，可用θ和ρ组合表示ITU-T H.265中的分区模式。因此，在一些示例中，对应于允许的θ和ρ组合的索引值可与ITU-T H.265中限定的分区模式相对应。
在一个示例中，可为θ和ρ限定分区模式。例如，在一个示例中，θ的允许值可取决于part_mode的值和预定的θm。例如，在一个示例中，可限定以下θ允许值：
-当part_mode等于SIZE_2N×2N_rhotheta_precision1时，
Figure BDA0002338081760000191
其中N＝0，1，2，...，(θm-1)[更粗糙的采样]；
-当part_mode等于SIZE_2N×2N_rho_theta_precision2时，
Figure BDA0002338081760000192
其中N＝0，1，2，...，2*(θm-1)；
-当part_mode等于SIZE_2N×2N_rho_theta_precision3时，
Figure BDA0002338081760000201
其中N＝0，1，2，...，4*(θm-1)[更精细的采样]；
以类似的方式，ρ的允许值可取决于part_mode的值和预定的ρs。例如，在一个示例中，可限定以下ρ允许值：
-当part_mode等于SIZE_2N×2N_rho_theta_precision1时，ρ∈{…，-4*ρs，0，4*ρs，...}，以集合中的最大值和最小值为界[更粗糙的采样]；
-当part_mode等于SIZE_2N×2N_rho_theta_precision2时，ρ∈{…，-2*ρs，0，2*ρs，…}，以集合中的最大值和最小值为界；
-当part_mode等于SIZE_2N×2N_rho theta_precision3时，ρ∈{…，-ρs，0，ρs，…}，以集合中的最大值和最小值为界[更精细的采样]；
在一个示例中，集合中的最大值和最小值可为预定值。
在一个示例中，集合中的最大值和最小值可取决于块尺寸。
这样，视频编码器200可被配置为基于视频特性和/或编码参数来确定ρ值和θ值的分辨率，并发送ρ值和θ值信号。
在一个示例中，可基于(空间上和/或时间上)相邻块的ρ和θ的值来对当前块的ρ值和θ值进行预测性编码。在一个示例中，可用相邻块的ρ值和θ值生成列表。在一个示例中，使用列表中的第一条目作为当前块的ρ值和θ值的预测因子，并且在比特流中发送差值信号。在一个示例中，如果列表为空，则将预定值用作当前块的ρ值和θ值的预测因子，并且在比特流中发送/接收差值信号。在一个示例中，发送对应于列表中条目的索引信号，并且使用该条目的ρ值和θ值作为当前块的ρ值和θ值的预测因子并在比特流中发送差值信号。在一个示例中，列表为固定长度。在这种情况下，在一个示例中，可用条目填充列表，直至列表中有可用条目为止。在一个示例中，如果列表为空或有可用条目，则可使用预先确定的一组参数值在列表中填充可用条目。在一个示例中，可精简列表以移除重复项。在一个示例中，列表包括完整的一组允许值，并且未发送差值信号。这样，视频编码器200可被配置为使用预测编码技术来发送ρ值和θ值信号。
在一个示例中，可在比特流中发送当前块是否启用和/或使用几何分割的信号。例如，对于上述QTBT结构，可启用或禁用用于进一步分割叶节点的几何分割。在一个示例中，是否启用几何分割可基于CTU尺寸。在一个示例中，可使用预测编码技术发送是否启用或禁用几何分割的信号。例如，以类似于上文使用预测编码技术发送ρ值和θ值信号的方式，可将是否对相邻块启用或禁用几何分割用于对是否对当前块启用或禁用几何分割进行预测性编码。
再次参考图12，在一个示例中，根据本文描述的技术，分区0和分区1中的每一个可形成预测块，其中使用空间和/或时间上相邻样本为每个块生成预测，并且每个分区可使用不同的预测模式/信息。在一个示例中，在样本被分类为属于线边界的情况下，可使用针对分区0和分区1中的每一个生成的预测块共同预测属于线边界的样本。在一个示例中，在帧内预测的情况下，为了降低复杂性并提高编码效率，对于分区0和分区1中的每一个，可用预测模式可限于限定的可能的帧内预测模式的子集。例如，分区0和分区1可限于平面预测模式、DC预测模式和/或有限的一组角预测模式(例如，33个中的4个)。
在一个示例中，视频编码器200可被配置为根据对每个样本(x，y)的以下分类，根据上文所述的由相应的f(x，y)限定的分割线来分割视频块：
分区(x，y)＝如果f(x，y)＞0，则为分区0
如果f(x，y)≤0，则为分区1
也就是说，可将线边界分配给分区中的一个。
在一个示例中，对当前块的相邻块进行几何分割(例如，分为分区0和分区1)，并且分区0和分区1中的一个的可用预测模式受到限制(例如，相邻分区1限于DC预测模式)，那么当前块的预测可基于可使用的相邻块的预测模式。图14示出了具有由几何分区形成的相邻块的当前块，即块C的示例。在一个示例中，如果块L中的PB1受到限制，则块C的预测模式可基于用于块1中的PB0的预测模式。在一个示例中，如果几何分隔的一个分区限于特定预测模式，可在比特流中发送哪个分区受限的指示信号。在一个示例中，相邻块可用于对哪个分区受限进行预测性编码。
应当指出的是，在一些情况下，图像中的边缘可延伸到根据四叉树分割生成的相邻块中。在此类情况下，可能期望跨相邻块有效地延伸分割线。例如，参考图15，相邻块块L和块A具有对应于图像中的边缘的分割线。对于当前块块C，示出了跨相邻块有效地延伸分割线所期望的分割线。如上文所述，根据本文所描述的技术，ρ和θ的允许值可包括具有非线性分布的子集。在一个示例中，对于当前块，ρ和/或θ的非线性分布可包括在对应于交点w和交点H的值处相对较为密集的采样。这样，可提高分割线可跨相邻块有效延伸的精度。应当指出的是，图15中的交点W和交点H的每一个均可由它们相应的维度以及ρ值和θ值确定。
在一个示例中，一种用于增加ρ和/或θ在对应于交点w和交点H的值处的密度的方法可包括：(1)确定交点W和交点H；(2)选择一组θ允许值，使得能够对分割线A和分割线L与期望的分割线c之间的夹角进行更密集的采样，应当指出的是，夹角并不取决于ρ；以及(3)一旦确定了该组θ允许值，为每个θ选择一组ρ允许值。这可包括，例如，限定第一ρ，其中分割线A和分割线L均分期望的分割线C。在一个示例中，越接近第一ρ，可进行越密集的ρ值采样。另选地，在一个示例中，可对ρ进行均匀采样。这样，视频编码器200表示被配置为跨相邻块延伸分割线的设备的示例。
再次参考图11，视频编码器200可通过从源视频块中减去预测视频块来生成残差数据。加法器202表示被配置为执行该减法运算的部件。在一个示例中，减去视频块出现在像素域中。变换系数生成器204对残差块或其子分区应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)或概念上类似的变换(例如，四个8×8变换可以被应用于16×16残差值阵列)以产生残差变换系数集合。变换系数发生器204可以被配置为执行离散三角变换系列中包括的变换的任何和全部组合。如上所述，在ITU-T H.265中，TB限于以下尺寸：4×4、8×8、16×16和32×32。在一个示例中，变换系数发生器204可被配置为根据具有尺寸4×4、8×8、16×16和32×32的阵列执行转换。在一个示例中，变换系数发生器204还可被配置为根据具有其他尺寸的阵列执行转换。具体而言，在一些情况下，该变换系数发生器对根据不同值的矩形阵列执行转换可能是有用的。在一个示例中，变换系数发生器204可被配置为根据以下阵列尺寸来执行转换：2×2、2×4N、4M×2和/或4M×4N。在一个示例中，二维(2D)M×N逆变换可实现为一维(1D)M点逆变换后再进行1DN点逆变换。在一个示例中，2D逆变换可实现为1DN点竖直变换后再进行1D N点水平变换。在一个示例中，2D逆变换可实现为1DN点水平变换后再进行1DN点竖直变换。变换系数生成器204可将变换系数输出到系数量化单元206。
系数量化单元206可被配置为执行变换系数的量化。如上所述，可通过调整量化参数来改变量化程度。系数量化单元206可以进一步被配置为确定量化参数并且输出QP数据(例如，用于确定量化组尺寸和/或增量QP值的数据)，视频解码器可以使用该QP数据来重构量化参数以在视频解码期间执行逆量化。应当注意的是，在其他示例中，可以使用一个或多个另外的或另选的参数来确定量化位阶(例如，缩放因子)。本文描述的技术通常可应用于基于对应于视频数据的另一分量的变换系数的量化位阶，确定对应于视频数据的分量的变换系数的量化位阶。
如图11所示，将量化的变换系数输出到逆量化/变换处理单元208。逆量化/变换处理单元208可被配置为应用逆量化和逆变换来生成重构的残差数据。如图11所示，在加法器210中，可将重构的残差数据添加到预测视频块。这样，可以重构编码的视频块，并且可以使用所得到的重构的视频块来评估给定的预测、变换和/或量化的编码质量。视频编码器200可被配置为执行多个编码回合(例如，在改变预测、变换参数和量化参数中的一个或多个的同时执行编码)。比特流的率失真或其他系统参数可以基于重构的视频块的评估来优化。此外，重构的视频块可被存储并用作预测后续块的参考。
如上所述，可以使用帧内预测来编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估帧和/或其区域并且确定用以编码当前块的帧内预测模式。如图11所示，帧内预测处理单元212将帧内预测数据(例如，语法元素)输出到熵编码单元218和变换系数发生器204。如上所述，对残差数据执行的变换可以取决于模式。如上所述，可能的帧内预测模式可以包括平面预测模式、DC预测模式和角预测模式。此外，在一些示例中，可以从用于亮度预测模式的帧内预测推断出对色度分量的预测。帧间预测处理单元214可被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的PU的运动向量。运动向量可指示当前视频帧内的视频块的PU(或类似编码结构)相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外，运动预测可以是单向预测(使用一个运动向量)或双向预测(使用两个运动向量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)或其他差值度量确定的像素差来选择预测块。如上所述，可以根据运动向量预测来确定和指定运动向量。如上所述，帧间预测处理单元214可被配置为执行运动向量预测。帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如，帧间预测处理单元214可定位帧缓冲器内的预测视频块(图11中未示出)。需注意，帧间预测处理单元214可以进一步被配置为将一个或多个内插滤波器应用于重构的残差块，以计算用于运动估计的子整数像素值。帧间预测处理单元214可将所计算的运动向量的运动预测数据输出到熵编码单元218。如图11所示，帧间预测处理单元214可经由后置滤波单元216接收经重构视频块。后置滤波器单元216可被配置为执行解块和/或样本自适应偏移(SAO)滤波。解块是指平滑化重构视频块边界的过程(例如，使观察者不易察觉到边界)。SAO滤波是一种可用于通过向重构的视频数据添加偏移以改善重构的非线性振幅映射。
再次参考图11，熵编码单元218接收量化的变换系数和预测语法数据(即帧内预测数据、运动预测数据、QP数据等)。应当注意，在一些示例中，系数量化单元206可在将系数输出到熵编码单元218之前执行对包括量化变换系数的矩阵的扫描。在其他示例中，熵编码单元218可执行扫描。熵编码单元218可被配置为根据本文所述的一种或多种技术执行熵编码。熵编码单元218可被配置为输出合规比特流(即视频解码器可从其接收和再现视频数据的比特流)。
图16是示出根据本公开的一种或多种技术的可被配置为对视频数据进行解码的视频解码器的示例的框图。在一个示例中，视频解码器300可以基于上文所述的技术中的一种或多种被配置为帧间预测技术。也就是说，视频解码器300可通过与上述视频编码器200互逆的方式操作。视频解码器300可被配置为执行帧内预测解码和帧间预测解码，并且因此可被称为混合解码器。在图16所示的示例中，视频解码器300包括熵解码单元302、逆量化单元304、逆变换处理单元306、帧内预测处理单元308、帧间预测处理单元310、加法器312、后置滤波器单元314和参考缓冲器316。视频解码器300可被配置为以与视频编码系统一致的方式对视频数据进行解码，该视频编码系统可以实现视频编码标准的一个或多个方面。应当指出的是，尽管示出的示例性视频解码器300具有不同的功能块，但此类图示旨在用于描述目的，并且不将视频解码器300和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器300的功能。
如图16所示，熵解码单元302接收熵编码的比特流。熵解码单元302可被配置为根据与熵编码过程互逆的过程对来自比特流的量化语法元素和量化系数进行解码。熵解码单元302可被配置为根据上述的任何熵编码技术执行熵解码。熵解码单元302可通过与视频编码标准一致的方式解析编码的比特流。视频解码器300可被配置为解析编码的比特流，其中该编码的比特流基于上述技术生成。也就是说，例如，视频解码器300可被配置为基于上述一种或多种旨在重构视频数据的技术来确定生成的和/或以信号形式发送的分割结构。例如，视频解码器300可被配置为解析语法元素和/或评估视频数据的特性以确定分割线。
再次参考图16，逆量化单元304从熵解码单元302接收量化变换系数(即，位阶值)和量化参数数据。量化参数数据可包括上面描述的增量QP值和/或量化组尺寸值等的任何和所有组合。视频解码器300和/或逆量化单元304可被配置为基于由视频编码器发送的值信号和/或通过视频属性和/或编码参数来确定用于逆量化的QP值。也就是说，逆量化单元304可通过与上述系数量化单元206互逆的方式操作。例如，逆量化单元304可被配置为根据上述技术推断出预定值(例如，基于编码参数确定QT深度和BT深度的总和)和允许的量化组尺寸等。逆量化单元304可被配置为应用逆量化。逆变换处理单元306可被配置为执行逆变换以生成重构的残差数据。由逆量化单元304和逆变换处理单元306分别执行的技术可类似于由上述逆量化/变换处理单元208执行的技术。逆变换处理单元306可被配置为应用逆DCT、逆DST、逆整数变换、不可分二次变换(NSST)或概念上类似的逆变换过程来变换系数，以便产生像素域中的残差块。此外，如上所述，是否执行特定变换(或特定变换的类型)可以取决于帧内预测模式。如图16所示，可以将重构的残差数据提供给加法器312。加法器312可以将重构的残差数据添加到预测视频块并且生成重构的视频数据。可根据预测视频技术(即帧内预测和帧间预测)确定预测视频块。在一个示例中，视频解码器300和后置滤波器单元314可被配置为确定QP值并将其用于后置滤波(例如，解块)。在一个示例中，利用QP的视频解码器300的其他功能块可基于所接收的信令确定QP并将其用于解码。
帧内预测处理单元308可被配置为接收帧内预测语法元素，并且从参考缓冲器316处检索预测视频块。参考缓冲器316可包括被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式，诸如上述的帧内预测模式。在一个示例中，帧内预测处理单元308可以使用根据本文所述的一种或多种帧内预测编码技术来重构视频块。帧间预测处理单元310可接收帧间预测语法元素并生成运动向量，以识别存储在参考缓冲器316中的一个或多个参考帧中的预测块。帧间预测处理单元310可生成运动补偿块，也可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以被包括在语法元素中。帧间预测处理单元310可使用内插滤波器来计算参考块的子整数像素的内插值。后置滤波器单元314可被配置为对重构的视频数据执行滤波。例如，后置滤波器单元314可被配置为执行解块和/或SAO滤波，如上文关于后置滤波器单元216所述。此外，应当指出的是，在一些示例中，后置滤波器单元314可被配置为执行专用的任意滤波(例如，视觉增强)。如图16所示，视频解码器300可输出重构视频块。这样，视频解码器300可被配置为根据本文所述的一种或多种技术生成重构的视频数据。这样，视频解码器300可被配置为解析第一四叉树二叉树分割结构，将四叉树二叉树分割结构应用于视频数据的第一分量，确定共享深度，以及将四叉树二叉树分割结构应用于视频数据的第二分量最多至共享深度。这样，视频解码器300表示被配置为确定偏移值以及根据该偏移值分割叶节点的设备的示例。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实现，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存存储器，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实施或执行。被设计为执行本说明书中所述的功能的电路可包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其他可编程逻辑设备、分立栅极或晶体管逻辑器，或分立硬件部件，或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。
<交叉引用>
本非临时申请根据35U.S.C.§119，要求于2017年6月30日提交的临时申请号62/527,527的优先权，其全部内容以引用方式并入本文。

Claims (17)

1.一种分割用于视频编码的视频数据的方法，所述方法包括：
接收包括视频数据分量的样本值的视频块；
根据由角度和距离限定的分割线分割所述视频块；以及
基于所述角度和所述距离的允许值发送所述分割线的信号，其中所述允许值是基于视频数据或视频编码参数的一个或多个属性。
2.根据权利要求1所述的方法，其中所述角度和所述距离的所述允许值基于所述视频块的高度和宽度。
3.根据权利要求1或2中任一项所述的方法，其中所述角度和所述距离的所述允许值基于相邻视频块的分割。
4.根据权利要求1至3中任一项所述的方法，其中所述分割包括将所述视频块分割成预测块。
5.根据权利要求1至4中任一项所述的方法，其中所述视频块包括编码块。
6.根据权利要求5所述的方法，其中所述编码块是四叉树二叉树的叶节点。
7.一种重构视频数据的方法，所述方法包括：
确定视频块的残差数据；
确定角度和距离的允许值，其中所述允许值基于视频数据或视频编码参数的一种或多种属性；
解析一个或多个指示所述角度和所述距离的值的语法元素；
基于所述角度和所述距离的所述被指示的值来确定分割线；
对于由所述确定的分割线产生的每个分区，生成预测视频数据；以及
基于所述残差数据和所述预测视频数据，重构所述视频块的所述视频数据。
8.根据权利要求7所述的方法，其中所述角度和所述距离的所述允许值基于所述视频块的高度和宽度。
9.根据权利要求7或8中任一项所述的方法，其中所述角度和所述距离的所述允许值基于相邻视频块的分割。
10.根据权利要求7至9中任一项所述的方法，其中所述视频块包括编码块。
11.根据权利要求10所述的方法，其中所述编码块是四叉树二叉树的叶节点。
12.一种用于对视频数据进行编码的设备，所述设备包括被配置为执行权利要求1至11所述步骤的任意和全部组合的一个或多个处理器。
13.根据权利要求12所述的设备，其中所述设备包括视频编码器。
14.根据权利要求12所述的设备，其中所述设备包括视频解码器。
15.一种系统，包括：
根据权利要求13所述的设备；以及
根据权利要求14所述的设备。
16.一种用于对视频数据进行编码的装置，所述装置包括用于执行权利要求1至11所述步骤的任意和全部组合的工具。
17.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质包括存储在其上的指令，当执行所述指令时，使得用于编码视频数据的设备的一个或多个处理器执行权利要求1至11所述步骤的任意和全部组合。
CN201880042999.2A 2017-06-30 2018-06-28 通过几何自适应块分割将图片转换成用于视频编码的视频块的系统和方法 Pending CN110870308A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762527527P 2017-06-30 2017-06-30
US62/527,527 2017-06-30
PCT/JP2018/024627 WO2019004364A1 (en) 2017-06-30 2018-06-28 SYSTEMS AND METHODS FOR GEOMETRICALLY ADAPTIVE PARTITIONING OF A VIDEO BLOCK IMAGE FOR VIDEO CODING

Publications (1)

Publication Number Publication Date
CN110870308A true CN110870308A (zh) 2020-03-06

Family

ID=64742361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042999.2A Pending CN110870308A (zh) 2017-06-30 2018-06-28 通过几何自适应块分割将图片转换成用于视频编码的视频块的系统和方法

Country Status (6)

Country Link
US (1) US20200137422A1 (zh)
EP (1) EP3646590A4 (zh)
KR (1) KR20200022013A (zh)
CN (1) CN110870308A (zh)
CA (1) CA3068393A1 (zh)
WO (1) WO2019004364A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11166044B2 (en) * 2018-07-31 2021-11-02 Tencent America LLC Method and apparatus for improved compound orthonormal transform
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
WO2020094051A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Signaling of side information for inter prediction with geometric partitioning
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
JP2022523697A (ja) * 2019-01-28 2022-04-26 オーピー ソリューションズ， エルエルシー 適応的な数の領域を伴う幾何学的分割におけるインター予測
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US20200344486A1 (en) * 2019-04-26 2020-10-29 Qualcomm Incorporated Size constraint for triangular prediction unit mode
US11240499B2 (en) 2019-05-24 2022-02-01 Tencent America LLC Method and apparatus for video coding
WO2021015581A1 (ko) * 2019-07-23 2021-01-28 한국전자통신연구원 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
EP4022925A4 (en) * 2019-08-27 2022-11-16 Huawei Technologies Co., Ltd. CABAC CODING ENCODER, DECODER AND RELATED METHODS FOR INDICES OF A GEOMETRIC PARTITION INDICATOR
CN114556915B (zh) * 2019-10-10 2023-11-10 北京字节跳动网络技术有限公司 几何分割模式中被编解码的块的去块
KR20220101638A (ko) 2019-11-30 2022-07-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 기하학적 분할을 사용한 단순화된 인터 예측
CN114868395A (zh) * 2019-12-24 2022-08-05 抖音视界(北京)有限公司 采用几何分割进行帧间预测的高级语法
CN112291565B (zh) * 2020-09-10 2021-09-14 浙江大华技术股份有限公司 视频编码方法及其相关装置
WO2023033603A1 (ko) * 2021-09-02 2023-03-09 한국전자통신연구원 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
JP2023156064A (ja) * 2022-04-12 2023-10-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2023156062A (ja) * 2022-04-12 2023-10-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545920A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
US20090268810A1 (en) * 2006-09-29 2009-10-29 Congxia Dai Geometric intra prediction
JP5826747B2 (ja) * 2009-06-26 2015-12-02 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置

Also Published As

Publication number Publication date
KR20200022013A (ko) 2020-03-02
US20200137422A1 (en) 2020-04-30
WO2019004364A1 (en) 2019-01-03
EP3646590A1 (en) 2020-05-06
CA3068393A1 (en) 2019-01-03
EP3646590A4 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
US11729385B2 (en) Systems and methods for partitioning video blocks for video coding
CN110870308A (zh) 通过几何自适应块分割将图片转换成用于视频编码的视频块的系统和方法
AU2017397390B2 (en) Systems and methods for scaling transform coefficient level values
WO2018016381A1 (en) Systems and methods for coding video data using adaptive component scaling
WO2017203930A1 (en) Systems and methods for varying quantization parameters
CN110999291A (zh) 用于划分视频数据的帧间预测片段中的视频块的系统和方法
CN111919446B (zh) 解码视频图片中的当前视频块的方法
WO2019189279A1 (en) Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11778182B2 (en) Device for decoding video data, device for encoding video data, and method for decoding video data
WO2020054713A1 (en) Systems and methods for coding transform coefficient level values
CN112997501B (zh) 导出用于对视频数据进行解码的预测亮度样本值的方法
WO2018180841A1 (en) Systems and methods for filtering reconstructed video data using bilateral filtering techniques
WO2020129950A1 (en) Systems and methods for performing inter prediction in video coding
US11438626B2 (en) Image decoding apparatus and image coding apparatus
WO2020262176A1 (en) Systems and methods for deriving quantization parameters for video blocks in video coding
WO2020149298A1 (en) Systems and methods for deriving quantization parameters for video blocks in video coding
WO2019188845A1 (en) Systems and methods for partitioning video blocks for video coding based on threshold values

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200731

Address after: No. 1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Applicant after: Sharp Corp.

Applicant after: FG Innovation Co.,Ltd.

Address before: Osaka Prefecture, Japan

Applicant before: Sharp Corp.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200306