CN109804630A - 对视频数据编码执行运动补偿的系统以及方法 - Google Patents

对视频数据编码执行运动补偿的系统以及方法 Download PDF

Info

Publication number
CN109804630A
CN109804630A CN201780062350.2A CN201780062350A CN109804630A CN 109804630 A CN109804630 A CN 109804630A CN 201780062350 A CN201780062350 A CN 201780062350A CN 109804630 A CN109804630 A CN 109804630A
Authority
CN
China
Prior art keywords
block
video
sub
prediction
motion compensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780062350.2A
Other languages
English (en)
Inventor
赵杰
金承焕
克里斯托弗·A·塞格尔
凯兰·穆凯什·米斯拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FG Innovation Co Ltd
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109804630A publication Critical patent/CN109804630A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频编码方法，所述视频编码方法可以被配置为根据一种或多种技术执行视频编码。执行运动补偿的所述方法包括：接收视频块中包括的样本值阵列，确定视频块内子块的运动向量场；以及基于所述确定的运动向量场执行运动补偿过程。

Description

对视频数据编码执行运动补偿的系统以及方法
技术领域
本公开涉及视频编码，并且更具体地涉及对视频数据编码执行运动补偿的技术。
背景技术
数字视频功能可以结合到各种设备中，包括数字电视、笔记本电脑或台式电脑、平板电脑、数字录音设备、数字媒体播放器、视频游戏设备、蜂窝电话(包括所谓的智能电话)、医学成像设备等。可以根据视频编码标准对数字视频进行编码。视频编码标准可以结合视频压缩技术。视频编码标准的示例包括ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)和高效率视频编码(HEVC)。HEVC在2015年4月的ITU-T H.265建议书的高效视频编码(HEVC)中描述，该文献以引用方式并入本文，并且在本文中称为ITU-T H.265。目前正在考虑对ITU-T H.265进行扩展和改进以开发下一代视频编码标准。例如，ITU-T视频编码专家组(VCEG)和ISO/IEC活动图像专家组(MPEG)(统称为联合视频研究组(JVET))正在研究压缩能力显著超过当前HEVC标准的未来视频编码技术的标准化的潜在需求。以引用方式并入本文的联合探索模型3(JEM 3)、联合探索测试模型3(JEM 3)的算法描述、ISO/IECJTC1/SC29/WG11文档：JVET-C1001v3(2016年5月，瑞士，日内瓦)描述了由JVET在联合测试模型研究下的编码特征，该技术是超越ITU-T H.265功能的潜在增强视频编码技术。应当注意，JEM 3的编码功能是在Fraunhofer研究机构维修的JEM参考软件中实现的。目前，可以使用已更新的JEM参考软件版本3(JEM 3.0)。如本文所用，使用术语JEM来统称JEM 3的算法描述和JEM参考软件的具体实施。
视频压缩技术可减少存储和传输视频数据的数据需求。视频压缩技术可通过利用视频序列中固有的冗余来减少数据需求。视频压缩技术可将视频序列再分成连续较小的部分(即视频序列内的帧组、帧组内的帧、帧内的片段、片段内的编码树单元(例如，宏块)、编码树单元内的编码块等)。可以使用帧内预测编码技术(例如，图片内(空间))和帧间预测技术(即图片间(时间))来生成待编码的视频数据单元与视频数据的参考单元之间的差值。该差值可被称为残差数据。残差数据可被编码为量化变换系数。语法元素可以涉及残差数据和参考编码单元(例如，帧内预测模式索引、运动向量和块向量)。可以对残差数据和语法元素进行熵编码。熵编码的残差数据和语法元素可以包括在合规比特流中。
发明内容
一般来讲，本公开描述用于编码视频数据的各种技术。具体地讲，本公开描述了对视频数据编码执行运动补偿的技术。需注意，虽然本公开的技术是关于ITU-T H.264、ITU-TH.265和JEM描述的，但是本公开的技术通常可应用于视频编码。例如，本文描述的编码技术可并入视频编码系统，(包括基于未来视频编码标准的视频编码系统)，包括块结构、帧内预测技术、帧间预测技术、变换技术、滤波技术和/或其他熵编码技术，而不包括ITU-T H.265和JEM中的技术。因此，对ITU-T H.264、ITU-T H.265和/或JEM的参考是用于描述性目的的，并且不应将其解释为限制本文描述技术的范围。此外，应当注意，将文献以引用方式并入本文是出于描述性目的，并且不应被解释为限制或产生关于本文所用术语的歧义。例如，在某个并入的参考文献中提供的对某个术语的定义不同于另一个并入的参考文献和/或如本文中使用的该术语的情况下，则该术语应以广泛地包括每个相应定义的方式和/或以在包括替代方案中每个特定定义的方式来解释。
本发明的一个方面提供了一种执行运动补偿的方法，该方法包括：接收视频块中包括的样本值阵列，确定视频块内的子块运动向量场；以及基于确定的运动向量场执行运动补偿过程。
附图说明
[图1]图1是示出根据本公开的一种或多种技术的可以被配置为对视频数据进行编码和解码的系统的示例的框图。
[图2]图2是示出根据本发明的一种或多种技术的四叉树二进制树分区的概念图。
[图3]图3是示出根据本公开的一种或多种技术导出运动向量场示例的概念图。
[图4]图4是示出根据本公开的一种或多种技术执行重叠块运动补偿示例的概念图。
[图5]图5是示出根据本公开的一种或多种技术的视频编码器示例的框图，该视频编码器可以被配置为对视频数据进行编码。
[图6]图6是示出根据本公开的一种或多种技术执行运动补偿示例的流程图。
[图7]图7是示出根据本公开的一种或多种技术执行运动补偿示例的概念图。
[图8]图8是示出根据本公开的一种或多种技术执行重叠块运动补偿示例的概念图。
[图9]图9是示出根据本公开的一种或多种技术执行运动补偿示例的流程图。
[图10]图10是示出根据本公开的一种或多种技术的视频解码器示例的框图，该视频编码器可以被配置为对视频数据进行解码。
具体实施方式
视频内容通常包括由一系列帧组成的视频序列。一系列帧也可以被称为一组图片(GOP)。每个视频帧或图片可以包括多个片段或片，其中片段或片包括多个视频块。如本文所用，术语视频块通常可以指图片的区域，包括一个或多个视频分量，或者可以更具体地指可以被预测性地编码的像素/样本值的最大阵列，其子分区和/或对应结构。此外，术语当前视频块可以指正被编码或解码的图片的区域。视频块可被定义为可被预测性地编码的像素值(也被称为样本)阵列。视频块可以根据扫描模式(例如，光栅扫描)来排序。视频编码器可对视频块和其子分区执行预测编码。视频块和其子部分可以被称为节点。ITU-T H.264规定了包括16×16亮度样本的宏块。ITU-T H.265规定了类似的编码树单元(CTU)结构，其中图片可以被分成相同尺寸的CTU，并且每个CTU可以包括具有16×16、32×32或64×64亮度样本的编码树块(CTB)。在ITU-T H.265中，可以根据相应的四叉树块结构将CTU的CTB分割成编码块(CB)。根据ITU-T H.265，一个亮度CB连同两个对应的色度CB(例如，Cr和Cb色度分量)和相关联的语法元素被称为一个编码单元(CU)。在ITU-T H.265中，可以发信号通知CB的最小允许尺寸。在ITU-T H.265中，亮度CB的最小允许最小尺寸是8×8亮度样本。CU与为CU定义一个或多个预测单元(PU)的预测单元(PU)结构关联，其中PU与对应的参考样本相关联。也就是说，在ITU-T H.265中，使用帧内预测或帧间预测对图片区域进行编码的决定在CU级进行。在ITU-T H.265中，PU可以包括亮度和色度预测块(PB)，其中方形PB被支持用于帧内预测，并且矩形PB被支持用于帧间预测。帧内预测数据(例如，帧内预测模式语法元素)或帧间预测数据(例如，运动数据语法元素)可将PU与对应参考样本相关联。
JEM规定了具有最大尺寸的256×256亮度样本的CTU。在JEM中，可根据四叉树加二叉树(QTBT)块结构进一步划分CTU。在JEM中，QTBT结构使四叉树叶节点能够通过二叉树结构进一步分割。在JEM中，二叉树结构使四叉树叶节点能够垂直或水平划分。图2示出了CTU(例如，具有128×128亮度样本的尺寸的CTU)的示例，其被划分为四叉树叶节点，并且根据二叉树，四叉树叶节点又被进一步划分。也就是说，在图2中，虚线指示二叉树分区。因此，JEM中的二叉树结构实现了方形和矩形叶节点，其中每个叶节点包括用于视频数据的每个分量的编码块(CB)。在JEM中，CB可以用于预测而不需要任何进一步的分割。此外，在JEM中，亮度和色度分量可具有单独的QTBT结构。也就是说，色度CB可独立于亮度分割。在JEM中，对于使用帧内预测技术编码的视频数据片段，启用单独的QTBT结构。
应当注意，JEM包括以下用于QTBT树的信号传输的参数：
CTU尺寸：四叉树的根节点尺寸(例如，256×256、128×128、64×64、32×32、16×16亮度样本)；
MinQTSize：最小允许四叉树叶节点尺寸(例如，16×16、8×8亮度样本)；
MaxBTSize：最大允许二叉树根节点尺寸，即可以通过二进制分裂来分割的叶四叉树节点的最大尺寸(例如，64×64亮度样本)；
MaxBTDepth：最大允许二叉树深度，即可以发生二进制分裂的最低位阶(例如，3)；
MinBTSize：最小允许二叉树叶节点尺寸；即，二进制叶节点的最小宽度或高度(例如，4个亮度样本)。
视频采样格式(也可以称为色度格式)可以相对于CU中包括的亮度样本的数量来定义CU中包括的色度样本的数量。例如，对于4:2:0格式，亮度分量的采样率是水平和垂直方向色度分量的两倍。因此，对于根据4:2:0格式格式化的CU，用于亮度分量的样本阵列的宽度和高度是用于色度分量的每个样本阵列的宽度和高度的两倍。如上所述，通常根据水平和垂直亮度样本的数量来定义CU。因此，根据4:2:0样本格式格式化的16×16CU包括亮度分量的16×16个样本和用于每个色度分量的8×8个样本。类似地，对于根据4:2:2格式格式化的CU，亮度分量的样本阵列的宽度是每个色度分量的样本阵列宽度的两倍，但是亮度分量的样本阵列的高度等于每个色度分量的样本阵列的高度。此外，对于根据4:4:4格式格式化的CU，亮度分量的样本阵列具有与每个色度分量的样本阵列相同的宽度和高度。
包括在当前CU或另一类型的图片区域结构和相关联的参考样本(例如，使用预测生成的那些)中的样本值之间的差可以被称为残差数据。残差数据可以包括对应于视频数据的每个分量(例如，亮度(Y)和色度(Cb和Cr))的相应差值阵列。残差数据可能在像素域中。可对像素差值应用变换诸如离散余弦变换(DCT)、离散正弦变换(DST)、整数变换、小波变换或概念上类似的变换，以生成变换系数。需注意，在ITU-T H.265中，CU可以进一步再分为变换单元(TU)。也就是说，在ITU-T H.265中，为了生成变换系数，可以对像素差值的阵列进行再分(例如，四个8×8变换可以应用于16×16残差值阵列)，对于视频数据的每个分量，此类子分区可以被称为变换块(TB)。当前在JEM中，当使用QTBT分割结构时，对应于CB的残差值用于生成变换系数而无需进一步分割。也就是说，在JEM中，QTBT叶节点可以类似于ITU-T H.265中的PB和TB。因此，JEM使得矩形CB预测能够用于帧内和帧间预测。此外，在JEM中，可以(在编码器中)应用核心变换和后续二次变换来生成变换系数。对于视频解码器，变换的顺序是相反的。此外，在JEM中，是否应用二次变换来生成变换系数可取决于预测模式。
可以对变换系数执行量化处理。量化对变换系数进行缩放以改变发送一组变换系数所需的数据量。量化可包括将变换系数除以量化缩放因子和任何相关联的取整函数(例如，取整为最接近的整数)。量化的变换系数可以被称为系数位阶值或简称为位阶值。逆量化(或“去量化”)可以包括将系数位阶值与量化缩放因子相乘。应当注意，如本文所用，术语量化过程在一些情况下可指除以量化缩放因子以生成位阶值，并且在一些情况下可指乘以量化缩放因子以恢复变换系数。也就是说，量化过程在一些情况下可以指量化，而在一些情况下可以指逆量化。在ITU-T H.265中，量化缩放因子值(在ITU-T H.265中被称为Q步)可以由量化参数(QP)确定。应当注意，如本文所用，术语量化参数通常可以用来指用于确定量化值的参数(例如，量化缩放因子)以及/或者可以用于更具体地指量化参数的具体实施(例如，ITU-T H.265中的Qp’Y)。在ITU-T H.265中，量化参数可以取0到51之间的52个值，并且量化参数1的变化通常对应于Q步值变化约为12％。
可以根据熵编码技术(例如，内容自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、概率区间划分熵编码(PIPE)等)对量化的变换系数和相关数据进行熵编码。此外，也可以对语法元素(诸如，指示预测模式的语法元素)进行熵编码。熵编码的量化变换系数和对应的熵编码语法元素可形成可用于再现视频数据的合规比特流。可以对语法元素执行二值化处理，将其作为熵编码处理的一部分。二值化是指将语法值转换为一个或多个位的序列的过程。这些位可以被称为“二进制位”。二值化是一个无损过程，并且可以包括以下编码技术中的一种或组合：固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码。如本文所用，术语固定长度编码、一元编码、截断一元编码、截断Rice编码、Golomb编码、k阶指数Golomb编码和Golomb-Rice编码中的每一个可以指这些技术的一般实现和/或这些编码技术的更具体实现。例如，可以根据视频编码标准(例如，ITU-T H.265)具体地定义Golomb-Rice编码实现。二值化之后，CABAC熵编码器可以选择上下文模型。对于特定箱，可以从与该箱相关联的一组可用上下文模型中选择一个上下文模型。在一些示例中，可以基于先前的箱和/或先前语法元素的值来选择上下文模型。例如，可以基于相邻帧内预测模式的值来选择上下文模型。上下文模型可以识别某个箱为特定值的概率。例如，上下文模型可以指示对值为0的箱进行编码的概率为0.7，并且对值为1的箱进行编码的概率为0.3。在选择可用的上下文模型之后，CABAC熵编码器可以基于所识别的上下文模型对箱进行算术编码。需注意，可以使用算术编码对一些语法元素进行熵编码而不使用明确指定的上下文模型，此类编码可以被称为旁路编码。
如上所述，残差数据可以包括当前CU中包括的样本值之间的差异等(例如，JEM中的CB)，以及使用预测生成的那些相关参考样本。如上所述，预测技术示例包括帧内和帧间预测技术。帧内预测技术通常是指这样一种技术，它可以在视频当前图片(或帧)内的样本值中生成视频数据预测块，也可以使用例如定向预测模式表明视频数据的预测视频块是如何生成的。帧间预测技术通常是指从包括在一个或多个参考图片中的样本值中生成视频数据预测块的技术。例如，可以使用运动向量来指示参考图片内的预测块相对于CB、PB、CU等的位移。
帧间预测的一个示例包括所谓的仿射运动补偿预测。仿射运动补偿预测具体实施的示例在2015年10月S Lin、H、Chen、Zhang、S Maxim、H Yang和J Zhou的“Affinetransform prediction for next generation video coding”ITU-T SG16文档COM16-C1016中有描述，该文档全文以引用方式并入。JEM支持仿射运动补偿预测的具体实施。本文描述的技术通常可适用于仿射运动补偿预测具体实施。仿射运动补偿预测技术尤其可以用于编码视频序列，该视频序列包括旋转运动(与平移运动相反)。对于视频数据当前的CB等，仿射运动预测技术确定了一个或多个控制运动向量。JEM提供了两种用于确定控制运动向量的模式，AF_INTER模式和AF_MERGE模式。在AF_INTER模式中，基于运动向量的候选列表来确定(和标记)控制运动向量，其中运动向量的候选列表可包括视频数据相邻块的运动向量。这样，可将控制运动向量标记为相对于包括在运动向量候选列表中的运动向量的差值。在AF_MERGE模式中，控制运动向量可从视频数据的相邻块中继承。在一个示例中，视频数据的邻块可与正被编码的视频数据块在同一图片内。在一个示例中，视频数据的相邻块可在编码过的图片内。应当注意，本文描述的技术可普遍适用于确定控制运动向量的各种技术。
在仿射运动补偿预测技术中，基于控制运动向量，可以为CB内的子块确定所谓的运动向量场(MVF)。JEM提供了基于以下等式生成运动向量场的情况：
其中，
(v0x,v0y)是左上角控制点的运动向量(即，控制运动向量v0)，
(v1x,v1y)是右上角点的运动向量(即，控制运动向量v1)，
w是CB的宽度，以及
(x,y)是当前CB内相应样本的位置。在另一示例中，(x,y)是代表位置，诸如所考虑的子块的左上角、右上角、中心、左下角和右下角。
图3示出了根据本公开的一种或多种技术导出运动向量场示例的概念图。在图3所示的示例中，对于16×16的视频数据CB和每个4×4子块，基于控制运动向量v0和v1生成相应的运动向量场(即MVF(x,y))。应当注意，在仿射运动补偿预测的JEM具体实施中，可以根据左上角控制点、右上角控制点和左下角控制点(即，v0、v1和v2)来确定执行运动补偿的子块的尺寸(以及CB的MVF的数量)。例如，JEM提供了用于运动补偿的子块的尺寸可能大于4×4(例如，8×8)。具体地讲，在仿射运动补偿JEM具体实施中，运用以下步骤获得v0和v1(即，使用AF_INTER或AF_MERGE)；v0和v1用于计算每个4×4子块的初始MVF组，并且进一步计算左下角控制点(v2)和右下角控制点(v3)；最初计算的位于CB角落的4×4子块的MVF被相应的并置控制点覆盖(即，通过覆盖位于左上角、右上角、左下角和右下角的4×4子块的相应MVF值来存储v0、v1、v2和v3)；CB的尺寸和v0、v1与v2之间的差值用于确定执行运动补偿的子块的尺寸；以及基于用于执行运动补偿的子块的尺寸来重新计算MVF。在仿射运动补偿预测的JEM具体实施中，将每个重新计算的MVF用于执行运动补偿，即，为每个子块生成视频数据的预测块。
此外，JEM支持重叠块运动补偿(OBMC)的具体实施。重叠块运动补偿技术通常可以指这样的技术：对于当前视频数据块，生成视频数据的最终预测块作为视频数据的中间预测块的加权和；使用相应的运动向量，生成每个视频数据的中间预测块。在JEM中，OBMC具体实施基于4×4子块。对于位于CB顶部和左侧边界的子块，相邻子块的运动向量(即，位于相邻CB中的左面和/或上面的子块)用于生成视频数据的中间预测块。对于位于CB内部的子块(即，在当前CB中，具有上、下、左和右相邻子块的子块)，相邻子块的运动向量用于生成视频数据的中间预测块。对从相邻子块运动向量处生成的中间预测块与从当前子块运动向量处生成的中间预测块进行加权，以生成最终预测块。图4示出了一个示例，其中对于当前子块SBC，生成最终预测块PBOBMC，作为从当前子块PBC的运动矢量与从上、下、左和右相邻子块(即，PB(MVFA@SBC)、PB(MVFB@SBC)、PB(MVFL@SBC)和PB(MVFR@SBC))的运动矢量处生成的中间预测块的加权和。应当注意，在图4中，“@SBC”符号是指当前子块的位置(即，在当前子块的样本位置处应用相邻运动向量)。
应当注意，在JEM中，用于生成最终预测块的OBMC过程是在执行仿射运动补偿具体实施之后执行的。也就是说，在JEM中，来自当前子块PBC的运动向量的中间预测块对应于预测块或在仿射运动补偿阶段生成的预测块内的4×4子块，并且在仿射运动补偿阶段之后，进一步生成从上、下、左和右相邻子块的运动矢量中生成的中间预测块。以这种方式执行仿射运动补偿预测和OBMC可能不太理想。例如，在一些情况下，以该方式执行OBMC可导致性能差。
图1是示出根据本公开的一种或多种技术的可被配置为对视频数据进行编码(例如，编码和/或解码)的系统的示例的框图。系统100表示可以根据本公开的一种或多种技术重建视频数据系统的示例。如图1所示，系统100包括源设备102、通信介质110和目标设备120。在图1所示的示例中，源设备102可以包括被配置为对视频数据进行编码并将编码的视频数据发送到通信介质110的任何设备。目标设备120可包括被配置为经由通信介质110接收编码的视频数据并且对编码的视频数据进行解码的任何设备。源设备102和/或目标设备120可包括配备用于进行有线和/或无线通信的计算设备，并且可以包括机顶盒、数字视频录像机、电视机、台式电脑、膝上型电脑或平板电脑、游戏控制台、移动设备，包括例如“智能”电话、蜂窝电话、个人游戏设备和医学成像设备。
通信介质110可以包括无线和有线通信介质和/或存储设备的任意组合。通信介质110可以包括同轴电缆、光纤电缆、双绞线电缆、无线发射器和接收器、路由器、交换机、中继器、基站或可用于促进各种设备和站点之间的通信的任何其他设备。通信介质110可以包括一个或多个网络。例如，通信介质110可以包括被配置为允许访问万维网例如互联网的网络。网络可以根据一个或多个电信协议的组合来运营。电信协议可以包括专有方面和/或可以包括标准化电信协议。标准化电信协议的示例包括数字视频广播(DVB)标准、高级电视系统委员会(ATSC)标准、综合服务数字广播(ISDB)标准、有线数据业务接口规范(DOCSIS)标准、全球移动通信系统(GSM)标准、码分多址(CDMA)标准、第三代合作伙伴计划(3GPP)标准、欧洲电信标准协会(ETSI)标准、互联网协议(IP)标准、无线应用协议(WAP)标准以及电气与电子工程师协会(IEEE)标准。
存储设备可以包括能够存储数据的任何类型的设备或存储介质。存储介质可以包括有形或非暂态计算机可读介质。计算机可读介质可以包括光盘、闪存、磁存储器或任何其他合适的数字存储介质。在一些示例中，存储器设备或其部分可以被描述为非易失性存储器，并且在其他示例中，存储器设备的部分可以被描述为易失性存储器。易失性存储器的示例可以包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)。非易失性存储器的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。存储设备可以包括存储卡(例如，安全数字(SD)存储卡)、内部/外部硬盘驱动器和/或内部/外部固态驱动器。数据可以根据定义的文件格式存储在存储设备上。
再次参考图1，源设备102包括视频源104、视频编码器106和接口108。视频源104可包括配置为捕获和/或存储视频数据的任何设备。例如，视频源104可以包括摄像机和可操作地与其耦接的存储设备。视频编码器106可包括被配置为接收视频数据并产生表示视频数据的合规比特流的任何设备。合规比特流可以指视频解码器可以从其接收和再现视频数据的比特流。合规比特流的各方面可根据视频编码标准来定义。当生成合规比特流时，视频编码器106可以压缩视频数据。压缩可能是有损的(可觉察的或不可觉察的)或无损的。接口108可以包括被配置为接收一致性视频比特流并且将该一致性视频比特流传输和/或存储到通信介质的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以发送和/或接收信息的任何其他类型的设备。此外，接口108可以包括计算机系统接口，该计算机系统接口可以使合规的视频比特流能够存储在存储设备上。例如，接口108可以包括支持外围组件互连(Peripheral Component Interconnect,PCI)和高速外围组件互连(Peripheral Component Interconnect Express,PCIe)总线协议的芯片集、专用总线协议、通用串行总线(Universal Serial Bus,USB)协议、I2C、或任何其他可用于互连对等设备的逻辑和物理结构。
再次参考图1，目标设备120包括接口122、视频解码器124和显示器126。接口122可以包括被配置为从通信介质接收合规视频比特流的任何设备。接口108可以包括网络接口卡诸如以太网卡，并且可以包括光收发器、射频收发器或者可以接收和/或发送信息的任何其他类型的设备。此外，接口122可以包括计算机系统接口，使得能够从存储设备检索合规的视频比特流。例如，接口122可包括支持PCI和PCIe总线协议、专用总线协议、USB协议、I2C的芯片组，或者可被用于互连对等设备的任何其他逻辑和物理结构。视频解码器124可包括被配置为接收合规比特流和/或其可接受变体，并且从其再现视频数据的任何设备。显示器126可以包括被配置为显示视频数据的任何设备。显示器126可以包括各种显示设备诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示器中的一种。显示器126可以包括高清显示器或超高清显示器。需注意，虽然在图1所示的示例中，视频解码器124被描述为将数据输出到显示器126，但视频解码器124可被配置为将视频数据输出到各种类型的设备和/或其子部件。例如，视频解码器124可被配置为将视频数据输出到任何通信介质，如本文所述。
图5是示出可实施用于编码本文描述的视频数据的技术的视频编码器200的示例的框图。需注意，虽然示例视频编码器200被示出为具有不同的功能块，但是此类图示旨在用于描述目的，并且不将视频编码器200和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频编码器200的功能。在一个示例中，视频编码器200可被配置为根据本文描述的技术对视频数据进行编码。视频编码器200可执行图片区域的帧内预测编码和帧间预测编码，并且因此可被称为混合视频编码器。在图5所示的示例中，视频编码器200接收源视频块。在一些示例中，源视频块可以包括已经根据编码结构划分的图片区域。例如，源视频数据可包括宏块、CTU、CB、其子分区和/或另一等效编码单元。在一些示例中，视频编码器可被配置为执行源视频块的额外再分。应当注意，本文描述的技术通常适用于视频编码，而不管在编码之前和/或期间如何分割源视频数据。在图5所示的示例中，视频编码器200包括求和器202、变换系数生成器204、系数量化单元206、逆量化/变换处理单元208、求和器210、帧内预测处理单元212、帧间预测处理单元214、滤波器单元216和熵编码单元218。如图5所示，视频编码器200接收源视频块并输出比特流。
在图5所示的示例中，视频编码器200可通过从源视频块中减去预测视频块来产生残差数据。加法器202表示被配置为执行该减法运算的部件。在一个示例中，减去视频块出现在像素域中。变换系数发生器204将变换，诸如离散余弦变换(Discrete CosineTransform,DCT)、离散正弦变换(Discrete Sine Transform,DST)或概念上类似的变换，应用到其残余块或子分区(例如，可以将四个8×8变换应用于16×16残差值阵列)以产生一组残差变换系数。变换系数发生器204可以被配置为执行离散三角变换系列中包括的变换的任何和全部组合。变换系数生成器204可将变换系数输出到系数量化单元206。
系数量化单元206可被配置为执行变换系数的量化。如上所述，可以通过调整量化缩放因子来修改量化程度，其中量化缩放因子可以通过量化参数来确定。系数量化单元206可被进一步配置为确定量化值并输出QP数据，该QP数据可以由视频解码器用于重构量化参数(并且因此重构量化缩放因子)，以在视频解码期间执行逆量化。例如，信号传输的QP数据可以包括QPΔ值。在ITU-T H.265中，应用于变换系数集合的量化程度可以取决于：片段级参数、从先前编码单元继承的参数以及/或者任选地信号传输的CU级Δ值。
如图5所示，将量化的变换系数输出到逆量化/变换处理单元208。逆量化/变换处理单元208可以被配置为应用逆量化和/或逆变换来生成重构的残差数据。如图5所示，在加法器210中，可以将重构的残差数据添加到预测视频块。这样，可以重构编码的视频块，并且可以使用所得的重构视频块来评估给定预测、变换类型和/或量化位阶的编码质量。视频编码器200可以被配置为执行多个编码回合(例如，在改变一个或多个编码参数的同时执行编码)。比特流的率失真或其他系统参数可以基于重构的视频块的评估来优化。此外，重构的视频块可被存储并用作预测后续块的参考。
如上所述，可以使用帧内预测来编码视频块。帧内预测处理单元212可被配置为针对待编码视频块选择帧内预测模式。帧内预测处理单元212可被配置为评估帧和/或其区域并且确定用以编码当前块的帧内预测模式。如图5所示，帧内预测处理单元212将帧内预测数据(例如，语法元素)输出到滤波器单元216和熵编码单元218。在ITU-T H.265中，已定义的可能的帧内预测模式包括平面(即，表面拟合)预测模式(predMode:0)、DC(即平坦的整体平均)预测模式(predMode:1)，以及33个角度预测模式(predMode:2-34)。在JEM中，定义的可能的帧内预测模式包括平面预测模式(predMode:0)、DC预测模式(predMode:1)，以及65个角度预测模式(predMode:2-66)。应当注意，平面预测模式和DC预测模式可以被称为无方向预测模式，并且角预测模式可以被称为方向预测模式。应当注意，无论定义的可能预测模式的数量如何，本文描述的技术通常都是适用的。此外，在一些示例中，可以从用于亮度预测模式的帧内预测推断出对色度分量的预测。
帧间预测处理单元214可被配置为针对当前视频块执行帧间预测编码。帧间预测处理单元214可被配置为使用运动预测数据生成预测块。例如，帧间预测处理单元214可定位帧缓冲器内的预测视频块(图5中未示出)。帧间预测处理单元214可以将所计算的运动向量的运动预测数据输出到滤波器单元216和熵编码单元218。帧间预测处理单元214可被配置为接收源视频块并且计算视频块的PU等的运动向量。运动向量可以指示当前视频帧内的视频块的PU等相对于参考帧内的预测块的位移。帧间预测编码可以使用一个或多个参考图片。此外，运动预测可以是单向预测(使用一个运动向量)或双向预测(使用两个运动向量)。帧间预测处理单元214可被配置为通过计算由例如绝对差之和(SAD)、平方差之和(SSD)或其他差值度量确定的像素差来选择预测块。运动向量和相关数据可以描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度)、预测方向和/或参考图片索引值。此外，编码标准，诸如例如ITU-T H.265，可以支持运动向量预测。运动向量预测使得能够使用相邻块的运动向量来指定运动向量。运动矢量预测的示例包括高级运动矢量预测(AMVP)、时间运动矢量预测(TMVP)、所谓的“合并”模式，以及“跳过”和“直接”运动推理。此外，JEM支持高级时间运动矢量预测(ATMVP)、空间-时间运动矢量预测(STMVP)和高级运动矢量分辨率(AMVR)模式。应当注意，帧间预测处理单元214可被进一步配置为应用一个或多个插值滤波器来计算用于运动估计的子整数像素值。
此外，如上所述，JEM支持仿射运动补偿预测和BMC具体实施。帧间预测处理单元214可被配置为根据JEM中描述的技术执行帧间预测编码。此外，帧间预测处理单元214可被配置为根据上文所述技术中的一种或多种来执行帧间预测编码。例如，帧间预测处理单元214可被配置为参考图6至图9中示出的一种或多种技术执行帧间预测编码。图6至图9总体上示出了仿射运动补偿预测技术、OBMC技术及其组合的示例。应当注意，尽管参考帧间预测处理单元214描述了参考图6至图9所示的技术，但是所述的技术可以在应用硬件、固件和/或软件具体实施的任何组合的系统中实现。此外，应当注意，参考本文描述的流程图，帧间预测处理单元214可被配置为执行少于所有所示决策和所产生的结果和/或执行所示决策，并且可以以各种顺序执行所产生的结果。
参见图6，对于视频数据CB等，帧间预测处理单元214确定仿射控制运动向量(1000)。在一个示例中，帧间预测处理单元214可根据JEM中提供的技术确定仿射控制运动向量。例如，帧间预测处理单元214可被配置为使用AF_INTER模式和AF_MERGE模式来确定控制运动向量。应当注意，在一些示例中，帧间预测处理单元214可被配置为使用AF_INTER模式和AF_MERGE模式的组合和/或变型来确定控制运动向量。例如，帧间预测处理单元214可被配置为使用AF_INTER模式确定左上运动控制向量和右上运动控制向量(例如，v0和v1)，并使用AF_MERGE模式确定左下控制运动向量和右下控制运动向量(例如，v2和v3)。
在1002处，对于视频数据的CB，帧间预测处理单元214确定待用于仿射运动补偿的子块的尺寸和相应的MVF。如上所述，JEM中的QTBT结构支持具有以下尺寸的方形CB：256×256、128×128、64×64、32×32、16×16、8×8和4×4，并且还支持方形CB的二进制分割。在一个示例中，帧间预测处理单元214可被配置为基于CB的尺寸和/或形状来确定待用于仿射运动补偿的子块的尺寸。例如，对于高度或宽度大于或等于128的CB，帧间预测处理单元214可以确定待用于仿射运动补偿的子块的尺寸是16×16，并且对于高度和宽度小于128的CB，帧间预测处理单元214可以确定待用于仿射运动补偿子块的尺寸是8×8。
此外，在一些示例中，附加地或另选地，帧间预测处理单元214可被配置为基于控制运动向量值来确定待用于仿射运动补偿的子块的尺寸。例如，在一个示例中，帧间预测单元214可被配置为基于CB的高度和/或宽度确定最大尺寸和/或最小尺寸，并基于控制运动向量确定待用于仿射运动补偿的子块的实际尺寸。例如，对于高度或宽度大于或等于128的CB，帧间预测处理单元214可以确定可用于仿射运动补偿的子块的最大尺寸是32×32，并且确定可用于仿射运动补偿的子块的最小尺寸是8×8。可以针对CB标记/推断待使用的子块尺寸。此外，对于高度和宽度小于128的CB，帧间预测处理单元214可以确定待用于仿射运动补偿的子块的最大尺寸是16×16，并且确定可用于仿射运动补偿的子块的最小尺寸是4×4。此外，一旦确定了最大尺寸和最小尺寸，帧间预测处理单元214可基于控制运动向量确定待用于仿射运动补偿的子块的尺寸。例如，在子块是方形的示例中，可以从可用方形尺寸中选择子块尺寸，可用方形尺寸的指定范围是从最小尺寸到最大尺寸。在一个示例中，可用正方形尺寸可包括以下尺寸：256×256、128×128、64×64、32×32、16×16、8×8和4×4。在另一个示例中，子块尺寸可以是非正方形的，非正方形尺寸的指定范围是从最小尺寸到最大尺寸。在一个示例中，可用宽度和/或高度包括256、128、64、32、16、8和4。在一个示例中，对于256×256的CB，可用子块的尺寸可包括64×64、64×16、32×32、16×16和8×8。在一个示例中，对于128×128的CB，可用子块的尺寸可包括64×64、32×32、32×16、16×16、8×8和4×4。在一个示例中，在比特流中标记出可用于仿射运动补偿的一系列子块，例如，也可以在参数集(例如，序列参数集和图像参数集)中标记。在一个示例中，非正方形子块可用于运动补偿。在一个示例中，非正方形子块可用于非正方形CB。在一个示例中，当双预测用于CB时，每个预测的子块尺寸可以不同。
在一个示例中，一旦基于CB尺寸确定最大尺寸和最小尺寸，则帧间预测处理单元214可基于一个或多个控制运动向量的水平分量长度和/或垂直分量长度基于控制运动向量来确定待用于仿射运动补偿的子块尺寸。例如，在(v0x,v0y)是左上角控制点的运动向量、(v1x,v1y)是右上角控制点的运动向量、并且(v2x,v2y)是左下角控制点的运动向量中的情况下，帧间预测处理单元214可以确定以下值：
差值1＝最大(Abs(v1x-v0x),绝对值(v1y-v0y))；以及
差值2＝最大(Abs(v2x-v0x),绝对值(v2y-v0y))；
其中绝对值(x)是x的绝对值。
如果x>y,else y，则Max(x,y)返回到x，
差值1和差值2提供了相应控制运动向量之间的变化程度的指示。差值1提供了左上控制点的运动向量与右上控制点的运动向量之间的变化程度的指示。差值1也与子块的宽度有关，即，较大差值1对应的子块宽度也较窄。差值2提供了左上控制点的运动向量与左底控制点的运动向量之间的变化程度的指示。差值2也与子块的高度尺寸有关，即，较大差值2对应的子块高度也较低。通常，针对相应控制运动向量之间较大程度的变化，所期望的是，使用相对较小的子块进行运动补偿，以便提高预测质量。因此，对于差值1和差值2的相对高值，帧间预测处理单元214可以选择可用的相对小的子块尺寸。此外，基于CB尺寸，可进一步深化差值1、差值2和所选子块的关系。例如，差值1和差值2的比率以及CB尺寸可用于确定所选CB尺寸。
在一个示例中，一旦帧间预测处理单元214确定了待用于仿射运动补偿的子块的尺寸，帧间预测处理单元214就会为每个子块计算相应的MVF。在一个示例中，对于4×4尺寸的子块，帧间预测处理单元214可被配置为根据上述公式(MVF_1)计算MVF。应当注意，在其他示例中，帧间预测处理单元214可被配置为基于较少(例如，1)或较多(例如，3或4)的控制运动向量来计算MVF。
在一个示例中，对于尺寸大于4×4的子块，帧间预测处理单元214可被配置为基于对应于4×4子块的MVF来计算用于运动补偿的MVF。例如，对于包括W×H子块的宽度为CB×高度为CB的CB，帧间预测处理单元214可以确定CB内的每个4×4子块的MVF(例如，基于(MVF_1)或使用三个运动控制向量)。
在一个示例中，帧间预测处理单元214可以确定每个W×H子块的中心点。在一个示例中，中心点(x c,yc)可被确定为：
xc＝x右-W/2+C1
yc＝y底-H/2+C2
其中，
x右是子块的最右列，
y底是子块的最底行，
并且C1和C2为预定值。
此外，帧间预测处理单元214可通过将子块高度和宽度除以因子(例如，2、4和8等)来确定复制因子。例如，区间预测处理单元214可如下确定复制因子：
DFH＝W/4
DFY＝H/4
最后，帧间预测处理单元214可通过复制所计算的中心点的MVF来确定运动补偿子块的MVF。这里，为了与已考虑4×4子块MVF的OBMC过程保持一致，基于复制因子，在运动补偿子块内的4×4子块单元中重复(复制)在中心点计算的MVF。换句话讲，将给定运动补偿块划分为4×4子块，并且可以将在中心点处计算的MVF用于子块MVF。应当注意，运动补偿块内的子块具有相同的MVF，即在中心点处计算的MVF。例如，复制可以包括在运动补偿子块内的参考点处设置MVF值，其中参考点的数量由复制因子确定。图7示出了确定16×16CB的8×8子块的MVF示例的概念图。应当注意，图7中所示的示例对应于图3所示的示例，其中对于16×16视频数据的CB和每个4×4子块，基于控制运动向量v0和v1,生成相应的运动向量场(即，MVF(x,y))。应当注意，在其他示例中，对于每个4×4子块，可基于两个以上的控制运动向量来生成相应的运动向量场(即，MVF(x,y))。
如上所述，在仿射运动补偿JEM具体实施中，CB的尺寸和v0、v1与v2之间的差值可用于确定将用于执行运动补偿的子块的尺寸，并且基于将用于执行运动补偿的子块的尺寸来重新计算MVF。以该方式确定子块的尺寸可能不太理想。在一个示例中，根据本公开的技术，帧间预测单元214可被配置为基于预定值确定将用于执行运动补偿的子块的尺寸。例如，在一个示例中，用于运动补偿的子块的尺寸可以固定在序列级别、图片级别、片段级别、CTU级别和/或CU级别。例如，对于第一段视频数据，用于运动补偿的子块尺寸可以固定为4×4，对于第二段视频数据，用于运动补偿的子块尺寸可以固定为8×8。此外，在一个示例中，根据本公开的技术，帧间预测单元214可被配置为基于预定值和当前CB(或CU)的尺寸来确定用于执行运动补偿的子块的尺寸。例如，在一个示例中，用于运动补偿的子块的尺寸可以基于当前CB的尺寸以及在序列级别、图片级别、片段级别、CTU级别和/或CU级别固定的预定值。例如，预定值NW和NH可以分别除以当前CB的宽度和高度，以确定用于运动补偿的子块的尺寸。例如，如果当前CB的尺寸是16×16，并且将一段视频数据的NW和NH设置为4，则用于当前CB的运动补偿的子块的尺寸是4×4。同样，如果当前CB的尺寸是32×32，并且将一段视频数据的NW和NH设置为4，则用于当前CB的运动补偿的子块的尺寸是8×8。应当注意，在一些示例中，分层信令可用于指示预定值，该预定值用于指示运动补偿的子块的尺寸。例如，在一个示例中，图片级别中可指示用于运动补偿(例如，16×16、8×8和4×4)的子块的可用尺寸，并且子块的可用尺寸之一可以在图片中(例如，第一段8×8以及第二段4×4)标记。在其他示例中，可使用其他类型的分级信令。例如，序列级别信令、图片级别信令、片段级别信令和/或CTU级别信令中的任一个可以指示可用的子块尺寸，并且图片级别信令、片段级别信令、CTU级别信令和/或CU级别信令可指示用于CB(或CU)的子块尺寸。以此方式，与仿射运动补偿的JEM具体实施相比，可在执行较少计算的同时确定用于执行运动补偿的子块的尺寸(例如，基于v0、v1和v2，不执行附加计算)。
在一个示例中，根据本公开的技术，帧间预测单元214可以被配置为基于预定值确定用于执行运动补偿的子块的尺寸，并且基于当前CB(或CU)的尺寸和/或基于控制点的值来确定如何导出MVF值。例如，在一个示例中，如上所述，对于片段视频数据，用于运动补偿的子块的尺寸可以固定为4×4，用于生成运动向量场的方程可以基于当前CB(或CU)的尺寸和/或基于控制点的值。例如，参考上述JEM提供的方程MVF_1，在一个示例中，方程中的变量w可以用函数替换，该函数取决于当前CB(或CU)的尺寸和/或控制点的值。例如，在一个示例中，w可为上述差值1和/或差值2的一个函数。在一个示例中，MVF_1中(x,y)可基于当前CB的尺寸来确定。在一个示例中，MVF_1中(x,y)可基于与控制运动向量点的距离来确定。
如上文所述，在仿射运动补偿的JEM具体实施中，位于CB角落的4×4子块的初始计算的MVF被相应的并置控制点(即，v0、v1、v2和v3)覆盖。覆盖位于CB角落处的4×4子块的初始计算的MVF可能不太理想。在一个示例中，根据本公开的技术，帧间预测单元214可被配置为使位于CB的角落处的4×4子块的初始计算的MVF不被相应的并置控制点覆盖。然而，应当注意，JEM中的AF_MERGE模式可基于以下假设：位于CB角落处的4×4子块的初始计算的MVF被相应的并置控制点覆盖。以这种方式，帧间预测单元214可被配置为使在位于CB的角落处的4×4子块的初始计算的MVF不被相应的并置控制点覆盖的情况下，可以修改JEM中AF_MERGE模式中的v0和v1的计算，以考虑最初计算的MVF未被覆盖。在一个示例中，可以根据差异数据结构存储控制点(即，v0、v1、v2和v3)。此外，在一个示例中，帧间预测单元214可被配置为基于4×4子块计算的MVF导出用于AF_MERGE的控制点(即，v0、v1、v2和v3)。
再次参见图6，在1004处，帧间预测处理单元214基于所确定的运动补偿子块尺寸和对应的仿射运动向量场来执行运动补偿。以此方式，帧间预测处理单元214可被配置为根据本文描述的技术执行仿射运动补偿。
如上文所述，可以在执行仿射运动补偿之后开始OBMC过程。如图6所示，帧间预测处理单元214可被配置为执行OBMC过程(1012)。应当注意，在其他示例中，帧间预测处理单元214可被配置为根据除了上述参考图7描述的技术之外的技术，确定运动补偿子块尺寸和对应的仿射运动向量场，因此，参考图6描述的OBMC过程是普遍适用的。
参见图6，帧间预测处理单元214确定了运动补偿子块尺寸是否与OBMC过程(1006)对齐。例如，如上所述，在一些情况下，用于执行运动补偿的可用子块尺寸可以包括256×256、128×128、64×64、32×32、16×16、8×8和4×4，并且OBMC过程的粒度可以是4×4。因此，如果4×4子块用于执行运动补偿并且为OBMC提供4×4粒度，则仿射运动补偿可以与OBMC过程对齐。应当注意，在一些示例中，如果用于运动补偿的子块尺寸在OBMC粒度的可接受阈值内，则可以认为仿射运动补偿是与OBMC过程对齐。如图6所示，在满足对齐条件的情况下，可以将用于执行OBMC过程的MVF设置为用于运动补偿的MVF(1008)。
在不满足对齐条件的情况下(例如，用于运动补偿的8×8MC子块和4×4OBMC粒度)，帧间预测处理单元214可以基于用于执行运动补偿的参数来确定OBMC MVF。例如，如上文参考图7所述，可以确定用于执行运动补偿的16×16CB的8×8子块的MVF。在这种情况下，如果OBMC过程的粒度是4×4，则可以基于用于运动补偿的MVF确定每个4×4子块的MVF。图8示出了对应于OBMC粒度的每个4×4子块继承用于运动补偿的并置8×8子块的MVF的示例。在这种情况下，继承的MVF用于执行OBMC过程，例如，上文参考图4描述的OBMC过程。应当注意，在其他示例中，每个4×4子块可以继承并置的8×8子块的MVF，并在执行OBMC过程之前修改继承的MVF值。例如，可以用其他继承的MVF值对继承的MVF值进行舍入、缩放和/或平均。
参考图6，应当注意，在一些示例中，用于仿射运动补偿计算MVF的过程可能不必包括计算4×4子块的MVF。例如，如果8×8子块用于运动补偿，则可直接从一个或多个控制运动向量计算对应的MVF。在这些情况下，基于使用仿射运动补偿的MVF，导出OBMC过程的MVF可能特别有用。
应当注意，在JEM中，用于OBMC过程的MVF具有4×4粒度，它与确定待用于仿射运动补偿的子块的尺寸和相应的MVF并行计算。此外，在JEM中，无论用于仿射运动补偿的子块的尺寸如何，都使用用于OBMC过程的已计算的MVF，其具有4×4粒度。在运动补偿子块尺寸与OBMC过程未对齐的情况下，JEM具体实施可提供不期望的结果。图9示出了可用于减少不期望的结果的示例技术。
参见图9，在1003处，可以确定用于OBMC过程的有限定粒度的MVF，如上文参考图4所述。在图9所示的示例中，在满足对齐条件的情况下，用于在1012处执行OBMC过程的MVF被设置为在1003处确定的值。在不满足对齐条件的情况下，帧间预测处理单元214可被配置为基于用于执行仿射运动补偿的参数来确定OBMC过程。例如，帧间预测处理单元214可被配置为基于用于执行运动补偿的子块尺寸和/或形状来改变OBMC过程的粒度。应当注意，在其他示例中，确定OBMC的过程可以包括确定CB内的哪些子块应用OBMC的过程(例如，边界与内部子块)。此外，用于执行仿射运动补偿的参数可以包括控制运动向量和基于其的值(例如差值1和/或差值2)。在一个示例中，可以根据OBMC技术，可使用仿射运动补偿的子块尺寸来确定哪些子块(或CB内的行)的行和/或列进行了修改。例如，如果仿射运动补偿子块的宽度*高度大于64，则可以修改CB边界附近的4条线，否则可以修改CB边界附近的2条线。这样，帧间预测处理单元214可被配置为基于仿射运动补偿参数来修改OBMC过程。
如图5所示，滤波器单元216接收重构的视频块和编码参数，并且输出已修改的重构视频数据。滤波器单元216可被配置为执行解块和/或样本自适应偏移(SAO)滤波。SAO滤波是一种可用于通过向重构的视频数据添加偏移以改善重构的非线性振幅映射。应当注意，如图5所示，帧内预测处理单元212和帧间预测处理单元214可以经由滤波器单元216接收已修改的重构视频块。熵编码单元218接收量化的变换系数和预测语法数据(即帧内预测数据、运动预测数据和QP数据等)。需注意，在一些示例中，系数量化单元206可在将系数输出到熵编码单元218之前执行对包括量化的变换系数的矩阵的扫描。在其他示例中，熵编码单元218可执行扫描。熵编码单元218可被配置为根据本文描述的技术中的一个或多个执行熵编码。熵编码单元218可被配置为输出合规比特流(即视频解码器可从其接收和再现视频数据的比特流)。
图10示出根据本公开的一种或多种技术可被配置为对视频数据进行解码的视频解码器示例的框图。在一个示例中，视频解码器400可以基于上文所述的技术中的一种或多种被配置为帧间预测技术。应当注意，视频编码器200可基于上文所述的帧间预测技术，标记比特流中的语法元素，它指示重构的视频数据的编码参数。这样，视频解码器400可接收基于上述技术生成的比特流，并执行对等编码以生成重构的视频数据。
视频解码器400可被配置为执行帧内预测解码和帧间预测解码，并且因此可被称为混合解码器。在图10所示的示例中，视频解码器400包括熵解码单元402、逆量化单元404、逆变换处理单元406、帧内预测处理单元408、帧间预测处理单元410、求和器412、滤波器单元414、参考缓冲器416和缩放单元418。视频解码器400可被配置为以与视频编码系统一致的方式对视频数据进行解码，该视频编码系统可以实现视频编码标准的一个或多个方面。应当注意，尽管示出的示例视频解码器400具有不同的功能块，但此类图示旨在用于描述目的，并且不将视频解码器400和/或其子部件限制为特定的硬件或软件架构。可使用硬件、固件和/或软件具体实施的任何组合来实现视频解码器400的功能。
如图10所示，熵解码单元402接收熵编码的比特流。熵解码单元402可以被配置为根据与熵编码过程互逆的过程从比特流中解码语法元素和量化系数。熵解码单元402可以被配置为根据上文所述的任何熵编码技术执行熵解码。熵解码单元402可以以与视频编码标准一致的方式解析编码的比特流。
再次参考图10，逆量化单元404从熵解码单元402接收量化变换系数(即，位阶值)和量化参数数据。量化参数数据可包括上面描述的增量QP值和/或量化组尺寸值等的任何和所有组合。视频解码器400和/或逆量化单元404可被配置为基于由视频编码器信号传输的值以及/或者通过视频属性和/或编码参数来确定用于逆量化的量化值。也就是说，逆量化单元404可以与上述系数量化单元206互逆的方式操作。逆量化单元404可被配置为应用逆量化。逆变换处理单元406可被配置为执行逆变换以生成重构的残差数据。由逆量化单元404和逆变换处理单元406分别执行的技术可以类似于由上述逆量化/变换处理单元208执行的技术。逆变换处理单元406可被配置为应用逆DCT、逆DST、逆整数变换、不可分二次变换(NSST)或概念上类似的逆变换过程来变换系数，以便产生像素域中的残差块。此外，如上所述，是否执行特定变换(或特定变换的类型)可以取决于帧内预测模式。如图10所示，可以将重构的残差数据提供给加法器412。求和器412可以将重构的残差数据添加到预测视频块并且生成重构的视频数据。可根据预测视频技术(即帧内预测和帧间预测)确定预测视频块。
帧内预测处理单元408可以被配置为接收帧内预测语法元素并且从参考缓冲器416处检索预测视频块。参考缓冲器416可以包括被配置为存储一个或多个视频数据帧的存储器设备。帧内预测语法元素可识别帧内预测模式，诸如上述的帧内预测模式。在一个示例中，帧内预测处理单元408可以使用根据本文描述的帧内预测编码技术中的一种或多种来重构视频块。帧间预测处理单元410可以接收帧间预测语法元素并生成运动向量，以识别存储在参考缓冲器416中的一个或多个参考帧中的预测块。帧间预测处理单元410可以生成运动补偿块，也可能基于内插滤波器执行内插。用于具有子像素精度的运动估计的内插滤波器的标识符可以被包括在语法元素中。帧间预测处理单元410可以使用内插滤波器来计算参考块的子整数像素的内插值。帧间预测处理单元410可被配置为根据本文中描述的技术执行帧间预测编码。例如，帧间预测处理单元410可以对如上所述的由帧间预测处理单元214执行的过程以对等方式执行帧间预测解码。滤波器单元414可以被配置为根据本文所述的技术对重构的视频数据执行滤波。例如，滤波器单元414可被配置为执行解块和/或SAO滤波，如上文参考滤波器单元216和滤波器单元300所描述的。此外，应当注意，在一些示例中，滤波器单元414可被配置为执行专用的任意滤波(例如，视觉增强)。如图10所示，视频解码器400可以输出重构视频块。
在一个或多个示例中，所描述的功能可以通过硬件、软件、固件或其任何组合来实现。如果以软件实现，则可将功能作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质上传输，并且由基于硬件的处理单元执行。计算机可读介质可包括对应于有形介质诸如数据存储介质的计算机可读存储介质，或者包括例如根据通信协议促进计算机程序从某个地方传输到另一个地方的任何介质的传播介质。这样，计算机可读介质通常可对应于：(1)非暂态的有形计算机可读存储介质，或者(2)通信介质诸如信号或载波。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
以举例而非限制的方式，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存，或者可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其他介质。而且，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术诸如红外线、无线电和微波从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术诸如红外线、无线电和微波都包含在介质的定义中。然而，应该理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂态介质，而是针对非暂态有形存储介质。如本文所用，磁盘和光盘包括压缩光盘(CD)、激光盘、光学光盘、数字通用光盘(DVD)、软磁盘及Blu-ray光盘，其中磁盘通常以磁性方式复制数据，而光盘则利用激光以光学方式复制数据。上述的组合也应该包括在计算机可读介质的范围内。
可以由一个或多个处理器诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效集成或离散逻辑电路执行指令。因此，如本文所使用的术语“处理器”可以指任何前述结构或适用于实现本文所描述的技术的任何其他结构。此外，在一些方面中，可以在被配置用于编码和解码的专用硬件和/或软件模块内提供本文描述的功能，或者将其结合到组合编解码器中。而且，这些技术可以完全在一个或多个电路或逻辑元件中实现。
本公开的技术可以在各种设备或装置包括无线手机、集成电路(IC)或一组IC(例如，芯片组)中实现。在本公开中描述了各种部件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，可以将各种单元组合在编解码器硬件单元中，或者通过互操作硬件单元包括如上所述的一个或多个处理器的集合，结合合适的软件和/或固件来提供各种单元。
此外，每个上述实施方案中所使用的基站设备和终端设备的每个功能块或各种特征可通过电路(通常为一个集成电路或多个集成电路)实施或执行。被设计为执行本说明书中所述的功能的电路可包括通用处理器、数字信号处理器(DSP)、专用或通用集成电路(ASIC)、现场可编程门阵列(FPGA)，或其他可编程逻辑设备、分立栅极或晶体管逻辑器，或分立硬件部件，或它们的组合。通用处理器可为微处理器，或另选地，该处理器可为常规处理器、控制器、微控制器或状态机。通用处理器或上述每种电路可由数字电路进行配置，或可由模拟电路进行配置。此外，当由于半导体技术的进步而出现制成取代当前集成电路的集成电路的技术时，也能够使用通过该技术生产的集成电路。
已经描述了各种示例。这些示例和其他示例在以下权利要求的范围内。
<概述>
在一个示例中，一种执行运动补偿的方法包括：接收视频块中包括的样本值阵列，确定视频块内的子块的运动向量场以及基于所确定的运动向量场执行运动补偿过程。
在一个示例中，一种用于视频编码的设备包括：一个或多个处理器，这些处理器被配置为接收视频块中包括的样本值阵列，确定视频块内的子块的运动向量场，以及基于所确定的运动向量场执行运动补偿过程。
在一个示例中，一种非暂态计算机可读存储介质包括存储在其上的指令，当这些指令在被执行时，使得设备的一个或多个处理器接收包括在视频块中的样本值阵列，确定视频内的子块的运动向量场，以及基于所确定的运动向量场执行运动补偿过程。
在一个示例中，一种装置包括用于接收包括用于视频数据的分量的相邻重建视频块的样本值阵列的装置，用于接收包括在视频块中的样本值阵列的装置，用于确定视频块内的子块运动向量场的装置，以及基于确定的运动向量场执行运动补偿过程的装置。
在以下附图和描述中阐述了一个或多个示例的细节。除非另有明确说明，否则部件和功能是任选的且可以被组合或被细分，并且操作可以按顺序变化或者可以被组合或被细分。其他特征、目的和优点将从描述和附图以及权利要求书中显而易见。
<交叉引用>
本非临时专利申请根据《美国法典》第35卷第119节(35 U.S.C.§119)要求2016年10月10日提交的临时专利申请No.62/406,396以及2016年12月29日提交的临时专利申请NO.62/440,326的优先权，这两个临时专利申请的全部内容以引用方式并入本文。

Claims (12)

1.一种执行运动补偿的方法，所述方法包括：
接收视频块中包括的样本值阵列，
确定所述视频块内的子块的运动向量场；以及
基于所述确定的运动向量场来执行运动补偿过程。
2.根据权利要求1所述的方法，其中确定所述视频块内的子块的运动向量场包括确定一组第一子块尺寸的运动向量场，并且基于第二子块尺寸执行所述运动补偿过程。
3.根据权利要求1或2中任一项所述的方法，还包括执行重叠块运动补偿过程。
4.根据权利要求1至3中任一项所述的方法，还包括确定待用于执行运动补偿的子块的所述尺寸。
5.根据权利要求4所述的方法，其中确定待用于执行运动补偿的子块的所述尺寸包括基于预定值确定所述尺寸。
6.根据权利要求5所述的方法，其中根据分层信令指示所述预定值。
7.一种用于对视频数据进行编码的设备，所述设备包括配置用于执行权利要求1至6中所述步骤的任意和全部组合的一个或多个处理器。
8.根据权利要求7所述的设备，其中所述设备包括视频编码器。
9.根据权利要求7所述的设备，其中所述设备包括视频解码器。
10.一种系统，包括：
根据权利要求8所述的设备；以及
根据权利要求9所述的设备。
11.一种用于对视频数据进行编码的装置，所述装置包括用于执行权利要求1至6中所述步骤的任意和全部组合的装置。
12.一种包括存储在其上的指令的非暂态计算机可读存储介质，当所述指令被执行时，使得用于对视频数据进行编码的设备的一个或多个处理器执行权利要求1至6中所述步骤的任意和全部组合。
CN201780062350.2A 2016-10-10 2017-09-08 对视频数据编码执行运动补偿的系统以及方法 Pending CN109804630A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662406396P 2016-10-10 2016-10-10
US62/406396 2016-10-10
US201662440326P 2016-12-29 2016-12-29
US62/440326 2016-12-29
PCT/JP2017/032458 WO2018070152A1 (en) 2016-10-10 2017-09-08 Systems and methods for performing motion compensation for coding of video data

Publications (1)

Publication Number Publication Date
CN109804630A true CN109804630A (zh) 2019-05-24

Family

ID=61905273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062350.2A Pending CN109804630A (zh) 2016-10-10 2017-09-08 对视频数据编码执行运动补偿的系统以及方法

Country Status (4)

Country Link
US (1) US20190273943A1 (zh)
EP (1) EP3523980A4 (zh)
CN (1) CN109804630A (zh)
WO (1) WO2018070152A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354538A (zh) 2017-10-27 2024-01-05 松下电器（美国）知识产权公司 编码装置、解码装置、生成装置、发送装置和存储介质
US11425418B2 (en) * 2017-11-01 2022-08-23 Vid Scale, Inc. Overlapped block motion compensation
US20190222834A1 (en) * 2018-01-18 2019-07-18 Mediatek Inc. Variable affine merge candidates for video coding
JP7339890B2 (ja) 2018-02-06 2023-09-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
EP3766247A4 (en) * 2018-04-02 2022-01-19 MediaTek Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR SUBBLOCK MOTION COMPENSATION IN VIDEO CODING SYSTEMS
WO2019199127A1 (ko) * 2018-04-12 2019-10-17 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN112204980B (zh) * 2018-04-24 2023-07-21 Lg电子株式会社 视频编码系统中用于帧间预测的方法和装置
MX2020011906A (es) * 2018-05-09 2021-02-18 Interdigital Vc Holdings Inc Compensacion de movimiento para codificacion y decodificacion de video.
WO2019229683A1 (en) 2018-05-31 2019-12-05 Beijing Bytedance Network Technology Co., Ltd. Concept of interweaved prediction
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110636297B (zh) * 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
CA3105072A1 (en) 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
CN112385229A (zh) * 2018-06-29 2021-02-19 交互数字Vc控股公司 虚拟时间仿射候选
US11032563B2 (en) * 2018-07-17 2021-06-08 Tencent America LLC Method and apparatus for affine model prediction
US11140398B2 (en) * 2018-08-20 2021-10-05 Mediatek Inc. Methods and apparatus for generating affine candidates
CN112640459B (zh) * 2018-09-06 2023-07-28 Lg电子株式会社 图像编码系统中基于使用合并候选列表的运动预测的图像解码方法和设备
AU2019344978A1 (en) * 2018-09-21 2021-04-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image signal encoding/decoding method and device therefor
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
WO2020089822A1 (en) 2018-10-31 2020-05-07 Beijing Bytedance Network Technology Co., Ltd. Overlapped block motion compensation with derived motion information from neighbors
US11212521B2 (en) * 2018-11-07 2021-12-28 Avago Technologies International Sales Pte. Limited Control of memory bandwidth consumption of affine mode in versatile video coding
CN112997480B (zh) 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
WO2020117010A1 (ko) * 2018-12-07 2020-06-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
JP2022028089A (ja) * 2018-12-17 2022-02-15 ソニーグループ株式会社 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
EP4297403A3 (en) * 2018-12-21 2024-02-28 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of video coding for deriving affine motion vectors for chroma components
CN113597760A (zh) * 2019-01-02 2021-11-02 北京字节跳动网络技术有限公司 视频处理的方法
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
US11076167B2 (en) * 2019-06-24 2021-07-27 FG Innovation Company Limited Device and method for coding video data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
CN1378750A (zh) * 1999-08-11 2002-11-06 诺基亚有限公司 用于压缩运动矢量场的装置和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
CN108702509B (zh) * 2016-02-25 2023-10-31 株式会社Kt 用于处理视频信号的方法和设备
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10778999B2 (en) * 2016-09-30 2020-09-15 Qualcomm Incorporated Frame rate up-conversion coding mode with affine motion model
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
CN1378750A (zh) * 1999-08-11 2002-11-06 诺基亚有限公司 用于压缩运动矢量场的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL: "Algorithm decscrition of Joint exploration test model 3", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Also Published As

Publication number Publication date
WO2018070152A1 (en) 2018-04-19
EP3523980A1 (en) 2019-08-14
US20190273943A1 (en) 2019-09-05
EP3523980A4 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
CN109804630A (zh) 对视频数据编码执行运动补偿的系统以及方法
JP7368414B2 (ja) 画像予測方法および装置
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN109196863A (zh) 用于改变量化参数的系统和方法
CN110313179A (zh) 用于按比例缩放变换系数水平值的系统和方法
CN109479133A (zh) 使用自适应分量缩放对视频数据进行编码的系统和方法
CN109076243A (zh) 用于对变换数据进行编码的系统和方法
CN108702517B (zh) 使用优化的紧凑多遍变换的高效变换编码
CN103959777B (zh) 视频译码中的与自适应环路滤波器合并的样本自适应偏移
CN109076225A (zh) 用于变换系数编码的系统和方法
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN109314782A (zh) 用于帧内预测编码的系统和方法
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
JP2019515580A (ja) イントラ予測モードのネイバーベースのシグナリング
CN109845255A (zh) 用于将解块滤波器应用于重构视频数据的系统和方法
CN110249629A (zh) 用于将图片分割成视频块以进行视频码处理的系统和方法
WO2017138393A1 (en) Systems and methods for intra prediction coding
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进
TW201830964A (zh) 基於在視訊寫碼中之一預測模式導出雙邊濾波器資訊
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
JP2016506684A (ja) ビット深度スケーラブルビデオコーディングのためのサンプル適応調整を使用するレイヤ間予測
CN110199522A (zh) 处理用于图像块帧内预测的参考样本
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
WO2020247577A1 (en) Adaptive motion vector resolution for affine mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200812

Address after: No.1, Takumicho, Sakai Ward, Sakai City, Osaka Prefecture, Japan

Applicant after: Sharp Corp.

Applicant after: FG Innovation Co.,Ltd.

Address before: No. 1, no Japanese country

Applicant before: Sharp Corp.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190524