CN111163321A - 用于视频编码或解码的装置和方法 - Google Patents

用于视频编码或解码的装置和方法 Download PDF

Info

Publication number
CN111163321A
CN111163321A CN201911083188.XA CN201911083188A CN111163321A CN 111163321 A CN111163321 A CN 111163321A CN 201911083188 A CN201911083188 A CN 201911083188A CN 111163321 A CN111163321 A CN 111163321A
Authority
CN
China
Prior art keywords
motion compensation
reference block
affine
bounding box
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911083188.XA
Other languages
English (en)
Other versions
CN111163321B (zh
Inventor
周敏华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies International Sales Pte Ltd
Original Assignee
Avago Technologies General IP Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avago Technologies General IP Singapore Pte Ltd filed Critical Avago Technologies General IP Singapore Pte Ltd
Publication of CN111163321A publication Critical patent/CN111163321A/zh
Application granted granted Critical
Publication of CN111163321B publication Critical patent/CN111163321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请涉及用于视频编码或解码的装置和方法。视频编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的数字视频的预测单元“PU”使用帧间预测和参考块边界框尺寸；以及确定所述参考块边界尺寸是否超过预定阈值。响应于确定所述参考块边界尺寸超过所述预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿。响应于确定所述参考块边界尺寸未超过所述预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。

Description

用于视频编码或解码的装置和方法
相关申请的交叉引用
本申请要求2018年11月7日提交的美国临时专利申请第62/757,004号；2018年11月20日提交的美国临时专利申请第62/769,875号和2019年1月14日提交的美国临时专利申请第62/792,195号的权益，其公开内容通过引用整体并入本公开。
技术领域
所公开的主题的一或多个方面涉及视频编码或解码，并且更具体地涉及当使用仿射运动模型时具有存储器带宽节约的视频编码或解码。
背景技术
VVC(多功能视频编码)是由ISO/IEO MPEG和ITU-T联合建立的联合视频专家组(JVET)开发的新视频压缩标准。用于单层编码的VVC标准将在2020年底之前完成，其设计目标是比先前标准MPEG HEVC/ITU-T H.265Main-10档(profile)提高至少50％的效率。
在考虑中的针对VVC提出的编码工具中，仿射运动补偿预测引入了更复杂的运动模型以获得更好的压缩效率。在诸如HEVC的先前标准中，仅考虑平移运动模型，其中PU(预测单元)内的所有样本位置可以具有用于运动补偿预测的相同平移运动矢量。然而，在现实世界中，存在多种运动，例如放大/缩小、旋转、透视运动(perspective motion)和其它不规则运动。仿射运动模型支持PU内部的不同样本位置处的不同运动矢量，这有效地捕获了更复杂的运动。PU内部的不同样本位置，例如PU的四个角点，可能具有不同的运动矢量，如仿射模式所支持。以仿射模式和仿射合并模式编码的PU可以具有单向预测(列表0或列表1预测)或双向预测(即列表0和列表1双向预测)。
在当前的VVC设计中(参见JVET-P2001，“多功能视频编码(草案7)”)，仿射模式的子块尺寸固定为4x4，这将为最坏情况的运动补偿存储器带宽消耗创建4x4双向预测。在HEVC中，最坏情况的运动补偿存储器带宽消耗是8x8双向预测，而8x4和4x8 PU仅使用单向预测。增加的存储器带宽预算永远无法赶上采样率增加的步伐(path)(例如，HEVC通常用于60fps的4K视频，而VVC将用于60fps的8K视频，样本处理率再增加4倍)。
发明内容
本公开的一个实施例涉及一种用于视频编码或解码的装置。所述装置包括：电路系统，其被配置成输入数字视频；对已输入的数字视频进行编码或解码；和输出已编码或解码的所述数字视频，其中：所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元(“PU”)使用帧间预测和参考块边界框尺寸，以及确定所述参考块边界尺寸是否超过至少一个预定阈值；响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
本公开的另一个实施例涉及一种视频编码或解码的方法。所述方法包括：输入数字视频；对已输入的所述数字视频进行编码或解码；和输出已编码或解码的所述数字视频，其中：所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元(“PU”)使用帧间预测和参考块边界框尺寸，以及确定所述参考块边界尺寸是否超过至少一个预定阈值；响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
本公开的又一个实施例涉及一种非暂时性计算机可读存储介质。所述计算机可读存储介质存储指令，所述指令在一或多个处理器上执行时控制所述一或多个处理器进行视频编码或解码的方法，所述方法包括：输入数字视频；对已输入的所述数字视频进行编码或解码；和输出已编码或解码的所述数字视频，其中：所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元(“PU”)使用帧间预测和参考块边界框尺寸，以及确定所述参考块边界尺寸是否超过至少一个预定阈值；响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
附图说明
所公开的主题的一或多个方面将参考附图详细阐述，在所述附图中：
本申请要求2018年11月7日提交的美国临时专利申请第62/757,004号；2018年11月20日提交的美国临时专利申请第62/769,875号和2019年1月14日提交的美国临时专利申请第62/792,195号的权益，其公开内容通过引用整体并入本公开。
图1A是示出了所公开的主题的一或多个方面的概述的流程图；
图1B示出了根据所公开的主题的一或多个方面的仿射运动模型；
图1C描绘了在根据所公开的主题的一或多个方面的VVC中使用的4参数仿射运动模型；
图1D描绘了在根据所公开的主题的一或多个方面的VVC中使用的6参数仿射运动模型；
图2示出了以仿射模式和双向帧间预测编码的PU中的4个(即2x2)子块运动矢量；
图3示出了以仿射模式和双向帧间预测中编码的PU中的4个子块运动矢量的参考块边界框；
图4示出了以仿射模式和单向帧间预测(水平方向)编码的PU中的2个子块运动矢量的参考块边界框；
图5示出了以仿射模式和单向帧间预测(垂直方向)编码的PU中的2个子块运动矢量的参考块边界框；
图6是根据所公开的主题的一或多个方面的用于控制仿射模式的存储器带宽消耗的方法的算法流程图；
图7是根据所公开的主题的一或多个方面的用于控制仿射模式的存储器带宽消耗的方法的算法流程图；
图8是根据所公开的主题的一或多个方面的用于在编码器侧控制仿射运动估计中的子块运动矢量扩展的方法的算法流程图；
图9是根据所公开的主题的一或多个方面的用于确定块尺寸的方法的算法流程图；和
图10是示出了可以在其上实施任何优选实施例或任何其它实施例的电路系统的一个实例的框图。
具体实施方式
参考附图详细阐述本说明书，在所述附图中，相似的附图标记始终表示相似的元件或操作。
图1A是示出了所公开的主题的一或多个方面的概述的流程图。在步骤102中，确定参考块边界框尺寸和至少一个阈值。在步骤104中，确定参考块边界框尺寸是否超过至少一个阈值。如果是这样，则在步骤106中使用第一运动补偿操作来进行仿射运动补偿。响应于确定参考块边界尺寸未超过预定阈值，在步骤108中使用与第一运动补偿操作不同的第二仿射运动补偿操作来进行仿射运动补偿。无论哪种方式，在步骤110中输出结果。
图1B示出了根据所公开的主题的一或多个方面的仿射运动模型。关于仿射运动模型，如图1B中所示，x-y坐标系的原点(0,0)可以位于图片的左上角点处。类似地，说明书中具有x-y坐标系的其他附图也可以在图片的左上角处具有x-y坐标的原点(0，0)。通常，以仿射模式和仿射合并模式编码的PU可以具有单向预测或双向预测。单向预测可以对应于列表0或列表1预测，而双向预测可以对应于列表0和列表1双向预测。尽管本文中进一步描述的各种算法描述集中于单向预测模式来解释所述算法，但是应当理解，如果PU以双向仿射或双向仿射合并模式编码，则本文描述的仿射模式和仿射合并模式的过程针对列表0和列表1预测分别进行。在仿射运动模型中，PU内部的样本位置(x,y)处的运动矢量
Figure BDA0002264580460000041
定义如下：
Figure BDA0002264580460000042
其中a,b,c,d,e,f是仿射运动模型参数，其定义了6参数仿射运动模型(参见图1D)。
图1C示出了根据所公开的主题的一或多个方面的4参数仿射运动模型。因为参数是受限的，所以四参数仿射运动模型可以是受限仿射运动模型。例如，4参数模型可以通过在公式1中限制a＝d和b＝-c用四个参数来描述：
Figure BDA0002264580460000043
在4参数仿射运动模型中，通过通过信号发送PU的左上角和右上角处的两个控制点矢量来确定模型参数a,b,e,f。图1C示出了两个控制点矢量(样本位置(x0,y0)处的
Figure BDA0002264580460000044
和样本位置(x1,y1)处的
Figure BDA0002264580460000045
因此，公式2可以重写为：
Figure BDA0002264580460000046
应当理解，在图1C中，(x1-x0)等于PU宽度，并且y1＝y0。因此，两个控制矢量不必为了导出4参数仿射运动模型的参数而位于PU的左上角和右上角处。只要两个控制点具有x1≠x0和y1＝y0，公式3就有效。
图1D示出了根据所公开的主题的一或多个方面的6参数仿射运动模型。可以通过通过信号发送PU的左上角、右上角和左下角处的三个控制点矢量来确定6参数仿射运动模型的模型参数。例如，使用三个控制点矢量(样本位置(x0,y0)处的
Figure BDA0002264580460000051
样本位置(x1,y1)处的
Figure BDA0002264580460000052
和样本位置(x2,y2)处的
Figure BDA0002264580460000053
)，公式1可以重写为：
Figure BDA0002264580460000054
应当理解，在图1D中，(x1-x0)等于PU宽度，(y2-y0)等于PU高度，yx＝y0，并且x2＝x0。因此，为了导出6参数仿射运动模型的参数，三个控制点矢量不必如图1D中所示位于PU的左上角、右上角和左下角处。只要三个控制点满足x1≠x0，y2≠y0，y1＝y0并且x2＝x0，公式4就有效。
此外，为了限制仿射模式的存储器带宽消耗以进行运动补偿，没有针对PU中的每个样本导出以仿射模式编码的PU的运动矢量。例如，如图1C和图1D中所示，PU的子块(例如，4x4块尺寸)内的所有样本共享相同的运动矢量。可以基于仿射模式的子块运动数据导出过程来导出运动矢量，在所述仿射模式下，所述运动矢量是在为子块选择的样本位置(x,y)处并通过使用公式3或公式4导出的，并且使用公式3还是公式4取决于仿射运动模型的类型。在当前的VVC设计中，子块尺寸固定为4x4，并且被选择用于导出以仿射模式编码的PU的子块运动矢量字段的样本位置是PU的每个4x4子块的中心点。
将描述确定参考块边界尺寸的概念。图2示出了以仿射模式和双向帧间预测编码的PU中的4个(即2x2)子块运动矢量并且描绘了以仿射模式和双向帧间预测编码的PU中的4个子块矢量的几何关系。4个子块矢量(子块尺寸m*n)可以是PU内其位置满足以下条件的任何4个子块矢量：
Figure BDA0002264580460000055
通过将公式5代入仿射运动模型，可以通过以下公式导出4个子块矢量
Figure BDA0002264580460000056
Figure BDA0002264580460000061
Figure BDA0002264580460000062
Figure BDA0002264580460000063
可以以任何合适的方式(例如使用公式3或4)计算仿射运动模型的参数(即a,b,c,d)。
为了进行运动补偿，将参考块加载到同位的子块位置周围，其偏移由子块运动矢量确定。图3示出了以仿射模式和双向帧间预测编码的PU中的4个子块运动矢量的参考块边界框。假设(x0,y0)是图3中的子块0的坐标，并且PU中的所有子块具有相等的尺寸m*n，并且fx*fy是在运动补偿中使用的滤波抽头，参考块的左上位置和右下位置的坐标在下面的表1中列出(使用公式7到9)：
表1：四个子块矢量的参考块的左上角和右下角的坐标
Figure BDA0002264580460000064
基于表1中列出的坐标，图3中的参考块边界框的左上角和右下角的坐标(即(xbul,ybul)和(xbbr,ybbr))定义为：
Figure BDA0002264580460000065
Figure BDA0002264580460000066
其中max()和min()是分别用于从数据集中返回最大值和最小值的函数。
通过使用公式6和7，可以通过以下公式计算参考块边界框的宽度和高度(即(bxW4,bxH4))：
Figure BDA0002264580460000071
图4示出了以仿射模式和单向帧间预测(水平方向)编码的PU中的2个子块运动矢量的参考块边界框。可以通过以下公式计算以仿射模式和单向帧间预测编码的PU中的2个子块运动矢量的参考块边界框的宽度和高度(bxWh,bxHh)：
Figure BDA0002264580460000072
如果以仿射模式编码的PU使用单向帧间预测，则参考块边界框也可以在垂直方向上绘制。图5示出了以仿射模式和单向帧间预测(垂直方向)编码的PU中的2个子块运动矢量的参考块边界框。如图5中所示，在本情况下，可以通过以下公式计算参考块边界框尺寸，即(bxWv,bxHv)(另参见表1子块0和2)：
Figure BDA0002264580460000073
从公式12、公式13和公式14中可以看出，参考块边界块尺寸与PU内的子块位置无关；它仅取决于仿射运动模型的参数(即a,b,c,d)、子块尺寸(即m*n)和用于运动补偿的滤波抽头长度(即fx*fy)。
在当前的VVC设计(JVET-P2001)中，用于仿射模式的子块尺寸为4x4(即m＝n＝4)，并且用于仿射模式的亮度(luma)运动补偿的滤波抽头为6x6(即fx＝fy＝6)。VVC的参考块边界框尺寸在公式15、16和17中定义。
Figure BDA0002264580460000074
Figure BDA0002264580460000075
Figure BDA0002264580460000076
由于已经解释了参考块边界框计算的以上概念，本文将进一步描述使用这些概念中的一些或全部的所公开的主题的各个方面。
图6是用于控制仿射模式的存储器带宽消耗的方法的算法流程图。基于为PU接收的CPMV(控制点运动矢量)，解码器计算参考块边界框尺寸并且在参考块框尺寸超过预定阈值的情况下(从仿射模式)切换到回退模式。在本变型中，如果PU使用双向仿射模式，则针对2x2子块矢量计算参考块边界框；并且如果PU使用单向仿射模式，则针对2x1和1x2子块矢量计算参考块边界框。在一个实施方案中，可以应用以下步骤：
1.基于PU的CPMV，在步骤602中计算仿射运动模型参数(a，b，c，d，e，f)。
2.如果在步骤604中确定PU使用双向仿射模式(即bi-pred)，则在步骤606中通过以下公式计算2x2子块矢量的参考块边界框尺寸bxW4*bxH4：
Figure BDA0002264580460000081
其中m*n是子块尺寸，并且fx*fy是亮度运动补偿中使用的滤波抽头尺寸。
3.如果PU使用单向仿射模式(即uni-pred)，则在步骤608中通过以下公式计算2x1子块矢量的参考块边界框尺寸bxWh*bxHh和1x2子块矢量的参考块边界框尺寸bxWv*bxHv：
Figure BDA0002264580460000082
Figure BDA0002264580460000083
其中m*n是子块尺寸，并且fx*fy是仿射模式的亮度运动补偿中使用的滤波抽头尺寸。
4.阈值Thredb、Thredh和Thredv可以被设置为由以下公式定义的值：
Figure BDA0002264580460000084
其中δx*δy>0定义了控制存储器带宽消耗的边限。
5.如果PU使用双向仿射模式(即bi-pred)并且在步骤610中确定bxW4*bxH4≤Thredb，或者如果PU使用单向仿射模式(即uni-pred)并且在步骤612中确定bxWh*bxHh≤Thredh且bxWv*bxHv≤Thredv，则在步骤614中通过使用以下仿射运动模型生成样本位置(x,y)处的PU的子块运动矢量
Figure BDA0002264580460000085
Figure BDA0002264580460000086
其中子块矢量的(x,y)可以是子块的中心位置。
6.否则(回退模式)，如果PU使用双向仿射模式(即bi-pred)并且bxW4*bxH4>Thredb，或者如果PU使用单向仿射模式(即uni-pred)并且bxWh*bxHh>Thredh或bxWv*bxHv>Thredv，则触发回退模式，并在步骤616和618中的相应一个步骤中将样本位置(x,y)处PU的子块运动矢量
Figure BDA0002264580460000091
设置为相同的运动矢量。例如，
Figure BDA0002264580460000092
其中(x0,y0)是PU的中心点的坐标。(x0,y0)可以被设置为PU的其它位置。例如，如果(x0,y0)被设置为PU的左上角的坐标，则PU的所有子块矢量
Figure BDA0002264580460000093
实际上被设置为在左上PU角位置处的PU的控制点运动矢量。
通过将所有子块矢量设置为相同的矢量，回退模式下的2x2、2x1和1x2子块矢量的参考块边界框尺寸分别为(fx+2m-1)*(fy+2n-1)、(fx+2m-1)*(fy+n-1)和(fx+m-1)*(fy+2n-1)，其确保小于预定阈值Thredb、Thredh和Thredv。
7.在步骤620中将所生成的子块矢量传递到运动补偿和其余的解码器处理。
在当前的VVC设计的仿射模式中，子块尺寸固定为4x4(即m＝n＝4)，并且滤波抽头固定为8x8(即fx＝fy＝6)。如果δx和δy被设置为δx＝δy＝2，则阈值Thredb、Thredh和Thredv变为
Figure BDA0002264580460000094
这表示由图6中描述的算法控制的仿射模式的存储器带宽消耗不会超过HEVC的最坏情况的存储器带宽消耗，所述HEVC使用8抽头内插滤波进行8x8双向PU和8x4/4x8单向PU的运动补偿。对于列表0和列表1预测，使用8抽头内插滤波的8x8双向PU的参考块尺寸为15*15，并且对于列表0或列表1预测，8x4/4x8单向PU的参考块尺寸为15*11/11*15。所述值与公式19中设置的阈值匹配。
图7是用于控制仿射模式的存储器带宽消耗的方法的算法流程图。基于为PU接收的CPMV(控制点运动矢量)，解码器计算参考块边界框尺寸并且在参考块框尺寸超过预定阈值的情况下(从仿射模式)切换到回退模式。在本实施例中，始终无关于PU预测类型(单向或双向预测)针对2x2子块矢量计算参考块边界框。在一个实施方案中，可以应用以下步骤：
1.基于PU的CPMV，在步骤702中计算仿射运动模型参数(a,b,c,d,e,f)。
2.在步骤704中通过以下公式计算2x2子块矢量的参考块边界框尺寸bxW4*bxH4
Figure BDA0002264580460000095
其中m*n是子块尺寸，并且fx*fy是亮度运动补偿中使用的滤波抽头尺寸。
3.基于预测类型(单向预测或双向)，阈值Thredb和Thredu可以都设置为(fx+2m-1+δx)*(fy+2n-1+δy)，或设置为不同的值，例如
Figure BDA0002264580460000101
其中δx*δy>0定义了控制存储器带宽消耗的边限。
4.如果在步骤706中确定PU使用双向仿射模式(即bi-pred)并且在步骤708中确定bxW4*bxH4≤Thredb，或者如果PU使用单向仿射模式(即uni-pred)并且在步骤710中确定bxW4*bxH4≤Thredu，则在步骤712中通过使用以下仿射运动模型生成样本位置(x,y)处的PU的子块运动矢量
Figure BDA0002264580460000102
Figure BDA0002264580460000103
其中子块矢量的(x,y)可以是子块的中心位置。
5.否则(回退模式)，如果PU使用双向仿射模式(即bi-pred)并且bxW4*bxH4>Thredb，或者如果PU使用单向仿射模式(即uni-pred)并且bxW4*bxH4>Thredu，则在步骤714和716中的相应一个步骤中触发回退模式，并且将样本位置(x,y)处的PU的子块运动矢量
Figure BDA0002264580460000104
设置为相同的运动矢量。例如，
Figure BDA0002264580460000105
其中(x0,y0)是PU的中心点的坐标。(x0,y0)可以被设置为PU的其它位置。例如，如果(x0,y0)被设置为PU的左上角的坐标，则PU的所有子块矢量
Figure BDA0002264580460000106
实际上被设置为在左上PU角位置处的PU的控制点运动矢量。
通过将所有子块矢量设置为相同的矢量，回退模式下的2x2子块矢量的参考块边界框尺寸为(fx+2m-1)*(fy+2n-1)，其确保小于预定阈值Thredb和Thredu。
6.在步骤718中将所生成的子块矢量传递到运动补偿和其余的解码器处理。
应当理解，在双向仿射模式下，PU具有列表0和列表1预测。在所公开的主题中，利用PU的相应列表0/列表1仿射运动模型参数(a,b,c,d)针对列表0和列表1预测独立地计算参考边界框尺寸bxW4*bxH4，并且针对列表0和列表1预测单独设置阈值Thredb(尽管阈值的值可能相同)。利用上述存储器带宽控制算法，对于以双向仿射模式编码的PU，可能存在以下四种组合：1)针对PU的列表0和列表1运动补偿都使用常规子块运动矢量字段；2)针对列表0运动补偿使用常规子块运动矢量字段，但针对列表1运动补偿使用回退模式(即整个PU的列表1预测的单个矢量)；3)针对列表0运动补偿使用回退模式(即整个PU的列表0预测的单个矢量)，但针对列表1运动补偿使用常规子块运动矢量字段；和4)针对列表0和列表1运动补偿都使用回退模式(即整个PU的列表0预测的第一单个矢量和列表1预测的第二单个矢量)。
图8是用于在编码器侧控制仿射运动估计中的子块运动矢量扩展的方法的算法流程图。基本思想是将子块运动矢量扩展约束在PU级别。子块运动矢量扩展可以通过使用参考块边界框尺寸来测量。在编码器决定过程期间，编码器确保仿射模式(如果选择其用于PU)使子块运动矢量扩展受到约束，以满足PU级别的最坏情况的存储器带宽消耗的预定预算。在仿射运动估计期间(其中针对PU的仿射模式，对一组候选CPMV(控制点运动矢量)进行评估)，可以应用以下步骤：
1.基于候选点的CPMV，在步骤802中计算仿射运动模型参数(a,b,c,d,e,f)。
2.如果PU使用双向仿射模式(即bi-pred)，如在步骤804中所确定，则在步骤806中通过使用公式12来计算参考边界框尺寸bxW4*bxH4。否则，如果PU使用单向仿射模式，则在步骤808中通过分别使用公式13和公式14来计算参考边界框的尺寸bxWh*bxHh和bxWv*bxHv。
3.为了将子块运动矢量扩展控制在PU级别，在以下情况下，跳过当前候选点进行成本评估：
a.如果如步骤810中所确定，PU使用双向仿射模式(即bi-pred)，并且bxW4*bxH4>Thred4。
b.或者如果如在步骤812中所确定，PU使用单向仿射模式，并且bxWh*bxHh>Thredh或bxWv*bxHv>Thredv，其中Thred4、Thredh和Thredv可以通过使用公式18来预定义。
4.否则，通过使用仿射运动模型参数(a,b,c,d,e,f)、参考块数据和原始PU数据来在步骤814中计算当前候选点的成本。
5.然后，在步骤816中更新最佳匹配点的成本。
6.重复步骤802至816以遍历PU的所有候选点，以获得递送最佳速率失真成本的PU的估计CPMV。
如果可用，则可以针对规则运动矢量的成本和针对PU所估计的帧内预测模式，进一步评估PU的估计仿射CPMV，以决定当前PU是否应以仿射模式进行编码。
通过使用所提出的方法，仿射模式的最坏情况的存储器带宽消耗不仅限于子块级别，而且还限于PU级别。注意，在仿射模式的PU内的子块运动矢量扩展由仿射参数(a,b,c,d)确定。
应当理解，在步骤810中，关于参考边界框尺寸是否超过预定阈值的决定是针对以双向框仿射模式编码的PU的列表0和列表1预测独立地进行的。
所述限制还可以由比特流约束来施加。例如，比特流约束可以如下指定：
符合VVC标准的比特流应满足以下条件：
1.如果PU使用双向仿射模式(即bi-pred)，则参考块边界框尺寸bxW4*bxH4小于或等于Thred4。
2.否则，如果PU使用单向仿射模式，则参考块边界框尺寸bxWh*bxHh和bxWv*bxHv分别小于或等于Thredh和Thredv。
图8中所描绘的实施方案仅展示了所述实施例的一个实例；可以实施其它变型。例如：
1.代替在单向仿射模式的情况下使用水平方向上的边界框(即bxWh,bxHh和Thredh)以及垂直方向上的边界框(即bxWv,bxHv和Thredv)，可以使用水平方向或垂直方向上的边界框。
2.代替在双向仿射模式的情况下计算4个子块矢量(2x2连续子块矢量)的阈值和边界框尺寸并且在单向仿射模式的情况下计算2个子块矢量(水平和/或垂直方向)的阈值和边界框尺寸，可以针对具有PU的其它数量的连续子块矢量计算阈值和边界框尺寸。
3.可以无关于预测类型(即双向或单向仿射模式)而施加约束。在一个实施方案中，约束可以简单地表达为“符合VVC标准的比特流应满足参考块边界框尺寸bxW4*bxH4小于或等于Thred4。
4.代替使用固定的子块尺寸m*n(例如，4x4)，可以进一步使子块尺寸自适应以施加另外的子块级别的约束。
图9是用于确定块尺寸的方法的算法流程图。在步骤902中，确定参考块边界框尺寸和至少一个阈值。在步骤904中，对参考块边界框尺寸和所述至少一个阈值进行比较。如果参考块边界框尺寸超过所述至少一个阈值，则在步骤906中，使用子块尺寸m'*n'(或按需，m'*n或m*n'，其中m'>m并且n'>n)来生成仿射子块运动矢量字段并进行仿射运动补偿。否则，在步骤908中，使用子块尺寸m*n。可以使用双向、水平单向和垂直单向模式的任何组合。在步骤910中输出结果。
例如，可以基于以仿射模式编码的PU的形状来修改存储器带宽控制算法：
1.如果以仿射模式编码的PU使用双向帧间预测，并且四个子块矢量的参考块边界框尺寸超过预定阈值(即bxW4*bxH4>Thred4)，则使用子块尺寸m'*n'(其中m'>m并且n'>n)来生成PU的运动补偿的子块运动数据字段。否则，使用子块尺寸m*n。
2.否则，如果以仿射模式编码的PU使用单向帧间预测，并且如果两个子块矢量的参考块边界框尺寸在水平和垂直方向上都超过预定阈值(即bxWh*bxHh>Thredh，并且bxWv*bxHv>Thredv)，若PU宽度大于PU高度，则使用子块尺寸m′*n(其中m′>m)，或者若PU宽度小于或等于PU高度，则使用m*n′(其中n′>n)。
否则，使用子块尺寸m*n来生成PU的运动补偿的子块运动数据字段。
在另一个变型中，代替基于参考块边界框的尺寸自适应地选择子块尺寸，所述选择可以基于参考块边界框的宽度和/或高度，和/或基于DDR突发尺寸和对齐，或基于上述参数的任何组合(即参考块边界框的尺寸、宽度和高度，DDR突发尺寸和对齐等)。
应当理解，在所公开的主题中，比特流约束和/或子块尺寸自适应是针对以双向仿射模式编码的PU的列表0和列表1预测独立地进行的。
在另一个变型中，用于运动补偿的仿射模式的子块矢量可以与用于(仿射)合并/AMVP列表推导(用作空域相邻候选)、用于去块滤波和用于时域运动矢量(TMVP)的存储的仿射模式的子块矢量相同或不同。例如，用于运动补偿的仿射模式的子块运动矢量可以由自适应地选择子块尺寸(例如，自适应地选择8x8/8x4)的算法生成，而用于(仿射)合并/AMVP列表推导(用作空域相邻候选)、用于去块滤波和用于时域运动矢量(TMVP)的存储的仿射模式的子块运动矢量可以通过使用固定的子块尺寸(例如，4x4)来生成。在另一个实例中，用于运动补偿、用于(仿射)合并/AMVP列表推导(用作空域相邻候选)、用于去块滤波和用于时域运动矢量(TMVP)的存储的仿射模式的子块运动矢量可以由本文所述的自适应地选择子块尺寸(例如，自适应地选择8x8/8x4)的算法生成。
参考图10描述了根据示范性实施例或用于编码和/或解码视频的任何其它实施例的计算机/装置(例如，图像处理装置1000)的硬件描述。在图10中，图像处理装置1000包含CPU 1002，其进行上述一或多个过程。过程数据和指令可以存储在存储器1004中，所述存储器1004可以是暂时的、非暂时的或两者的组合。待编码/解码的视频(数据)可以来自任何来源，例如外部存储器、网络1006或其它位置/装置。这些过程和指令还可以存储在存储媒体盘1008(例如，硬盘驱动器(HDD)或便携式存储媒体)上，或者可以远程地存储。此外，所要求的进展不受存储本发明过程的指令的计算机可读媒体的形式的限制。例如，指令可以存储在CD、DVD上，或存储在闪速存储器、RAM、ROM、PROM、EPROM、EEPROM、硬盘或与图像处理装置1000通信的任何其它信息处理装置(例如，图像处理装置或计算机)中。
此外，所要求的进展可以作为连同CPU 1002和操作系统(例如，MicrosoftWindows、UNIX、Solaris、LINUX、Apple MAC-OS和其它合适的操作系统)一起执行的实用应用、后台守护进程或操作系统组件或其组合而被提供。
图像处理装置1000可以是通用计算机或特定的专用机器。在一个实施例中，当处理器1002被编程成进行网络性能测试时，图像处理装置1000成为特定的专用机器。图像处理装置可以被实施为编码器、解码器或对图像进行编码和解码的装置。可以在移动电话、膝上型计算机、平板计算机、通用计算机、机顶盒、视频解码装置(例如，Amazon Fire TVStick或装置)、Roku装置、电视、视频监视器、照相机、摄像机、扫描仪、多功能打印机、汽车显示器或任何所需的装置中实施图像处理装置。
可替代地或另外地，如本领域普通技术人员将认识到，CPU 1002可以在FPGA、ASIC、PLD上实施或使用分立逻辑电路来实施。此外，CPU 1002可以被实施为并行地协同工作以进行上述本发明过程的指令的多个处理器。
图10中的图像处理装置1000还包含网络控制器1010(例如，购自美国英特尔公司的英特尔以太网PRO网络接口卡)，用于与网络1006接口连接。可以理解，网络1006可以是公共网络(例如，因特网)、或专用网络(例如，LAN或WAN网络)或其任何组合，并且还可以包含PSTN或ISDN子网络。网络1006也可以是有线的(例如，以太网)，或者可以是无线的(例如，蜂窝网络，包含EDGE、3G和4G无线蜂窝系统)。无线网络还可以是WiFi、蓝牙或任何其它已知的无线通信形式。
图像处理装置1000进一步包含显示控制器1012(例如，图形卡)或用于与显示器1014(例如，监视器)接口连接的图形适配器。通用I/O接口1016与键盘和/或鼠标1018以及显示器1014上或与显示器1014分离的触摸屏面板1020接口连接。通用I/O接口还连接到多种外围设备1022(包含打印机和扫描仪)。
声音控制器1024还设置在图像处理装置1000中以与扬声器/麦克风1026接口连接，从而提供声音和/或音乐。
通用存储控制器1028将存储媒体盘1008与通信总线1030连接，所述通信总线1030可以是ISA、EISA、VESA、PCI等，以用于互连图像处理装置1000的所有组件。为了简洁起见，本文省略了对显示器1014、键盘和/或鼠标1018以及显示器控制器1012、存储控制器1028、网络控制器1010、声音控制器1024和通用I/O接口1016的一般特征和功能的描述。
在本公开的上下文中描述的示范性电路元件可以用其它元件替代并且以与本文提供的实例不同的方式构造。此外，可以在多个电路单元(例如，芯片)中实施被配置成进行本文描述的特征的电路系统，或者可以在单个芯片组上的电路系统中组合所述特征。就此而言，能够实施上述实施例中的任何一个或任何其它实施例的任何硬件和/或软件可以代替或补充以上公开的内容而使用。
本文描述的功能和特征也可以由系统的各种分布式组件来执行。例如，一或多个处理器可以执行这些系统功能，其中处理器跨在网络中通信的多个组件分布。除了各种人类接口和通信装置(例如，显示监视器、智能电话、平板计算机、个人数字助理(PDA))之外，分布式组件还可以包含可以共享处理的一或多个客户端和服务器机器所述网络可以是专用网络(例如，LAN或WAN)，或者可以是公共网络(例如，因特网)。系统的输入可以经由直接的用户输入接收，并且可以实时地或以批处理方式远程接收。另外，一些实施方案可以在与所描述的模块或硬件不同的模块或硬件上进行。因此，其它实施方案也在可能要求的范围内。
尽管上面已经阐述了优选实施例，但是查阅了本公开的本领域技术人员将容易理解，在本公开的范围内可以实现其它实施例。例如，数值和具体技术的公开内容是说明性的而不是限制性的。而且，只要技术上可行，可以对来自不同实施例的特征进行组合，并且进行操作的顺序可以有所不同。此外，只要技术上可行，本文公开的任何特征都可以用于编码、解码或两者。所公开的主题的一或多个方面不限于VVC实施方案并且可与任何视频编码/解码系统一起使用。因此，所公开的主题的一或多个方面应被解释为仅由所附权利要求书限制。

Claims (20)

1.一种用于视频编码或解码的装置，其包括：
电路系统，其被配置成
输入数字视频；
对已输入的数字视频进行编码或解码；和
输出已编码或解码的所述数字视频，其中：
所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元“PU”使用帧间预测和参考块边界框尺寸；以及确定所述参考块边界尺寸是否超过至少一个预定阈值；
响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和
响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
2.根据权利要求1所述的装置，其中所述电路系统进一步被配置成通过确定所述PU的多个连续子块矢量的所述参考块边界框的左上角和右下角的坐标并基于所述坐标计算所述参考块边界框的宽度和高度来计算所述参考块边界框尺寸。
3.根据权利要求2所述的装置，其中基于预测类型是单向预测或双向预测来计算所述参考块边界框尺寸。
4.根据权利要求1所述的装置，其中基于预测类型是单向预测或双向预测来设置所述至少一个预定阈值。
5.根据权利要求1所述的装置，其中所述电路系统进一步被配置成
计算所述参考块边界框尺寸，以确定所述参考块边界尺寸是否超过所述至少一个预定阈值，和
分别针对所述PU的列表0和列表1预测响应于确定而进行所述第一运动补偿操作或所述第二运动补偿操作。
6.根据权利要求1所述的装置，其中在所述第一运动补偿操作中，将所述PU的所有子块矢量设置为相同矢量，所述相同矢量是针对所述PU中的单个点的仿射运动矢量。
7.根据权利要求1所述的装置，其中在所述第二运动补偿操作中，基于子块尺寸来生成仿射运动补偿的仿射子块运动矢量字段。
8.根据权利要求1所述的装置，其中在所述第一运动补偿操作中，通过使用较大子块尺寸来生成运动补偿的仿射子块运动矢量字段。
9.根据权利要求1所述的装置，其中所述电路系统进一步被配置成
为所述PU选择控制点运动矢量，以使所得的参考块边界框尺寸不超过一或多个预定阈值。
10.一种视频编码或解码的方法，其包括：
输入数字视频；
对已输入的所述数字视频进行编码或解码；和
输出已编码或解码的所述数字视频，其中：
所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元“PU”使用帧间预测和参考块边界框尺寸；以及确定所述参考块边界尺寸是否超过至少一个预定阈值；
响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和
响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
11.根据权利要求10所述的方法，其进一步包括：
通过确定所述PU的多个连续子块矢量的所述参考块边界框的左上角和右下角的坐标并基于所述坐标计算所述参考块边界框的宽度和高度来计算所述参考块边界框尺寸。
12.根据权利要求11所述的方法，其进一步包括：
基于预测类型是单向预测或双向预测来计算所述参考块边界框尺寸。
13.根据权利要求10所述的方法，其进一步包括：
基于预测类型是单向预测或双向预测来设置所述至少一个预定阈值。
14.根据权利要求10所述的方法，其进一步包括：
计算所述参考块边界框尺寸，以
确定所述参考块边界尺寸是否超过所述至少一个预定阈值，和
分别针对所述PU的列表0和列表1预测响应于确定而进行所述第一运动补偿操作或所述第二运动补偿操作。
15.根据权利要求10所述的方法，其中在所述第一运动补偿操作中，将所述PU的所有子块矢量设置为相同矢量，所述相同矢量是针对所述PU中的单个点的仿射运动矢量。
16.根据权利要求10所述的方法，其中在所述第二运动补偿操作中，基于子块尺寸来生成仿射运动补偿的仿射子块运动矢量字段。
17.根据权利要求10所述的方法，其中在所述第一运动补偿操作中，通过使用较大子块尺寸来生成运动补偿的仿射子块运动矢量字段。
18.根据权利要求10所述的方法，其进一步包括：
为所述PU选择控制点运动矢量，以使所得的参考块边界框尺寸不超过一或多个预定阈值。
19.一种非暂时性计算机可读存储介质，其存储指令，所述指令在一或多个处理器上执行时控制所述一或多个处理器进行视频编码或解码的方法，所述方法包括：
输入数字视频；
对已输入的所述数字视频进行编码或解码；和
输出已编码或解码的所述数字视频，其中：
所述编码或解码包含：在仿射模式下进行仿射运动补偿，其中以所述仿射模式编码的所述数字视频的预测单元“PU”使用帧间预测和参考块边界框尺寸；以及确定所述参考块边界尺寸是否超过至少一个预定阈值；
响应于确定所述参考块边界尺寸超过所述至少一个预定阈值，使用第一运动补偿操作来进行所述仿射运动补偿；和
响应于确定所述参考块边界尺寸未超过所述至少一个预定阈值，使用与所述第一运动补偿操作不同的第二运动补偿操作来进行所述仿射运动补偿。
20.根据权利要求19所述的非暂时性计算机可读存储介质，其进一步包括：
通过确定所述PU的多个连续子块矢量的所述参考块边界框的左上角和右下角的坐标并基于所述坐标计算所述参考块边界框的宽度和高度来计算所述参考块边界框尺寸。
CN201911083188.XA 2018-11-07 2019-11-07 用于视频编码或解码的装置和方法 Active CN111163321B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201862757004P 2018-11-07 2018-11-07
US62/757,004 2018-11-07
US201862769875P 2018-11-20 2018-11-20
US62/769,875 2018-11-20
US201962792195P 2019-01-14 2019-01-14
US62/792,195 2019-01-14
US16/665,484 US11212521B2 (en) 2018-11-07 2019-10-28 Control of memory bandwidth consumption of affine mode in versatile video coding
US16/665,484 2019-10-28

Publications (2)

Publication Number Publication Date
CN111163321A true CN111163321A (zh) 2020-05-15
CN111163321B CN111163321B (zh) 2022-11-29

Family

ID=68581142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911083188.XA Active CN111163321B (zh) 2018-11-07 2019-11-07 用于视频编码或解码的装置和方法

Country Status (3)

Country Link
US (2) US11212521B2 (zh)
EP (1) EP3651465A1 (zh)
CN (1) CN111163321B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700922B (zh) * 2018-04-02 2020-08-01 聯發科技股份有限公司 用於視訊編解碼系統中的子塊運動補償的視訊處理方法和裝置
US10904550B2 (en) * 2019-01-12 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11792423B2 (en) * 2019-11-22 2023-10-17 Qualcomm Incorporated Early termination of motion vector refinement process in video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100155464A1 (en) * 2008-12-22 2010-06-24 Canon Kabushiki Kaisha Code detection and decoding system
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
CN108629284A (zh) * 2017-10-28 2018-10-09 深圳奥瞳科技有限责任公司 基于嵌入式视觉系统的实时人脸跟踪和人脸姿态选择的方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037988A (en) * 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6553069B1 (en) * 1999-06-17 2003-04-22 Samsung Electronics Co., Ltd. Digital image segmenting method and device
US7210099B2 (en) * 2000-06-12 2007-04-24 Softview Llc Resolution independent vector display of internet content
US7831088B2 (en) * 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
KR20050078706A (ko) * 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
US8238429B2 (en) * 2005-12-02 2012-08-07 Texas Instruments Incorporated Statistically cycle optimized bounding box for high definition video decoding
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US7924317B2 (en) * 2008-03-12 2011-04-12 Aptina Imaging Corporation Method and apparatus for reducing motion blur in digital images
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8175617B2 (en) * 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8660355B2 (en) * 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
KR101066068B1 (ko) * 2011-03-22 2011-09-20 (주)유디피 듀얼 카메라를 이용한 영상 감시 장치 및 방법
US20140092439A1 (en) * 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
US9274742B2 (en) * 2012-10-25 2016-03-01 PixiOnCloud, Inc. Visual-symbolic control of remote devices having display-based user interfaces
KR102121558B1 (ko) * 2013-03-15 2020-06-10 삼성전자주식회사 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더
CN106714681A (zh) * 2014-07-23 2017-05-24 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法
KR102469145B1 (ko) * 2015-10-13 2022-11-21 삼성전자주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2017130696A1 (ja) * 2016-01-29 2017-08-03 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
SG11201806865YA (en) * 2016-03-15 2018-09-27 Mediatek Inc Method and apparatus of video coding with affine motion compensation
US10659801B2 (en) * 2016-03-24 2020-05-19 Lg Electronics Inc. Method and apparatus for inter prediction in video coding system
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017195554A1 (ja) * 2016-05-13 2017-11-16 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置。
US20180047193A1 (en) * 2016-08-15 2018-02-15 Qualcomm Incorporated Adaptive bounding box merge method in blob analysis for video analytics
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
CN109804630A (zh) * 2016-10-10 2019-05-24 夏普株式会社 对视频数据编码执行运动补偿的系统以及方法
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
WO2018128379A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2018128380A1 (ko) * 2017-01-03 2018-07-12 엘지전자(주) 어파인 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
US10553091B2 (en) * 2017-03-31 2020-02-04 Qualcomm Incorporated Methods and systems for shape adaptation for merged objects in video analytics
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR20210084691A (ko) 2018-01-15 2021-07-07 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100155464A1 (en) * 2008-12-22 2010-06-24 Canon Kabushiki Kaisha Code detection and decoding system
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
CN108605137A (zh) * 2016-03-01 2018-09-28 联发科技股份有限公司 利用仿射运动补偿的视频编码方法与装置
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
CN108629284A (zh) * 2017-10-28 2018-10-09 深圳奥瞳科技有限责任公司 基于嵌入式视觉系统的实时人脸跟踪和人脸姿态选择的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TZU-DER CHUANG 等: "CE9.2.1: Bilateral matching merge mode", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 11TH MEETING: LJUBLJANA, SI, 10–18 JULY 2018》 *

Also Published As

Publication number Publication date
EP3651465A1 (en) 2020-05-13
CN111163321B (zh) 2022-11-29
US20200145650A1 (en) 2020-05-07
US11212521B2 (en) 2021-12-28
US20220232204A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7252282B2 (ja) 画像予測方法および関連装置
CN111163321B (zh) 用于视频编码或解码的装置和方法
CN113784132B (zh) 用于帧间预测的运动向量舍入、截取和存储的方法和装置
KR102005007B1 (ko) 픽쳐 예측 방법 및 관련 장치
CN116506609B (zh) 用于在视频编码中用信号发送合并模式的方法和装置
WO2021030502A1 (en) Methods and apparatuses for adaptive motion vector resolution in video coding
CN115280779A (zh) 用于仿射运动补偿预测细化的方法和装置
JP2024016288A (ja) ビデオコーディングにおけるデコーダ側動きベクトル補正のための方法および装置
CN116491120A (zh) 用于仿射运动补偿预测细化的方法和装置
EP4349017A1 (en) Methods and devices for overlapped block motion compensation for inter prediction
WO2022032028A1 (en) Methods and apparatuses for affine motion-compensated prediction refinement
EP4315860A1 (en) Overlapped block motion compensation for inter prediction
CN115997382A (zh) 用于针对视频编解码的预测相关残差缩放的方法和设备
CN114342390B (zh) 用于仿射运动补偿的预测细化的方法和装置
CN114128263B (zh) 用于视频编解码中的自适应运动矢量分辨率的方法和设备
JP2018085608A (ja) 画像符号化装置、画像符号化方法及びコンピュータプログラム
WO2021248135A1 (en) Methods and apparatuses for video coding using satd based cost calculation
JP6331972B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP6248648B2 (ja) 情報処理装置、符号化単位の選択方法、及びプログラム
JP2015046723A (ja) 動画像符号化装置及び画面内予測モード決定方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant