CN108028939A - 用于视频编解码的解码器侧的运动推导的方法和装置 - Google Patents

用于视频编解码的解码器侧的运动推导的方法和装置 Download PDF

Info

Publication number
CN108028939A
CN108028939A CN201680051111.2A CN201680051111A CN108028939A CN 108028939 A CN108028939 A CN 108028939A CN 201680051111 A CN201680051111 A CN 201680051111A CN 108028939 A CN108028939 A CN 108028939A
Authority
CN
China
Prior art keywords
motion vector
template
current block
current
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680051111.2A
Other languages
English (en)
Other versions
CN108028939B (zh
Inventor
庄子德
陈庆晔
徐志玮
黄毓文
林建良
孙域晨
沈怡廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN108028939A publication Critical patent/CN108028939A/zh
Application granted granted Critical
Publication of CN108028939B publication Critical patent/CN108028939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了使用基于双向匹配或模板匹配的解码器推导运动信息的视频编码的方法和设备。根据一种方法，初始运动向量(motion vector，MV)索引在编码器侧的视频比特流中发信，或者由解码器侧的视频比特流确定。然后使用双向匹配、模板匹配或同时使用二者来推导所选择的MV以微调与初始MV索引相关的初始MV。在另一种方法中，当列表0和列表1的MV均存在于模板匹配中时，如果成本低于双向预测模板匹配，则两个MV之间的最小成本MV可用于单向预测模板匹配。根据又一种方法，MV搜索的微调取决于块尺寸。根据另一种方法，合并候选MV对始终用于双向匹配或模板匹配。

Description

用于视频编解码的解码器侧的运动推导的方法和装置
优先权声明
本申请基于且要求于2015年9月2日提交的申请号为62/213,257的美国临时专利申请的优先权，其整体以引用的方式并入本文。
技术领域
本发明涉及使用解码器侧推导的运动信息进行视频编解码的运动补偿，特别是涉及使用双向匹配和/或模板匹配技术来合并运动向量推导而使得性能的提升或复杂度的降低。
背景技术
在使用运动补偿帧间预测的一般视频编解码系统中，运动信息通常从编码器侧传输到解码器侧，这样解码器可以正确地执行运动补偿帧间预测。在这样的系统中，运动信息将会消耗一些编解码位。为了提高编解码的效率，在在VCEG-AZ07(Jianle Chen等人，Further Improvement to HMKTA-1.0，ITU-Telecommunications StandardizationSector，Study Group 16Question 6，视频编解码专家组(VCEG，Video Coding ExpertsGroup)，第五十二次会议：2015年6月19日至26日，波兰华沙)公开了解码器侧的运动向量的推导方法。根据VCEG-AZ07，解码器侧的运动向量的推导方法使用两种帧率提升(FrameRate Up-Conversion，FRUC)模式。其中一种FRUC模式称为B切片的双向匹配，而另一种FRUC模式称为P切片或B切片的模板匹配。
图1是FRUC双向匹配模式的示例，其中，基于两个参考图片推导用于当前块110的运动信息。通过在两个不同参考图片(即，Ref0和ref1)中沿着当前块的运动轨迹找到两个块(120和130)之间的最佳匹配来推导当前块110的运动信息。在连续运动轨迹的假设下，指向两个参考块的与ref0相关的运动向量MV0和与Ref1相关的运动向量MV1应当与当前图片(即，图片pic)和两张参考图片与之间的时间距离(即TD0和TD1)成比例。
图2是模板匹配FRUC模式的示例。当前图片(即，Cur pic)中的当前块210的相邻区域(220a和220b)被用作模板以与参考图片(即Ref0)中的对应模板(230a和230b)相匹配。模板220a/220b与模板230a/230b之间的最佳匹配将确定解码器推导的运动向量240。虽然图2用Ref0用作参考图片，Ref1也可用作参考图片。
根据VCEG-AZ07，当merge_flag或skip_flag为真时，则发信FRUC_mrg_flag。如果FRUC_mrg_flag为1，则发信FRUC_merge_mode以指示是选择双向匹配合并模式还是模板匹配合并模式。如果FRUC_mrg_flag为0，则意味着使用常规合并模式并且在这种情况下发信合并索引。在视频编解码中，为了提高编解码效率，可以使用运动向量预测(motion vectorprediction，MVP)来预测用于块的运动向量，其中会生成候选项列表。合并候选项列表可以用于在合并模式下对块进行编解码。当合并模式被用于编解码块时，块的运动信息(例如运动向量)可以由合并MV列表中的候选项MV之一来表示。因此，不是直接发送块的运动信息，而是将合并索引发送到解码器侧。解码器保持相同的合并列表，并使用该合并索引来取回合并索引通过信号发送的合并候选项。通常，合并候选项列表由少量候选项组成，并且发送合并索引比发送运动信息效率更高。当一个块以合并模式编解码时，运动信息通过信号发信合并索引而不是具体发送来与相邻块的运动信息“合并”。但是，预测残差仍然被发送。在预测残差为零或非常小的情况下，预测残差被“跳过”(即，跳过模式)，并且通过具有合并索引的跳过模式对块进行编解码以识别合并列表中的合并MV。
尽管术语FRUC表示帧率提升的运动向量推导，但是底层技术旨在用于解码器推导一个或多个合并MV候选项，并且不需要具体发送运动信息。因此，在本公开中FRUC也被称为解码器推导的运动信息。由于模板匹配方法是基于模式的MV推导技术，所以在本发明中FRUC技术也被称为基于模式的MV推导(Pattern-based MV Derivation，PMVD)。
在解码器侧MV推导方法中，通过扫描所有参考帧中的所有MV来推导出被称为时间推导MVP的新的时间MVP。为了推导LIST_0时间推导MVP，对于LIST_0参考帧中的每个LIST_0MV，MV被缩放以指向当前帧。当前帧中该缩放MV指向的4x4块是目标当前块。MV被进一步缩放以指向目标当前块LIST_0中refIdx等于0的参考图片。进一步缩放的MV存储在目标当前块的LIST_0MV字段中。图3A和图3B分别是为List_0和List_1推导时间推导MVP的示例。在图3A和图3B中，每个小方块对应于一个4×4块。时间推导的MVP过程扫描所有参考图片中所有4x4块中的所有MV以生成当前帧的时间推导的LIST_0和LIST_1MVP。例如，在图3A中，块310、块312和块314分别对应于当前图片的4×4块，具有等于0的索引(即，refidx＝0)的List_0参考图片和具有等于1的索引(即，refidx＝1)的List_0参考图片。索引等于1的List_0参考图片中的两个块的运动向量320和330是已知的。然后，可以通过分别缩放运动向量320和330来推导时间推导MVP 322和332。缩放后的MVP然后被分配给对应的块。类似地，在图3B中，块340、块342和块344分别对应于当前图片的4×4块，具有等于0的索引(即，refidx＝0)的List_1参考图片和具有等于1的索引(即，refidx＝1)的List_1参考图片。索引等于1的List_1参考图片中两个块的运动向量350和360是已知的。然后，可以通过分别缩放运动向量350和360来推导时间推导MVP 352和362。
对于双向匹配合并模式和模板匹配合并模式，应用两阶段匹配。第一阶段是PU级匹配，第二阶段是子PU级匹配。在PU级别匹配中，分别选择LIST_0和LIST_1中的多个初始MV。这些MV包括来自合并候选项(即，诸如HEVC标准中指定的常规合并候选项)的MV和来自时间推导MVP的MV。为两个列表生成两个不同的开始MV集。对于一个列表中的每个MV，通过组成该MV和通过将该MV缩放到另一个列表而推导的镜像MV来生成MV对。对于每个MV对，使用该MV对来补偿两个参考块。计算这两个块的绝对差值之和(sum of absolutelydifferences，SAD)。具有最小SAD的MV对被选为最佳MV对。
在为PU推导最佳MV之后，执行钻石搜索以微调MV对。微调精度为1/8像素。微调搜索范围限制在±1个像素内。最终的MV对是PU级别推导MV对。钻石搜索是在视频编解码领域众所周知的快速块匹配运动估计算法。因此，此处不重复钻石搜索算法的细节。
对于第二阶段子PU级搜索，当前PU被划分成子PU。子PU的深度(例如3)在序列参数集(sequence parameter set，SPS)中被发信。最小子PU尺寸是4x4块。对于每个子PU，选择LIST_0和LIST_1中的多个开始MV，其包括PU级推导MV的MV、零MV、当前子PU和右下块的HEVC同位TMVP、当前子PU的时间推导MVP以及左边和上部的PU/子PU的MV。通过使用与PU级搜索相似的机制，确定子PU的最佳MV对。进行钻石搜索以微调MV对。执行该子PU的运动补偿以生成该子PU的预测子。
对于模板匹配合并模式，使用上4行和左4列的重构像素来形成模板。执行模板匹配以找到具有对应MV的最佳匹配模板。两阶段匹配也适用于模板匹配。在PU级别匹配中，分别选择LIST_0和LIST_1中的多个开始MV。这些MV包括来自合并候选项(即，例如HEVC标准中指定的这些合并候选项的常规合并候选项)的MV和来自时间推导的MVP的MV。为两个列表生成两个不同的开始MV集。对于一个列表中的每个MV，计算具有MV的模板的SAD成本。成本最小的MV为最佳MV。然后执行钻石搜索以微调MV。微调精度为1/8像素。微调搜索范围限制在±1个像素内。最终的MV是PU级别推导MV。LIST_0和LIST_1中的MV是独立生成的。
对于第二阶段子PU级搜索，当前PU被划分为子PU。子PU的深度(例如3)在SPS中用信号通知。最小子PU尺寸是4x4块。对于左边或顶部PU边界处的每个子PU，选择LIST_0和LIST_1中的多个起始MV，其包括PU级推导MV的MV、零MV、当前子PU和右下块的HEVC同位TMVP，当前子PU的时间推导MVP，以及左边和上部PU/子PU的MV。通过使用与PU级搜索相似的机制，确定子PU的最佳MV对。进行钻石搜索以微调MV对。执行该子PU的运动补偿以生成该子PU的预测子。对于不在左边或顶部PU边界处的这些PU，不应用第二阶段子PU级搜索，并且对应的MV被设置为等于第一阶段中的MV。
在该解码器MV推导方法中，模板匹配还用于生成用于帧间模式编解码的MVP。当选择参考图片时，执行模板匹配以在所选参考图片上找到最佳模板。其对应的MV是推导MVP。这个MVP被插入AMVP的第一个位置。AMVP表示高级MV预测，其中当前MV使用候选项列表进行预测编解码。当前MV与候选项列表中的所选MV候选项之间的MV差异被编码。
尽管解码器推导的运动信息方法可以降低发信运动信息相关的比特率，但是该方法尝试各种模式(例如，FRUC模式、TMVP、AMVP等)的各种运动向量候选项。这种处理不仅由于需要访问各种运动向量候选项和各种模式的参考数据引起的导致高计算负载，还会导致高系统存储带宽。因此，需要开发减少存储器带宽和/或计算负载的技术。
发明内容
本发明公开了使用运动补偿的视频编解码的方法和装置。根据本发明的一个方法，初始运动向量(motion vector，MV)索引在编码器侧的视频比特流中发信，或者在解码器侧的视频比特流确定。然后使用双向匹配、模板匹配或同时使用两者来推导所选择的MV,以微调与初始MV索引相关的初始MV。根据包括所选MV的一组MV候选项或MVP候选项确定最终MV或最终运动向量预测子(motion vector predictor，MVP)。分别在编码器侧或解码器侧使用最终MV或最终运动向量预测子(motion vector predictor，MVP)对当前块或当前块的MV进行编码或解码。
在一个实施例中，初始MV索引对应于用于选择合并MV候选项的合并索引。不同的编码字或不同的环境可以用于对不同的切片类型的初始MV索引进行编解码。可以使用预定义的MV生成处理来推导目标MV，并且初始MV索引指示目标MV。此外，可以使用率失真优化(rate-distortion optimization，RDO)处理来来在包括所述发信的初始运动向量和一个或多个其他运动补偿处理的当前运动补偿处理中选择，通过试行一组起始运动向量选择第二最终运动向量而无需发信给初始运动向量。
在另一种方法中，使用模板匹配来确定与第一和第二参考列表相关的第一和第二MV。如果第一和第二MV都存在，则评估与用于单向预测的第一MV相关的成本，用于单向预测的第二MV以及用于双向预测的第一和第二MV的成本。选择成本最小的模式(即，两个单向预测模式或双向预测模式之一)作为候选项。如果为第一参考列表和第二参考列表中的一个找到第一最佳模板，则可以使用第一最佳模板在第一参考列表和第二参考列表中的另一个中搜索第二最佳模板。在这种情况下，可以将当前模板修改为与((2×当前模板)-第一最佳模板)对应的修改的当前模板，以在第一参考列表和第二参考列表中的另一个中搜索第二最佳模板。在确定第二最佳模板之后，使用第二最佳模板在下一次迭代中搜索以获得第一参考列表和第二参考列表中的一个的第一最佳模板。
根据又一种方法，确定用于双向匹配合并模式的最佳起始运动向量(motionvector，MV)对或用于模板匹配合并模式的个别列表的最佳起始运动向量(MV)。通过在围绕所述最佳起始运动向量对或者所述最佳起始运动向量的搜索窗口范围内进行窗口搜索，微调最佳起始运动向量对和最佳起始运动向量。在一个例子中，搜索窗口的范围取决于当前块的块尺寸。当前块可以对应于编解码单元(coding unit，CU)或预测单元(predictionunit，PU)。在一个实施例中，如果当前块的块尺寸等于或大于阈值并且搜索窗口的范围被设置为第二范围，则将搜索窗的范围设置为第一范围。例如，阈值对应于16x16，第一范围对应于±8，第二范围对应于±4。在另一个例子中，最佳起始MV对和最佳起始MV没有被微调，并且MV候选项或MVP候选项集合中包括没有微调的MV对和没有微调的MV。
根据又一方法，使用双向匹配处理推导用于第一参考列表和第二参考列表的合并候选MV对，或者使用模板匹配处理分别推导第一参考列表第一合并候选项MV和第二参考列表的第二合并候选项MV。生成包括三个运动向量对得合并候选项列表，三个运动向量对对应于合并候选项运动向量对、具有第二参考列表中的第一镜像运动向量的第一合并候选项运动向量，以及具有第一参考列表中的第二镜像运动向量的第二合并候选项运动向量。从合并候选项列表中确定最终运动向量或最终运动向量预测子(motion vector predictor，MVP)。
附图说明
图1是使用双向匹配技术的运动补偿的示例，其中当前块由沿运动轨迹的两个参考块预测。
图2是使用模板匹配技术的运动补偿的示例，其中当前块的模板与参考图片中的参考模板匹配。
图3A是针对LIST_0参考图片的时间运动向量预测子(motion vector predictor，MVP)的推导处理的示例。
图3B示出了针对LIST_1参考图片的时间运动向量预测(motion vectorpredictor，MVP)推导处理的示例。
图4是根据本发明的一实施例的修改的时间运动向量预测子(motion vectorpredictor，MVP)推导处理的示例，其中LIST_0参考图片中的LIST_1MV用于生成LIST_0时间推导MVP。
图5是用于计算当前块和参考块之间的差异的当前块和参考块中的像素的示例。
图6是根据本发明的一实施例的用于计算当前块和参考块之间的差异的当前块和参考块中的像素的示例，其中具有虚拟像素值的子块被用于减少计算差异所需的操作。
图7是根据本发明一实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中初始MV索引被发信以减少所需的计算。
图8是了根据本发明的一实施例的使用解码器推导的运动信息的视频编解码系统的流程图，其中，如果两个参考列表中都存在运动向量，当单向预测导致较低成本时，则可以使用单向预测。
图9是根据本发明的一实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中运动向量微调被减少或限制以减少所需的计算。
图10是根据本发明的一实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中使用合并候选项MV对而不是将MV分割成两个合并列表。
具体实施方式
以下描述是实施本发明的最佳预期模式。该描述的目的是为了说明本发明的一般原理，其不应该被理解为限制性的。本发明的范围最好通过参考所附权利要求来确定。
在VCEG-AZ07中，公开了一种解码器推导运动向量的方法，其包括两个帧率提升(Frame Rate Up-Conversion，FRUC)模式。根据VCEG-AZ07的运动向量推导处理相当复杂并会导致高计算负载和高系统存储带宽。因此，公开了各种用于减少所需的计算负载和系统存储带宽或提高编解码效率的方法。如下公开了本发明的各种实施例。
如前文中所述，尽管术语FRUC指的是帧率提升的运动向量推导，但是底层技术旨在用于解码器推导一个或多个合并MV候选项，并且不需要明确地传送运动信息。换句话说，FRUC被看作是生成解码器推导的运动向量的技术。具体而言，推导MV可以被包括在候选项列表(例如但不限于合并候选项列表)中。当选择MV时，它可以用于对块进行编解码或对块的运动信息进行编解码。
如下公开了用于减少存储带宽和/或计算负载或提高编解码效率的各种方法。
用于FRUC模式的合并候选项的MV对
在VCEG-AZ07中的双向匹配合并模式和模板匹配合并模式中，合并候选项的LIST_0和LIST_1MV被独立处理，并被放置到不同的MV列表中。根据这种方法，合并候选项的MV对被一起使用。例如，对于双向匹配，LIST_0和LIST_1中的MV不是必需要在相同的运动轨迹中。合并候选项中的MV对可以是双向匹配合并模式的起始LIST_0和LIST_1MV。对于模板匹配合并模式，根据本实施例一起考虑LIST_0和LIST_1参考图片中的模板。根据合并候选项的MV采用双向预测补偿以根据LIST_0和LIST_1模板生成参考模板。双向匹配合并的搜索顺序可以是1)LIST_0MV及其镜像MV；2)LIST_1MV及其镜像MV；3)LIST_0和LIST_1的合并候选项MV对。模板匹配合并的搜索顺序可以是1)具有LIST_0MV的单向预测模板；2)具有LIST_1MV的单向预测模板；3)具有LIST_0和LIST_1的合并候选项MV对的双向预测模板。搜索顺序可以交换。
用于模板匹配合并模式的最小成本L0或L1MV
在模板匹配合并模式中，分别计算LIST_0模板和LIST_1模板的SAD成本。如果LIST_0和LIST_1中都存在MV，则使用LIST_0和LIST_1中最佳模板MV来生成用于编解码的双向预测参考块。当LIST_0和LIST_1中都存在MV时，根据VCEG-AZ07的方法总是使用双向预测参考块进行编码。然而，当LIST_0和LIST_1中都存在MV时，根据本方法自适应地选择单向预测或双向ME以生成参考块。例如，如果找到LIST_0和LIST_1中的最佳模板，但LIST_0或LIST_1中的单向预测模板比双向预测模板的成本更低，则单向补偿用于生成模板匹配合并模式的参考块。在这种情况下，当LIST_0和LIST_1中都存在MV时，提供使用单向预测参考块的选项而不仅限于使用双向补偿。
根据此方法的转化，当找到一个或多个最佳LIST_0/LIST_1模板时，可以使用一个列表(例如，LIST_0/LIST_1)中的模板来搜索另一个列表(例如，LIST_1/LIST_0)中的模板。例如，当前模板可以修改为(2×(当前模板)-LIST_0模板)。新的当前模板用于搜索LIST_1中的最佳模板。可以使用迭代搜索。例如，找到LIST_1模板后，可以将当前模板修改为(2×(当前模板)-LIST_1模板)。修改后的新的当前模板用于再次搜索LIST_0中的最佳模板。可以定义迭代次数和第一个目标参考列表。
在双向匹配和/或模板匹配合并模式中发信合并索引
在双向匹配合并模式和模板匹配合并模式中，合并候选项中的LIST_0和LIST_1MV被作为起始MV使用。通过搜索所有这些MV隐含地推导最佳MV。它需要大量的计算以及较宽的存储带宽。根据本方法，用于双向匹配合并模式或模板匹配合并模式的合并索引被发信。基于发信的候选项索引，LIST_0和LIST_1中的最佳起始MV是已知的。双向匹配或模板匹配只需要对发信的合并候选项进行微调搜索。换句话说，跳过试行所有起始MV以识别最佳起始MV的处理。因此，相关的计算以及储存访问都会被跳过。对于双向匹配，如果合并候选项是单向MV，则可以通过使用镜像(缩放)MV来生成另一列表中的对应MV。
根据该方法，必须发信起始MV的合并索引，这将需要一些附加信息。然而，可以使用率失真优化(rate-distortion optimization，RDO)处理来从具有发信的合并索引的候选项中和没有发信的合并索引的候选项中选择的最佳起始候选项。RDO处理是众所周知的优化处理，特别是对于视频编解码。因此，本发明中省略了RDO处理的细节。
预定义的MV生成方法可以用于识别最佳起始MV。预定义的MV生成方法不必与VCEG-AZ07中公开的相同。在采用预定义的MV生成处理之后，LIST_0、LIST_1和/或MV对中的起始MV是已知的。然后在LIST_0和/或LIST_1或最佳MV对中的最佳起始MV被具体发信以减少带宽需求。在另一个实施例中，初始MV索引可被推断为双向匹配、模板匹配或两者的预定义值。预定义的值可以是0，然而，本发明不限于此。
减少起始MV的数量
更多的起始MV，就需要更多的带宽。为了减少带宽需求，公开了一种通过使用MV统计量或解码信息(例如残差)来选择列表中的一个或部分起始MV的方法。例如，可以选择最频繁出现的MV、中央MV和/或中值MV。在另一个实施例中，可以将MV分成几个组(例如通过使用MV距离)。从一组中选择一个或多个MV以形成最终的起始MV列表。在一个实施例中，可以丢弃来自具有大残差的块的合并MV。
修改的时间推导MVP
在VECG-AZ07中，为了推导LIST_0时间推导MVP，扫描所有LIST_0参考图片中的所有LIST_0MV并对其进行缩放以生成MVP。根据本方法，LIST_0参考图片中的LIST_1MV用于生成LIST_0时间推导MVP。例如，在图4中，LIST_0参考图片的LIST_1MV被用于推导当前图片的LIST_0时间MV。块410对应于当前图片中的块。块412和414分别对应于具有等于0和1的refIdx的LIST_0图片的块。LIST_0参考图片中的LIST_1MV或缩放MV用于推导当前图片中的交叉块(crossed block)。然后，计算缩放MVP并将其分配给交叉块。所存储的MVP的起始点是当前图片，该MVP的结束点可以是原始参考图片(例如MV A420)或具有等于0的refIdx的参考图片(例如MV B 430)。当需要将多个MV存储在相同的当前块中时，可以存储指向最近的参考图片的MV或具有较少移动的MV。
简化的搜索处理
在双向匹配合并模式和模板匹配合并模式中，存在一个两阶段匹配处理。由于第一阶段的最佳MV被用作第二阶段的预测子，所以根据本方法可以简化第一阶段的搜索处理。例如，在第一PU级阶段中仅搜索整数MV并且在第二子PU级阶段中仅搜索分数MV。如果对于一些子PU没有进一步的子PU级搜索，则在第一阶段中搜索分数MV或从相邻子PU中推导分数MV。在另一个实施例中，可以在模板匹配合并模式中采用用于子PU级搜索的双向匹配。在模板匹配合并模式中，第二阶段子PU级搜索被用于左侧或顶部PU边界处的那些子PU。对于不在左边或顶部PU边界的那些子PU，不能采用第二级子PU级搜索。为了进一步改善这一点，建议在搜索双向预测时，对模板匹配合并模式中的第二阶段子PU级搜索使用双向匹配。
约束的子PU运动微调
在该方法中，可以根据LIST_0MV和LIST_1MV之间的关系修改子PU运动微调。例如，如果LIST_0MV和LIST_1MV不符合线性，则解码器不采用子PU运动微调。在另一个实施例中，解码器根据LIST_0MV和LIST_1MV的方向采用子PU运动微调。
减少块匹配的操作
对于解码器侧MV推导，计算具有各种MV的模板的SAD成本以在解码器侧找到最佳MV。为了减少用于SAD计算的操作，公开了一种估算当前块510与参考块520之间的SAD的方法。在用于块匹配的传统的SAD计算中，如图5所示，计算当前块(8×8块)和参考块(8×8块)的对应像素对之间的平方差并求和以获得平方差值的最终和，如公式(1)所示。其中，Ci，j和Ri，j分别表示当前块510和参考块520中的像素，其中当前块510和参考块520的宽度等于N并且高度等于M。
为了加速，当前块和参考块被划分为尺寸为K×L的子块，其中K和L可以是任何整数。如图6所示，当前块610和参考块620都是8×8块，并被分成2×2个子块。然后将每个子块视为虚拟像素并使用虚拟像素值来表示每个子块。虚拟像素值可以是子块内像素的总和、子块内的像素的平均值、子块内的主要像素值、子块内的一个像素值、一个默认像素值或者使用任何其他手段来计算子块内的像素的一个值。绝对差之和(sum of absolutedifference，SAD)可以计算为当前块和参考块的虚拟像素之间的绝对差的和。或者，平方差之和(sum of the squared difference，SSD)可以被计算为当前块和参考块的虚拟像素之间的平方差的总和。因此，每像素SAD或SSD通过虚拟像素的SAD或SSD估算，这需要更少的操作(例如，更少的乘法)。
此外，为了保留相似的搜索结果，本方法还公开了使用虚拟像素的SAD或SSD定位M个最佳匹配之后的微调搜索阶段，其中M可以是任何正整数。对于M个最佳候选项中的每一个，可以计算每像素SAD或SSD以找到最终的最佳匹配块。
MV分组
根据该方法，首先将要搜索的初始MV分类为多个子组。语法元素首先被发送到解码器以指示哪个子组被选择。在选择的子组内的MV上采用双向匹配合并模式和/或模板匹配合并模式只为找到最佳的一个MV。在一个实施例中，MV被分类为两个子组：对应于包括所有空间MV候选项的空间子组的第一子组和对应于包括所有时间MV候选项和/或时间推导MV的时间子组的第二子组。编码器首先向解码器发送语法元素(例如标志)以指示时间子组或空间子组是否用于双向匹配合并模式和/或模板匹配合并模式以推导最佳MV。
组合模板匹配和双向匹配
根据该方法，模板匹配被用于获得LIST_0或LIST_1中的最佳MV。然后使用LIST_0或LIST_1中的最佳MV推导LIST_0或LIST_1中的补偿预测块。该补偿预测块被用作“当前块”以在另一个列表中找到最佳参考块(例如用于LIST_0中最佳MV的LIST_1，或者用于LIST_1中最佳MV的LIST_0)。两个列表中的这两个补偿预测块都是当前块的预测值。
PMVD尺寸约束
为了减小带宽和复杂度，公开了依赖于块尺寸的PMVD。在一个实施例中，如果块(CU或PU)区域小于(或等于)N(例如64)，则PMVD被禁用。在另一个实施例中，如果块(CU或PU)区域小于(或等于)M(例如256)，则PMVD的搜索范围减小到±K(例如，K＝4)。对于大于M的块尺寸，PMVD的搜索范围被设置为±L(例如，L＝8)。上述条件可以一起采用。N、M、K、L可以在切片级、图片级或序列级发信。例如，可以在切片头，自适应参数集(adaptiveparameter set，APS)，图片参数集(picture parameter set，PPS)或序列参数集(sequenceparameter set，SPS)中发信N、M、K和L.
仅将合并候选项用作PU级起始MV
为了减小带宽和/或降低处理复杂度，本发明公开了另一种方法，仅使用合并候选项作为PU级起始MV的起始搜索候选项。
图7是根据本发明实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中初始MV索引被通过信号发送以减少所需的计算。根据此方法，在步骤710中，接收与当前图片中的当前块相关的输入数据。为了编码，输入数据可对应于当前块的运动信息(例如运动向量)或当前要编码的块的像素数据或残差数据。为了解码，输入数据可以对应于当前块的编解码运动信息(例如，运动向量)或者要解码的当前块的编解码像素数据或者残差数据。在步骤720中，在编码器侧的视频比特流中发信初始运动向量(motion vector，MV)索引，或者从解码器侧的视频比特流确定初始MV索引。在步骤730中，使用双向匹配、模板匹配或同时使用两者来推导选择的MV以微调与初始MV索引相关的初始MV。在步骤740中，根据包括所选择的MV的一组MV候选项或MVP候选项确定最终MV或最终运动向量预测子(motion vector predictor，MVP)。在步骤750中，分别在编码器侧或解码器侧使用最终MV或最终运动向量预测子(motion vector predictor，MVP)对当前块或当前块的MV进行编码或解码。
图8是根据本发明实施例的使用解码器推导的运动信息的视频编解码系统的流程图，其中，当两个参考列表都存在运动向量时，如果单向预测导致较低成本，则可以使用单向预测。根据此方法，在步骤810中，接收与当前图片中的当前块相关的输入数据。对于编码，输入数据可对应于当前块的运动信息(例如运动向量)或当前要编码的块的像素数据或残差数据。再者，对于解码，输入数据可以对应于当前块的编解码运动信息(例如运动向量)或者要解码的当前块的编解码像素数据或者残差数据。在步骤820中，使用模板匹配推导与第一参考列表中的第一参考图片相关的第一运动向量(motion vector，MV)。在步骤830中，使用模板匹配推导与第二参考列表中的第二参考图片相关的第二运动向量(motionvector，MV)。在步骤840中，检查第一MV和第二MV是否都存在。如果结果为“是”，则执行步骤845至870。否则(即，“否”路径)，跳过步骤845到870。在步骤845中，确定与当前块的当前模板与由第一MV指向的第一模板之间的第一单向预测相对应的第一成本。在步骤850中，确定与当前块的当前模板和由第二MV指向的第二模板之间的第二单向预测相对应的第二成本。在步骤855中，确定对应于当前块的当前模板与第一模板和第二模板的组合之间的双向预测的第三成本。在步骤860中，根据第一成本、第二成本和第三成本中的最小成本在第一单向预测、第二单向预测和双向预测中选择编解码模式。在步骤865中，从包括与所选编解码模式相关的对应MV的一组MV候选项或MVP候选项确定最终MV或最终运动向量预测子(motion vector predictor，MVP)。在步骤870中，分别在编码器侧或解码器侧使用最终MV或最终运动向量预测子(motion vector predictor，MVP)对当前块或当前MV进行编码或解码。
图9是根据本发明实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中运动向量微调被减少或限制以减少所需的计算。根据该方法，在步骤910中，接收与当前图片中的当前块相关的输入数据。在步骤920中，确定用于双向匹配合并模式的最佳起始运动向量(motion vector，MV)对或用于模板匹配合并模式的个别列表的最佳起始运动向量(motion vector，MV)。在步骤930中，通过在搜索在围绕最佳起始MV对或最佳起始MV的范围内进行窗口搜索，将最佳起始MV对微调成双向匹配合并模式的微调MV对，或者将最佳起始MV微调为模板匹配合并模式的单独列表的微调MV。在一个实施例中，搜索窗口的范围取决于当前块的块尺寸。在步骤940中，根据包括与微调的MV对或微调的MV相关的所选MV的一组MV候选项或MVP候选项来确定最终MV或最终运动向量预测子(motionvector predictor，MVP)。在步骤950中，分别在编码器侧或解码器侧使用最终MV或最终运动向量预测子(motion vector predictor，MVP)对当前块或当前块的MV进行编码或解码。
图10是根据本发明的实施例的使用基于模板匹配的解码器推导的运动信息的视频编解码系统的流程图，其中使用合并候选项MV对而不是将MV分为两个合并列表。根据该方法，在步骤1010中，接收与当前图片中的当前块相关的输入数据。在步骤1020中，使用双向匹配处理来推导第一参考列表和第二参考列表的合并候选项运动向量(motion vector，MV)对，或者使用模板匹配处理分别推导第一参考列表的第一合并候选项MV和第二参考列表的第二合并候选项MV。在步骤1030中，生成合并候选项列表包括三个MV对与合并候选项MV对，具有第二参考列表中具有第一镜像MV的第一合并候选项MV，和具有第一参考列表中的第二镜像MV的第二合并候选项MV对应。在步骤1040中，从合并候选项列表中确定最终MV或最终运动向量预测子(motion vector predictor，MVP)。在步骤1050中，分别在编码器侧或解码器侧使用最终MV或最终运动向量预测子(motion vector predictor，MVP)对当前块或当前块的MV进行编码或解码。
所示的流程图旨在说明根据本发明的视频编解码的实施例。本领域技术人员可以在不脱离本发明的精神的情况下修改每个步骤、重新安排步骤、拆分步骤或组合步骤来实践本发明。在本发明中，已经使用特定语法和语义来说明实现本发明实施例的示例。本领域技术人员可以通过在不脱离本发明的精神的情况下用等同的语法和语义进行替换来实践本发明。
呈现以上描述是为了使本领域的普通技术人员能够实施在特定采用及其要求的环境中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员将是显而易见的，并且本文中定义的一般原理可以采用于其他实施例。因此，本发明并非旨在限于所示出和描述的特定实施例，而是应被赋予与本文公开的原理和新颖特征一致的最宽范围。在上面的详细描述中，为了提供对本发明的透彻理解，图示了各种具体细节。然而，本领域技术人员将会理解，可以在没有这些细节的条件下实践本发明。
如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码，以执行在此描述的处理。本发明的实施例也可以是要在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码以执行本文所述的处理。本发明还可涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(fieldprogrammable gate array，FPGA)执行的许多功能。这些处理器可以被配置为通过执行定义本发明具体方法的机器可读软件代码或固件代码来执行本发明的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或风格来开发。软件代码也可以针对不同的目标平台进行编译。然而，根据本发明的软件代码的不同代码格式、样式和语言以及配置代码以执行任务的其他手段不会背离本发明的精神和范围。
在不脱离其精神或基本特征的情况下，可以以其他具体形式来实现本发明。所描述的示例在所有方面仅被认为是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是由前面的描述来限制。在权利要求的等同物的含义和范围内的所有变化都将被包含在本发明的范围内。

Claims (22)

1.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：
接收与当前图片中的当前块相关的输入数据；
在编码器侧视频比特流中发信初始运动向量索引或在解码器侧从所述视频比特流确定所述初始运动向量索引；
使用双向匹配、模板匹配或同时使用二者来推导选择的运动向量以微调与所述初始运动向量索引相关的初始运动向量；
从包括所述选择的运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和
分别在所述编码器侧或所述解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的运动向量进行编码或解码。
2.根据权利要求1所述的方法，其特征在于，所述初始运动向量索引对应于用于选择合并运动向量候选项的合并索引。
3.根据权利要求1所述的方法，其特征在于，预定义的运动向量生成处理用于推导目标运动向量列表，并且所述初始运动向量索引指示来自所述目标运动向量列表的目标运动向量。
4.根据权利要求1所述的方法，其特征在于，所述初始运动向量索引被推断为用于双向匹配、模板匹配或同时用于两者的预定义值。
5.根据权利要求4所述的方法，其特征在于，所述预定义值是0。
6.根据权利要求1所述的方法，其特征在于，使用率失真优化处理来在包括所述发信的所述初始运动向量和一个或多个其他运动补偿处理的当前运动补偿处理中选择，通过试行一组起始运动向量选择第二最终运动向量而无需发信所述初始运动向量。
7.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：
接收与当前图片中的当前块相关的输入数据；
使用模板匹配推导与第一参考列表中的第一参考图片相关的第一运动向量；
使用模板匹配推导与第二参考列表中的第二参考图片相关的第二运动向量；
如果所述第一运动向量和所述第二运动向量都存在：
确定与用于当前块的当前模板和由所述第一运动向量指向的第一模板之间的第一单向预测相对应的第一成本；
确定与用于所述当前块的当所述前模板和由所述第二运动向量指向的第二模板之间的第二单向预测相对应的第二成本；
确定对应于所述当前块的所述当前模板与所述第一模板和所述第二模板的组合之间的双向预测的第三成本；
根据所述第一成本、所述第二成本和所述第三成本中的最小成本，在所述第一单向预测、所述第二单向预测和所述双向预测中选择编解码模式；
从包括与所述选择的编解码模式相关的对应运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
8.根据权利要求7所述的方法，其特征在于，如果为所述第一参考列表和所述第二参考列表中的一个找到第一最佳模板，则使用所述第一最佳模板搜索所述第一参考列表和所述第二参考列表中的另一个中的第二最佳模板。
9.根据权利要求8所述的方法，其特征在于，所述当前模板被修改为对应于((2×所述当前模板)-所述第一最佳模板)的修改后的当前模板，以搜索所述第一参考列表和所述的第二参考列表中的另一个中的所述第二最佳模板，并且在确定所述第二最佳模板之后，所述第二最佳模板用于在下一次迭代中搜索所述第一参考列表和所述第二参考列表中的一个中的所述第一最佳模板。
10.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：
接收与当前图片中的当前块相关的输入数据；
确定用于双向匹配合并模式的最佳起始运动向量对或用于模板匹配合并模式的个别列表的最佳起始运动向量；
通过在围绕所述最佳起始运动向量对或者所述最佳起始运动向量的搜索窗口范围内进行搜索，将所述最佳起始运动向量微调为用于所述模板匹配合并模式的所述个别列表的微调运动向量；
从包括与所述微调运动向量对或所述运动向量相关的选择的运动向量的一组运动向量候选项或运动向量预测子候选项中确定最终运动向量或最终运动向量预测子；和
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
11.根据权利要求10所述的方法，其特征在于，所述当前块对应于编解码单元(CU)或预测单元(PU)。
12.根据权利要求10所述的方法，其特征在于，所述搜索窗口的范围取决于所述当前块的块尺寸，并且如果所述当前块的块尺寸大于阈值，则将所述搜索窗口的所述范围设置为第一范围，否则，所述搜索窗口的所述范围被设置为第二范围。
13.根据权利要求12所述的方法，其特征在于，所述阈值，所述第一范围和所述第二范围中的至少一个在分片级，图片级或序列级发信。
14.根据权利要求12所述的方法，其特征在于，所述阈值对应于16×16，所述第一范围对应于±8，并且所述第二范围对应于±4。
15.根据权利要求10所述的方法，其特征在于，如果所述当前块的块尺寸小于或等于阈值，则所述最佳起始运动向量对和所述最佳起始运动向量未被微调，并且没有微调的运动向量对以及没有微调的运动向量被包括在所述运动向量候选项或运动向量预测子候选项组中。
16.根据权利要求10所述的方法，其特征在于，如果所述当前块的块尺寸小于或等于阈值，则禁用所述双向匹配合并模式和所述模板匹配合并模式。
17.根据权利要求16所述的方法，其特征在于，所述阈值是在分片级，图片级或序列级中发信的。
18.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：
接收与当前图片中的当前块相关的输入数据；
使用分别针对第一参考列表和第二参考列表使用双向匹配处理推导合并候选运动向量，或使用模板匹配处理分别推导所述第一参考列表的第一合并候选项运动向量和所述第二参考列表的第二合并候选项运动向量；
生成包括三个运动向量对的合并候选项列表，所述三个运动向量对对应于所述合并候选项运动向量对、具有所述第二参考列表中的第一镜像运动向量的所述第一合并候选项运动向量，以及具有所述第一参考列表中的第二镜像运动向量的所述第二合并候选项运动向量；
从所述合并候选项列表中确定最终运动向量或最终运动向量预测子；和
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
19.一种使用运动补偿的视频编解码设备，所述设备包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与当前图片中的当前块相关的输入数据；
在编码器侧视频比特流中发信初始运动向量索引或在解码器侧从所述视频比特流确定所述初始运动向量索引；
使用双向匹配、模板匹配或同时使用二者来推导选择的运动向量以微调与所述初始运动向量索引相关的初始运动向量；
从包括所述选择的运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和
分别在所述编码器侧或所述解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的运动向量进行编码或解码。
20.一种使用运动补偿的视频编解码设备，所述设备包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与当前图片中的当前块相关的输入数据；
使用模板匹配推导与第一参考列表中的第一参考图片相关的第一运动向量；
使用模板匹配推导与第二参考列表中的第二参考图片相关的第二运动向量；
如果所述第一运动向量和所述第二运动向量都存在：
确定与用于当前块的当前模板和由所述第一运动向量指向的第一模板之间的第一单向预测相对应的第一成本；
确定与用于所述当前块的当所述前模板和由所述第二运动向量指向的第二模板之间的第二单向预测相对应的第二成本；
确定对应于所述当前块的所述当前模板与所述第一模板和所述第二模板的组合之间的双向预测的第三成本；
根据所述第一成本、所述第二成本和所述第三成本中的最小成本，在所述第一单向预测、所述第二单向预测和所述双向预测中选择编解码模式；
从包括与所述选择的编解码模式相关的对应运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
21.一种使用运动补偿的视频编解码设备，所述设备包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与当前图片中的当前块相关的输入数据；
确定用于双向匹配合并模式的最佳起始运动向量对或用于模板匹配合并模式的个别列表的最佳起始运动向量；
通过在围绕所述最佳起始运动向量对或者所述最佳起始运动向量的搜索窗口范围内进行搜索，将所述最佳起始运动向量对微调为用于双向匹配合并模式的微调运动向量对，或者将所述最佳起始运动向量微调为用于所述模板匹配合并模式的所述个别列表的微调运动向量；
从包括与所述微调运动向量对或所述运动向量相关的选择的运动向量的一组运动向量候选项或运动向量预测子候选项中确定最终运动向量或最终运动向量预测子；和
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
22.一种使用运动补偿的视频编解码设备，所述设备包括一个或多个电子电路或处理器，其特征在于，所述一个或多个电子电路或处理器用于：
接收与当前图片中的当前块相关的输入数据；
使用分别针对第一参考列表和第二参考列表使用双向匹配处理推导合并候选运动向量，或使用模板匹配处理分别推导所述第一参考列表的第一合并候选项运动向量和所述第二参考列表的第二合并候选项运动向量；
生成包括三个运动向量对得合并候选项列表，所述三个运动向量对对应于所述合并候选项运动向量对、具有所述第二参考列表中的第一镜像运动向量的所述第一合并候选项运动向量，以及具有所述第一参考列表中的第二镜像运动向量的所述第二合并候选项运动向量；
从所述合并候选项列表中确定最终运动向量或最终运动向量预测子；
分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。
CN201680051111.2A 2015-09-02 2016-09-02 用于视频编解码的解码器侧的运动推导的方法和装置 Active CN108028939B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562213257P 2015-09-02 2015-09-02
US62/213,257 2015-09-02
PCT/CN2016/097853 WO2017036414A1 (en) 2015-09-02 2016-09-02 Method and apparatus of decoder side motion derivation for video coding

Publications (2)

Publication Number Publication Date
CN108028939A true CN108028939A (zh) 2018-05-11
CN108028939B CN108028939B (zh) 2021-10-15

Family

ID=58188434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051111.2A Active CN108028939B (zh) 2015-09-02 2016-09-02 用于视频编解码的解码器侧的运动推导的方法和装置

Country Status (7)

Country Link
US (2) US10511835B2 (zh)
EP (2) EP3342167B1 (zh)
CN (1) CN108028939B (zh)
AU (1) AU2016316309B2 (zh)
CA (1) CA2995507C (zh)
MX (1) MX2018002477A (zh)
WO (1) WO2017036414A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602399A (zh) * 2018-01-18 2020-08-28 高通股份有限公司 改进的解码器侧运动矢量推导
CN111989922A (zh) * 2018-04-17 2020-11-24 高通股份有限公司 对基于解码器侧运动矢量推导的mvp推导的限制
WO2020244569A1 (en) * 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
CN112771869A (zh) * 2018-12-10 2021-05-07 腾讯美国有限责任公司 小型编码块的简化合并列表构建
CN112889288A (zh) * 2018-09-19 2021-06-01 华为技术有限公司 根据基于双线性插值的解码端运动矢量修正的片相似度不执行修正的方法
CN113424525A (zh) * 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
CN113519160A (zh) * 2019-03-05 2021-10-19 联发科技股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
CN113728628A (zh) * 2018-06-04 2021-11-30 腾讯美国有限责任公司 用于视频编码中具有自适应网格大小的扩展合并模式的方法和设备
CN114303379A (zh) * 2019-09-20 2022-04-08 Kddi 株式会社 图像解码装置、图像解码方法及程序
US11509893B2 (en) 2019-07-14 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Indication of adaptive loop filtering in adaptation parameter set
WO2022262695A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023273987A1 (en) * 2021-06-29 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US11575911B2 (en) 2019-06-04 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
US11722667B2 (en) 2019-09-28 2023-08-08 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117528107A (zh) 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
WO2018110180A1 (ja) * 2016-12-15 2018-06-21 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
EP3343924A1 (en) * 2017-01-03 2018-07-04 Thomson Licensing Method and apparatus for encoding and decoding motion information
WO2018163857A1 (ja) * 2017-03-10 2018-09-13 ソニー株式会社 画像処理装置および方法
US20200059657A1 (en) * 2017-03-10 2020-02-20 Sony Corporation Image processing apparatus and method
WO2018172609A2 (en) * 2017-03-21 2018-09-27 Nokia Technologies Oy Motion compensation in video encoding and decoding
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
TWI782974B (zh) 2017-04-13 2022-11-11 美商松下電器（美國）知識產權公司 解碼裝置、解碼方法及非暫時性電腦可讀取媒體
JP6946419B2 (ja) * 2017-04-13 2021-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号装置、復号方法及びプログラム
WO2018210315A1 (en) 2017-05-18 2018-11-22 Mediatek Inc. Method and apparatus of motion vector constraint for video coding
CN110771169A (zh) * 2017-06-09 2020-02-07 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
GB2563943B (en) * 2017-06-30 2021-02-24 Canon Kk Method and apparatus for encoding or decoding video data in FRUC mode with reduced memory accesses
GB2563936A (en) * 2017-06-30 2019-01-02 Canon Kk Method and apparatus for encoding or decoding a flag during video data encoding
WO2019001741A1 (en) * 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. MOTION VECTOR REFINEMENT FOR MULTI-REFERENCE PREDICTION
CN110832859B (zh) * 2017-07-11 2022-02-25 华为技术有限公司 一种基于模板匹配的解码方法及装置
CN117615153A (zh) * 2017-08-29 2024-02-27 株式会社Kt 视频解码和编码方法及用于存储压缩视频数据的装置
EP3451665A1 (en) 2017-09-01 2019-03-06 Thomson Licensing Refinement of internal sub-blocks of a coding unit
WO2019072373A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. UPDATING MODELS FOR REFINING MOTION VECTORS
EP3682635A1 (en) * 2017-10-09 2020-07-22 Huawei Technologies Co., Ltd. Memory access window for sub prediction block motion vector derivation
WO2019072368A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. LIMITED MEMORY ACCESS WINDOW FOR MOTION VECTOR REFINEMENT
WO2019072369A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. PRUNING MOTION VECTOR LIST
WO2019072370A1 (en) * 2017-10-09 2019-04-18 Huawei Technologies Co., Ltd. MEMORY ACCESS WINDOW AND FILLING FOR VECTOR MOVEMENT REFINEMENT
EP3682634A1 (en) 2017-10-09 2020-07-22 Huawei Technologies Co., Ltd. Motion vector refinement of a motion vector pointing to a fractional sample position
US10785494B2 (en) * 2017-10-11 2020-09-22 Qualcomm Incorporated Low-complexity design for FRUC
US11750832B2 (en) * 2017-11-02 2023-09-05 Hfi Innovation Inc. Method and apparatus for video coding
US11234016B2 (en) 2018-01-16 2022-01-25 Samsung Electronics Co., Ltd. Method and device for video decoding, and method and device for video encoding
US10523948B2 (en) * 2018-02-05 2019-12-31 Tencent America LLC Method and apparatus for video coding
US10812810B2 (en) * 2018-02-06 2020-10-20 Tencent America LLC Method and apparatus for video coding in merge mode
KR20190110065A (ko) 2018-03-19 2019-09-27 인텔렉추얼디스커버리 주식회사 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2019191717A1 (en) * 2018-03-30 2019-10-03 Hulu, LLC Template refined bi-prediction for video coding
WO2019188942A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for performing motion compensated prediction for video coding
WO2019194462A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN110351565B (zh) * 2018-04-02 2021-08-03 浙江大学 一种参考区域运动矢量导出方法及装置
WO2019225932A1 (ko) * 2018-05-21 2019-11-28 엘지전자 주식회사 영상 코딩 시스템에서 dmvr을 사용하는 영상 디코딩 방법 및 그 장치
EP3804325A1 (en) * 2018-05-28 2021-04-14 InterDigital VC Holdings, Inc. Data dependency in coding/decoding
BR112020026830A2 (pt) 2018-06-28 2021-04-06 Huawei Technologies Co., Ltd. Janela de acesso à memória e preenchimento para refinamento de vetor de movimento e compensação de movimento
US10638153B2 (en) 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement
BR112020026686A2 (pt) * 2018-07-17 2021-03-30 Panasonic Intellectual Property Corporation Of America Sistema e método para codificação de vídeo
US11317099B2 (en) 2018-10-05 2022-04-26 Tencent America LLC Method and apparatus for signaling an offset in video coding for intra block copy and/or inter prediction
CN113302935A (zh) 2019-01-02 2021-08-24 瑞典爱立信有限公司 视频编码/解码系统中的端运动细化
ES2965083T3 (es) * 2019-02-22 2024-04-10 Huawei Tech Co Ltd Terminación temprana para el refinamiento de flujo óptico
CN113615196A (zh) * 2019-03-08 2021-11-05 交互数字Vc控股法国公司 视频编码和解码中的运动矢量导出
US11012686B2 (en) * 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
CN117834906A (zh) * 2019-03-08 2024-04-05 华为技术有限公司 运动矢量细化的搜索区域
EP3939303A1 (en) * 2019-03-11 2022-01-19 VID SCALE, Inc. Symmetric merge mode motion vector coding
US11172212B2 (en) * 2019-06-06 2021-11-09 Qualcomm Incorporated Decoder-side refinement tool on/off control
JP7098847B2 (ja) * 2019-06-17 2022-07-11 ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド ビデオ符号化におけるデコーダ側動きベクトル補正のための方法および装置
KR20220063248A (ko) * 2019-09-19 2022-05-17 알리바바 그룹 홀딩 리미티드 병합 후보 목록 구성 방법
US11758151B2 (en) 2020-12-29 2023-09-12 Qualcomm Incorporated Template matching in video coding
US11936877B2 (en) * 2021-04-12 2024-03-19 Qualcomm Incorporated Template matching based affine prediction for video coding
US20230007238A1 (en) * 2021-06-30 2023-01-05 Qualcomm Incorporated Using unrefined motion vectors for performing decoder-side motion vector derivation
KR20240050408A (ko) * 2021-08-27 2024-04-18 주식회사 윌러스표준기술연구소 움직임 정보를 보정하는 방법 및 이를 위한 장치
US20230139186A1 (en) * 2021-10-28 2023-05-04 Tencent America LLC Template-matching based adaptive motion vector resolution (amvr)
US20230164351A1 (en) * 2021-11-19 2023-05-25 Tencent America LLC Methods and devices for refining motion vector candidates
US20230344984A1 (en) * 2022-04-25 2023-10-26 Tencent America LLC Affine models use in affine bilateral matching
WO2024010338A1 (ko) * 2022-07-05 2024-01-11 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2024014896A1 (ko) * 2022-07-13 2024-01-18 엘지전자 주식회사 움직임 정보 리파인먼트에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024012396A1 (en) * 2022-07-14 2024-01-18 Mediatek Inc. Method and apparatus for inter prediction using template matching in video coding systems
WO2024074094A1 (en) * 2022-10-05 2024-04-11 Mediatek Inc. Inter prediction in video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding
CN103797799A (zh) * 2011-09-17 2014-05-14 高通股份有限公司 用于视频译码的运动向量确定

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6594313B1 (en) * 1998-12-23 2003-07-15 Intel Corporation Increased video playback framerate in low bit-rate video applications
CN101931739A (zh) * 2009-06-23 2010-12-29 鸿富锦精密工业（深圳）有限公司 绝对误差总和值估算系统及方法
JP2015525547A (ja) 2012-07-02 2015-09-03 サムスン エレクトロニクス カンパニー リミテッド ビデオ符号化またはビデオ復号化のための動きベクトル予測方法及びその装置
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US9609347B2 (en) * 2013-04-04 2017-03-28 Qualcomm Incorporated Advanced merge mode for three-dimensional (3D) video coding
US20140301463A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
US9894369B2 (en) * 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797799A (zh) * 2011-09-17 2014-05-14 高通股份有限公司 用于视频译码的运动向量确定
US20130329007A1 (en) * 2012-06-06 2013-12-12 Qualcomm Incorporated Redundancy removal for advanced motion vector prediction (amvp) in three-dimensional (3d) video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL.: "Further improvements to HMKTA-1.0", 《ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG) 52ND MEETING: 19–26 JUNE 2015, WARSAW, POLAND，DOCUMENT：VCEG-AZ07》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602399B (zh) * 2018-01-18 2023-10-20 高通股份有限公司 改进的解码器侧运动矢量推导
CN111602399A (zh) * 2018-01-18 2020-08-28 高通股份有限公司 改进的解码器侧运动矢量推导
CN111989922A (zh) * 2018-04-17 2020-11-24 高通股份有限公司 对基于解码器侧运动矢量推导的mvp推导的限制
CN111989922B (zh) * 2018-04-17 2021-11-19 高通股份有限公司 用于对视频数据进行解码的方法、设备和装置
CN113728628A (zh) * 2018-06-04 2021-11-30 腾讯美国有限责任公司 用于视频编码中具有自适应网格大小的扩展合并模式的方法和设备
CN113728628B (zh) * 2018-06-04 2024-04-23 腾讯美国有限责任公司 合并候选搜索方法和设备
US11722691B2 (en) 2018-09-19 2023-08-08 Huawei Technologies Co., Ltd. Decoder-side motion vector refinement (DMVR) process method and apparatus
CN112889288A (zh) * 2018-09-19 2021-06-01 华为技术有限公司 根据基于双线性插值的解码端运动矢量修正的片相似度不执行修正的方法
CN112771869A (zh) * 2018-12-10 2021-05-07 腾讯美国有限责任公司 小型编码块的简化合并列表构建
CN112771869B (zh) * 2018-12-10 2024-01-30 腾讯美国有限责任公司 视频编码、解码方法及装置
US11876932B2 (en) 2019-02-14 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Size selective application of decoder side refining tools
CN113424525B (zh) * 2019-02-14 2023-11-10 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
CN113424525A (zh) * 2019-02-14 2021-09-21 北京字节跳动网络技术有限公司 解码器侧细化工具的尺寸选择性应用
CN113519160A (zh) * 2019-03-05 2021-10-19 联发科技股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
CN113519160B (zh) * 2019-03-05 2023-09-05 寰发股份有限公司 视频编码中具有运动微调的双向预测视频处理方法和装置
US11575911B2 (en) 2019-06-04 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction using neighboring block information
US11611743B2 (en) 2019-06-04 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
US11463687B2 (en) 2019-06-04 2022-10-04 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list with geometric partition mode coding
WO2020244569A1 (en) * 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
US11647186B2 (en) 2019-07-14 2023-05-09 Beijing Bytedance Network Technology Co., Ltd. Transform block size restriction in video coding
US11509893B2 (en) 2019-07-14 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Indication of adaptive loop filtering in adaptation parameter set
CN114303379A (zh) * 2019-09-20 2022-04-08 Kddi 株式会社 图像解码装置、图像解码方法及程序
US11722667B2 (en) 2019-09-28 2023-08-08 Beijing Bytedance Network Technology Co., Ltd. Geometric partitioning mode in video coding
WO2022262695A1 (en) * 2021-06-15 2022-12-22 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023273987A1 (en) * 2021-06-29 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
US20180249154A1 (en) 2018-08-30
CA2995507A1 (en) 2017-03-09
CN108028939B (zh) 2021-10-15
US10511835B2 (en) 2019-12-17
EP3342167A4 (en) 2019-06-12
WO2017036414A1 (en) 2017-03-09
EP3342167B1 (en) 2020-12-30
EP3342167A1 (en) 2018-07-04
US20200077088A1 (en) 2020-03-05
AU2016316309B2 (en) 2019-01-24
CA2995507C (en) 2021-05-25
AU2016316309A1 (en) 2018-03-08
EP3876541A1 (en) 2021-09-08
MX2018002477A (es) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108028939A (zh) 用于视频编解码的解码器侧的运动推导的方法和装置
US10750203B2 (en) Method and apparatus of adaptive bi-prediction for video coding
TWI670970B (zh) 在視訊編解碼中預測子細化的候選跳過的方法和裝置
US11956462B2 (en) Video processing methods and apparatuses for sub-block motion compensation in video coding systems
CN108781295B (zh) 视频编码的样式基础的运动向量推导之方法及装置
US10257536B2 (en) Method of temporal derived bi-directional motion vector for motion vector prediciton
TWI655864B (zh) 視訊編碼中用於運動向量符號預測的方法及裝置
CN109983773A (zh) 用于合并模式推导的视频编解码方法和装置
WO2016165617A1 (en) Method and apparatus for deriving temporal motion vector prediction
EP3301919A1 (en) Method and apparatus for encoding and decoding motion information
KR102607852B1 (ko) 비디오 코딩을 위한 모션 벡터 차이와의 향상된 병합의 방법 및 장치
CN108432250A (zh) 用于视频编解码的仿射帧间预测的方法及装置
CN110326296A (zh) 用于对运动信息进行编码和解码的方法和装置
KR102463478B1 (ko) 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
JP2022000949A (ja) 画像復号装置、画像復号方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220523

Address after: Chinese Taiwan jhubei City, Hsinchu County Taiwan Yuan Street No. five 3 floor 7

Patentee after: MEDIATEK Inc.

Address before: Hsinchu Science Park Road Taiwan Hsinchu city China Dusing No. 1

Patentee before: MEDIATEK Inc.