CN110574377B - 用于视频编解码的重新排序运动向量预测候选集的方法及装置 - Google Patents

用于视频编解码的重新排序运动向量预测候选集的方法及装置 Download PDF

Info

Publication number
CN110574377B
CN110574377B CN201880028330.8A CN201880028330A CN110574377B CN 110574377 B CN110574377 B CN 110574377B CN 201880028330 A CN201880028330 A CN 201880028330A CN 110574377 B CN110574377 B CN 110574377B
Authority
CN
China
Prior art keywords
current block
candidate
pixels
motion vector
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880028330.8A
Other languages
English (en)
Other versions
CN110574377A (zh
Inventor
陈俊嘉
徐志玮
陈庆晔
黄毓文
庄子德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110574377A publication Critical patent/CN110574377A/zh
Application granted granted Critical
Publication of CN110574377B publication Critical patent/CN110574377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种用于视频编解码的画面间预测的方法及装置，其由视频编码器或视频解码器执行，该方法及装置利用运动向量预测以编解码与用画面间模式编解码的块相关的运动向量。根据一方法，当前块的原始运动向量预测候选列表被生成。当候选重新排序被选择以用于当前块时，所选择的候选集内的多个目标候选被重新排序，以生成已重新排序运动向量预测候选列表，随后，使用已重新排序运动向量预测候选列表，在视频编码器侧，当前块被编码，或在视频解码器侧，当前块被解码，其中所选择的候选集至少包括原始运动向量预测候选清单中的部分候选。

Description

用于视频编解码的重新排序运动向量预测候选集的方法及 装置
交叉申请
本发明主张在2017年05月10日提出申请的申请号为62/504,002的美国临时专利申请以及在2017年07月13日提出申请的申请号为62/531,907的美国临时专利申请的优先权。上述列出的申请的内容以引用方式并入本文中。
技术领域
本发明涉及运动估计/运动补偿以及运动向量(motion vector，MV)的预测性编解码。具体而言，本发明涉及一种使用当前块的模板和一个或多个参考块的模板重新排序候选列表中的候选，以提高编解码性能。
背景技术
运动估计/运动补偿是很强大的编解码工具，其已在各种编解码标准中被使用，例如MPEG-2、H.264和新兴的高效视频编解码(High Efficiency Video Coding，HEVC)标准。在编码器侧推导出的运动信息必须被发送至解码器侧，其可能消耗相当大的带宽。为了提高运动信息的编解码效率，预测编解码当前运动向量的运动向量预测被开发。
合并模式和高级运动向量预测(Advanced Motion Vector Prediction，AMVP)模式
对于每个画面间预测单元(prediction unit，PU)，使用运动估计，以确定一个或两个运动向量。为了提高HEVC中的运动向量编解码的编解码效率，HEVC运动向量预测预测性编码运动向量。具体地，HEVC支持跳过模式和合并模式以用于运动向量预测编解码。对于跳过模式和合并模式，基于空间相邻块(空间候选)或者时间同位块(时间候选)的运动信息，候选集被推导出。当使用跳过模式或者合并模式编解码预测单元时，没有运动信息被标志(signal)。相反，仅所选择的候选的索引被编解码。对于跳过模式，残差信号被设置为0或者不被编解码。换言之，没有信息被标志以用于残差。每个合并预测单元重新使用所选择的候选的运动向量、预测方向和参考图像索引。
对于HEVC中的合并模式，如图1所示，多达四个空间运动向量候选自相邻块A0、相邻块A1、相邻块B0和相邻块B1被推导出，一个时间运动向量候选自右下块TBR或者中心块TCT推导出。对于时间候选，TBR被先使用。如果TBR不可用，则TCT被使用。注意的是，如果四个空间运动向量候选中的任何不可用，则块B2用于推导出运动向量候选，作为替换。在四个空间运动向量候选和一个时间运动向量候选的推导流程之后，移除冗余(裁剪)被应用以移除任何冗余运动向量候选。如果在移除冗余(裁剪)之后，可用运动向量候选的数量小于5，则三种类型的额外候选被推导出，并被添加到候选集(候选列表)中。编码器基于率失真优化(rate-distortion optimization，RDO)决策，在用于跳过模式或者合并模式的候选集内选择一个最终候选，并发送索引至解码器。
由于跳过候选和合并候选的推导相似，所以下文所指的“合并”模式可以对应于“合并”模式以及“跳过”模式，以为方便。
运动向量预测技术也被应用以预测地编解码运动向量，其称为高级运动向量预测(Advanced Motion Vector Prediction，AMVP)。当以画面间高级运动向量预测模式编解码预测单元时，用可以与运动向量预测子(motion vector predictor，MVP)一起使用的已发送的运动向量差值(motion vector difference，MVD)来执行运动补偿预测以用于推导出运动向量。为了确定以画面间高级运动向量预测模式的运动向量预测，高级运动向量预测方案被使用，以在包括两个空间运动向量预测和一个时间运动向量预测的高级运动向量预测候选集中选择运动向量预测子。因此，运动向量预测的高级运动向量预测索引及相应的运动向量差值需要被编码并发送以用于高级运动向量预测编解码块。此外，指定了与每个列表的参考信息帧索引相关的双向预测和单预测(即列表0(L0)和/或列表1(L1)))中的预测方向的画面间预测方向也应被编码并发送。
当以跳过模式或者合并模式编解码预测单元时，除了所选择的候选的合并索引之外没有运动信息被发送，是因为跳过模式和合并模式采用运动推理方法(即MV＝MVP+MVD，其中MVD为0)以从所选择的合并候选/跳过候选获得运动信息。
在高级运动向量预测中，左运动向量预测基于来自于A0和A1的第一可用运动向量预测被选择，顶运动向量预测是来自于B0、B1和B2的第一可用运动向量预测，时间运动向量预测是来自于TBR或者TCT的第一可用运动向量预测(如果TBR先被使用，如果TBR不可用，则TCT被使用)。如果左运动向量预测不可用且顶运动向量预测不是已缩放运动向量预测，则如果在B0、B1和B2中存在已缩放运动向量预测，则第二顶运动向量预测可以被推导出。在HEVC中，高级运动向量预测的运动向量预测的列表尺寸是2。因此，在两个空间运动向量预测和一个时间运动向量预测的推导流程之后，仅前两个运动向量预测可用被包括在运动向量预测列表中。如果在移除冗余之后，可用运动向量预测的数量小于2，则0个向量候选被添加到候选列表中。
双向模板运动向量微调
在一些文献中，双向模板运动向量微调(Bilateral Template MV Refinement，BTMVR)也称为解码器侧运动向量微调(Decoder-side MV refinement，DMVR)。例如，在JVET-D0029(Xu Chen,et al.,“Decoder-Side Motion Vector Refinement Based onBilateral Template Matching”,Joint Video Exploration Team(JVET)of ITU-T SG16WP3and ISO/IEC JTC 1/SC 29/WG 11,4th Meeting:Chengdu,CN,15–21October 2016,Document:JVET-D0029)中，公开了基于双向模板匹配的DMVR。BTMVR的流程如图2所示，其中块210是当前块。用于当前块210的原始运动向量MV0 220a和原始运动向量MV1 220b被确定。
在BTMVR(即DMVR)中，其使用两阶段搜索以微调当前块的运动向量。对于当前块，当前运动向量候选的成本先被评估。在第一阶段搜索中，在当前像素位置周围处，整数像素搜索被执行。八个候选被评估。两个相邻圆圈之间或者方形符号和相邻圆圈之间的水平距离和垂直距离为一个像素。在第一阶段中，具有最低成本的最佳候选被选择为最佳运动向量候选。在第二阶段中，在第一阶段中的最佳运动向量候选周围处，二分之一像素方形搜索被执行。具有最低成本的最佳候选被选择为最终运动补偿的最终运动向量。
当底层视频数据对应于彩色视频时，BTMVR流程也可以被应用到颜色分量。本领域所知的是，彩色视频可以是不同颜色格式，例如具有诸如4:4:4,4:2:2和4:2:0的不同颜色采样格式的YUV颜色分量或者YCrCb颜色分量。例如，当颜色视频处于YCrCb420格式时，Cr色度分量和Cb色度分量具有Y亮度分量的二分之一垂直分辨率和二分之一水平分辨率。在运动向量用于色度分量之前，基于Y分量推导出的运动向量需要被缩放。
基于样式运动向量推导(Pattern-based MV Derivation，PMVD)
图3示出了帧率向上转换(Frame Rate Up Conversion，FRUC)双向匹配模式的示例，其中基于两个参考图像，当前块310的运动信息被推导出。透过在两个不同参考图像(即Ref0和Ref1)中沿着当前块的运动轨迹340查找两个块(即320和330)之间的最佳匹配，当前块的运动信息被推导出。在连续运动轨迹的假设下，指向两个参考块的与Ref0相关的运动向量MV 0和与Ref1相关的运动向量MV 1将与当前图像(即Cur pic)和两个参考图像Ref0和Ref1之间的时间距离，即TD0和TD1成比例。
图4标出了模板匹配FRUC模式的示例。当前图像(即Cur pic)中的当前块410的相邻区域(即420a和420b)用作模板，以与参考图像(即图4中的Ref0)中的相应模板(即430a和430b)匹配。模板420a/420b与模板430a/430b之间的最佳匹配将确定解码器侧推导运动向量440。虽然图4中显示了Ref0，但是Ref1也可以用作参考图像。
根据VCEG-AZ07，当merge_flag或者skip_flag为真时，FRUC_mrg_flag被标志。如果FRUC_mrg_flag为1，则FRUC_merge_mode被标志以表示双向匹配合并模式或者模板匹配合并模式被选择。如果FRUC_mrg_flag为0，则意味着在这种情况中常规合并模式被使用，并且合并索引被标志。在视频编解码中，为了提高编解码效率，使用运动向量预测，块的运动向量可以被预测，其中候选列表被生成。合并候选列表可以用于以合并模式编解码块。当合并模式用于编解码块时，此块的运动信息(例如，运动向量)可以由合并运动向量列表中的候选运动向量之一表示。因此，不是直接发送块的运动信息，而是合并索引被发送到解码器侧。解码器保持相同的合并列表，并使用合并索引以检测出由合并索引标志的合并候选。通常合并候选列表包括少数量的候选，并且发送合并候选比发送运动信息有效得多。当以合并模式编解码块时，透过标志合并索引而不是显性发送，运动信息与相邻块的运动信息“合并”。然而，预测残差仍被发送。在预测残差为0或者非常小的情况中，预测残差被“跳过”(即跳过模式)，并且块由具有合并索引的跳过模式编解码，以识别出合并列表中的合并运动向量。
虽然术语FRUC指的是帧率向上转换(Frame Rate Up-Conversion)的运动向量推导，但底层技术用于解码器以推导出一个或多个合并运动向量候选，而无需显性发送运动信息。因此，在本发明中，FRUC也称为解码器推导运动信息。由于模板匹配方法是基于样式运动向量推导技术，所以在本发明中，FRUC的模板匹配方法也称为基于样式运动向量推导(Pattern-based MV Derivation，PMVD)。
在解码器侧运动向量推导方法中，透过扫描所有参考图像中的所有运动向量，称为时间推导运动向量预测的新时间运动向量预测被推导出。为了推导出LIST_0时间推导运动向量预测，对于LIST_0参考图像中的每个LIST_0运动向量，此运动向量被缩放以指向当前信息帧。当前信息帧中由此缩放运动向量指向的4x4块是目标当前块。此运动向量还被缩放以指向用于目标当前块的LIST_0中refIdx等于0的参考图像。图5A和图5B示出了分别推导LIST_0和LIST_1的时间推导运动向量预测。在图5A和图5B中，每个小正方形块对应于4x4块。时间推导运动向量预测流程扫描所有参考图像中的所有4x4块中的所有运动向量，以生成当前信息帧的时间推导LIST_0运动向量预测和时间推导LIST_1运动向量预测。例如，在图5A中，块510、块512和块514分别对应于当前图像(即Cur.pic)、具有索引等于0(即refidx＝0)的LIST_0参考图像和具有索引等于1(即refidx＝1)的LIST_0参考图像的4x4块。具有索引等于1的LIST_0参考图像中的两个块的运动向量520和运动向量530是已知的。随后，透过分别缩放运动向量520和运动向量530，时间推导运动向量预测522和时间推导运动向量预测532可以被推导出。随后，缩放运动向量预测被分配到相应的块。同样地，在图5B中，块540、块542和块544分别对应于当前图像(即Cur.pic)、具有索引等于0(即refidx＝0)的LIST_1参考图像和具有索引等于1(即refidx＝1)的LIST_1参考图像的4x4块。具有索引等于1的LIST_1参考图像中的两个块的运动向量550和运动向量560是已知的。随后，透过分别缩放运动向量550和运动向量560，时间推导运动向量预测552和时间推导运动向量预测562可以被推导出。
对于双向匹配合并模式和模板匹配合并模式，两阶段匹配被使用。第一阶段是预测单元层匹配，第二阶段是子预测单元层匹配。在预测单元层匹配中，LIST_0和LIST_1中的多个原始运动向量分别被选择。这些运动向量包括来自于合并候选(即常规合并候选，例如HEVC标准中所指定的这些)的运动向量和来自于时间推导运动向量预测的运动向量。两个不同起始运动向量集被生成以用于两个列表。对于一个列表中的每个运动向量，透过包括此运动向量及透过将此运动向量缩放到另一列表而推导出的镜像运动向量，运动向量对被生成。对于每个运动向量对，透过使用此运动向量对，两个参考块被补偿。这两个块的绝对差之和(sum of absolutely differences，SAD)被计算。具有最小绝对差之和的运动向量对被选择为最佳运动向量对。
局部照度补偿(Local Illumination Compensation，LIC)
LIC是一种使用当前块和参考块的相邻样本执行画面间预测的方法。其是基于使用缩放因子a和偏移b的线性样式。透过参考当前块和参考块的相邻样本，本方法推导出缩放因子a和偏移b。另外，LIC流程可以被使能或者禁能以适应性地用于每个编码单元(coding unint,CU)。
关于LIC的更多细节可以在JVET-C1001((Xu Chen,et al.,“AlgorithmDescription of Joint Exploration Test Model 3”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting:Geneva,CH,26May–1 June 2016,Document:JVET-C1001)中找到。
高级运动向量分辨率(Advanced Motion Vector Resolution，AMVR)
为了提高编解码增益，AMVR最近也已被引进。AMVR可以适应性地切换运动向量差值的分辨率。当前运动向量与预测单元的运动向量预测子之间的运动向量差值可以用四分之一像素分辨率或者整数像素分辨率进行编解码。切换被控制在编码单元层，整数运动向量差值分辨率标志(有条件地)被标志。
关于AMVR的更多细节可以在JVET-C1001((Xu Chen,et al.,“AlgorithmDescription of Joint Exploration Test Model 3”,Joint Video Exploration Team(JVET)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,3rd Meeting:Geneva,CH,26May–1June 2016,Document:JVET-C1001)中被找到。
在JVET-E0076(Chen et al.,“EE5EE4:Enhanced Motion Vector DifferenceCoding”,Joint Video Exploration Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC1/SC 29/WG 11,the 5th JVET meeting,January 2017,Geneva,Document:JVET-E0076)中，已采用改进型运动向量差值编解码方法。改进型运动向量差值编解码方法包括两个元素：a)用于运动向量差值信令(signalling)的4像素精度(除了1/4像素及整数像素运动向量差值精度之外)，以及b)可切换的二进制化以及下上文模型选择。根据JVET-E0076，第一标志被标志以指示用于表明亮度的1/4像素运动向量精度在编码单元中是否被使用。当第一标志指示表明亮度的1/4像素运动向量精度不被使用时，另一标志被标志以指示整数个亮度样本或四个亮度样本运动向量精度是否被使用。
在下面发明中，描述了透过采用当前块的模板和一个或多个参考块的模板、先前已编解码数据或信息以提高编解码效率的不同技术。
发明内容
本发明公开了一种用于视频编解码的画面间预测的方法及装置，其由视频编码器或视频解码器执行，该方法及装置利用运动向量预测以编解码与用画面间模式编解码的块相关的运动向量。根据一方法，在视频编码器侧，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收对应于包括当前块的已压缩数据，其中当前块包括视频数据的像素集。当前块的原始运动向量预测候选列表被生成。根据本发明，当候选重新排序被选择以用于当前块时，所选择的候选集内的多个目标候选被重新排序，以生成已重新排序运动向量预测候选列表；随后使用已重新排序运动向量预测候选列表，在视频编码器侧，当前块被编码，或在视频解码器侧，当前块被解码，其中所选择的候选集至少包括原始运动向量预测候选列表中的部分候选。
在一实施例中，重新排序多个目标候选包括：基于当前块的多个上方相邻条件或多个左侧相邻条件，或者基于当前块的第一模板和一个或多个相应参考块的第二模板，估计多个目标候选的多个成本。例如，当前块的第一模板可以包括位于当前块上方和当前块左侧中至少一个的多个第一像素；以及一个或多个相应参考块的第二模板可以包括位于一个或多个相应参考块上方和一个或多个相应参考块左侧中至少一个的多个第二像素。又例如，当前块的第一模板可以包括位于当前块上方的NC个第一像素行和位于当前块左侧的MC个第一像素列；以及一个或多个相应参考块的第二模板可以包括位于一个或多个相应参考块上方的NR个第二像素行和位于一个或多个相应参考块左侧的MR个第二像素列；其中NC、MC、NR和MR均是大于0的整数。又例如，当前块的第一模板还可以包括穿过当前块的左上角以形成第一L型区域所定位的第一区块；以及一个或多个相应参考块的第二模板还包括与一个或多个相应参考块相邻以形成第二L型区域的左上角的第二区块。NC、MC、NR和MR均可以是根据当前块的形状或尺寸，或者覆盖当前块的当前片段的量化参数值确定的。
在一实施例中，多个目标候选的多个成本是基于当前块的第一模板中的多个已子采样第一像素和一个或多个相应参考块的第二模板中的多个已子采样第二像素估计的。依据当前块的尺寸，确定是否使用多个已子采样第一像素和多个已子采样第二像素，以用于估计多个目标候选的多个成本。
在又一实施例中，对于当前块的第一模板中的多个第一像素以及一个或多个相应参考块的第二模板中的多个第二像素，多个目标候选的多个成本仅是基于位于当前块上方的多个第一像素以及一个或多个相应参考块上方的多个第二像素而被估计，或者仅是基于当前块左侧的多个第一像素以及一个或多个相应参考块左侧的多个第二像素而被估计。基于当前块的尺寸，确定是否仅使用位于当前块上方的多个第一像素和一个或多个相应参考块上方的多个第二像素以用于估计多个目标候选的多个成本，或者确定是否仅使用位于当前块左侧的多个第一像素和一个或多个相应参考块左侧的多个第二像素以用于估计多个目标候选的多个成本。
相应参考块可以是根据当前块的一个或多个运动向量而定位，其中当当前块是单向预测时，一个相应参考块用于估计多个目标候选的多个成本，并且当当前块是双向预测时，两个相应参考块用于估计多个目标候选的多个成本。多个目标候选的多个成本可以是基于包括当前块的第一模板的多个第一像素与一个或多个相应参考块的第二模板中的多个第二像素之间的绝对差之和以及平方差之和的测量估计的。此外，双线性滤波被应用于当前块的第一模板的多个第一像素以及一个或多个相应参考块的第二模板中的多个第二像素；随后，多个目标候选的多个成本是基于包括多个已滤波第一像素与多个已滤波第二像素之间的绝对差之和以及平方差之和的测量估计的。
在一实施例中，估计多个目标候选的多个成本可以包括：调整与多个目标候选相关的多个原始已估计成本。例如，原始已估计成本是根据候选类型或候选索引调整的。
当第一目标候选具有比第二目标候选低的成本，且第一目标候选在原始运动向量预测候选列表中位于第二目标候选之后时，重新排序所选择的候选集内的多个目标候选可以对应于将第一目标候选移动到第二目标候选的前面的位置。在另一示例中，对应于第二目标候选的第二成本与第一目标候选的第一成本的比值大于预定义阈值的额外条件，以用于重新排序第一候选和第二候选。
在一实施例中，基于当前块的形状、尺寸或量化参数值，或当前图像的尺寸，确定候选重新排序是否被选择以用于该当前块。
在一实施例中，所选择的候选集可以对应于原始运动向量预测候选集的多个成员候选，其至少具有合并索引小于或等于阈值，或属于一个或多个所选择的候选类型，或其组合。
在一实施例中，所选择的候选集可以对应于原始运动向量预测候选集的多个成员候选，其中多个成员候选属于一个或多个所选择的候选类型。
附图说明
图1是根据HEVC用于推导出合并候选的空间相邻块和时间相邻块。
图2是双向模板运动向量微调(即DMVR)流程的示例。
图3是FRUC双向匹配模式的示例，其中当前块的运动信息基于两个参考图像被推导出。
图4是模板匹配FRUC模式的示例。
图5A和图5B是分别推导出List_0和List_1的时间推导运动向量预测的示例。
图6示出了基于模板的上方部分和左侧部分推导当前块的运动向量分辨率的示例。
图7示出了根据本发明的通用的"预测+合并"算法的基本框架。
图8示出了根据本发明实施例的合并候选重新排序器的示例，其中原始候选行表的多个候选(即该示例中的候选1和候选3)被选择以用于重新排序。
图9示出了根据本发明实施例的合并候选重新排序器的简单流程图。
图10A示出了用于对应于覆盖位于目标块上方的像素、位于目标块左边的像素和位于目标块左上角的像素的L型区域的目标块的模板的示例。
图10B标出了对应于覆盖位于目标块上方的像素和位于目标块左边的像素的L型区域的目标块的模板的示例。
图11A示出了用于估计成本的当前块和参考块的L型模板的示例，其中L型模板覆盖L型区域中的所有像素。
图11B示出了用于估计成本的当前块和参考块的L型模板的示例，其中L型模板覆盖L型区域的分开的顶端部分和左侧部分。
图12A示出了用于当前块和参考块的L型模板，其中空白圈表示模板像素，填充圈表示当前块或参考块的像素。
图12B示出了在成本估计期间用于图12A中所示的模板的应用于模板的左侧部分的2:1垂直子采样的示例。
图12C示出了在成本估计期间用于图12A中所示的模板的应用于模板的顶端部分的2:1水平子采样的示例。
图12D示出了在成本估计期间用于图12A中所示的模板的应用于模板的左侧部分的2:1垂直平子采样以及应用于模板的顶端部分的2:1水平子采样的示例。
图13A示出了丢弃在成本估计期间用于图12A中所示的模板的当前块和参考块的L型模板的左侧部分的所有像素的示例。
图13B示出了丢弃在成本估计期间用于图12A中所示的模板的当前块和参考块的L型模板的顶端部分的所有像素的示例。
图14示出了根据本发明实施例的包括基于组的候选重新排序步骤的示例性流程图。
图15A示出了基于当前块的分割的候选重新排序的一示例，其中实线对应于四叉树分割，虚线对应于二叉树分割。
图15B示出了基于当前块的分割的候选重新排序的另一示例，其中实线对应于四叉树分割，虚线对应于二叉树分割。
图16示出了根据本发明实施例的使用运动向量预测以编解码与以画面间模式编解码的块相关的运动向量的视频编解码系统的示例性流程图。
具体实施方式
以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征，并非用以限定本发明。本发明的保护范围当视权利要求所界定为准。
在本发明中，位于当前块外部的模板及位于参考块外部的相应模板被采用以推导用于提高编解码效率的信息。
用于适应性运动向量分辨率的基于模板的模式选择
在所提出的方法中，当前块的运动向量分辨率可以自其相邻而被推导出。模板的上方部分和左侧部分可以被使用以推导当前块的运动向量分辨率。例如，上方模板612a可以对应于位于当前块610(例如，编码单元或预测单元)上方的N像素行，其具有与如图6所示的当前块的宽度相同的宽度。左侧模板612b可以对应于位于当前块610左侧的N像素列，其具有与如图6所示的当前块的高度相同的高度。当模板用于评估当前块的不同运动向量分辨率时，当前块610的模板的像素与参考块620的模板(622a和/或622b)中相应像素的成本(例如，失真)被计算。基于如图6中的运动向量630所示的自当前块指向参考块的运动向量，相应参考块被定位。具有最小模板成本的分辨率被选择为当前块的运动向量分辨率。
根据本发明的一方法，预测的残差没有被标志。编码器和解码器将相同的成本估计应用到用于所有三种运动向量分辨率的上方模板和左侧模板。用于当前块的具有最小成本的运动向量分辨率被选择。当上方模板不可用时，编码器和解码器将仅使用左侧模板。当左侧模板不可用时，编码器和解码器将仅使用上方模板。当上方模板和左侧模板均不可用时，编码器和解码器将选择当前块的默认运动向量分辨率。默认运动向量分辨率可以是所支持的运动向量分辨率之一，例如，四分之一像素、整数像素或4像素。
在另一方法中，编码器和解码器可以标志(signal)MV_resolution_Predcition_flag语法以指示当前块运动向量分辨率是否是自其相邻模板预测的。当标志表示其是自相邻模板预测时，编码器和解码器将成本评估应用于所有三种运动向量分辨率的模板，并选择具有最小成本的一个。否则(即MV_resolution_Predcition_flag表示不使用基于模板的方法)，正确的运动向量分辨率将被标志。MV_resolution_Predcition_flag可以是上下文编解码的或者旁路编解码的。当其是上下文编解码的时，其可以使用N(N为大于1的整数)个上下文。上下文可以基于上方相邻块和/或左侧相邻块的信息被选择。
在另一方法中，编码器可以标志所使用的运动向量分辨率与所预测的运动向量分辨率之间的差值。在解码器侧，这个差值可以被解析。在一实施例中，编码器和解码器可以将四分之一像素运动向量分辨率表示为N，将整数像素运动向量分辨率表示为N+1，并将4像素分辨率表示为N+2。
在另一实施例中，表示每个分辨率的顺序可以不相同。无需将四分之一像素运动向量分辨率表示为N，将整数像素运动向量分辨率表示为N+1，并将4像素分辨率表示为N+2。用于表示的这3种分辨率的其他可能顺序可以被支持。
在本方法的所有上述实施例中，N为整数。例如，N可以被选择为0。
在又一实施例中，当运动向量分辨率的预测是正确的时，预测误差被标志为“0”；否则，当预测子为四分之一像素分辨率而正确的分辨率为整数像素时，预测误差被标志为“+1”；以及当预测子为四分之一像素分辨率而正确的分辨率为4像素时，预测误差被标志为“-1”。同理，使用模块系统，1/4像素、1像素、4像素、1/4像素、1像素、4像素…的序列可以被使用以表示这些分辨率之间的相邻关系。当预测子分辨率与真实分辨率匹配时，“0”被标志；否则，根据正确分辨率与其预测子之间的相对相邻位置，“+1”或“-1”被标志。在本示例中，如果正确分辨率是位于预测子分辨率的右边，则“+1”被标志；否则如果正确分辨率位于预测子分辨率的左边，则“-1”被标志。
用于二进制化的上述字符(即“0”、“+1”和“-1”)的一个示例被总结如下：
表1
待标志字符 二进制值
0 0
+1 10
-1 11
在编码运动向量分辨率期间，符号和差将被计算并编解码。注意的是，这些设置仅用于说明本方法。通常，3个连续数字可以被使用以表示这三种分辨率。在一示例中，编码器和解码器设置四分之一运动向量分辨率为1、整数像素运动向量分辨率为2以及4像素运动向量分辨率为3。残差表格的示例如表2所示。
表2
已预测MV分辨率 实际MV分辨率 差
1 1 0
1 2 1
1 3 2
2 1 -1
2 2 0
2 3 1
3 1 -2
3 2 -1
3 3 0
如上述表格所示，总共5个不同的残差值。为了编解码5个残差，我们可以使用固定长度二进制化或可变长度二进制化。
在一实施例中，指数哥伦布(Ex-Golomb)码用于二进制化。一个码字表格如下所示:
表3
残差 码字
0 0
1 10
-1 110
2 1110
-2 1111
在另一实施例中，提出使用前序(prefix)和固定长度码字以用于二进制化。例如，一个标志可以被标志以表示残差是否为0。如果残差不为0，则前序“1”可以被标志，接着2个二进制值(bin)被标志以表示4个可能残差(即-1,1,-2,2)中的哪个被使用。一个示例二进制化表格如表4所示。
表4
残差 码字
0 0
1 100
-1 101
2 111
-2 110
在另一实施例中，不同分辨率之间的差值可以使用符号及绝对值来表明。例如，一个MV_resolution_predition_no_residual_flag被标志以表示运动向量分辨率预测残差是否为0。当MV_resolution_prediction_no_residual_flag为1时，已预测运动向量分辨率与当前运动向量分辨率之间的残差为0，并且已预测运动向量分辨率用于当前运动向量分辨率。否则存在残差。一个符号标志MV_resolution_residual_sign_flag被标志以表示残差的符号。随后是残差的绝对值MV_resolution_abs_value。由于仅存在两个残差绝对值，一个二进制值用于标志残差的绝对值。
在所有上述表格中，码字仅是示例，并且透过改变1和0，不同的码字可以简单地被构造。残差值的顺序可以被重新排列。
在上述二进制化示例中，所有二进制值可以被绕过编解码。在另一实施例中，可以存在用于编解码每个二进制值的N个以上的上下文。
在上述方法中，存在3个待选择的运动向量分辨率。通常，如果存在N个运动向量分辨率以供选择，则这些方法可以被简单地拓展。
除了运动向量分辨率之外，运动向量符号也可以使用模板来预测。通常，每个运动向量差值对存在2个二进制值，并且每个符号存在2个可能值(即正和负)。因此，存在待预测的4个可能值的最大值。如果一对中仅存在一个非零运动向量差值，则可能候选将变成2。对于N个可能运动向量分辨率以及M个可能运动向量符号，不同的方法可以被使用以预测这些NxM个组合。
在一实施例中，基于模板的预测方法可以自预测运动向量分辨率而被拓展。开始时，仅存在N个待预测的运动向量分辨率，现在N将被拓展为NxM以一次预测运动向量分辨率和运动向量符号。预测将透过搜索用于所有可能组合的运动向量分辨率与运动向量符号的模板中的最小成本而被获得。已预测残差可以被标志或者不被标志。不同数字和码字可以被给定为单个组合，以为了自预测计算残差。
在另一实施例中，序列方法可以被使用以预测运动向量分辨率和运动向量符号。首先，为了预测运动向量符号，假设默认运动向量分辨率具有N个可能值。例如，运动向量分辨率被假设为整数。基于这个假设的整数运动向量，运动向量符号预测子可以透过搜索用于M个可能运动向量符号位置的模板中的最小成本而被获得。在获得符号预测之后，运动向量分辨率的预测可以如前面所述被处理。因此，在序列中生成了两个预测，并且已预测残差可以被标志或者不被标志以分别用于运动向量分辨率和运动向量符号。在又一实施例中，运动向量分辨率可以先被预测，其次预测运动向量符号。
运动向量预测候选列表的候选重新排序
本发明的另一方面提出候选重新排序，以便提高编解码效率。
在本发明中，合并候选被定义为基于"预测+合并"处理的通用框架的候选。算法与预测处理和合并处理相关。在第一部分中，预测子候选列表(即预测子集)透过继承相邻信息或者微调相邻信息而被生成。在第二部分中，合并索引被使用以表示候选列表中所选择的候选和/或与合并索引相关的一些辅助信息被发送给解码器来标识所选择的候选。因此，解码器能继承如合并索引所标识的“已合并”相邻块的运动信息。如图7所示，是常规"预测+合并"算法的基本框架。候选列表包括多个候选710，其对应于相邻块，待继承的运动信息。候选可以被处理或微调以推导出新的候选720。在这些处理期间，一些辅助信息730可以被生成并发送给解码器。
“处理一个候选”的步骤可以对应于将两个或以上候选组合成一个候选。在另一实施例中，其可以对应于使用原始候选作为原始运动向量预测子，并透过使用当前块像素来执行运动估计搜索，以找到最终运动向量差值。在这种情况中，辅助信息对应于运动向量差值。在又一示例中，其可以使用原始候选作为原始运动向量预测子，并透过使用当前块像素来执行运动估计搜索，以找到L0的最终运动向量差值。另一方面，L1预测子为原始候选。在再一示例中，其可以使用原始候选作为原始运动向量预测子，并透过使用当前块像素来执行运动估计搜索，以找到L1的最终运动向量差值。另一方面，L0预测子为原始候选。在再一示例中，其可以使用原始候选作为原始运动向量预测子，并透过使用顶端或左侧相邻像素作为搜索模板来执行运动向量微调搜索，以找到最终预测子。在再一实施例中，其可以使用原始候选作为原始运动向量预测子，并透过使用双边模板(例如，由候选运动向量或镜像运动向量所指向的L0参考图像和L1参考图像中的像素)作为搜索模板来执行运动估计以找到最终预测子。
之后，在本发明中，术语"合并候选"或"候选"意味着合并/跳过模式，或高级运动向量预测模式，或与"预测+合并"算法相关的通用框架中的候选。与"预测+合并"算法相关的框架不被限制为上述的示例。
基于成本估计的运动向量预测候选重新排序
为了提高编解码效率，公开了一种称为合并候选重新排序器的方法。根据本发明，候选列表内的候选顺序被重新排列以获得更好的编解码效率。重新排序规定基于当前候选的一些预先计算或测量，例如上层相邻条件(例如，模式或运动向量)或者当前编码单元的左侧相邻条件(例如，模式或运动向量)、当前编码单元的形状，或上方/左侧L形状模板的匹配结果。图8描述了合并候选重新排序器的示例，其中原始候选列表810的多个候选(即图8示例中的候选1和候选3)被选择以用于重新排序。所选择的候选820的成本被确定，其中在本示例中，候选1的成本为100，候选3的成本为50。成本称为候选的猜测成本(即已估计成本)，其中越低成本意味着越好的候选。随后，透过向候选列表的前面移动所选择的候选中的较低成本候选，用于所选择的候选的重新排序被执行。在图8的示例中，候选3具有比候选1低的成本。因此，如已重新排序列表830中所示，候选3被移动到候选1的前面。通常，列表中的候选Ci的顺序可以被设计为Oi,i＝0～(N-1)，其中N为候选的总数。例如，顺序等于1，意味着列表的开端，顺序等于(N–1)意味着列表的末端。开始时，Oi等于i。换句话说，候选列表的排序是基于原始或者传统方法。根据本发明的合并候选重新排序器将重新排列所选择的候选的Oi值。合并候选重新排序器包括若干重要步骤：
步骤1，选择一些候选(用于重新排序器的)
步骤2，计算所选择的候选的猜测成本
步骤3，根据这些所选择的候选的猜测成本重新排序这些候选
如图9所示，是合并候选重新排序器的简单流程图。在步骤910中，在候选列表中选择多个候选以用于重新排序。在步骤920中，估计所选择的候选的成本。在步骤930中，执行用于成本调整的可选步骤。在步骤940中，根据已估计成本，重新排序所选择的候选。注意的是，根据当前预测单元尺寸或形状，合并候选重新排序器可以被开启或关闭。例如，其可以预定义多个预测单元尺寸或形状，以用于关闭合并候选重新排序器。另外，其他条件，例如图像尺寸或量化参数(quantization parameter，QP)值，也可以被使用以确定是否关闭合并候选重新排序器。
另外，根据本发明的一实施例，标志可以被指示以开启或关闭合并候选重新排序器。例如，标志(例如，"merge_cand_rdr_en")可以表示"合并候选重新排序器"是否被使能(例如，值1：被使能，值0：被禁能)。当不存在时，merge_cand_rdr_en的值被推断为1。用于表示merge_cand_rdr_en的最小单元尺寸也可以在序列层、图像层、片段层或预测单元层中被单独编解码。
对于合并候选重新排序器中的每个步骤，存在不同的实施例。用于这些步骤中的每个的一些示例如下所示。
步骤1：选择多个候选
存在不同的方式来选择用于重新排序的多个候选。依据本发明的一实施方式，重新排序的多个候选为候选集内的多个目标候选。例如，merge_index<＝阈值的所有候选可以被选择。此阈值可以是预定义的值，并且merge_index为合并列表内的原始顺序。如果当前候选的原始顺序是位于合并列表的起始端，则此候选的merge_index为0。又例如，用于重新排序的候选是根据候选类型选择的。候选类型对应于所有候选的候选策略。所有候选可以开始时被分类为MG个类型，其中MG是大于0的整数。MG_S个类型可以自用于重新排序的MP个类型选择，其中MG_S<＝MG。例如，所有候选可以被分类为4个候选类型，其中类型1候选对应于空间相邻块的运动向量，类型2候选对应于时间相邻块的运动向量，类型3候选对应于与所有子预测单元(例如，子预测单元TMVP、STMVP和仿射合并候选)相关的运动向量，类型4候选对应于任何其他候选的运动向量。又例如，用于重新排序的候选可以是根据merge_index和候选类型选择的。也就是说，所选择的候选集对应于原始运动向量预测候选集的多个成员候选，其中多个成员候选至少具有合并索引小于或等于阈值，或属于一个或多个所选择的候选类型，或其组合。
步骤2：计算所选择的候选的猜测成本
与成本估计相关的不同方面被公开如下。
2.1基于模板的猜测成本计算
对于估计所选择的候选的成本，模板匹配被使用。如图10A和图10B所示，是两个示例的模板。在图10A中，目标块1010(例如，当前预测单元或参考预测单元)的模板1012对应于覆盖位于目标块上方的像素、位于目标块左侧的像素以及位于目标块的左上角的像素的L型区域。在图10B中，目标块1010(例如预测单元)的模板对应于位于目标块上方的多个像素行1014和目标块的左侧的多个像素列1016。当前块的模板和参考块的模板被使用以估计所选择的候选的成本。例如，当前块的模板与参考块的模板之间的差可以被比较以估计成本。因此，在基于模板的匹配方法中，存在两个重要部分，一个是模板(例如，L型模板)设计，另一个是匹配算法。
2.2L型模板设计
当前块的L型模板包括当前预测单元的顶端边界和左侧边界周围的一些像素。同样地，参考块的L型模板包括参考块的的顶端边界和左侧边界周围的一些像素，以用于估计与当前合并候选相关的成本。通常，参考块的模板具有与当前块的模板相同的形状和相同数量的像素。用于估计成本的参考块可以对应于由当前合并候选的运动向量的整数部分所指向的块。参考块的L型模板具有若干实施例。在一实施例中，如图11A所示，L型模板的所有像素位于用于估计成本的参考块的外部，其中当前块1110的L型区域1112和参考块1120的L型区域1122被表示。参考块1120是基于自当前块1110指向的运动向量1140定位的。在另一实施例中，L型模板1123的所有像素位于用于估计成本的参考块内部。在又一实施例中，L型模板的一些像素位于用于估计成本的参考块的外部，L型模板的一些像素位于用于估计成本的参考块内部。图11B显示了与图11A相似的另一实施例的模板。然而，当前块的模板包括位于当前块1110上方的多个像素行1114以及位于当前块1110左侧的多个像素列1116。对于参考块1120，当前块的模板包括位于参考块1120上方的多个像素行1124以及位于参考块1120左侧的多个像素列1126。同样地，参考块1120的内部像素1128可以被使用。图11A中的模板(即1112和1122)在本发明中称为完整L型模板。另一方面，图11B中的模板(即1114/1116和1124/1126)在本发明中称为分开的L型模板。
在下文中，L型匹配方法的具体细节被公开。假设当前预测单元的宽度为BW，当前预测单元的高度为BH，当前块的L型模板具有顶端部分和左侧部分。定义顶端厚度为TTH，左侧厚度为LTH，则顶端部分包括位于(ltx+tj,lty-ti)处的所有像素，其中ltx和lty分别是当前预测单元的左上角像素的水平坐标和垂直坐标，ti对应于当前块的像素线(pixelline)的索引(0≤ti≤(TTH-1))，tj对应于当前块的线中像素索引(0≤tj≤(BW-1))。对于左侧部分，其包括位于(ltx-tjl,lty+til)处的所有像素，其中tjl对应于当前块的列(column)的索引(0≤tjl≤(LTH-1))，til对应于当前块的一行(row)中像素索引(0≤til≤(BH-1))。
同理，参考块的L型模板包括顶端部分和左侧部分。定义顶端厚度为TTHR，左侧厚度为LTHR，则顶端部分包括位于(ltx+tjr,lty-tir+shifty)处的所有参考像素，其中ltxr和ltyr分别是参考预测单元的左上角像素的水平坐标和垂直坐标，tir对应于参考预测单元的像素线的索引(0≤tir≤(TTHR-1))，tjr对应于参考块的线中像素索引(0≤tjr≤(BW-1))。在上述中，shifty为预定义平移值。对于左侧部分，其包括位于(ltxr-tjlr+shiftx,ltyr+tilr)处的参考像素，其中tjlr对应于参考预测单元的列的索引(0≤tjlr≤(LTHR-1))，tilr对应于参考预测单元的一行中像素索引(0≤tilr≤(BH-1))。在上述中，shiftx为预定义平移值。
注意的是，如果当前候选仅具有L0运动向量或L1运动向量，则对于参考块存在一个L型模板。然而，如果当前候选具有L0运动向量和L1运动向量(即双向候选)，则对于两个参考块存在两个L型模板。在这种情况中，一个L0参考图像中的参考块由L0运动向量所指向，另一L1参考图像中的参考块由L1运动向量所指向。
2.3L型模板的适应性厚度
对于L型模板，提出了适应性厚度模式。厚度被定义为L型模板中的顶端部分的像素行的数量，或者L型模板中左侧部分的像素列的数量。对于上述的L型模板，当前块的L型模板的顶端厚度为TTH，以及左侧厚度为LTH，并且，参考块的L型模板的顶端厚度为TTHR，以及左侧厚度为LTHR。适应性厚度模式基于一些条件改变顶端厚度或左侧厚度，例如，当前预测单元尺寸、当前预测单元形状(例如，宽度或高度)或者当前片段的量化参数。例如，如果当前预测单元高度大于或等于32，则顶端厚度可以被设置为2。如果当前预测单元高度小于32，则顶端厚度可以被设置为1。
2.4L型匹配步骤
在此步骤中，其自当前图像检索出当前块的L型模板，并自参考图像检索出参考块的L型模板。当前块的模板和参考块的模板被比较(即，被匹配)，以估计与候选相关的成本。在此步骤中存在两个部分：部分1，自当前图像中的当前块的L型模板获取所选择的像素以及自参考图像的参考块的L型模板获取所选择的像素；以及部分2，计算差值。
L型匹配部分1
在部分1中，我们定义selected_pixels_cur为来自于当前图像中的当前块的L型模板的所选择的像素，并定义selected_pixels_ref为来自于参考图像的参考块的L型模板的所选择的像素。存在自L型模板选择一些像素的若干实施例。
L型匹配的部分1的实施例1
在本实施例中，当前图像中的当前块的L型模板和参考图像的参考块的L型模板的所有像素均被选择。
L型匹配的部分1的实施例2
在本实施例中，L型模板被子采样。换句话说，L型模板的顶端部分和左侧部分的一些像素在子采样中被丢弃。例如，透过丢弃位于L型模板的顶端部分中的奇数水平位置或偶数水平位置处的像素，2:1水平子采样可以被应用于L型模板的顶端部分。又例如，透过丢弃位于L型模板的顶端部分中的奇数垂直位置或偶数垂直位置处的像素，2:1垂直子采样可以被应用于L型模板的顶端部分。又例如，透过丢弃位于L型模板的顶端部分中的奇数垂直位置或偶数垂直位置处的像素，并丢弃位于L型模板的顶端部分中的奇数水平位置或偶数水平位置处的像素，2:1水平与垂直子采样可以被应用于L型模板的顶端部分。又例如，透过丢弃位于L型模板的左侧部分中的奇数水平位置或偶数水平位置处的像素，2:1水平子采样可以被应用于L型模板的左侧部分。又例如，透过丢弃位于L型模板的左侧部分中的奇数垂直位置或偶数垂直位置处的像素，2:1垂直子采样可以被应用于L型模板的左侧部分。又例如，透过丢弃位于L型模板的左侧部分中的奇数垂直位置或偶数垂直位置处的像素，并丢弃位于L型模板的左侧部分中的奇数水平位置或偶数水平位置处的像素，2:1水平与垂直子采样可以被应用于L型模板的左侧部分。子采样可以是2:1或4:1或SN:1，其中SN为子采样因子。图12A示出了当前块1210和参考块1212的L型模板的示例，其中空白圈表示模板像素，填充圈表示当前块或参考块的像素。图12B示出了应用于模板的左侧部分的2:1垂直子采样的示例。图12C示出了应用于模板的顶端部分的2:1水平子采样的示例。图12D示出了应用于模板的顶端部分的2:1水平子采样以及应用于模板的左侧部分的2:1垂直子采样的示例。
另外，子采样模式可以基于当前预测单元尺寸被开启或关闭。例如，如果当前预测单元尺寸大于预定义阈值，则子采样模式可以被关闭；以及如果小于，则子采样模式可以被开启。又例如，如果当前预测单元尺寸大于预定义阈值，则子采样模式可以被开启；以及如果小于，则子采样模式可以被关闭。
L型匹配的部分1的实施例3
在本实施例中，丢弃当前块1310和参考块1312的如图13A所示的L型模板的左侧部分的所有像素。
另外，丢弃模式可以基于当前预测单元尺寸被开启或关闭。例如，如果当前预测单元尺寸大于预定义阈值，则丢弃模式可以被关闭；以及如果小于，则丢弃模式可以被开启。又例如，如果当前预测单元尺寸大于预定义阈值，则丢弃模式可以被开启；以及如果小于，则丢弃模式可以被关闭。
L型匹配的部分1的实施例4
在本实施例中，丢弃当前块1320和参考块1322的如图13B所示的L型模板的顶端部分的所有像素。
另外，丢弃模式可以基于当前预测单元尺寸被开启或关闭。例如，如果当前预测单元尺寸大于预定义阈值，则丢弃模式可以被关闭；以及如果小于预定义阈值，则丢弃模式可以被开启。又例如，如果当前预测单元尺寸大于预定义阈值，则丢弃模式可以被开启；以及如果小于预定义阈值，则子采样模式可以被关闭。
注意的是，对于没有被选择用于L型匹配的这些像素，无需自当前信息框内存(例如，外部内存)或自参考信息框内存检索这些像素，以为了节省内存带宽。
L型匹配部分2
自当前块和参考块的L型模板所选择的像素被检索时，两个模板之间的差被计算。存在若干实施例。
L型匹配部分2的实施例1
在本实施例中，两个模板之间的差值对应于两个L型模板之间的绝对差之和。换句话说，对于当前块的L型模板的一个所选择的像素PC及参考块的L型模板的一个相应所选择的像素PR，像素PC的绝对差之和为abs(PC-PR)。对于双向情况，对于当前块的L型模板的每个所选择的像素PC以及L0参考图像中的参考块的L型模板的一个相应所选择的像素PRL0，以及L1参考图像中的参考块的L型模板的一个相应所选择的像素PRL1，像素PC的绝对差之和为abs(PC-(PRL0+PRL1)/2)或(abs(PC-PRL0)+abs(PC-PRL1))/2。
在本实施例中，绝对差之和可以被其他差函数替代，例如，平方差或其他差计算方法。
L型匹配部分2的实施例2
在本实施例中，双线性滤波先被应用于L型模板。双线性滤波已普遍用于滤波常规视频编解码中的运动补偿中的像素。在本实施例中，双线性滤波被应用于L型模板。L型模板的已滤波像素用于两个模板之间的绝对差之和计算或其他差计算。
步骤3：根据所选择的候选的已估计成本，重新排序候选
在L型匹配计算之后，每个所选择的候选具有已估计成本，标记为GCost_i，其中i为候选索引。
在此步骤中，优选地，这些所选择的候选的已估计成本可以是预先调整的(预调整GCost_i)。随后，所选择的候选根据每个候选的已调整已估计成本被分类。已估计成本的预调整具有若干实施例。在一实施例中，特定候选类型的所有已估计成本被乘以此类型的预定义常数。相乘的结果被存储回到这些所选择候选的已估计成本。在另一实施例中，基于每个候选的merge_index，不同预定义常数被使用以用于不同候选。
在已估计成本的优选预调整之后，所选择的候选根据候选的已估计成本的值被分类。在分类期间，所选择的候选的顺序可以被改变成候选列表中的新位置。例如，如果候选A的顺序在候选列表中是位于候选B的顺序之后，且候选A的GCost_A优于(即成本低于)候选B的GCost_B，则候选A和候选B的候选顺序被调换(即，被交换)。在另一实施例中，如果候选A的顺序在候选列表中是位于候选B的顺序之后，候选A的GCost_A优于(即成本低于)候选B的GCost_B，且GCost_B/GCost_A的比值大于预定义阈值，则候选A和候选B的候选顺序被调换(即，被交换)。在分类处理期间，其重复"成本比较和交换"处理，直到没有候选对可以被调换。
基于组的候选重新排序
为了提高编解码效率，也公开了基于组的候选重新排序。根据本方法，所有候选被分类为多个组。假设所有候选被分类成MG组类型(MG≥2)，MG组中的MG_S组被选择以用于重新排序。例如，所有候选被分类成4个候选组，其中组1包括对应于空间相邻块的运动向量的候选，组2包括对应于时间相邻块的运动向量的候选，组3包括所有子预测单元候选(例如，子预测单元TMVP,STMVP和仿射合并候选)，组4包括所有其他候选。
随后，对于MG_S个所选择的组中的每组gr_i(gr_i＝0,1,...,(MG_S-1))，组gr_i内的多个"特征候选"被选择。
在组gr_i内的多个"特征候选"被选择之后，具有L型匹配方法的L型模板被应用于所选择的组中的组gr_i内的每个特征候选，以获取已估计成本。特征候选的已估计成本可以表示所选择的组的总成本。
用所确定的每个所选择组的总成本，候选组可以被重新排序。其可以将更好候选组(即较低成本候选组)重新排序到更差候选组(即较高成本候选组)的前面。如图14所示，是包括基于组的候选重新排序步骤的示例性流程图。在步骤1410中，将候选分类成组。在步骤1420中，在MG_S个所选择的组内选择每组的特征候选。在步骤1430中，透过根据已估计成本将较好组放置在较差组的前面，重新排序这些候选。
根据编码单元分割的合并候选重新排序器
在本发明的又一方面中，公开了基于块分割的合并候选重新排序。相对于传统视频编解码标准，正被发展的下一代视频编解码支持更灵活的块分割，例如高效视频编解码。下一代视频编解码支持四叉树分割和二叉树分割，其中二叉树分割在四叉树分割之后。图15A示出了使用二叉树和四叉树的分割结果的示例，其中实线对应于四叉树，虚线对应于二叉树。对于当前编码单元1520，根据已有的合并列表设计，来自于左侧的合并候选L位于来自于上方的合并候选A的前面。根据本发明的一实施例，如果最后编解码的编码单元为左侧编码单元(即L)，则候选L和候选A的顺序被调换。如果左侧候选L优于上方候选A，则这两个编码单元应被合并成如点线框所示的一更大编码单元1530。
图15B示出了用于当前块的基于分割的候选重新排序的另一示例，其中实线对应于四叉树分割，虚线对应于二叉树分割。当前块1540被示出。根据本实施例，如果最后编解码的编码单元为左侧编码单元，且左侧编码单元和当前编码单元均位于同一母BT中，左侧候选L和上方候选A的顺序被调换。
图16示出了根据本发明实施例的使用运动向量预测来编解码与用画面间模式编解码的块相关的运动向量的视频编解码系统的示例性流程图。本流程图中所示的步骤可以被实现为编码器侧和/或解码器侧的一个或多个处理器(例如一个或多个CPU)上可执行的程序代码。本流程图中所示的步骤也可以基于硬件被实现，例如用于执行该流程图中步骤的一个或者多个电子设备或者处理器。根据本方法，在步骤1610中，在视频编码器侧，接收与当前图像中的当前块相关的数据，或在视频解码器侧，接收对应于包括当前块的已压缩数据，其中。在步骤1620中，生成当前块的原始运动向量预测候选列表。在步骤1630中，检测候选重新排序是否被选择以用于当前块。如果候选重新排序被选择以用于当前块，步骤1640和步骤1650被执行。否则(即来自于步骤1630的“否”路径)，步骤1640和步骤1650被跳过。在步骤1640中，重新排序所选择的候选集内的目标候选，以生成已重新排序运动向量预测候选列表，其中所选择的候选集至少包括原始运动向量预测候选列表中的部分候选。在步骤1650中，使用已重新排序运动向量预测候选列表，在视频编码器侧编码或在视频解码器侧解码当前块。
所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤、重组这些步骤、将一个步骤进行分割或者组合这些步骤而实施本发明。在本发明中，具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下，透过用等同的语法和语义来替换该语法和语义，本领域技术人员可以实施本发明。
上述说明，使得本领域技术人员能够在特定应用程序的内容及其需求中实施本发明。对本领域技术人员来说，所描述的实施例的各种变形将是显而易见的，并且本文定义的一般原则可以应用于其他实施例中。因此，本发明不限于所示和描述的特定实施例，而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中，说明了各种具体细节，以便透彻理解本发明。尽管如此，将被本领域技术人员理解的是，本发明能够被实践。
如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如，本发明的实施例可以是集成在视频压缩芯片内的电路，或者是集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor，DSP)上执行的程序代码，以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计门阵列(fieldprogrammable gate array，FPGA)所执行的若干函数。根据本发明，透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码，这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而，执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码，不会背离本发明的精神和范围。
本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的，而非限制性的。因此，本发明的范围由所附的权利要求来表示，而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。

Claims (21)

1.一种用于视频编解码的画面间预测的方法，该方法由视频编码器或视频解码器来执行，该方法使用运动向量预测以编解码与用画面间模式编解码的块相关的运动向量，该方法包括：
在该视频编码器侧，接收与当前图像中的当前块相关的数据，或在该视频解码器侧，接收对应于包括该当前块的已压缩数据，其中该当前块包括视频数据的像素集；
生成该当前块的原始运动向量预测候选列表；以及
当候选重新排序被选择以用于该当前块时，则：
重新排序所选择的候选集内的多个目标候选，以生成已重新排序运动向量预测候选列表，其中所选择的该候选集至少包括该原始运动向量预测候选列表中的部分候选；以及
使用该已重新排序运动向量预测候选列表，在该视频编码器侧，编码该当前块，或在该视频解码器侧，解码该当前块。
2.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，重新排序该多个目标候选包括：
基于该当前块的多个上方相邻条件或多个左侧相邻条件，或者基于该当前块的第一模板和一个或多个相应参考块的第二模板，估计该多个目标候选的多个成本。
3.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，该当前块的该第一模板包括位于该当前块上方和该当前块左侧至少一个中的多个第一像素；
该一个或多个相应参考块的该第二模板包括位于该一个或多个相应参考块上方和该一个或多个相应参考块左侧至少一个中的多个第二像素。
4.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，该当前块的该第一模板包括位于该当前块上方的NC个第一像素行和位于该当前块左侧的MC个第一像素列；
该一个或多个相应参考块的该第二模板包括位于该一个或多个相应参考块上方的NR个第二像素行和位于该一个或多个相应参考块左侧的MR个第二像素列；
其中NC、MC、NR和MR均是大于0的整数。
5.根据权利要求4所述的用于视频编解码的画面间预测的方法，其特征在于，该当前块的该第一模板还包括位于穿过该当前块的左上角以形成第一L型区域的第一区块；
该一个或多个相应参考块的该第二模板还包括与该一个或多个相应参考块的左上角相邻的形成第二L型区域的第二区块。
6.根据权利要求4所述的用于视频编解码的画面间预测的方法，其特征在于，NC、MC、NR和MR均是根据该当前块的形状或尺寸，或者覆盖该当前块的当前片段的量化参数值而确定的。
7.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，该多个目标候选的多个成本是基于该当前块的该第一模板中的多个已子采样第一像素和该一个或多个相应参考块的该第二模板中的多个已子采样第二像素估计的。
8.根据权利要求7所述的用于视频编解码的画面间预测的方法，其特征在于，是否使用该多个已子采样第一像素和该多个已子采样第二像素来估计该多个目标候选的该多个成本是依据该当前块的尺寸而确定。
9.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，对于该当前块的该第一模板中的多个第一像素以及该一个或多个相应参考块的该第二模板中的多个第二像素，该多个目标候选的多个成本仅是基于位于该当前块上方的该多个第一像素以及该一个或多个相应参考块上方的该多个第二像素来估计，或者仅是基于该当前块左侧的该多个第一像素以及该一个或多个相应参考块左侧的该多个第二像素来估计。
10.根据权利要求9所述的用于视频编解码的画面间预测的方法，其特征在于，是否仅使用位于该当前块上方的该多个第一像素和该一个或多个相应参考块上方的该多个第二像素来估计该多个目标候选的多个成本是基于该当前块的尺寸而确定，或者是否仅使用位于该当前块左侧的该多个第一像素和该一个或多个相应参考块左侧的该多个第二像素来估计该多个目标候选的多个成本是基于该当前块的尺寸而确定。
11.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，该一个或多个相应参考块是根据该当前块的一个或多个运动向量而定位，其中当该当前块是单向预测时，一个相应参考块用于估计该多个目标候选的多个成本，并且当该当前块是双向预测时，两个相应参考块用于估计该多个目标候选的多个成本。
12.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，该多个目标候选的多个成本是基于包括该当前块的该第一模板的多个第一像素与该一个或多个相应参考块的该第二模板中的多个第二像素之间的绝对差之和以及平方差之和的测量估计的。
13.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，双线性滤波被应用于该当前块的该第一模板的多个第一像素以及该一个或多个相应参考块的该第二模板中的多个第二像素；
该多个目标候选的多个成本是基于包括多个已滤波第一像素与多个已滤波第二像素之间的绝对差之和以及平方差之和的测量估计的。
14.根据权利要求2所述的用于视频编解码的画面间预测的方法，其特征在于，估计该多个目标候选的多个成本包括：
调整与该多个目标候选相关的多个原始已估计成本。
15.根据权利要求14所述的用于视频编解码的画面间预测的方法，其特征在于，该多个原始已估计成本是根据候选类型或候选索引而被调整。
16.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，当第一目标候选具有比第二目标候选低的成本，且该第一目标候选在该原始运动向量预测候选行表中位于该第二目标候选之后时，重新排序所选择的该候选集内的该多个目标候选对应于将该第一目标候选移动到该第二目标候选的前面的位置。
17.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，当第一目标候选具有比第二目标候选低的成本，该第一目标候选在该原始运动向量预测候选行表中位于该第二目标候选之后，且该第二目标候选的第二成本与该第一目标候选的第一成本的比值大于预定义阈值时，重新排序所选择的该候选集内的该多个目标候选是将该第一目标候选移动到该第二目标候选的前面的位置。
18.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，基于该当前块的形状、尺寸或量化参数值，或该当前图像的尺寸，该候选重新排序被确定是否被选择以用于该当前块。
19.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，所选择的该候选集对应于该原始运动向量预测候选集的多个成员候选，其中该多个成员候选至少具有合并索引小于或等于阈值，或属于一个或多个所选择的候选类型，或其组合。
20.根据权利要求1所述的用于视频编解码的画面间预测的方法，其特征在于，所选择的该候选集对应于该原始运动向量预测候选集的多个成员候选，其中该多个成员候选属于一个或多个所选择的候选类型。
21.一种用于视频编解码的画面间预测的装置，该装置由视频编码器或视频解码器来执行，该装置使用运动向量预测以编解码与用画面间模式编解码的块相关的运动向量，该装置包括一个或多个电子电路和处理器，用于：
第一处理器，在该视频编码器侧，接收与当前图像中的当前块相关的数据，或在该视频解码器侧，接收对应于包括该当前块的已压缩数据，其中该当前块包括视频数据的像素集；
第二处理器，生成该当前块的原始运动向量预测候选列表；以及
当候选重新排序被选择以用于该当前块时，则：
重新排序所选择的候选集内的多个目标候选，以生成已重新排序运动向量预测候选列表，其中所选择的该候选集至少包括该原始运动向量预测候选列表中的部分候选；以及
使用该已重新排序运动向量预测候选列表，在该视频编码器侧，编码该当前块，或在该视频解码器侧，解码该当前块。
CN201880028330.8A 2017-05-10 2018-05-08 用于视频编解码的重新排序运动向量预测候选集的方法及装置 Active CN110574377B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762504002P 2017-05-10 2017-05-10
US62/504,002 2017-05-10
US201762531907P 2017-07-13 2017-07-13
US62/531,907 2017-07-13
PCT/CN2018/085931 WO2018205914A1 (en) 2017-05-10 2018-05-08 Method and apparatus of reordering motion vector prediction candidate set for video coding

Publications (2)

Publication Number Publication Date
CN110574377A CN110574377A (zh) 2019-12-13
CN110574377B true CN110574377B (zh) 2021-12-28

Family

ID=64104379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880028330.8A Active CN110574377B (zh) 2017-05-10 2018-05-08 用于视频编解码的重新排序运动向量预测候选集的方法及装置

Country Status (4)

Country Link
US (1) US10701393B2 (zh)
CN (1) CN110574377B (zh)
TW (1) TWI674795B (zh)
WO (1) WO2018205914A1 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding
WO2019009498A1 (ko) * 2017-07-03 2019-01-10 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN118214853A (zh) * 2017-10-26 2024-06-18 英迪股份有限公司 用于基于非对称子块的图像编码/解码的方法及装置
US11057640B2 (en) * 2017-11-30 2021-07-06 Lg Electronics Inc. Image decoding method and apparatus based on inter-prediction in image coding system
EP3817387A4 (en) * 2018-06-22 2021-07-07 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
US11070796B2 (en) * 2018-09-28 2021-07-20 Qualcomm Incorporated Ultimate motion vector expression based pruning for video coding
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
CN111436230A (zh) 2018-11-12 2020-07-21 北京字节跳动网络技术有限公司 仿射预测的带宽控制方法
WO2020098752A1 (en) * 2018-11-14 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Improvements of affine prediction mode
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
US11115652B2 (en) * 2018-12-07 2021-09-07 Tencent America LLC Method and apparatus for further improved context design for prediction mode and coded block flag (CBF)
CN111226439A (zh) * 2019-01-02 2020-06-02 北京大学 视频处理方法和装置
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
KR102662603B1 (ko) * 2019-06-06 2024-04-30 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩을 위한 움직임 후보 리스트 구성
CN110460859B (zh) * 2019-08-21 2022-03-25 浙江大华技术股份有限公司 历史运动矢量列表的使用方法、编解码器及存储装置
EP3973708A4 (en) * 2019-06-25 2023-02-22 Zhejiang Dahua Technology Co., Ltd. INTRA-FRAME PREDICTION SYSTEMS AND METHODS
CN117395411A (zh) 2019-08-20 2024-01-12 北京字节跳动网络技术有限公司 用于视频处理的方法、装置以及计算机可读存储介质
WO2022116246A1 (zh) * 2020-12-03 2022-06-09 Oppo广东移动通信有限公司 帧间预测方法、视频编解码方法、装置及介质
US11477437B2 (en) * 2021-01-28 2022-10-18 Lemon Inc. Coding of motion information
US11936899B2 (en) * 2021-03-12 2024-03-19 Lemon Inc. Methods and systems for motion candidate derivation
CN117321994A (zh) * 2021-04-09 2023-12-29 抖音视界有限公司 用于视频处理的方法、设备和介质
CN113079372B (zh) * 2021-06-07 2021-08-06 腾讯科技（深圳）有限公司 帧间预测的编码方法、装置、设备及可读存储介质
WO2023278920A1 (en) * 2021-06-29 2023-01-05 Qualcomm Incorporated Merge candidate reordering in video coding
WO2023020446A1 (en) * 2021-08-16 2023-02-23 Mediatek Inc. Candidate reordering and motion vector refinement for geometric partitioning mode
WO2023020389A1 (en) * 2021-08-19 2023-02-23 Mediatek Singapore Pte. Ltd. Method and apparatus for low-latency template matching in video coding system
CN117981311A (zh) * 2021-09-15 2024-05-03 株式会社Kt 视频信号编码/解码方法以及存储有比特流的记录介质
WO2023040993A1 (en) * 2021-09-16 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
CA3232975A1 (en) * 2021-09-27 2023-03-30 Karam NASER Template-based syntax element prediction
WO2023051541A1 (en) * 2021-09-28 2023-04-06 FG Innovation Company Limited Device and method for coding video data
US20230103767A1 (en) * 2021-09-29 2023-04-06 Qualcomm Incorporated Motion vector (mv) candidate reordering
WO2023056135A1 (en) * 2021-09-29 2023-04-06 Qualcomm Incorporated Motion vector (mv) candidate reordering
US20230115768A1 (en) * 2021-09-29 2023-04-13 Alibaba Singapore Holding Private Limited Improved temporal merge candidates in merge candidate lists in video coding
KR20240072202A (ko) * 2021-09-29 2024-05-23 캐논 가부시끼가이샤 비디오 코딩 및 디코딩
US20230104476A1 (en) * 2021-10-05 2023-04-06 Tencent America LLC Grouping based adaptive reordering of merge candidate
WO2023061305A1 (en) * 2021-10-11 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023061306A1 (en) * 2021-10-11 2023-04-20 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023072287A1 (en) * 2021-10-29 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230164351A1 (en) * 2021-11-19 2023-05-25 Tencent America LLC Methods and devices for refining motion vector candidates
WO2023131125A1 (en) * 2022-01-04 2023-07-13 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
US20230217013A1 (en) * 2022-01-04 2023-07-06 FG Innovation Company Limited Device and method for decoding video data
WO2023179783A1 (en) * 2022-03-25 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2023198699A2 (en) * 2022-04-11 2023-10-19 Canon Kabushiki Kaisha Data coding and decoding
GB2617568A (en) * 2022-04-11 2023-10-18 Canon Kk Video coding and decoding
GB2617569A (en) * 2022-04-11 2023-10-18 Canon Kk Data coding and decoding
WO2023208220A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus for reordering candidates of merge with mvd mode in video coding systems
WO2023208224A1 (en) * 2022-04-29 2023-11-02 Mediatek Inc. Method and apparatus for complexity reduction of video coding using merge with mvd mode
WO2023236916A1 (en) * 2022-06-06 2023-12-14 Mediatek Inc. Updating motion attributes of merge candidates
WO2023237025A1 (en) * 2022-06-07 2023-12-14 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing
WO2024000581A1 (zh) * 2022-07-01 2024-01-04 Oppo广东移动通信有限公司 排序方法、解码方法、编码方法、装置、解码器和编码器
US20240129506A1 (en) * 2022-10-14 2024-04-18 Tencent America LLC Template-matching based merge index reordering for geometric partition mode (gpm)
WO2024088048A1 (en) * 2022-10-26 2024-05-02 Mediatek Inc. Method and apparatus of sign prediction for block vector difference in intra block copy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934434A (zh) * 2010-07-12 2013-02-13 联发科技股份有限公司 时间运动矢量预测的方法与装置
CN103096067A (zh) * 2011-11-04 2013-05-08 吴秀美 产生重构块的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9131239B2 (en) 2011-06-20 2015-09-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US20130188715A1 (en) * 2012-01-09 2013-07-25 Qualcomm Incorporated Device and methods for merge list reordering in video coding
US20150085932A1 (en) * 2012-04-24 2015-03-26 Mediatek Inc. Method and apparatus of motion vector derivation for 3d video coding
US9258562B2 (en) * 2012-06-13 2016-02-09 Qualcomm Incorporated Derivation of depth map estimate
US9325990B2 (en) 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
WO2015192286A1 (en) * 2014-06-16 2015-12-23 Qualcomm Incorporated Simplified shifting merge candidate and merge list derivation in 3d-hevc
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10757420B2 (en) * 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934434A (zh) * 2010-07-12 2013-02-13 联发科技股份有限公司 时间运动矢量预测的方法与装置
CN103096067A (zh) * 2011-11-04 2013-05-08 吴秀美 产生重构块的方法

Also Published As

Publication number Publication date
TWI674795B (zh) 2019-10-11
US10701393B2 (en) 2020-06-30
TW201902221A (zh) 2019-01-01
WO2018205914A1 (en) 2018-11-15
CN110574377A (zh) 2019-12-13
US20200068218A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN110574377B (zh) 用于视频编解码的重新排序运动向量预测候选集的方法及装置
US20230370612A1 (en) Method and apparatus for encoding/decoding a video using a motion compensation
CN110662052B (zh) 更新查找表(lut)的条件
CN110662059B (zh) 使用查找表存储先前编码的运动信息并用其编码后续块的方法和装置
US20240155150A1 (en) Image encoding/decoding method and device, and recording medium having bitstream stored thereon
US20230106821A1 (en) Method and device for image encoding/decoding on basis of asymmetric sub-block
CN110677661B (zh) 用于视频处理的方法、装置和存储介质
US20230138960A1 (en) Image encoding/decoding method and device, and recording medium in which bitstream is stored
CN110662053B (zh) 使用查找表的视频处理方法、装置和存储介质
US11509930B2 (en) Image encoding/decoding method and recording medium therefor
US10834404B2 (en) Image encoding/decoding method and recording medium for same
CN112740697B (zh) 图像编码/解码方法和装置及存储比特流的记录介质
KR101990423B1 (ko) 인터 예측 방법 및 그 장치
CN113711608A (zh) 利用光流的预测细化过程的适用性
CN114503596B (zh) 运动矢量细化和其他编解码工具之间的相互作用
CN116366837A (zh) 视频编解码系统中编解码模式选择的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant