CN113170174B - 视频编码系统中用于决定储存用运动向量的视频处理方法和装置 - Google Patents

视频编码系统中用于决定储存用运动向量的视频处理方法和装置 Download PDF

Info

Publication number
CN113170174B
CN113170174B CN201980077753.3A CN201980077753A CN113170174B CN 113170174 B CN113170174 B CN 113170174B CN 201980077753 A CN201980077753 A CN 201980077753A CN 113170174 B CN113170174 B CN 113170174B
Authority
CN
China
Prior art keywords
motion vector
sub
block
grid
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980077753.3A
Other languages
English (en)
Other versions
CN113170174A (zh
Inventor
萧裕霖
陈庆晔
庄子德
徐志玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113170174A publication Critical patent/CN113170174A/zh
Application granted granted Critical
Publication of CN113170174B publication Critical patent/CN113170174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

用于决定编解码当前块的视频处理方法和装置，包括：接收当前块的输入数据；分割当前块为多个子块；推导用于多个子块的运动信息；使用运动信息对于多个子块进行运动补偿来推导出最终预测子；对于当前块的每一格栅推导与储存代表性运动向量；使用最终预测子来编码或解码当前块。如果多个子块的运动向量是来自于不同列表时，权重区域中的格栅的代表性运动向量是通过结合多个子块的运动向量来决定。如果多个子块的运动向量是来自于相同列表时，权重区域中的格栅的代表性运动向量被决定为多个子块的运动向量中之一。

Description

视频编码系统中用于决定储存用运动向量的视频处理方法和 装置
交叉申请
本申请要求在2018年11月30日提出的申请号为62/773,223，标题为“Methods toDeriving Motion Vector for Triangular Prediction Unit Mode in Video Coding””的美国临时专利申请的优先权。上述美国临时专利申请整体以引用方式并入本文中。
技术领域
本发明关于在视频编码与解码系统中的视频处理方法和装置。尤其，本发明关于储存以运动补偿编解码块的运动向量推导。
背景技术
高效率视频编码(High Efficiency Video Coding，HEVC)的标准，是由来自国际电信联盟电信标准化部门研究组(ITU-T Study Group)的视频编码专家的视频编码联合协作小组(Joint Collaborative Team on Video Coding，JCT-VC)所开发的最新视频编解码标准。HEVC标准改进其之前标准H.264/AVC的视频压缩效果，以达到更高画面分辨率、更高帧速率、与更好视频质量的要求。HEVC标准依赖基于块的编解码结构，其将每一视频切片(slice)分割为多个方型的编解码树单元(Coding Tree Unit，CTU)，其中CTU是HEVC中用于视频压缩的基本单元。光栅扫描顺序(raster scanning order)被用来编码或解码每一切片中的CTU。每一CTU可以包含编解码单元(Coding Unit，CU)，或依据四叉树分割结构来递归式地分割为四个较小CU，直到达到事先定义的最小CU尺寸。预测的决定是在CU层作出的，其中每一CU是使用帧间预测或是帧内预测来加以编解码。一旦CU层级化树的分割完成时，依据用于预测的PU分割类型来将每一CU作进一步分割成一或多个预测单元(PredictionUnit，PU)。PU作为用于共享预测信息的基本代表块，相同的预测流程被应用于PU中的所有像素。预测信息以PU为基础传送给解码器。在帧间画面预测的运动估计会在一或二个参考画面中识别出一个(单向预测)或二个(双向预测)用于当前块的最佳参考块，并且在帧间画面预测的运动补偿会依据一或二个运动向量(MV)来定位出此一或二个最佳参考块。在当前块与相对应预测子之间的差异被称为预测残差。当使用单向预测时，相对应预测子是最佳参考块。当使用双向预测时，二个参考块会被结合以形成该预测子。
跳过与合并模式跳过与合并模式被提出并采用于HEVC标准中，以通过从多个空间相邻块之一或从时间并位块来继承运动信息来增进运动信息的编解码效率。为了以跳过或合并模式编解码PU，不是发信运动信息，而仅发信代表自候选组所选择的最终候选的索引。由以跳过或合并模式所编解码的PU所再使用的运动信息包括MV、帧间预测指示子(indicator)、以及所选择最终候选的参考画面索引。要注意的是，如果所选择最终候选是时间运动候选，则参考画面索引总是被设定为零。当PU是以合并模式来编解码时，预测残差会被编解码；然而，跳过模式进一步跳过预测残差的发信，这是由于以跳过模式编解码的PU的残差数据被强制为零。
合并候选组是由空间相邻块与并位块所推导的四个空间运动候选与时间运动候选所组成。如图1所示，第一合并候选是左方预测子A1 112，第二合并候选是上方预测子B1114，第三合并候选是右上方预测子B0113，以及第四合并候选是左下方预测子A0 111。左上方预测子B2 115被纳入合并候选组中以取代不可用的空间预测子。第五合并候选是从TBR121与TCTR 122中所选择的第一可用的时间预测子。基于例如通过率失真优化(Rate-Distortion Optimization，又称RDO)决策的运动向量补偿，编码器从候选组中选择最终候选来用于以跳过或合并模式所编解码的每一个PU，而且代表所选择最终候选的索引会被发信到解码器。依据视频比特流中所传输的索引，解码器从候选组中选择相同的最终候选。
子块运动补偿被应用在许多最新发展的编解码工具，例如子块时间运动向量预测(Subblock Temporal Motion Vector Prediction，又称Subblock TMVP或SbTMVP)、空间-时间运动向量预测(STMVP)、基于形态的MV推导(PMVD)、与仿射运动补偿预测。CU或PU被分割为二或多个子块，而且这些子块可以有不同参考画面与不同MV。在通过视频编码器或视频解码器所进行的运动补偿流程中，对于每一块而言，一或多个参考块必须依据运动信息被取得。被编解码块的运动信息被储存于缓冲器中，因此运动信息可以被空间或时间相邻块所参考。当子块运动预测编解码工具被使用时，在当前块中与每一子块相关联的运动向量可以是不同的，而且并非所有运动向量都被储存作为后续参考。因此，当当前块被分割为二或多个子块时，有需要发展方法来推导代表性的运动向量以储存作为后续参考。
发明内容
在视频处理方法的示例性实施例中，视频编解码系统：接收当前画面中与当前块相关联的输入视频数据；分割当前块为第一子块与第二子块；推导用于第一子块的第一运动向量与用于第二子块的第二运动向量；使用第一与第二运动向量于当前块中对于第一与第二子块进行运动补偿，来推导用于当前块的最终预测子；对于当前块的每一格栅推导与储存代表性运动向量以用于后续参考；以及依据当前块的最终预测子来编码或解码当前块。当前块中的每一格栅是在非-权重区域或权重区域。在一例子中，每一格栅的尺寸大小等于4x4亮度样本。权重区域包括位于当前块中的第一子块与第二子块之间的格栅，而且非-权重区域包括当前块中的剩余格栅。例如，权重区域中每一格栅包括在第一子块之中的一或多个样本以及在第二子块之中的一或多个样本，而非-权重区域中每一格栅仅包括在第一与第二子块其中之一的样本。
推导用于当前块中每一格栅的代表性MV以用来储存的流程包括：对于第一子块之内非-权重区域中的格栅设定第一MV为代表性MV，以及对于第二子块之内非-权重区域中的格栅设定第二MV为代表性MV。对于权重区域中的格栅，本视频编码或解码系统决定第一MV与第二MV是否来自于不同列表或是来自于相同列表。如果第一MV与第二MV是来自于不同列表时，结合第一MV与第二MV以设定MV来作为权重区域中的格栅的代表性MV。如果第一MV与第二MV是来自于相同列表时，设定第一MV与第二MV其中之一来作为权重区域中的格栅的代表性MV。而且依据一实施例，代表性MV可以是事先定义的MV；或是依据另一实施例，代表性MV可以适应性地加以选择。
第一MV与第二MV可以是推导自一个相同的候选列表或是两个不同的候选列表。在一些实施例中，第一MV与第二MV是单向预测MV，而结合第一MV与第二MV的MV是结合不同列表中二个单向预测MV的双向预测MV。在一实施例中，第一子块与第二子块是在当前块中的三角预测单元，而且当前块是由对角线方向或逆对角线方向分割的CU。在一些实施例中，块是通过事先定义的分割类型来分割为第一与第二子块。在另一实施例中，当前块被分割为多于二个子块。
在一实施例中，当第一与第二MV二者皆来自列表0或是二者皆来自列表1时，第二MV直接被设定为权重区域中的格栅的代表性MV。在一些其他实施例中，当第一与第二MV二者皆来自列表0或是列表1时，在权重区域中的格栅的代表性MV是依据下列之一或其中的组合，从第一MV与第二MV中来适应性地加以选择：第一与该第二MV的参考索引，第一与该第二MV的参考画面，当前块的分割方向，当前块的块高度，当前块的块宽度，以及当前块的面积区域。在一实施例中，具有较小参考索引的MV被选择作为代表性MV；而在另一实施例中，具有较小画面顺序计数差异的的MV被选择作为代表性MV。
依据一些实施例，当前块是以跳过或合并模式加以编码或解码，而且当前块的尺寸大小大于或等于8x8亮度样本。
在一些实施例中，推导用于当前块中每一格栅的代表性MV以用来储存的流程包括：对于第一子块之内非-权重区域中的格栅设定第一MV为代表性MV，并且对于第二子块之内非-权重区域中的格栅设定第二MV为代表性MV；以及当第一MV与第二MV是来自于不同列表时，设定一双向预测MV以作为权重区域中的格栅的代表性MV，或是当第一MV与第二MV是来自于相同列表时，设定单向预测MV以作为权重区域中的格栅的代表性MV。在一实施例中，设定为权重区域中的代表性运动向量的双向预测MV，是从结合第一MV与第二MV所推导出来；而且设定为权重区域中的代表性MV的单向预测MV是第一MV或是第二MV。例如，当二个MV皆来自列表0或是列表1时，单向预测直接被设定为第二MV。
本揭示的一些部分进一步提供在视频编解码系统中进行视频处理的装置。此装置包括一或多个电子电路配置用来：接收当前画面中当前块的输入视频数据；分割当前块为第一子块与第二子块；推导用于第一子块的第一MV与用于该第二子块的第二MV；使用第一与第二MV在当前块中对于第一与第二子块进行运动补偿，来推导用于当前块的最终预测子；对于当前块的每一格栅推导与储存代表性MV以用于后续参考；以及依据当前块的最终预测子来编码或解码当前块。对于第一子块之内非-权重区域中的格栅设定第一MV为代表性MV，以及对于第二子块之内非-权重区域中的格栅设定第二MV为代表性MV。本装置进一步决定第一MV与第二MV是否来自于不同列表或相同列表；以及当第一MV与第二MV是来自于不同列表时，将结合第一与第二MV的MV设定作为权重区域中的格栅的代表性MV。当第一MV与第二MV是来自于相同列表时，将第一MV与第二MV其中之一设定为权重区域中的格栅的代表性MV。
本揭示的一些部分进一步提供一种用来储存程序指令的非暂时性计算机可读取媒介，所述程序指令使得装置的处理电路进行视频处理的方法来编码或解码当前块。当前画面中与当前块相关联的输入视频数据被接收以进行编码或解码；当前块被分割为多个子块；依据源MV对于子块进行运动补偿，来推导出最终预测子；对于当前块的每一格栅推导与储存代表性MV；以及使用最终预测子来编码或解码当前块。用于非-权重区域中的格栅的代表性MV是基于格栅位置而被设定为多个源MV中之一。如果这些源MV是来自于不同列表时，用于权重区域中的格栅的代表性MV被设定为结合这些源MV的MV；如果源MV是来自于相同列表时，用于该权重区域中的格栅的代表性MV被设定为这些源MV中之一。通过阅读以下具体实施例的描述，本发明的其他方面和特征对于本领域通常知识者将变得明显易懂。
附图说明
在本揭示被提出当例子的各种实施例将会参照下列图式被更详细地解说，其中相似的数字用来参照相似的组件，而且其中：
图1绘示空间预测子与时间预测子的位置，以用于建构HEVC标准中所定义的跳过或合并模式的候选组。
图2A与2B依据三角预测单元模式绘示分割块为两个子块的二个例子。
图3绘示用于建构单向预测候选列表的相邻块位置的一个例子。
图4A绘示一个例子，将第一权重因子群组应用在以三角预测单元模式所编解码的亮度块的两个子块之间的对角线边缘。
图4B绘示一个例子，将第一权重因子群组应用在以三角预测单元模式所编解码的色度块的两个子块之间的对角线边缘。
图5A与5B绘示运动向量储存的一个例子，用于分别由对角线方向与逆对角线方向所分割的三角预测单元所编解码的块。
图6A到6D显示在四个不同状况下推导代表性运动向量的例子。
图7A到7C依据本发明的实施例绘示当两个源运动向量是来自于相同列表时，通过三种不同分割类型所分割的块的运动向量储存的例子。
图8A为依据本发明的实施例的流程图，其绘示通过视频编码或解码系统来处理当前块的一个例子。
图8B为依据本发明的实施例的流程图，其绘示推导代表性运动向量以用于当前块的当前格栅的例子。
图9为根据本发明的实施例绘示的示例性系统方块图，以用于体现视频处理方法的视频编码系统。
图10为根据本发明实施例绘示的示例性系统方块图，以用于体现视频处理方法的视频解码系统。
具体实施方式
容易理解的是，如本文附图中一般描述和说明的本发明的组件可以以各种不同的配置来布置和设计。因此，如附图所示，本发明的系统和方法的实施例的以下更详细的描述并非旨在限制所要求保护的本发明的范围，而仅仅代表本发明的所选实施例。
三角预测单元模式三角预测单元模式是一种通过三角分割，将当前块分割为二个子块的子块运动补偿编解码工具。图2A与2B绘示三角预测单元模式的二个例子，沿着对角线或逆对角线方向将每一当前编解码单元(CU)分割为两个三角预测单元。通过从左上角落到右下角落的分割，图2A中的当前CU被分割为第一三角预测单元PU1与第二三角预测单元PU2；而且通过从右上角落到左下角落的分割，图2B中的当前CU被分割为第一三角预测单元PU1与第二三角预测单元PU2。如果CU是从左上角落到右下角落被分割，第一三角预测单元包含右上角落；而且如果CU是从右上角落到左下角落被分割，第一三角预测单元包含左上角落。在当前CU中的每一三角预测单元是使用其自己的单向预测运动向量以及从单向预测候选列表所推导出的参考帧索引来被帧间预测。在预测当前CU中的二个三角预测单元之后，会进行适应性权重处理流程来产生最终预测子以用于在对角线边缘处的边界样本。在预测流程之后，在视频编码器中会应用转换与量化流程于当前CU。依据一些实施例，三角预测单元模式只被应用于跳过与合并模式。
每一三角预测单元从由五个单向预测运动向量候选所组成的单向预测候选列表中来推导运动信息。用于当前CU的三角预测单元的单向预测候选列表是从图3所示的当前CU的七个相邻块而推导出来。七个相邻块包括图3中标示1到5的五个空间相邻块，以及图3中标示6到7的两个时间并位块。七个相邻块的运动向量被依据下列顺序收集与放入单向预测候选列表中：单向预测运动向量、双向预测运动向量的列表0运动向量、双向预测运动向量的列表1运动向量、以及双向预测运动向量的列表0与列表1运动向量的平均运动向量。如果候选的数目小于5，零运动向量会被加入于单向预测候选列表中。
用于三角预测单元模式的适应性权重流程在依据运动信息取得当前CU中每一三角预测单元的预测子之后，适应性权重流程被应用在两个三角预测单元之间对角线边缘处的边界样本，以推导出用于整个CU的最终预测子。以下列出两个权重因子群组。在第一权重因子群组中，权重因子{7/8,6/8,4/8,2/8,1/8}与{7/8,4/8,1/8}分别被用于亮度(luma)样本与色度(chroma)样本。在第二权重因子群组中，权重因子{7/8,6/8,5/8,4/8,3/8,2/8,1/8}与{6/8,4/8,2/8}分别被用于亮度样本与色度样本。基于两个三角预测单元的运动信息的比较结果，其中一个权重因子群组会被选择。例如，当两个三角预测单元的参考画面不同或运动向量差异大于16个像素时，第二权重因子群组会被使用；否则，第一权重因子群组会被使用。图4A绘示一个例子，将适应性权重流程应用在用于亮度样本的两个三角预测单元之间对角线边缘处的边界样本。图4B绘示一个例子，将适应性权重流程应用在用于色度样本的两个三角预测单元之间对角线边缘处的边界样本。图4A与4B所显示的样本展示在适应性权重流程中使用第一权重因子群组。用于每一边界样本的最终预测子是推导自第一三角预测单元的第一预测子P1以及第二三角预测单元的第二预测子P2的权重加总。用于标示为1的样本的第一与第二预测子P1与P2的相对应权重因子分别为1/8与7/8，用于标示为2的样本的P1与P2的相对应权重因子分别为2/8与6/8。用于标示为1的每一样本的最终预测子是1/8*P1+7/8*P2，而且用于标示为2的每一样本的最终预测子是2/8*P1+6/8*P2。标示为4的样本位于对角线边缘的中间，因此用于P1与P2的权重因子二者皆为4/8，相当于将相同权重应用于二个预测子P1与P2。因此标示为4的每一样本的最终预测子是4/8*P1+4/8*P2。相似地，标示为6的样本的权重因子为6/8与2/8而且标示为7的样本的权重因子为7/8与1/8，因此标示为6的每一样本的最终预测子是6/8*P1+2/8*P2而且标示为7的每一样本的最终预测子是7/8*P1+1/8*P2。
在三角预测单元模式的权重区域的代表性运动信息推导在视频编码器或解码器对于当前CU进行三角预测单元模式的预测流程之后，对于每一4x4格栅，当前CU中三角预测单元的代表性运动信息被储存以被其他块来参考。在以下描述中，代表性运动信息可以被代表性运动向量所取代，然而“代表性运动向量”一词：当代表性运动向量是单向预测运动向量时，包括一组的运动向量、参考帧索引、与参考方向；当代表性运动向量是双向预测运动向量时，包括两组的运动向量、参考帧索引、与参考方向。图5A与5B绘示用于以三角预测单元模式所编解码的二个16x16当前块的运动向量储存的例子；图5A中的16x16当前块被对角线方向所分割，而图5B中的16x16当前块被逆对角线方向所分割。用于每一16x16当前CU中第一三角预测单元的第一预测子P1是从单向预测运动向量MV1所推导出来，而且用于每一16x16当前CU中第二三角预测单元的第二预测子P2是从单向预测运动向量MV2所推导出来。第一预测子P1与第二预测子P2也是当前块中非-权重区域的最终预测子，而且通过适应性权重平均，这两个预测子产生当前块中权重区域的最终预测子。运动向量MV1被储存以作为第一三角预测单元中非-权重区域的代表性运动向量，而且运动向量MV2被储存以作为第二三角预测单元中非-权重区域的代表性运动向量。双向预测运动向量被储存以作为二个三角预测单元之间权重区域的代表性运动向量。换言之，取决于当前CU中4x4格栅所在位置，单向预测运动向量或双向预测运动向量被储存以作为4x4格栅的代表性运动向量。如图5A与5B所示，单向预测运动向量(MV1或MV2)被储存以用于位于非-权重区域的每一个4x4格栅，而且双向预测运动向量被储存以用于位于权重区域的每一个4x4格栅。双向预测运动向量是通过结合运动向量MV1与MV2所推导出。
当运动向量MV1与MV2是来自于不同参考画面列表的情况时(即不同参考方向)，例如，一个MV是来自于列表0(即指向列表0的参考画面)而且另一个MV是来自于列表1(即指向列表1的参考画面)，这两个运动向量MV1与MV2则简单地结合以形成储存用的双向预测运动向量。当MV1与MV2二者都是来自于相同列表的情况时，例如，MV1与MV2二者都是来自于列表0方向，MV2的参考画面首先被列表1参考画面列表来检查，以及如果MV2的该参考画面与列表1参考画面列表中的画面相同时，MV2被缩放到列表1的该画面，而且通过结合列表0中的MV1与被缩放到列表1的MV2来形成双向预测运动向量。相似地，如果MV1与MV2二者都是来自于列表1方向时，MV2的参考画面被列表0参考画面列表来检查，以及如果MV2的该参考画面与列表0参考画面列表中的画面相同时，MV2被缩放到列表0的该画面，而且通过结合列表1中的MV1与被缩放到列表0的MV2来形成双向预测运动向量。如果MV2的参考画面与其他参考画面列表中的任何画面都不匹配，MV1的参考画面会被检查。例如，如果MV1与MV2二者都是来自于列表0方向而且MV1的参考画面被列表1参考画面列表来检查，以及如果MV1的该参考画面与列表1参考画面列表中的画面相同时，MV1被缩放到列表1参考画面列表中的该画面。被缩放的MV1与MV2被结合以形成储存用的双向预测运动向量。如果MV1与MV2二者的参考画面在其他参考画面列表中无法找到匹配的参考画面，仅将第一单向预测运动向量MV1储存以用于权重区域，而不是储存双向预测运动向量。
图6A、6B、6C、与6D绘示四个不同状况下推导代表性运动向量来用于以三角预测单元模式所编解码的当前块的权重区域中每一个4x4格栅。用于每一个4x4格栅的代表性运动向量被储存以用于后续参考。在图6A到6D中，当前画面中的当前块是以三角预测单元模式所编解码，其中该当前画面具有画面顺序计数(Picture Order Count，或称POC)等于4。列表0参考画面列表包含两个参考画面：POC 0与POC 8，以及列表1参考画面列表包含两个参考画面：POC 8与POC 16。在图6A中，第一三角预测单元的非-权重区域是通过指向在列表0中具有索引0(POC0)的参考画面的第一源运动向量MV1来加以预测，而且第二三角预测单元的非-权重区域是通过指向在列表1中具有索引0(POC 8)的参考画面的第二源运动向量MV2来加以预测。由于MV1与MV2是在不同列表，用于权重区域中每一个4x4格栅的代表性MV是从MV1与MV2所结合的双向预测MV。在图6B中，第一三角预测单元的非-权重区域是通过指向在列表0中具有索引0(POC 0)的参考画面的MV1来加以预测，而且第二三角预测单元的非-权重区域是通过指向在列表0中具有索引1(POC 8)的参考画面的MV2来加以预测。在此案例中，虽然两个MV是来自列表0，被MV2所指向的参考画面POC 8也是包含于列表1参考画面列表中，因此MV2被缩放到列表1中具有索引0的参考画面。因此用于权重区域的代表性MV是从列表0的MV1与列表1缩放后的MV2所结合的双向预测MV。在图6C中，第一三角预测单元的非-权重区域是通过指向在列表1中具有索引0(POC 8)的参考画面的MV1来加以预测，而且第二三角预测单元的非-权重区域是通过指向在列表1中具有索引1(POC 16)的参考画面的MV2来加以预测。在此案例中，两个MV都是来自列表1，但是MV1的参考画面也是包含于列表0参考画面列表中，因此MV1被缩放到列表0中具有索引1的参考画面。用于权重区域的代表性MV是从列表0缩放后的MV1与列表1的MV2所结合的双向预测MV。在图6D中，第一三角预测单元的非-权重区域是通过指向在列表1中具有索引1(POC 16)的参考画面的MV1来加以预测，而且第二三角预测单元的非-权重区域是通过指向在列表1中具有索引1的相同参考画面的MV2来加以预测。这二个MV是来自相同列表，而且它们的参考画面没有一个是包含于列表0参考画面列表中，因此用于权重区域的代表性MV是单向预测运动向量MV1。
用于三角预测单元模式的约束与语法三角预测单元模式只应用于以跳过或合并模式加以编解码的CU。应用三角预测单元模式的块尺寸大小不能小于8x8。对于以跳过或合并模式所编解码的当前CU而言，CU水平旗标(CU level flag)被发信来指示出三角预测单元模式是否被应用于当前CU。当应用三角预测单元模式于当前CU时，指示分割当前CU为二个三角预测单元的方向的索引以及二个三角预测单元的运动向量会被发信。索引范围从0到39。对照表(look-up table)被用来从视频比特流中所发信的索引来推导分割方向与运动向量。
具有降低复杂度的代表性运动向量推导对于以子块运动补偿编解码工具(例如三角预测单元模式或几何分割)所编解码的当前块中的权重区域所进行的代表性运动向量推导，可以被简化来降低编码器与解码器的复杂度。权重区域包括位于当前块中的多个子块之间的格栅，而剩余格栅是包括于非-权重区域，例如每一格栅的尺寸大小为4x4亮度样本。三角预测单元模式将当前块分割为二个三角预测单元，而几何分割通过在块边界上的二个坐标点来分割当前块以便更贴近地跟随着对象的边界。在以下实施例中，依据三角预测单元模式、几何分割、或子块运动补偿编解码工具中的其他分割方法，来将当前块分割为第一子块与第二子块。第一子块与第二子块是通过第一运动向量MV1与第二运动向量MV2来加以预测。在一些实施例中，第一与第二运动向量是从一或二个候选列表中所推导出的单向预测运动向量。例如，第一运动向量是从建构来用于第一子块的第一候选列表中所推导出来，而且第二运动向量是从建构来用于第二子块的第二候选列表中所推导出来。在另一例子中，第一运动向量与第二运动向量都是从单一候选列表中所推导出来。在二个子块之间的边界样本可以依据该两个运动向量来加以预测。例如，用于边界样本的最终预测子是由推导自第一运动向量的第一预测子以及推导自第二运动向量的第二预测子的权重平均。
在预测当前块之后，用于当前块中每一格栅的代表性运动向量被决定与储存以用于后续参考。当前块中的格栅被分为两个区域：权重区域与非-权重区域。权重区域包括位于当前块中的二个子块之间的格栅，而且非-权重区域包括当前块中的剩余格栅。例如，权重区域中每一格栅包括在第一子块以及在第二子块之中的样本，而非-权重区域中每一格栅仅包括在第一与第二子块其中之一的样本。取决于格栅所在位置，被储存用于非-权重区域中的格栅的代表性运动向量是第一运动向量MV1或第二运动向量MV2。例如，被储存用于仅包含第一子块之中样本的格栅的代表性运动向量是第一运动向量MV1，而被储存用于仅包含第二子块之中样本的格栅的代表性运动向量是第二运动向量MV2。在一实施例中，当源运动向量MV1与MV2二者都是来自于一相同列表或相同方向时，被储存用于权重区域的代表性运动向量被直接设定为源运动向量MV1与MV2其中之一。在一实施例中，当运动向量MV1与MV2二者都是列表0的单向预测MV或二者都是列表1的单向预测MV时，第二运动向量MV2总是被储存用于权重区域中的格栅。在另一实施例中，当MV1与MV2都是来自于相同列表时，第一运动向量MV1总是被储存用于权重区域中的格栅。图7A、7B、与7C依据本发明的一实施例绘示当两个源运动向量是来自于相同列表时，用于分割为二个子块的当前块的代表性运动向量推导的一些例子。图7A中的当前块是由对角线方向所分割，并且图7B中的当前块是由逆对角线方向所分割，而图7C中的当前块是从最左下方格栅的中间点到当前块右方边界的中间点所分割。在此一实施例中，第二运动向量MV2被指定为代表性运动向量以用于包含该两个子块的权重区域中的任何格栅。
在先前所描述的实施例中，当前块被分割为两个子块；然而，推导用于储存的代表性运动信息的方法也是适用于分割为多于两个子块的块中。权重区域可以被定义为包括包含属于二或多个子块的样本的任何格栅。源MV被推导来预测当前块中的子块，依据一实施例，权重区域中格栅的代表性运动信息被事先定义为多个源MV中之一，而且依据另一实施例，权重区域中格栅的代表性运动信息被适应性地选择自多个源MV中。
在本发明的一些实施例中，在当前块的非-权重区域中的每一格栅的代表性运动向量总是单向预测运动向量，并且在子块之内的非-权重区域中的格栅的代表性运动向量是用来作为子块运动补偿的运动向量。对于在当前块的权重区域而言，如果两个源MV是来自于不同列表时，用于权重区域中的格栅的代表性MV是双向预测运动向量，例如，一个源MV指向在列表0的参考画面而且另一个源MV指向在列表1的参考画面。如果所有源MV都是来自于相同列表时，用于权重区域中的格栅的代表性运动向量是单向预测运动向量，例如，所有源MV都是来自于列表0或来自于列表1。依据一个实施例，被储存用于权重区域的单向预测运动向量是事先定义为源MV其中之一，例如，此事先定义的单向预测运动向量是用来预测第二子块的源MV。在另一实施例中，被储存用于权重区域的单向预测运动向量是由源MV中加以适应性决定。
对于分割为两个子块的块而言，源运动向量MV1与MV2其中之一被选择用于权重区域中的格栅的代表性运动向量。依据一些实施例，代表性运动向量是由MV1与MV2中加以适应性地选择；在一实施例中，具有较小参考索引的MV被选择作为代表性MV；在另一实施例中，具有较小画面顺序计数差异的参考索引的MV被选择作为代表性MV。一般而言，当所有源MV都是来自于相同列表时，被储存用于权重区域的代表性运动向量可以依据下列之一或其中一组合由源MV中加以适应性选择：当前块的分割方向，源MV的参考索引，源MV的参考画面，CU高度，CU宽度，以及CU面积区域。例如，当分割方向是从左上到右下时，第一运动向量MV1被储存用为权重区域的代表性运动向量；而且当分割方向是从右上到左下时，第二运动向量MV2被储存用为权重区域的代表性运动向量。在另一例子中，当分割方向是从左上到右下时，MV2被储存用为权重区域的代表性运动向量；而且当分割方向是从右上到左下时，MV1被储存用为权重区域的代表性运动向量。
在一实施例中，当两个源MV都是来自于相同列表时，储存在权重区域的代表性运动向量被设定为两个源MV的平均MV。例如，此平均MV是通过将MV1以及缩放到被MV1所指向的参考画面的MV2加以平均所计算出，并且此平均MV的参考索引被设为MV1的参考索引。在另一例子中，此平均MV是通过将MV2以及缩放到被MV2所指向的参考画面的MV1加以平均所计算出，并且此平均MV的参考索引被设为MV2的参考索引。在又一例子中，此平均MV是通过将MV1以及MV2直接加以平均而不进行缩放所计算出，并且此平均MV的参考索引被设为MV1或MV2的参考索引。例如，此平均MV的参考索引被选择为较小参考画面索引或是被选择为具有较小画面顺序计数差异的参考画面。
包括代表性运动信息推导的编码或解码流程的示例性流程图图8A为依据本发明的一实施例，绘示视频编码或解码系统来处理将通过运动补偿编解码工具所编码或解码的块的流程图。在步骤S810，视频编码或解码系统接收当前画面中与当前块相关联的输入数据。在编码器侧，此输入数据相对应于将被编码入视频比特流的像素数据；在解码器侧，此输入数据相对应于被编码的数据或将被解码的预测残差。在步骤S820，当前块被分割为第一子块与第二子块。在步骤S830，视频编码或解码系统推导用于第一子块的第一MV与推导用于第二子块的第二MV。在一实施例中，第一MV是从建构来用于第一子块的候选列表所推导出来，而且第二MV是从建构来用于第二子块的另一候选列表所推导出来。在另一实施例中，第一与第二MV二者都是从单一候选列表所推导出来。在步骤S840，通过使用第一MV与第二MV对于第一与第二子块进行运动补偿，而推导出用于当前块的最终预测子。在步骤S850，对于当前块的每一格栅推导与储存代表性MV以用于后续参考。格栅尺寸大小的一个例子是4x4亮度样本，例如，在32x32亮度块中有64个4x4格栅。在步骤S860，视频编码或解码系统依据当前块的最终预测子来编码或解码当前块。
推导代表性MV以用于图8A步骤S850的当前块的每一当前格栅的详细流程则绘示于图8B的流程图。在步骤S851，视频编码或解码系统检查当前块中的当前格栅是否位于权重区域之内。权重区域包括位于当前块中的第一子块与第二子块之间的格栅，而且非-权重区域包括当前块中的剩余格栅。例如，权重区域中每一格栅包括在第一子块之中的一或多个样本以及在第二子块之中的一或多个样本，而非-权重区域中每一格栅仅包括在第一与第二子块其中之一的样本。在步骤S852，如果当前格栅是位于权重区域之内，视频编码或解码系统检查第一与第二MV是否来自于不同列表；而且在步骤S853，如果这二MV是来自于不同列表时，将结合第一MV与第二MV的MV设定为当前格栅的代表性MV。在步骤S854，如果第一MV与第二MV是来自于相同列表时，将第一MV与第二MV其中之一设定为当前格栅的代表性MV。在步骤S855，如果当前格栅是位于非-权重区域之内，编码或解码系统检查当前格栅是否位于第一子块之内；而且在步骤S856，如果当前格栅是在第一子块之内，将第一MV设定为当前格栅的代表性MV。在步骤S857，如果当前格栅是在第二子块之内，将第二MV设定为当前格栅的代表性MV。
视频编码器与解码器的实作前述所提出的视频处理方法可以在视频编码器或解码器上来实施实作，例如：所提出的视频处理方法可以在编码器的帧间预测模块与/或解码器的帧间预测模块上来实施实作。备选地，任何所提出的方法可以在编码器的帧间预测模块与/或解码器的帧间预测模块上所耦合的电路来实施实作，以提供帧间预测模块所需的信息。图9示出了实作本发明多种实施例的视频编码器900的示例性系统方块图。帧内预测模块910基于当前画面的重构后视频数据来提供帧内预测子。帧间预测模块912实施运动估计(motion estimation,ME)和运动补偿(motion compensation,MC)，以基于来自其他一或多个画面的视频数据而提供帧间预测子。当前块被分割为二或多个子块，而且帧间预测模块912决定用于每一子块的运动信息以及使用决定后的运动信息来推导用于当前块的最终预测子。对于当前块的每一格栅推导出代表性的运动信息并且储存起来作为后续参考。每一格栅是在非-权重区域或权重区域，而且在非-权重区域中的格栅的代表性运动信息会依据其位置加以设定。例如，将第一子块的第一MV设定为该第一子块之内的非-权重区域中的格栅的代表性MV，而且将第二子块的第二MV设定为该第二子块之内的非-权重区域中的格栅的代表性MV。对于权重区域中的格栅而言，如果子块的运动信息是来自于不同列表时，将结合的运动信息设定为该代表性运动信息；或是如果运动信息是来自于相同列表时，将子块的运动信息中的一个直接设定为该代表性MV。例如，如果子块的源MV是来自于不同列表时，双向预测MV被设定为用于该权重区域的代表性MV；而且如果子块的源MV是来自于相同列表时，单向预测MV被设定为用于该权重区域的代表性MV。内预测模块910或帧间预测模块912将所选择的预测子提供给加法模块916以形成预测误差，也称为预测残差。当前块的预测残差通过转换模块(T)918进一步处理，接着是量化模块(Q)920处理。然后，转换后和量化后的残差信号由熵编码器932编码以形成视频比特流。视频比特流然后与边信息(sideinformation)一起打包。然后，当前块的转换后和量化后的残差信号由逆量化模块(IQ)922和逆转换模块(IT)924处理以还原预测残差。如图9所示，通过在重构模块(REC)926处加回所选择的预测子来还原预测残差，以产生重构后的视频数据。重构后的视频数据可以被储存在参考画面缓冲器(Ref.Pict.Buffer)930中，并用于其它画面的预测。从REC 926还原的重构后的视频数据可能由于编码处理而受到各种损害，因此，在储存于参考画面缓冲器930之前，内环路处理滤波器(In-Loop Processing Filter)928被应用于重构后的视频数据，以进一步提高画面质量。
用于解码图9的视频编码器900所产生视频比特流的相应视频解码器1000如图10所示。视频比特流是视频解码器1000的输入，并由熵解码器1010加以解码以剖析与还原变换后和量化后的残差信号和其他系统信息。除了解码器1000仅需要帧间预测模块1014中的运动补偿预测之外，解码器1000的解码处理流程类似于编码器900处的重构环路。每个块由帧内预测模块1012或帧间预测模块1014来加以解码。开关模块1016依据解码后的模式信息，自帧内预测模块1012选择帧内预测子或自帧间预测模块1014选择帧间预测子。帧间预测模块1014基于子块MV对于当前块进行运动补偿编解码工具。依据一些实施例，在当前块的权重区域中的每一格栅的代表性MV，是依据多个子块的MV是在不同列表还是在相同列表中来决定。例如，如果多个子块的MV是在不同列表时，在权重区域中的每一格栅的代表性MV是结合这多个子块MV的MV；如果多个子块的MV是在相同列表时，在权重区域中的每一格栅的代表性MV是这多个子块MV中之一。与每个块相关联的已转换和已量化的残差信号，可通过逆量化(Inverse Quantization,IQ)模块1020和逆转换(Inverse Transformation,IT)模块1022来加以还原。通过在重构模块REC1018中加回预测子来重构还原后的残差信号，以产生重构后的视频。重构后的视频由环内处理滤波器(filter)1024进一步处理以产生最终解码后的视频。如果当前解码后的画面是用于解码顺序中后续画面的一参考画面，则当前解码后画面的重构后视频也被储存在参考画面缓冲器1026中。
图9和图10中的视频编码器900和视频解码器1000的各种组件可以由硬件组件，一个或多个处理器被配置为执行存储在存储器中的程序指令，或硬件和处理器的组合来实现。例如，处理器执行程序指令以控制与当前画面中的当前块相关联的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器900和解码器1000中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，对应于块的已重构影像的信息和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算器可读介质，诸如半导体或固态存储器，随机存取存储器(RAM)，只读存储器(ROM)，硬盘，光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更复多个非暂时性计算器可读介质的组合。如图9和图10所示，编码器900和解码器1000可以在相同的电子设备中实现，因此如果在相同的电子设备中实现，则编码器900和解码器1000的各种功能组件可以被共享或重用。
用于编码或解码的视频处理方法的实施例，可以在集成于视频压缩芯片的电路来实作，或集成于视频压缩软件中执行以上描述的处理的程序代码来实作。例如，决定用于当前块中每一格栅的代表性运动向量，可以实现于计算器处理器上执行的程序代码、数字信号处理器(DSP)、微处理器、或现场可程序门阵列(field programmable gate array,FPGA)上。可以透过执行定义本发明所体现的特定方法的机器可读软件代码或韧体代码，来将这些处理器配置成执行依据本发明的特定任务。
在本说明书通篇所提及的“实施例”、“一些实施例”或类似语言，意味着结合实施例描述的特定特性、结构或特征可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方的用语“在一个实施例中”或“在一些实施例中”的出现不一定全部指相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实现。此外，所描述的特性、结构或特征可以以任何合适的方式组合在一个或多个实施例中。然而，本领域普通技术人员将认识到，在没有一个或多个具体细节，或其他方法、组件等的情况下，仍可以实施本发明。在其他情况下，对于已知的结构或操作则并未示出或详细描述，以避免模糊本发明的各个重点。
在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由权利要求书而不是前面的描述来指示。属于权利要求书范围的等同物的含义和范围内的所有变化将被包括在其范围内。

Claims (12)

1.一种在视频编解码系统中处理视频数据的方法，包括：
接收当前画面中与当前块相关联的输入数据；
分割该当前块为第一子块与第二子块；
推导用于该第一子块的第一运动向量与用于该第二子块的第二运动向量；
使用该第一与该第二运动向量于该当前块中对该第一与该第二子块进行运动补偿，来推导用于该当前块的最终预测子；
对于该当前块的每一格栅推导与储存代表性运动向量以用于后续参考，其中每一格栅是在非-权重区域或权重区域，其中推导该代表性运动向量包括：
对于该第一子块之内该非-权重区域中的格栅，设定该第一运动向量为该代表性运动向量，以及对于该第二子块之内该非-权重区域中的格栅，设定该第二运动向量为该代表性运动向量；
决定该第一运动向量与该第二运动向量是否来自于不同列表；以及
当该第一运动向量与该第二运动向量是来自于不同列表时，将结合该第一运动向量与该第二运动向量的运动向量设定为该权重区域中的格栅的该代表性运动向量；或当该第一运动向量与该第二运动向量是来自于相同列表的单向运动向量时，总是设定该第二运动向量作为该权重区域中的格栅的该代表性运动向量；以及
依据该当前块的该最终预测子来编码或解码该当前块。
2.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一运动向量与该第二运动向量是单向预测运动向量，而且结合该第一运动向量与该第二运动向量的该运动向量是结合不同列表中该二个单向预测运动向量的双向预测运动向量。
3.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，每一格栅的尺寸大小等于4x4亮度样本。
4.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一子块与该第二子块是在该当前块中的三角预测单元，而且该当前块是由对角线方向或逆对角线方向分割的编解码单元。
5.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该权重区域包括位于该当前块中的该第一子块与该第二子块之间的格栅，而且该非-权重区域包括该当前块中的剩余格栅。
6.根据权利要求5所述的在视频编解码系统中处理视频数据的方法，其特征在于，该权重区域中每一格栅包括在该第一子块之中的一或多个样本以及在该第二子块之中的一或多个样本，而且该非-权重区域中每一格栅仅包括在该第一与该第二子块中之一的样本。
7.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该第一运动向量与该第二运动向量是推导自一个相同的候选列表或是二个不同的候选列表。
8.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，所述或当该第一运动向量与该第二运动向量是来自于相同列表的单向运动向量时，总是设定该第二运动向量作为该权重区域中的格栅的该代表性运动向量的步骤包含：
当该第一与该第二运动向量二者皆来自列表0或是二者皆来自列表1时，该第二运动向量直接被设定为该权重区域中的格栅的该代表性运动向量。
9.根据权利要求1所述的在视频编解码系统中处理视频数据的方法，其特征在于，该当前块是以跳过或合并模式加以编码或解码。
10.根据权利要求9所述的在视频编解码系统中处理视频数据的方法，其特征在于，该当前块的尺寸大小大于或等于8x8亮度样本。
11.一种在视频解码系统中处理视频数据的装置，该装置包括一或多个电子电路配置用来：
接收当前画面中与当前块相关联的输入数据；
分割该当前块为第一子块与第二子块；
推导用于该第一子块的第一运动向量与用于该第二子块的第二运动向量；
使用该第一与该第二运动向量于该当前块中对于该第一与该第二子块进行运动补偿，来推导用于该当前块的最终预测子；
对于该当前块的每一格栅推导与储存代表性运动向量以用于后续参考，其中每一格栅是在一非-权重区域或权重区域，其中推导该代表性运动向量包括：
对于该第一子块之内该非-权重区域中的格栅设定该第一运动向量为该代表性运动向量，以及对于该第二子块之内该非-权重区域中的格栅设定该第二运动向量为该代表性运动向量；
决定该第一运动向量与该第二运动向量是否来自于不同列表；以及
当该第一运动向量与该第二运动向量是来自于不同列表时，将结合该第一运动向量与该第二运动向量的运动向量设定为该权重区域中的格栅的该代表性运动向量；或当该第一运动向量与该第二运动向量是来自于相同列表的单向运动向量时，总是设定该第二运动向量为该权重区域中的格栅的该代表性运动向量；以及
依据该当前块的该最终预测子来编码或解码该当前块。
12.一种用来储存程序指令的非暂时性计算机可读取媒介，该程序指令使得装置的处理电路对于视频数据执行视频处理的方法，而该视频处理的方法包括：
接收当前画面中与当前块相关联的输入数据；
分割该当前块为第一子块与第二子块；
推导用于该第一子块的第一运动向量与用于该第二子块的第二运动向量；
使用该第一与该第二运动向量于该当前块中对于该第一与该第二子块进行运动补偿，来推导用于该当前块的最终预测子；
对于该当前块的每一格栅推导与储存代表性运动向量以用于后续参考，其中每一格栅是在非-权重区域或权重区域，其中推导该代表性运动向量包括：
对于该第一子块之内该非-权重区域中的格栅设定该第一运动向量为该代表性运动向量，以及对于该第二子块之内该非-权重区域中的格栅设定该第二运动向量为该代表性运动向量；
决定该第一运动向量与该第二运动向量是否来自于不同列表；以及
当该第一运动向量与该第二运动向量是来自于不同列表时，将结合该第一运动向量与该第二运动向量的运动向量设定为该权重区域中的格栅的该代表性运动向量；或当该第一运动向量与该第二运动向量是来自于相同列表的单向运动向量时，总是设定该第二运动向量为该权重区域中的格栅的该代表性运动向量；以及
依据该当前块的该最终预测子来编码或解码该当前块。
CN201980077753.3A 2018-11-30 2019-11-28 视频编码系统中用于决定储存用运动向量的视频处理方法和装置 Active CN113170174B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862773223P 2018-11-30 2018-11-30
US62/773,223 2018-11-30
PCT/CN2019/121581 WO2020108560A1 (en) 2018-11-30 2019-11-28 Video processing methods and apparatuses of determining motion vectors for storage in video coding systems

Publications (2)

Publication Number Publication Date
CN113170174A CN113170174A (zh) 2021-07-23
CN113170174B true CN113170174B (zh) 2024-04-12

Family

ID=70854328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980077753.3A Active CN113170174B (zh) 2018-11-30 2019-11-28 视频编码系统中用于决定储存用运动向量的视频处理方法和装置

Country Status (6)

Country Link
US (2) US11290739B2 (zh)
EP (1) EP3878180A4 (zh)
CN (1) CN113170174B (zh)
MX (1) MX2021006087A (zh)
TW (1) TWI737055B (zh)
WO (1) WO2020108560A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3878180A4 (en) * 2018-11-30 2022-08-10 HFI Innovation Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR DETERMINING MOTION VECTORS FOR STORAGE IN VIDEO CODING SYSTEMS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
CN107787582A (zh) * 2015-06-10 2018-03-09 三星电子株式会社 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US10477238B2 (en) * 2016-09-07 2019-11-12 Qualcomm Incorporated Sub-PU based bi-directional motion compensation in video coding
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
KR20230028586A (ko) * 2018-04-01 2023-02-28 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
EP3878180A4 (en) * 2018-11-30 2022-08-10 HFI Innovation Inc. VIDEO PROCESSING METHODS AND APPARATUS FOR DETERMINING MOTION VECTORS FOR STORAGE IN VIDEO CODING SYSTEMS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
WO2015010317A1 (zh) * 2013-07-26 2015-01-29 北京大学深圳研究生院 一种基于p帧的多假设运动补偿方法
CN107534778A (zh) * 2015-04-14 2018-01-02 联发科技（新加坡）私人有限公司 获取时间运动矢量预测的方法及装置
CN107787582A (zh) * 2015-06-10 2018-03-09 三星电子株式会社 使用用于自适应加权预测的语法信令对图像进行编码或解码的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CE10.3.1.b: Triangular prediction unit mode;LIAO，Ru-Ling;Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 03–12 Oct. 2018，JVET-L0124-v1;1-6 *

Also Published As

Publication number Publication date
TWI737055B (zh) 2021-08-21
TW202038625A (zh) 2020-10-16
US20210360274A1 (en) 2021-11-18
US20220217397A1 (en) 2022-07-07
US11290739B2 (en) 2022-03-29
MX2021006087A (es) 2021-07-06
EP3878180A4 (en) 2022-08-10
WO2020108560A1 (en) 2020-06-04
EP3878180A1 (en) 2021-09-15
CN113170174A (zh) 2021-07-23
US11785242B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
CN113016187B (zh) 利用当前画面参照编码方式的视频区块编码或解码方法和装置
CN109644271B (zh) 用于二叉树分割块的确定候选集的方法及装置
JP2023174703A (ja) マルチリファレンス予測のための動きベクトルの精密化
US20200154124A1 (en) Image decoding method based on inter prediction and image decoding apparatus therefor
US20200045307A1 (en) Method for processing video on basis of inter prediction mode and apparatus therefor
TWI655863B (zh) 視訊處理系統中基於預測子的分割的方法及裝置
KR20230115281A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한기록 매체
US20200221077A1 (en) Inter prediction mode-based image processing method and apparatus therefor
US11381829B2 (en) Image processing method and apparatus therefor
KR20190089838A (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR20200033768A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN113228638B (zh) 在区块分割中条件式编码或解码视频区块的方法和装置
US11394992B2 (en) Methods and apparatuses of generating average candidates in video coding systems
CN114175636A (zh) 自适应参数集中的自适应环路滤波的指示
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
CN112689998B (zh) 在视频编解码系统中处理视频数据的方法和装置
JP7311635B2 (ja) コーデック方法、デバイス及びその機器
CN113170174B (zh) 视频编码系统中用于决定储存用运动向量的视频处理方法和装置
JP2020053725A (ja) 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
WO2024017224A1 (en) Affine candidate refinement
TW202341741A (zh) 視訊編解碼方法及相關裝置
TW202316857A (zh) 視訊編碼方法及相關裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220422

Address after: Hsinchu County, Taiwan, China

Applicant after: MEDIATEK Inc.

Address before: 1 Duxing 1st Road, Hsinchu Science Park, Hsinchu, Taiwan, China

Applicant before: MEDIATEK Inc.

GR01 Patent grant
GR01 Patent grant