CN111656787A - 具有模板匹配的帧率上转换中的照明补偿标志 - Google Patents

具有模板匹配的帧率上转换中的照明补偿标志 Download PDF

Info

Publication number
CN111656787A
CN111656787A CN201980010000.0A CN201980010000A CN111656787A CN 111656787 A CN111656787 A CN 111656787A CN 201980010000 A CN201980010000 A CN 201980010000A CN 111656787 A CN111656787 A CN 111656787A
Authority
CN
China
Prior art keywords
directional
candidate
illumination compensation
fruc
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980010000.0A
Other languages
English (en)
Inventor
F.加尔平
Y.陈
P.博德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111656787A publication Critical patent/CN111656787A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

使用帧率上转换在视频图像信号的编码或解码期间推断照明补偿标志可以节省一个比特并消除复杂度。照明补偿标志可以从双向预测性或双向预测预测候选的相应的标志中导出。该标志也可以从来自这些候选的标志的一些函数中导出。可替代地，如果使用照明补偿的预测候选不止一个，则几个标志可以用于块的相应的编码或解码。

Description

具有模板匹配的帧率上转换中的照明补偿标志
技术领域
本原理涉及视频压缩，并且更具体地，涉及执行视频编码和解码。
背景技术
已经进行了多种尝试来提高基于块的编解码器的编码效率。帧率上转换(FrameRate Up-Conversion，FRUC)是在没有任何信息的情况下，即没有补充语法的情况下，允许导出运动矢量预测子(predictor)的工具。FRUC过程是完全对称的，因为在解码侧执行与在编码侧相同的操作。
该工具在使用几个子工具时，只能用一个标志完全开启或关闭(如表2所示)：
AMVP(Advanced Motion Vector Prediction，高级运动矢量预测)块使用一个模板匹配成本函数，并且不使用信令。
合并块可以使用具有相同过程的子部分细化(refinement)，其具有两个不同的模板匹配成本函数，以及一些信令(关闭/开启，模板/双边(bilateral))。
表1提供了FRUC工具以及不同的子工具在联合视频探索小组(ITU-T VCEG(Q6/16)的联合探索模型4(Joint Exploration Model 4，JEM 4)和ISO/IEC MPEG(JTC 1/SC 29/WG11)上的总体性能。
Figure BDA0002600246290000011
Figure BDA0002600246290000021
Figure BDA0002600246290000022
表1 JEM4[2]上的FRUC工具和子工具的性能
此外，这些子工具中的几个使用参数。这些参数中的一些已经在表2所示的语法中，但是这些参数中的其他不在表2所示的语法中。
在表2中，sps_use_FRUC_mode是整个FRUC工具的开启/关闭标志，FRUC_refine_filter允许改变子像素插值滤波器，FRUC_refine_range_in_pel定义用于细化的最大整数像素范围，并且FRUC_small_blk_refine_depth定义FRUC合并块的子部分的最大深度(即它们的最小大小)。
Figure BDA0002600246290000023
Figure BDA0002600246290000031
表2当前FRUC工具的SPS语法
发明内容
现有技术的这些和其他缺点以及不利通过所描述的实施例来解决，所描述的实施例针对一种方法和装置，以管理由FRUC工具提供的编码效率和其复杂度之间的折衷。
根据所描述的实施例的方面，提供了一种方法。该方法包括以下步骤：确定视频编码块的FRUC预测候选是否对应于双向(bi-direction)时域或双向预测性(bi-predictive)候选；当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，基于所述至少一个照明补偿标志对所述视频编码块进行编码。
根据所描述的实施例的另一方面，提供了第二方法。该方法包括以下步骤：确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，基于所述至少一个照明补偿标志对所述视频编码块进行解码。
根据所描述的实施例的另一方面，提供了一种装置。该装置包括存储器和处理器。该处理器可以被配置为通过确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选来对视频信号的部分进行编码；当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，基于所述至少一个照明补偿标志对所述视频编码块进行编码。
根据所描述的实施例的另一方面，提供了另一种装置。该装置包括存储器和处理器。该处理器可以被配置为通过确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选来对视频信号的部分进行解码；当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，基于所述至少一个照明补偿标志对所述视频编码块进行解码。
根据所描述的实施例的另一方面，分别提供了用于编码和解码的第三方法和第四方法。该第三和第四方法包括以下步骤：确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志的函数来设置至少一个照明补偿标志；以及基于所述至少一个照明补偿标志对所述视频编码块进行编码或解码。
从下面结合附图阅读的示例性实施例的详细描述中，本原理的这些和其他方面、特征和优点将变得清楚。
附图说明
图1示出了将编码树单元分为编码单元、预测单元和变换单元。
图2示出了模板匹配成本函数。
图3示出了参考0和1中的L形(L-shape)与当前块L形进行比较以导出IC参数。
图4示出了通用视频压缩方案。
图5示出了通用视频解压缩方案。
图6示出了用于导出帧间模式(inter mode)编码CU的IC标志的现有技术整体编码器过程。
图7示出了利用合并模式从CU的合并候选中填充(fill)运动矢量预测(MVP，Motion Vector Prediction)信息的现有技术过程。
图8示出了利用FRUC模板匹配模式从CU的合并候选导出IC标志(左：OR策略；右：AND策略)。
图9示出了在FRUC模板匹配中单向预测运动补偿和双向预测运动补偿之间的选择。
图10示出了当应用双向运动补偿预测时，从两个参考列表导出IC标志。
图11示出了当应用双向运动补偿预测时，从两个参考列表导出IC标志。
图12示出了使用至少一个推断的照明补偿标志对视频进行编码的方法的一个实施例。
图13示出了使用至少一个推断的照明补偿标志对视频进行解码的方法的一个实施例。
图14示出了使用至少一个推断的照明补偿标志对视频进行编码或解码的装置的一个实施例。
具体实施方式
本文所描述的实施例的领域是视频压缩，旨在提高现有技术视频编码方案的视频压缩效率。
最近在联合探索模型(JEM)中引入的示例性编码工具被称为FRUC(帧率上转换)，或者也称为模式匹配的运动导出，并且旨在解码器侧基于运动块的运动矢量预测子导出。
帧率上转换(FRUC)工具旨在相对于模板匹配成本，从一组候选中找到最佳运动矢量预测子(MVP，motion vector predictor)。然后，朝向最小模板匹配成本细化最佳识别的候选。
对于每种类型的块，FRUC过程都是相似的：对整个块执行一个过程，然后，对于一些特定的块，还可以对子部分实现第二个过程。这些过程之间的主要区别在于候选和可用模板匹配成本函数的初始列表。
为了管理该FRUC工具的性能与其复杂度之间的折衷，可以通知解码器哪些FRUC过程(或子过程，即过程的部分)被允许或不被允许。
由所描述的实施例解决的一个问题是如何以提供良好的压缩效率(率失真性能)以及编码设计的最小复杂度增加的方式，使用模板匹配来有效地修改FRUC的IC标志决定规则；或者相反，在最低性能损失的情况下，显着降低复杂性。
FRUC工具应用于所有块(合并和AMVP)，并在合并块的子部分或子块级别进行细化。对于AMVP块，仅一个模板匹配成本函数可用，即“模板(Template)”。对于合并块及其子部分，测试两个不同的模板匹配成本函数，即“模板”和“双边(Bilateral)”。
模板匹配通过找到当前图片中的模板(当前编码单元的顶部和/或左边相邻块)和参考图片中具有与该模板相同大小的块之间的最佳匹配来导出当前编码单元的运动信息。
双边匹配通过在两个参考图片中的沿着当前编码单元的运动轨迹的两个块之间找到最佳匹配来导出当前编码单元的运动信息。
合并块的子部分是子块。在FRUC合并中，首先在CU(Coding Unit，编码单位)级别应用FRUC工具，然后将该CU分为子块，并对于具有与CU相同的模板匹配成本函数的子块中的每一个应用FRUC工具。
所描述的实施例属于视频压缩领域，特别地，与现有的视频压缩系统相比，所描述的实施例旨在提高压缩效率。
当在FRUC(帧率上转换)模式中使用模板匹配成本来导出运动信息时，本实施例提出了基于块的局部照明补偿(Illumination Compensation，IC)标志的自适应(adaptation)。
在HEVC视频压缩标准中，图片被分为所谓的编码树单元(Coding Tree Unit，CTU)，其大小通常为64x64、128x128或256x256像素。每个CTU由压缩域中的编码单元(CU)表示。然后给每个CU一些帧内或帧间预测参数(Prediction Info，预测信息)。为此，CU在空域上被划分为一个或多个预测单元(Prediction Unit，PU)，每个PU被分配一些预测信息。帧内或帧间编码模式是在CU级别分配的。
在帧间编码模式中，采用运动补偿时域预测来利用视频的连续图片之间存在的冗余。为此，在HEVC中为每个PU精确地分配了一个运动矢量(MV)。因此，在HEVC中，链接PU和其参考块的运动模型包括平移(translation)。
在由JVET(Joint Video Exploration Team，联合视频探索小组)组开发的联合探索模型(JEM)中，CU不再被分为PU或TU，并且一些运动信息(帧间模式中的预测信息)被直接分配给每个CU。此外，支持一些更丰富的运动模型来改进时域预测。JEM引入的新运动模型之一是FRUC(帧率上转换)，其使用匹配成本函数在几个候选之间选择最佳运动矢量预测子，然后朝向最小匹配成本细化该预测子。
在CU级别用FRUC标志和额外的FRUC模式标志来发信号通知FRUC模式，以指示哪个匹配成本函数(双边、模板或仿射模板)将被用于导出CU的运动信息。在编码器侧，是否对CU使用FRUC合并模式的决定基于RD成本选择。针对CU检查三种匹配模式(双边、模板或仿射模板)。导致最小RD成本的模式与其他编码模式进行进一步比较。如果FRUC模式是最有效的模式，则将CU的FRUC标志设置为真，并使用相关的匹配模式。
FRUC允许在没有发信令通知的情况下在解码器侧导出CU的运动信息。FRUC合并模式中的运动导出过程有两个步骤。首先执行CU级别运动搜索，然后进行子CU级别运动细化。在CU级别，基于双边或模板匹配，从整个CU的MV候选的列表中导出初始运动矢量。导致最小匹配成本的候选被选择为进一步CU级别运动细化的起点。然后，执行在起点周围基于双边或模板匹配的局部搜索，并且将导致最小匹配成本的最大值作为整个CU的MV。
如图2所示，模板匹配成本函数用于通过在当前图片中的模板(当前CU的顶部和/或左边相邻块，也称为L形)和参考图片中的块(与模板大小相同)之间找到最佳匹配来导出当前CU的运动信息。
基于块的局部照明补偿(IC)[3]也可以应用于JEM，这允许通过考虑可能的空域或时域局部照明变化来校正经由运动补偿(motion compensation，MC)获得的块预测样本。对于每个帧间模式编码的CU，发信号通知或隐式地导出IC标志以指示IC的使用。IC工具基于照明改变的线性模型，使用比例因子a和偏移b，它们被称为IC参数。
当CU用合并模式编码时，以类似于合并模式中的运动信息复制的方式从相邻块复制IC标志；否则，向CU发信号通知IC标志，以指示IC是否适用。当IC标志为真时，在解码器侧，不使用信令导出CU的IC参数。如图3所示的，这些参数是通过将当前CU的重构相邻样本(L-shape-cur)与相应参考i块(i＝0或1)的相邻样本(L-shape-ref-i)进行比较来确定的。IC参数通过最小化L-shape-cur中的样本和L-shape-ref-i的样本之间的差来选择。
为了降低编码的复杂度，可以对整个图片禁用IC工具，例如当当前图片与其参考图片之间没有明显的照明变化时。为了识别这种情况，可以在编码器处计算当前图片和当前图片的每个参考图片的直方图。如果当前图片和当前图片的每个参考图片之间的直方图差小于给定阈值，则对当前图片禁用IC；否则，对当前图片启用IC。
所描述的实施例涉及IC标志的决定的修改，特别是对于使用模板匹配的FRUC模式。具有模板匹配的FRUC的提出的IC标志是从相邻块中导出的，而不是发信号通知的。
如前所述，在现有方法中，为使用FRUC模式以处理帧间预测的帧间模式编码的CU发信号通知一个比特的IC标志，并且还应用模板匹配成本函数来导出该CU的运动信息。
当利用模板匹配对FRUC模式中的当前CU进行编码时，所描述的实施例直接从相邻块中导出CU的IC标志。
这些实施例包括：
·从FRUC合并候选中推断IC标志。对于时域合并候选，提出了用于在双向预测情况下生成IC标志的几种策略；对于组合双向预测性候选，提出了用于在双向预测中生成IC标志的集中策略。[编码器/解码器]
·当应用双向运动补偿预测时，提出了用于从两个参考列表中推断IC标志的几种策略。[编码器/解码器]
·当应用双向运动补偿预测时，提出了在使用当前CU的推断的IC标志或分别应用每个运动矢量预测子(MVP)的IC标志之间的选择。[编码器/解码器]
通过以这样的方式生成IC标志，不需要为这种帧间模式编码的CU花费一个比特来发信号通知IC标志，这意味着可以节省一些潜在的率成本。这些实施例的另一优点是，用于测试对这种CU是启用还是禁用IC工具的编码器环路将被移除，因此可以降低复杂度。
以下部分详细解释了所提出的实施例。其组织如下。首先，描述了一种用于生成帧间模式编码的CU的IC标志的现有方法。然后，呈现了在具有模板匹配的FRUC模式中的CU的IC标志导出的新规则的不同实施例。最后，提出了所提出的实施例的一些变型。
图6中示出了一种现有技术的整体编码器过程，当对当前图片启用IC工具时，该过程决定帧间模式编码的CU的IC标志。该过程包括以下内容。
该过程的输入是想要决定IC标志的当前CU。在步骤S300和S304，根据用于对当前CU进行编码的帧间模式来决定IC标志导出规则。
接着，当当前CU用MERGE(合并)模式编码时，从CU的相邻块的运动矢量预测子(MVP)复制IC标志。在步骤301，图7中给出了合并候选中IC标志的导出。对于每个合并候选，除了运动信息(运动矢量和参考索引等)之外，还会根据下面列出的规则生成一个IC标志：
·对于在步骤S400的空域合并候选，在步骤S401，其IC标志被设置为等于相应的空域相邻块的IC标志。
·对于在步骤S402的时域合并候选，在步骤S401，其IC标志被设置为等于相应的时域共位(co-locate)块的IC标志。对于步骤S403中的双向预测情况，在步骤S404，可以从两个不同的时域共位块中导出运动信息。在这种情况下，在步骤S405，如果两个共位块中的至少一个使用IC，则时域合并候选的IC标志被设置为真，否则被设置为假。
·对于在步骤S406的组合的双向预测性候选，其在步骤S404从两个空域/时域合并候选中生成，并且在步骤S405，如果两个源候选中的至少一个的IC标志为真，则该组合双向预测性候选的IC标志被设置为真，否则被设置为假。
·对于在步骤S407的尾部零(tailing zero)合并候选，在步骤S408中，IC标志总是被设置为假。
在步骤S302，在几个合并候选之间选择朝向最小成本的最佳运动矢量预测子之后，在步骤S303，当前CU直接复制该最佳运动矢量预测子的IC标志。
当使用具有模板匹配的INTER(帧间)模式或FRUC模式对CU进行编码时，在步骤S305，该CU在应用和不应用IC工具的情况下执行运动估计和运动补偿。然后在步骤S306，选择对当前CU进行编码的最佳编码方式，即具有最小率失真成本，这由一个IC标志发信号通知。
对于其他剩余的帧间模式，在步骤S307，IC标志被设置为假。关于在JEM中用仿射模型对CU进行编码的几个情况是(i)仿射合并模式，(ii)用于在FRUC模式中的CU的仿射模板匹配，以及(iii)用于在AMVP(高级运动矢量预测)模式中的CU的仿射帧间模式。对于具有双边匹配的FRUC模式中的CU，其IC标志也被设置为假。
利用上述IC标志的现有技术信令或推断方法，主要的限制是在FRUC模式(也是INTER模式)下的IC标志不被推断而是被显式地编码。这可能会通过添加编码信息来降低性能。此外，为了选择最佳的IC标志来发送信号通知，在具有模板匹配的FRUC模式中的IC标志循环搜索被激活，这也增加了编码器复杂度。
为了解决上述问题，第一实施例提出当使用FRUC模板匹配模式时，从相邻MVP中推断当前CU的IC标志。这个概念类似于在MERGE模式中的IC标志的推断算法。图8示出了为FRUC模板匹配模式提出的IC标志的实现方式。在步骤S500，评估FRUC合并候选M是否对应于双向/双向预测性候选。如果M是这些合并候选之一，在步骤S501，则如果两个源候选中的至少一个的IC标志为真，则推断的IC标志被设置为真，否则被设置为假(即OR策略)。如果仅一个源候选可用，则在步骤S502直接从其候选复制推断的IC标志。
根据该第一实施例的变型，从两个可用的不同合并候选中导出的提出的IC标志也可以是如图8的右侧所示的AND策略。在步骤S504，只有当两个源候选的IC标志都为真时，推断的IC标志才被设置为真，否则被设置为假。
在FRUC模板匹配模式中，分别从列表0参考图片(ref0)和列表1参考图片(ref1)中搜索匹配的模板。这是一种单向模板匹配，因为在每个模板匹配期间，一次仅利用一个参考图片列表。这种单向模板匹配适于导出用于单向预测而不是双向预测的运动信息。因此，对于现有FRUC模板匹配模式中的双向预测，联合双向模板匹配工具[4]可以被激活，以便在单向预测和双向预测之间更好地细化模板。激活该联合双向预测模板匹配工具的流程图如图9所示。
在现有技术中，启用或禁用IC工具由如图6中步骤S305和S306所示的IC标志上的循环决定。因此，仅来自当前CU的一个预定义的IC标志将被应用来计算模板匹配成本，并且还处理以下运动补偿。如前所述，在这个提出的IC标志实施例中，没有要测试的IC标志循环。如果在步骤S609基于模板匹配失真选择了运动补偿预测的单向，则所选择的MVP的IC标志可以用于模板匹配成本运动补偿。否则，基于从两个运动补偿参考(ref0和ref1)构建的一对MVP候选{MVP_0，MVP_1}，应用双向预测(S610)。双向预测子有时包含两个不同的IC标志。
因此，第二实施例提出，当应用双向预测时，如何从两个运动补偿参考推断当前CU的IC标志。第一实施例中提出的OR策略和AND策略可以类似地被重复使用。此外，如图10的右侧的步骤S705所示，推断的IC标志也可以被设置为具有最小单向预测模板匹配成本(即BEST(最佳)策略)的MVP的IC标志值。
根据上述两个实施例的一些方面，CU的IC标志可以从其相邻块中导出，而不用信号通知。然而，当应用双向运动补偿预测时，仅一个推断的IC标志决定激活或不激活IC工具，如前述段落中所述。如果一个MVP中的IC标志与推断的IC标志值不相同，则可能不处理具有该MVP的最佳运动补偿预测。为了避免性能下降的潜在风险，第三实施例提出保留两个IC标志，用于双向运动补偿。
可以在解码器侧导出每个FRUC合并候选的运动信息，包括IC标志。代替在步骤S702使用当前CU的推断的IC标志，可以分别利用其相应的IC标志来执行每个MVP的运动补偿，如图11所示。对于来自ref0(MVP_0)的MVP候选，在步骤S706检查其IC标志。如果MVP_0的IC标志为真，则IC工具被激活，以利用MVP_0进行运动补偿(S707)。在步骤S708和S709，对来自ref1(MVP_1)的MVP候选并行地执行类似的处理。
根据变型，使用INTER模式对CU的IC标志执行从在FRUC模板匹配模式中的相邻块导出所提出的IC标志。
根据另一变型，可以为具有仿射模型的CU激活IC工具。并且对该CU的IC标志执行从在FRUC模板匹配模式中的相邻块导出所提出的IC标志。
根据另一变型，可以为在FRUC双边匹配模式中的CU激活IC工具。并且对该CU的IC标志执行从在FRUC模板匹配模式中的相邻块导出所提出的IC标志。
图12示出了使用照明补偿对视频图像的部分进行解码的方法1200的一个实施例。该方法从开始块1201开始，并前进到块1210，用于确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选。控制从块1210前进到块1220，用于当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志。控制从块1220前进到块1230，用于基于至少一个照明补偿标志对视频图像的部分进行编码。
图13示出了使用照明补偿对视频图像的部分进行解码的方法1300的一个实施例。该方法从开始块1301开始，并前进到块1310，用于确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选。控制从块1310前进到块1320，用于当FRUC预测候选对应于双向时域或双向预测性候选时，基于双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志。控制从块1320前进到块1330，用于基于至少一个照明补偿标志对视频图像的部分进行解码。
图14示出了使用照明补偿对视频图像中的块进行编码或解码的装置1400的一个实施例。该装置包括处理器1410和存储器1420。处理器1410被配置用于编码，以执行图12的步骤，即，使用图12的方法，使用对视频图像的部分的照明补偿来执行编码。
当处理器1410被配置用于解码时，其执行图13的步骤，即，使用图13的方法，使用对视频图像的部分的照明补偿来执行解码。
附图中所示的各种元件的功能可以通过专用硬件以及能够执行与适当软件相关联的软件的硬件的使用来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，这些处理器中的一些可以被共享。此外，术语“处理器”或“控制器”的明确使用不应该被解释为专门指能够执行软件的硬件，并且可以隐式地包括但不限于数字信号处理器(digital signal processor，DSP)硬件、用于存储软件的只读存储器(read-only memory，ROM)、随机访问存储器(random access memory，RAM)和非易失性存储器。
也可以包括传统的和/或定制的其他硬件。同样，图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动地来实现，特定技术可以由实现者选择，如从上下文中更具体地理解的。
本描述说明了本原理。因此，应当理解，本领域的技术人员将能够设计各种布置，尽管在此没有明确描述或示出，但是这些布置具体体现了本发明原理，并且包括在本发明原理的范围内。
本文所述的所有示例和条件语言都是为了教学目的，以帮助读者理解本发明原理和发明人为推进本领域所贡献的概念，并被解释为不限于这些具体列举的示例和条件。
此外，本文列举本原理的原理、方面和实施例的所有陈述，以及其具体示例，都旨在包含其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，所开发的执行相同功能的任何元件。
因此，例如，本领域技术人员将会理解，本文所呈现的框图表示具体体现本原理的说明性电路的概念图。类似地，将会理解，任何流程图、状态转换图、伪代码等表示可以基本上在计算机可读介质中表示并由计算机或处理器执行的各种过程，无论是否明确示出了这样的计算机或处理器。
在本发明的权利要求中，表示为用于执行特定功能的装置的任何元件旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微码等，这些软件与用于执行该软件以执行该功能的适当电路相结合。由这样的权利要求定义的本原理在于这样的事实，即由各种列举的装置提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何装置都等同于本文所示的那些装置。
说明书中对本原理的“一个实施例”或“实施例”以及本原理的其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在整个说明书的不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变化不一定都指同一实施例。
总之，上述实施例示出了对视频图像的部分执行帧率上转换的改进的方法和装置。在至少一个实施例中，编码器可以向解码器发信号通知是否仅对视频图像的部分或编码单元的子部分使用帧率上转换。此外，提供标志以在编码器或解码器中使用帧率上转换过程的子过程。

Claims (15)

1.一种方法，包括：
确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；
当所述FRUC预测候选对应于所述双向时域或双向预测性候选时，基于所述双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，
基于所述至少一个照明补偿标志对所述视频编码块进行编码。
2.一种方法，包括：
确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；
当所述FRUC预测候选对应于所述双向时域或双向预测性候选时，基于所述双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，
基于所述至少一个照明补偿标志解码所述视频编码块。
3.一种用于对图像数据块进行编码的装置，包括：
存储器，以及
处理器，被配置为：
确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；
当所述FRUC预测候选对应于所述双向时域或双向预测性候选时，基于所述双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，
基于所述至少一个照明补偿标志对所述视频编码块进行编码。
4.一种用于对图像数据块进行编码的装置，包括：
存储器，以及
处理器，被配置为：
确定视频编码块的FRUC预测候选是否对应于双向时域或双向预测性候选；
当所述FRUC预测候选对应于所述双向时域或双向预测性候选时，基于所述双向时域或双向预测性候选中的至少一个的照明补偿标志来设置至少一个照明补偿标志；以及，
基于所述至少一个照明补偿标志对所述视频编码块进行解码。
5.根据权利要求1或2中任一项所述的方法，或根据权利要求3或4中任一项所述的装置，其中设置照明标志包括：
如果所述双向时域或双向预测性候选中的至少一个的照明补偿标志为真，则当所述FRUC合并候选对应于所述双向时域或双向预测性候选时，将照明补偿标志设置为真；
当所述FRUC合并候选对应于所述双向时域或双向预测性候选，并且如果没有所述双向时域或双向预测性候选的照明补偿标志为真，将照明补偿标志设置为假；以及，
如果另一双向时域或双向预测性候选不可用，则将照明补偿标志设置为可用双向时域或双向预测性候选的照明补偿标志。
6.根据权利要求1或2中任一项所述的方法，或根据权利要求3或4中任一项所述的装置，其中双向时域或双向预测性候选中的至少一个的照明补偿标志的逻辑函数。
7.根据权利要求1或2中任一项所述的方法，或权利要求3或4中任一项所述的装置，其中使用双边成本匹配。
8.根据权利要求1或2中任一项所述的方法，或权利要求3或4中任一项所述的装置，其中使用双边预测，并且使用两个照明标志用于相应的视频编码块。
9.根据权利要求8所述的方法或装置，其中，利用来自相应的预测性候选的运动矢量预测子，使用所述相应的预测性候选的相应的照明补偿标志，来执行运动补偿。
10.根据权利要求1或2中任一项所述的方法，或根据权利要求3或4中任一项所述的装置，其中帧间预测用作寻找运动预测子的成本函数。
11.根据权利要求1或2中任一项所述的方法，或权利要求3或4中任一项所述的装置，其中仿射模板用作寻找运动预测子的成本函数。
12.根据权利要求1或2中任一项所述的方法，或权利要求3或4中任一项所述的装置，其中使用FRUC模板匹配模式。
13.一种非暂时性计算机可读介质，包含根据权利要求1和5至12中任一项所述的方法或者由权利要求3和5至12中任一项所述的装置生成的数据内容，用于使用处理器进行再现。
14.一种信号，包括根据权利要求1和5至12中任一项所述的方法或者由权利要求3和5至12中任一项所述的装置生成的视频数据，用于使用处理器进行再现。
15.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求2和5至12中任一项所述的方法。
CN201980010000.0A 2018-01-26 2019-01-25 具有模板匹配的帧率上转换中的照明补偿标志 Pending CN111656787A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305068.1A EP3518543A1 (en) 2018-01-26 2018-01-26 Illumination compensation flag in frame rate up-conversion with template matching
EP18305068.1 2018-01-26
PCT/US2019/015065 WO2019147880A1 (en) 2018-01-26 2019-01-25 Illumination compensation flag in frame rate up-conversion with template matching

Publications (1)

Publication Number Publication Date
CN111656787A true CN111656787A (zh) 2020-09-11

Family

ID=61168018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980010000.0A Pending CN111656787A (zh) 2018-01-26 2019-01-25 具有模板匹配的帧率上转换中的照明补偿标志

Country Status (4)

Country Link
US (2) US11563966B2 (zh)
EP (2) EP3518543A1 (zh)
CN (1) CN111656787A (zh)
WO (1) WO2019147880A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040972A1 (en) * 2021-09-15 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112868240B (zh) 2018-10-23 2023-06-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和修改的帧间预测编解码
WO2020084508A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonization between local illumination compensation and inter prediction coding
US11290743B2 (en) * 2018-12-08 2022-03-29 Qualcomm Incorporated Interaction of illumination compensation with inter-prediction
CN113302918A (zh) 2019-01-15 2021-08-24 北京字节跳动网络技术有限公司 视频编解码中的加权预测
WO2020147805A1 (en) 2019-01-17 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering using motion prediction
US11805245B2 (en) 2021-08-16 2023-10-31 Mediatek Inc. Latency reduction for reordering prediction candidates
CN118044183A (zh) * 2021-09-27 2024-05-14 交互数字Ce专利控股有限公司 基于模板的语法元素预测

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431046B1 (ko) * 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US20160366416A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
WO2016200777A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
CN107147911A (zh) * 2017-07-05 2017-09-08 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置
CN107172426A (zh) * 2017-06-23 2017-09-15 西安电子科技大学 基于双MIC的OpenCL并行帧率上转换方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101460362B1 (ko) 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US8345070B2 (en) 2009-06-10 2013-01-01 Himax Media Solutions, Inc. Apparatus and method for frame rate up conversion
EP2733933A1 (en) 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
WO2015109598A1 (en) 2014-01-27 2015-07-30 Mediatek Singapore Pte. Ltd. Methods for motion parameter hole filling
WO2015139187A1 (en) 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
EP3456049B1 (en) * 2016-05-13 2022-05-04 VID SCALE, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
US20170339405A1 (en) * 2016-05-20 2017-11-23 Arris Enterprises Llc System and method for intra coding
WO2018049594A1 (en) * 2016-09-14 2018-03-22 Mediatek Inc. Methods of encoder decision for quad-tree plus binary tree structure
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10616582B2 (en) * 2016-09-30 2020-04-07 Qualcomm Incorporated Memory and bandwidth reduction of stored data in image/video coding
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
GB2573443B (en) * 2016-12-28 2020-04-01 Arris Entpr Llc Adaptive unequal weight planar prediction
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431046B1 (ko) * 2013-02-13 2014-08-22 서강대학교산학협력단 Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
US20160366416A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
WO2016200777A1 (en) * 2015-06-09 2016-12-15 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US20170094305A1 (en) * 2015-09-28 2017-03-30 Qualcomm Incorporated Bi-directional optical flow for video coding
CN107172426A (zh) * 2017-06-23 2017-09-15 西安电子科技大学 基于双MIC的OpenCL并行帧率上转换方法
CN107147911A (zh) * 2017-07-05 2017-09-08 中南大学 基于局部亮度补偿lic的快速帧间编码模式选择方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11，7TH MEETING: TORINO, IT, 13–21 JULY 2017，JVET-G1001, pages 1 - 44 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040972A1 (en) * 2021-09-15 2023-03-23 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
EP3518543A1 (en) 2019-07-31
US20210044821A1 (en) 2021-02-11
US20230164345A1 (en) 2023-05-25
WO2019147880A1 (en) 2019-08-01
EP3744100A1 (en) 2020-12-02
US11563966B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
CN111656787A (zh) 具有模板匹配的帧率上转换中的照明补偿标志
CN111937391B (zh) 用于视频编解码系统中的子块运动补偿的视频处理方法和装置
US11729415B2 (en) Method and device for encoding a sequence of images and method and device for decoding a sequence of images
CN112042189B (zh) 照度补偿方法及相应的电子装置
US20220060736A1 (en) Method and an apparatus for processing a video signal
KR102662024B1 (ko) 상이한 모션 벡터 정제의 그레디언트 계산
CN114339237B (zh) 用于视频编码的方法和电子设备
CN117915083A (zh) 块内拷贝模式和帧间预测工具之间的交互
WO2020031059A1 (en) Constraints for usage of updated motion information
CN113785586A (zh) 用于视频编解码系统的简化仿射子块处理的方法及装置
CN111095932B (zh) 使用帧速率上转换工具用于改进的压缩/解压缩的方法和装置
WO2019072369A1 (en) PRUNING MOTION VECTOR LIST

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination