CN111386706B - 解耦模式推断和预测 - Google Patents

解耦模式推断和预测 Download PDF

Info

Publication number
CN111386706B
CN111386706B CN201880075057.4A CN201880075057A CN111386706B CN 111386706 B CN111386706 B CN 111386706B CN 201880075057 A CN201880075057 A CN 201880075057A CN 111386706 B CN111386706 B CN 111386706B
Authority
CN
China
Prior art keywords
block
video data
mode
prediction
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880075057.4A
Other languages
English (en)
Other versions
CN111386706A (zh
Inventor
F.加尔平
A.罗伯特
F.厄本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111386706A publication Critical patent/CN111386706A/zh
Application granted granted Critical
Publication of CN111386706B publication Critical patent/CN111386706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种预测或推断用于编码或解码的信息段的方法使用来自空域邻居或参考图片的预测符，而不是从运动预测符块预测或推断信息，诸如当前块的标志。该过程可以以多种方式使用，或者在各种运动矢量预测模式中使用，诸如帧速率上转换或高级运动预测的各种变型。其他实施例提供了其他方法和组合来导出或推断运动信息以提高编码效率。

Description

解耦模式推断和预测
技术领域
以下描述的方面一般涉及视频压缩领域，并且更具体地涉及预测和解析。
背景技术
在HEVC(High Efficiency Video Coding，国际电信联盟的高效视频编码，ITU-TH.265)视频压缩标准中，图片被分为所谓的编码树单元(Coding Tree Units，CTU)，其大小通常为64×64、128×128或256×256像素。
每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，每个叶子称为编码单元(Coding Unit，CU)。
采用运动补偿时域预测来利用视频的连续图片之间存在的冗余。为此，运动矢量与每个预测单元(prediction unit，PU)相关联。然后给每个CU一些帧内或帧间预测参数(预测信息)，并在空域上划分为一个或多个预测单元(PU)，给每个PU分配一些预测信息。在CU级别上分配帧内或帧间编码模式。
以下描述旨在解决数字视频编码中的预测和解析问题。
本实施例旨在通过如本文进一步解释的解耦模式推断和预测来提高视频编码器中的压缩效率。
发明内容
现有技术的这些和其他缺点和不利由至少一个描述的实施例来解决，这些实施例针对通过解耦模式推断和预测来提高视频编码器和解码器的压缩效率的方法和设备。
根据本文描述的至少一个一般实施例，提供了用于对视频数据的块进行编码的方法。该方法包括对视频数据的块进行运动补偿的步骤，该运动补偿包括：确定该块的当前运动预测模式是否是时域运动预测模式；当确定是时域预测模式时，使用来自空域邻居的信息导出编码参数；以及使用所述编码参数对视频数据的块进行编码。
根据本文描述的至少一个一般实施例，提供了用于对视频数据的块进行解码的方法。该方法包括对编码的视频比特流中的信息段(piece of information)进行解码的步骤；基于上下文信息预测该条信息；执行所述解码的信息段和所述信息段的所述预测的逆组合函数，以生成视频数据的当前块的信息段；以及对运动补偿的视频数据的块进行解码。
根据另一实施例，提供了方法，其包括确定编码模式是否是ATMVP、STMVP或FRUC/单边；当确定的编码模式是ATMVP、STMVP或FRUC/单边时，从空域相邻亮度补偿标志预测视频数据的当前块的亮度补偿标志；如果确定的编码模式不是ATMVP、STMVP或FRUC/单边，则使用预测符块的亮度补偿标志；以及，使用亮度补偿标志，用于对视频数据的当前块进行编码。
根据另一实施例，提供了方法，其包括确定编码模式是否是TMVP(TemporalMotion Vector Prediction，时域运动矢量预测)、ATMVP或FRUC；当确定的编码模式是TMVP、ATMVP或FRUC时，从空域相邻亮度补偿标志预测视频数据的当前块的亮度补偿标志；如果确定的编码模式不是TMVP、ATMVP或FRUC，则使用预测符块的亮度补偿标志；以及，使用亮度补偿标志，用于对视频数据的当前块进行编码。
根据本文描述的另一方面，提供了用于对视频数据的块进行编码或解码的设备，包括：存储器和处理器，其被配置为执行前述方法实施例中的任何一个以及变型。
根据本文所述的另一方面，提供了包含数据内容的非暂时性计算机可读存储介质，该数据内容是根据前述方法实施例中任一个的方法或者由前述设备实施例中任一个的设备生成的，用于使用处理器进行回放。
根据本文所述的另一方面，提供了信号，其包括根据前述用于对视频数据的块进行编码的方法实施例中任一个的方法生成的视频数据，或者由前述用于对视频数据的块进行编码的设备实施例中任一个的设备生成的视频数据，用于使用处理器进行回放。
根据本文描述的另一方面，提供了计算机程序产品，其包括指令，当程序由计算机执行时，该指令使得计算机执行前述方法实施例中任一个的方法。
从下面结合附图阅读的示例性实施例的详细描述中，本原理的这些和其他方面、特征和优点将变得显而易见。
附图说明
图1a示出了编码树单元和编码树概念的示例，以表示压缩的HEVC图片。
图1b示出了将编码树单元划分为编码单元、预测单元和变换单元的示例。
图1c示出了运动补偿块的编码数据树的一个示例。
图2示出了空域运动矢量预测的示例。
图3示出了时域运动矢量预测的示例。
图4示出了可以应用本实施例的通用视频压缩方案的示例。
图5示出了可以应用本实施例的通用视频解压缩方案的一个示例。
图6示出了从空域预测符进行信息预测/推断的示例框图。
图7示出了用于亮度补偿(IC)标志预测/推断的示例框图。
图8示出了IC标志的时域运动预测和空域预测的示例说明。
图9示出了用于IC标志预测/推断的框图的另一示例。
图10示出了另一IC标志预测/推断的示例框图。
图11示出了STMVP(Spatial Temporal Motion Vector Prediction，空时运动矢量预测)中的子PU导出过程的示例。
图12示出了解耦预测符和信息编码的框图。
图13示出了解耦预测符和信息解析/解码的框图。
图14示出了解耦预测符和标志编码的框图。
图15示出了使用描述的方面的编码方法的一个实施例。
图16示出了使用描述的方面的解码方法的一个实施例。
图17示出了使用描述的方面用于编码或解码的设备的一个实施例。
具体实施方式
在HEVC视频压缩标准中，图片被分为所谓的编码树单元(CTU)，其大小通常为64×64、128×128或256×256像素。
每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，每个叶子称为编码单元(CU)，如图1a中的示例所示。
然后给每个CU一些帧内或帧间预测参数(预测信息)。为此，其在空域上划分为一个或多个预测单元(PU)，给每个PU分配一些预测信息。在CU级别上分配帧内或帧间编码模式，如图1b中的示例所示。
根据HEVC标准，编码单元也按照“变换树”以递归方式分为所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶子。变换单元封装与考虑的正方形空域区域相对应的每个图片分量的正方形变换块。变换块是单个分量中的正方形样本块，其中应用相同的变换。
新出现的视频压缩工具包括压缩域中的编码树单元表示，以在压缩域中以更灵活的方式表示图片数据。编码树的灵活表示的优点是，与HEVC标准的CU/PU/TU排列相比，它提供了更高的压缩效率。
所述实施例的领域是视频压缩。对于帧间编码，通过运动补偿块，从参考图片中的获得给定块的预测。从可以经历用于对块进行运动补偿的运动变换的运动矢量建立这种预测。可选地，可以通过样本变换处理预测，例如使用IC(Illumination Compensation，亮度补偿)变换。可以使用编码标志或推断标志来激活这种变换或对这种变换进行去激活。当预测/推断与当前块的这种变换相对应的标志时，当前解决方案一般从运动预测符块(从中预测了运动的块)预测/推断该标志。预测符块可以在当前块的空域邻居(空域运动预测符块)中，或者可以在参考图片(时域运动预测符块)中。然而，对于时域运动预测符(类似于JEM(Joint Exploration Mode，联合勘探模型)的ATMVP(Advanced Temporal Motion VectorPrediction，高级时域运动矢量预测)、STMVP(Spatial Temporal Motion VectorPrediction，空时运动矢量预测)或FRUC(Frame Rate Up Conversion帧速率上转换)模式中的那些)，这样的标志可能不可用。
本文描述的编码/解码过程是在用于全向视频的等矩形投影预测符的另一应用中使用的过程，但是适用于其他标志或语法元素(syntax element)(例如，IC或OBMC(overlapped block motion compensation，重叠块运动补偿)和IMV(initial motionvector，初始运动矢量))。
以下描述旨在解决数字视频编码中的预测和解析问题。问题是，为了预测或解析信息，需要上下文数据，但这些上下文数据可能并不总是可用的。针对这种情况，提出了改进预测和解析过程的解决方案。
以下是考虑的两种解决方案：
第一，可以解耦用于帧间模式TMVP、ATMVP、STMVP、FRUC/单边的推断和预测符块。该提出的想法主要是为了改善信息的预测过程。
第二，可以移除CABAC上下文。在该实施例中，解耦用于帧间编码的预测符块和CABAC上下文，以避免用于解析的信息段不可用。当使用CABAC对给定信息段(例如，IC标志或符号)进行编码或解码时，可能需要来自空域邻居的上下文信息可用，以便选择CABAC上下文；然而，在解码器中，当解析比特流时，该上下文信息可能不直接可用，但是需要首先从解码数据中解码(或重构)；因此，解析过程取决于解码过程，这一般是不期望的，也是不推荐的。为了解决这个问题，提出将符号的上下文CABAC编码与上下文(空域/时域)相邻信息的解码过程分离。这个想法的具体实现方式是使用相邻块(例如上面和左边的块)来预测符号。编码的是实际符号值和预测值的组合，例如通过“XOR(异或)”运算。类似地，在解码器处，解码值与预测值逆组合，例如使用XOR。解码值的解析可以使用CABAC上下文，但是这些上下文不取决于解析期间尚不可用的相邻信息。因此，编码/解码值不直接链接到与符号相关的上下文(空域/时域)相邻信息。
如果组合函数是
c＝f(v,p)
v是INF的值，p是预测，c是组合函数的结果，逆组合函数g是这样的：
g(c,p)＝v
在编码器中，对c进行编码。在解码器对c进行解码(解析)，并且通过计算g(c,p)重构v。当选择f作为XOR运算符时，g也只是XOR。当INF是标志时这是有效的。
另一想法旨在当对信息进行解码时解决解析问题。至少一个实施例包括在帧间运动补偿中将标志的推断/预测与预测符块解耦中。这种方法的一些优点在于，其增加了标志的预测符可用的情况的数量，和/或提高了给定标志的预测以及因此提高了编码的准确性。
所述实施例的领域是视频压缩。对于帧间编码，由运动补偿块给出给定块(或编码单元，也记为CU)的预测。从可以经历用于对块进行运动补偿的运动变换的运动矢量建立这种预测。可选地，可以通过变换处理预测，例如IC(亮度补偿)变换。
现有编解码器(诸如H.265(ITU-T，2013))中的运动补偿工具基于对当前帧和参考帧之间的当前块的运动的描述，已经对该参考帧进行了解码。这种运动通常用2D矢量和参考帧索引来表示，该索引通知解码器在参考图片缓冲器中存储的一组先前解码的帧中选择哪个参考帧。
为了预测块，可以为当前块编码或推断几个信息段。下面的列表是指图1c的注解，图1c描述了帧间块的数据编码树的示例：
A.运动矢量预测索引(IDX或MV INFO(信息))
B.运动矢量预测符的细化(MERGE、FRUC)
C.预测的细化(FRUC、BIO)
D.运动补偿的方向(单向或双向，在DIR中指示)
E.运动补偿的类型(AFFINE(仿射))
F.子块运动补偿(OBMC)
G.块的亮度补偿(IC)
H.整数运动矢量(IMV)
I.当编码或推断这些信息中的一些时，常用方法是从用以预测运动矢量的块中预测/推断信息。
J.例如，在图2中，从相邻块在空域上预测运动矢量。当前块P使用空域邻居块V用于运动预测：从块V的运动矢量dV预测块P的运动矢量dP。类似地，来自块V的其他信息(如在MERGE模式中的IC)可以用于预测或推断块P的相应信息。
K.在另一示例中，在图3中，从参考图片的块中时域上预测运动矢量。当前块P使用位于参考图片中的块W，用于运动预测：从块W的运动矢量dW预测块P的运动矢量dP。类似地，来自块W的其他信息(如IC或参数值)可以用于预测或推断块P的相应信息。例如，在JEM，不同的模式是时域运动预测符：TMVP或ATMVP或STMVP或者FRUC/单边。
L.当然，这需要信息正确地存储在用以预测块P的信息的块中。
图4和图5分别描绘了经典的视频编码器和解码器。当前实施例包括两点。这些实施例改变了预测或推断运动补偿块(即非帧内块)的语法元素或参数的方式，即主要影响图4中的170和图5中的275。它们还包括视频流的解析，并且因此影响图4的块145和图5的块230。
用上述现有技术的预测或推断方法，会出现四个问题。
A.用于预测的信息的不可用性–对于运动矢量的一些预测模式，如TMVP或ATMVP或STMVP或者FRUC/单边中的时域预测，信息可能在解码参考图片的块中不再可用。通常，为了降低存储器需求，只有与(多个)运动矢量相关的信息和参考帧存储在HEVC或JEM的参考图片缓冲器中。不存储其他信息，诸如IC标志和参数、仿射标志和参数。例如，在图3中，对于块W仅存储了dW，但是没有存储IC标志，并且该IC标志不能用以预测当前块P的IC标志。
B.用于解析的信息的不可用性–当使用CABAC对给定信息(例如，IC标志)或语法元素进行编码/解码时，可能需要来自空域邻居的上下文信息可用，以便选择CABAC上下文；然而，在解码器中，当解析比特流时，该上下文信息可能不直接可用，但是需要首先从解码数据中解码(或重构)；因此，解析过程取决于解码过程，这通常是不期望的，也是不推荐的；通常，广泛地优选独立于解码/重构过程来执行解析过程。
例如，当被解析的语法元素(SE)取决于上下文，该上下文取决于当前块的用合并模式编码的相邻编码单元(CU)时，这种有问题的情况会发生；当用合并模式编码CU时，它的所有参数被导出，但没有在流中显式地编码；因此，在流的解析过程中，这些参数时未知的；并且它们不能用于解析语法元素SE。
C.信息的低相关性-在FRUC预测符的情况下，所选候选(预测符块)的信息可能与当前块的信息不完全相关；这特别是因为块是基于SAD(Sum of Absolute Differences，绝对差的总和)标准选择的。
D.编码块/CU内信息的非唯一性–在ATMVP和STMVP的情况下，来自相邻块的几个标志(或语法元素)可能用于预测或推断当前块的标志(或语法元素)。在ATMVP中，从相邻块中计算初始“时域”运动矢量预测符，然后对所有可能最终使用(具有不同标志值的)另一运动矢量预测符的子PU块进行细化。此外，在STMVP中，从几个块对几个运动矢量预测符进行平均，得到几个(潜在不同的)标志推断。
在JEM(联合勘探模式)的当前实现方式中，使用了两种方法以避免这些问题：
-情况A：当使用时域推断(例如，用于导出IC标志)时，附加存储器用于将IC标志存储在参考图片缓冲器中。
-情况B：标志从不使用空域上下文用于编码(例如IC标志)。这增加了标志的编码成本，因为熵编码不使用空域上下文。情况B：标志永远不被推断出来(如IMV标志一样)。通过添加信息进行编码，可能会来降低性能。
-情况C：对于IC，标志不是推断的而是显式编码的。通过添加信息进行编码，可能会来降低性能。
-情况D：对于IC，从ATMVP中的初始时域运动矢量预测符推断出标志，并将该标志传播到所有子PU块。在STMVP中，从ATMVP块中复制标志。通过推断与当前块模式严重相关的标志，可能会降低性能。
在下文中，考虑到当前块的可以被称为INF(例如，可以是IC标志的值)的给定信息段必须从预测符块中预测或推断，该预测符块要么位于当前块的空域邻居中，要么共同位于参考图片中，或者位于FRUC/单边(帧速率上转换)运动场中。
所描述的实施例覆盖至少两个独立的方面。第一个方面是迫使信息INF的预测基于空域邻居–这点至少被前两个实施例所覆盖。第二个方面是使用解耦预测符来解析信息INF–这点至少被第三个实施例所覆盖。
在第一个一般实施例中，可以解耦运动预测块的信息INF推断/预测。
为了解决问题A和D，该实施例提出从空域邻居预测/推断信息INF，即使当前块的运动预测符是使用时域预测来构建的，例如使用ATMVP、STMVP或FRUC/单边模式。这个概念如图6的框图所示。INF的预测/推断过程的输入是当前块的运动预测模式M。首先，应用检查步骤来评估模式M是对应于时域预测还是空域预测(步骤201)。如果M对应于空域预测，则使用来自用于预测M的空域预测符块的相应信息进行预测/推断(步骤202)。如果M对应于时域预测，则使用来自空域上相邻预测符块的相应信息来进行INF的预测/推断，该预测块不用于预测M，因此不同于用于预测M的块(步骤203)。
第一实施例的第一替代方案涉及ATMVP、STMVP或FRUC/单边模式的应用。
图7的框图示出了与标志IC相对应的INF的这个过程的实现方式。在步骤201中，将模式M与ATMVP、STMVP或FRUC/单边模式进行比较。如果M是这些模式中的一个，当当前运动预测符块来自于ATMVP、STMVP或FRUC/单边候选时，从上部和左边的块IC标志在空域上预测/推断当前块的IC标志。这对应于步骤203。如果M不是ATMVP、STMVP或FRUC/单边模式，使用预测符块的IC值。这对应于步骤202。
对应于图7的框图，也在图8中解释了该实施例的概念。图8示出了如何应用图7的过程以用于导出块的运动矢量和IC标志。由参考图片中块W的运动矢量dW和参考索引rW在时域上预测当前图片中块P的运动矢量dP和参考索引rP。然而，从空域上相邻块V的IC标志IC_V预测块P的IC标志IC_P。
第一实施例的第二替代方案涉及ATMVP、STMVP或FRUC模式的应用。
为了解决问题A和C，我们提出当当前块的运动预测符是ATMVP、STMVP或FRUC时，从空域邻居预测/推断信息INF(图9)。
第一个一般实施例的第三替代方案涉及IC标志的空域预测符的使用。
为了解决问题A、B和C，我们提出总是从空域邻居预测/推断信息INF。
在第二个一般实施例中，在STMVP模式中，对所有子PU，存在单个INF预测。
在STMVP中，子PU的运动矢量按照光栅扫描(raster scan)顺序递归地导出。这如图11所示，其中CU包含四个子Pu(或子CU)，记为A、B、C、D。CU有四个相邻块a、b、c、d。
子PU A的运动导出使用来自两个空域邻居b和c的运动，加上子块A的时域运动矢量预测符(TMVP)。最后，(例如，通过对它们求平均)实现(多达三个)运动矢量的合并。然后，用子块B的空域邻居A、d和时域运动矢量预测符(TMVP)将相同的过程应用于块B。对CU的剩余两个块进行同样的操作。
在一个实施例中，为了解决D，使用上述方法从在块级别处的相邻PU(不是子PU)中推出信息INF。对当前块的所有子块使用一个单个的INF预测。因此，INF的导出不同于运动矢量的导出，因为运动矢量的导出保持递归的STMVP过程。然后，同样的信息INF对于所有子PU也都是可用的。
第三个一般实施例涉及使用解耦预测符的标志编码。
为了解决问题B，也为了提高链接到当前块的信息INF的编码效率，以色剂几个预测过程(例如通过FRUC模式对运动矢量的预测)的级联的模式进行编码，我们提出将INF的上下文CABAC编码与上下文(空域/时域)相邻信息的解码过程分离。这里的要点是使用取决于另一预测符的预测符(例如，在当前块的IC标志以FRUC模式编码的情况下，IC预测符取决于由FRUC选择的预测符的IC标志)。在现有技术中，在这种预测级联的情况下，没有预测符被用于对INF进行编码。
图12示出了编码器侧的简化框图，用于对给定块的信息INF_cur进行编码。当对该信息进行编码时，可以从当前块的邻居或参考图片中的先前编码的块中获得上下文信息(505)。例如，该上下文信息包括在来自参考图片中多个块中或块的邻居的候选运动矢量的列表中。根据该上下文信息，执行第一预测(500)，例如通过FRUC模式对块将使用的运动矢量的预测。从该第一预测生成INF_cur的预测符，记为INF_pred(501)。编码过程还通常基于速率失真优化来执行信息INF的实际值的选择(502)。然后，组合INF_pred和INF_cur，以生成要被编码的信息的值，即INF_cod。然后熵编码器(504)将INF_cod编码为输出比特流。在熵编码的步骤504中，上下文可用于对INF_cod进行编码。但是这些上下文仅取决于从解析过程中直接可用的数据，而不是解码/重构过程后直接可用的数据。因此，可以将该解析从解码过程中解耦出来。
图13示出了解码器侧的简化框图，用于对给定块的信息INF_cur进行解码。从比特流中，解码信息INF_dec(602)。这与图12中编码器端的INF_cod相同。通过使用仅取决于从解析过程中直接可用的数据而不是解码/重构过程之后直接可用的数据的上下文，将该解析从重构/解码过程中解耦出来。
执行第一预测(600)，例如，通过FRUC模式对块将使用的运动矢量的预测。该预测使用解码(或重构)上下文信息(605)，该上下文信息例如由来自参考图片中多个块或块的邻居的候选运动矢量的列表构成。然后从该第一预测生成信息的预测INF_pred(601)。然后，(使用在编码器侧执行的组合操作的逆操作)重新组合INF_pred和INF_cod，以生成当前块的信息的值INF_rec，该值应该与编码器侧的INF_cur相同。
图14示出了根据一个实施例的用于IC标志的编码器(左)和解码器(右)。在该实施例中，第一预测是用于时域上预测块信号的运动矢量的预测。“组合”和“逆组合”操作仅由应用“XOR”运算符组成：
IC_cod＝IC_cur XOR IC_pred
IC_rec＝IC_dec XOR IC_pred
在图8中，示出了其中上下文CABAC编码被标志预测符的常规编码代替的IC标志的示例。然后，允许预测符来自空域邻居(解决问题A和C)或来自预测符块标志。
图15示出了所述方面下的方法1500的一个实施例。该方法从开始框1501开始，并且控制前进到框1510，用于对视频数据的块进行运动补偿。运动补偿过程包括框1520、1530和1540。在框1520，该方法前进以确定当前运动预测模式是否是时域预测模式。如果不是，则从当前块的运动预测符中导出信息。然而，如果当前运动预测模式是时域预测模式，则控制从框1520前进到框1530，用于从空域邻居导出编码参数。然后，控制从框1530前进到框1540，用于对运动补偿的视频数据的块进行编码。
图16示出了所述方面的方法1600的一个实施例。该方法从开始框1601开始，控制前进到框1610，用于对比特流信息段进行解码，并前进到框1620，用于基于上下文信息预测比特流信息段。控制从框1610和1620前进到框1630，用于执行逆组合操作。控制从框1630前进到框1640，使用该信息段对运动补偿的视频数据的块进行解码。
图17示出了用于对视频数据的块进行编码或解码的设备1300的一个实施例。该设备包括处理器1310，其具有输入和输出端口，并且与存储器1320信号连接，存储器1320也具有输入和输出端口。该设备可以执行任何前述方法实施例或变型。
图中所示的各种元件的功能可以使用专用硬件以及能够执行与适当软件相关联的软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些处理器可以共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专门指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(“DSP(digital signal processor)”)硬件、用于存储软件的只读存储器(“ROM(read-only memory)”)、随机存取存储器(“RAM(random access memory)”)和非易失性存储。
还可以包括传统和/或定制的其他硬件。类似地，图中所示的任何开关都只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至手动地实现，具体技术可以由实现者选择，如从上下文中更具体地理解的。
现在的描述说明了现在的想法。因此，应当理解，本领域的技术人员将能够设计各种布置，尽管在本文没有明确描述或示出，但是这些布置体现了本发明的思想，并且包括在本发明的范围内。
本文列举的所有示例和条件语言都是旨在教导目的，以帮助读者理解本发明的原理和发明人为推进本领域所贡献的概念，并被解释为不限于这些具体列举的示例和条件。
此外，本文列举本原理的原理、方面和实施例的所有陈述，以及其具体示例，都旨在包含其结构和功能等同物。此外，这种等同物旨在包括当前已知的等同物以及将来开发的等同物，即，无论结构如何，开发的执行相同功能的任何元件。
因此，例如，本领域技术人员将会理解，本文呈现的框图表示体现本原理的说明性电路的概念图。类似地，可以理解的是，任何流程图(flow chart)、流程图(flow diagram)、状态转换图、伪代码等都表示各种过程，这些过程基本上可以在计算机可读介质中表示，并由计算机或处理器执行，无论是否明确示出了这样的计算机或处理器。
在本文的权利要求中，表示为用于执行特定功能的装置的任何元件旨在包含执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、微码等，与用于执行软件以执行该功能的适当电路相组合。由这样的权利要求定义的本原理在于这样的事实，即由各种列举的装置提供的功能以权利要求所要求的方式被组合和集合在一起。因此，可以认为能够提供这些功能的任何装置都等同于本文所示的那些设备。
说明书中对本原理的“一个实施例”或“实施例”以及其其他变型的引用意味着结合该实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在整个说明书的不同地方出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型不一定都指同一实施例。
总之，提供了一种预测或推断用于编码或解码的信息段的方法。代替预测或推断信息，诸如当前块的标志，可以使用来自空域邻居或来自参考图片的预测符。该过程可以以多种方式使用，或者用于各种运动矢量预测模式，诸如FRUC或AMP。其他实施例提供了其他方法和组合来导出或推断运动信息以提高编码效率。

Claims (13)

1.一种用于对视频数据的块进行编码的方法，所述方法包括：
确定所述视频数据的块的运动预测模式是否是高级时域运动矢量预测ATMVP模式、空时运动矢量预测STMVP模式或帧速率上转换FRUC/单边模式；
预测是否对所述视频数据的块激活亮度补偿，其中如果所述视频数据的块的运动预测模式是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的一个或多个相邻块相关联的相应亮度补偿指示符来进行所述预测，并且其中如果所述视频数据的块的运动预测模式不是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的预测符块相关联的亮度补偿指示符进行所述预测；以及
至少基于对是否对所述视频数据的块激活亮度补偿的预测，对所述视频数据的块进行编码。
2.根据权利要求1所述的方法，其中，所述视频数据的块包括多个子块，并且所述方法还包括基于子块的两个直接空域邻居来确定所述视频数据的块的子块的亮度补偿指示符。
3.根据权利要求1所述的方法，其中，所述视频数据的块包括多个子块，并且其中是否对所述视频数据的块激活亮度补偿的预测适用于所述视频数据的块的多个子块。
4.一种用于对视频数据的块进行编码的设备，所述设备包括：
存储器，以及
处理器，被配置为：
确定所述视频数据的块的运动预测模式是否是高级时域运动矢量预测ATMVP模式、空时运动矢量预测STMVP模式或帧速率上转换FRUC/单边模式；
预测是否对所述视频数据的块激活亮度补偿，其中如果所述视频数据的块的运动预测模式是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的一个或多个相邻块相关联的相应亮度补偿指示符来进行所述预测，并且其中如果所述视频数据的块的运动预测模式不是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的预测符块相关联的亮度补偿指示符进行所述预测；以及
至少基于对是否对所述视频数据的块激活亮度补偿的预测，对所述视频数据的块进行编码。
5.根据权利要求4所述的设备，其中，所述视频数据的块包括多个子块，并且所述处理器还被配置为基于子块的两个直接空域邻居来确定所述视频数据的块的子块的亮度补偿指示符。
6.根据权利要求4所述的设备，其中，所述视频数据的块包括多个子块，并且其中是否对所述视频数据的块激活亮度补偿的预测适用于所述视频数据的块的多个子块。
7.一种非暂时性计算机可读介质，包括根据权利要求1至3中任一项所述的方法或者由权利要求4至6中任一项所述的设备生成的数据内容，用于使用处理器进行回放。
8.一种用于对视频数据的块进行解码的方法，所述方法包括：
确定所述视频数据的块的运动预测模式是否是高级时域运动矢量预测ATMVP模式、空时运动矢量预测STMVP模式或帧速率上转换
FRUC/单边模式；
预测是否对所述视频数据的块激活亮度补偿，其中如果所述视频数据的块的运动预测模式是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的一个或多个相邻块相关联的相应亮度补偿指示符来进行所述预测，并且其中如果所述视频数据的块的运动预测模式不是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的预测符块相关联的亮度补偿指示符进行所述预测；以及
至少基于对是否对所述视频数据的块激活亮度补偿的预测，对所述视频数据的块进行解码。
9.根据权利要求8所述的方法，其中，所述视频数据的块包括多个子块，并且所述方法还包括基于子块的两个直接空域邻居来确定所述视频数据的块的子块的亮度补偿指示符。
10.根据权利要求8所述的方法，其中，所述视频数据的块包括多个子块，并且其中是否对所述视频数据的块激活亮度补偿的预测适用于所述视频数据的块的多个子块。
11.一种用于对视频数据的块进行解码的设备，所述设备包括：
存储器，以及
处理器，被配置为执行：
确定所述视频数据的块的运动预测模式是否是高级时域运动矢量预测ATMVP模式、空时运动矢量预测STMVP模式或帧速率上转换
FRUC/单边模式；
预测是否对所述视频数据的块激活亮度补偿，其中如果所述视频数据的块的运动预测模式是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的一个或多个相邻块相关联的相应亮度补偿指示符来进行所述预测，并且其中如果所述视频数据的块的运动预测模式不是所述ATMVP模式、所述STMVP模式或所述FRUC/单边模式，则基于与所述视频数据的块的预测符块相关联的亮度补偿指示符进行所述预测；以及
至少基于对是否对所述视频数据的块激活亮度补偿的预测，对所述视频数据的块进行解码。
12.根据权利要求11所述的设备，其中，所述视频数据的块包括多个子块，并且所述处理器还被配置为基于子块的两个直接空域邻居来确定所述视频数据的块的子块的亮度补偿指示符。
13.根据权利要求11所述的设备，其中，所述视频数据的块包括多个子块，并且其中是否对所述视频数据的块激活亮度补偿的预测适用于所述视频数据的块的多个子块。
CN201880075057.4A 2017-10-05 2018-10-04 解耦模式推断和预测 Active CN111386706B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306332.2 2017-10-05
EP17306332.2A EP3468194A1 (en) 2017-10-05 2017-10-05 Decoupled mode inference and prediction
PCT/US2018/054315 WO2019070941A1 (en) 2017-10-05 2018-10-04 DEDUCTION AND PREDICTION OF DECOUPLED MODE

Publications (2)

Publication Number Publication Date
CN111386706A CN111386706A (zh) 2020-07-07
CN111386706B true CN111386706B (zh) 2024-04-19

Family

ID=60119969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880075057.4A Active CN111386706B (zh) 2017-10-05 2018-10-04 解耦模式推断和预测

Country Status (4)

Country Link
US (2) US11805271B2 (zh)
EP (2) EP3468194A1 (zh)
CN (1) CN111386706B (zh)
WO (1) WO2019070941A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110662046B (zh) * 2018-06-29 2022-03-25 北京字节跳动网络技术有限公司 视频处理方法、装置和可读存储介质
WO2020116242A1 (ja) * 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN111526362B (zh) * 2019-02-01 2023-12-29 华为技术有限公司 帧间预测方法和装置
CN114128271A (zh) * 2019-06-12 2022-03-01 交互数字Vc控股公司 用于视频编码和解码的照明补偿

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101711480A (zh) * 2007-06-26 2010-05-19 三星电子株式会社 用于多视点视频编码中的亮度补偿的方法和设备
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
CN106454378A (zh) * 2016-09-07 2017-02-22 中山大学 一种基于变形运动模型的帧率上转换视频编码方法及系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7086026B2 (en) 2003-05-12 2006-08-01 International Business Machines Corporation Decoupling capacitance analysis method
JP5199124B2 (ja) * 2006-01-12 2013-05-15 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
KR101460362B1 (ko) * 2007-06-25 2014-11-14 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
US8345070B2 (en) 2009-06-10 2013-01-01 Himax Media Solutions, Inc. Apparatus and method for frame rate up conversion
US9948951B2 (en) * 2012-12-26 2018-04-17 Sharp Kabushiki Kaisha Image decoding device which generates a predicted image of a target prediction unit
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
US9860529B2 (en) 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US9948930B2 (en) * 2016-05-17 2018-04-17 Arris Enterprises Llc Template matching for JVET intra prediction
US20170339405A1 (en) * 2016-05-20 2017-11-23 Arris Enterprises Llc System and method for intra coding
WO2017205621A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Jvet coding block structure with asymmetrical partitioning
US10944963B2 (en) * 2016-05-25 2021-03-09 Arris Enterprises Llc Coding weighted angular prediction for intra coding
WO2017205704A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc General block partitioning method
MX2018014487A (es) * 2016-05-25 2019-08-12 Arris Entpr Llc Prediccion angular ponderada para intra codificacion.
WO2017205700A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Binary, ternary and quad tree partitioning for jvet coding of video data
US10284845B2 (en) * 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
US10645395B2 (en) * 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
WO2018056603A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 조도 보상 기반 인터 예측 방법 및 장치
WO2018056709A1 (ko) * 2016-09-22 2018-03-29 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
US10616582B2 (en) * 2016-09-30 2020-04-07 Qualcomm Incorporated Memory and bandwidth reduction of stored data in image/video coding
US10341659B2 (en) * 2016-10-05 2019-07-02 Qualcomm Incorporated Systems and methods of switching interpolation filters
US10951912B2 (en) * 2016-10-05 2021-03-16 Qualcomm Incorporated Systems and methods for adaptive selection of weights for video coding
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US20180310017A1 (en) * 2017-04-21 2018-10-25 Mediatek Inc. Sub-prediction unit temporal motion vector prediction (sub-pu tmvp) for video coding
US10523934B2 (en) * 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
US10652571B2 (en) * 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101711480A (zh) * 2007-06-26 2010-05-19 三星电子株式会社 用于多视点视频编码中的亮度补偿的方法和设备
CN103843347A (zh) * 2011-10-04 2014-06-04 高通股份有限公司 用于视频译码的运动向量预测值候选剪裁移除
CN106105191A (zh) * 2014-03-19 2016-11-09 株式会社Kt 用于处理多视图视频信号的方法和装置
CN106454378A (zh) * 2016-09-07 2017-02-22 中山大学 一种基于变形运动模型的帧率上转换视频编码方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yunfei Zheng, et al.Intra prediction using template matching with adaptive illumination compensation.《 2008 15th IEEE International Conference on Image Processing》.2008,全文. *
杨帅.基于运动分析和亮度补偿的误码掩盖方法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2011,全文. *

Also Published As

Publication number Publication date
US20240007665A1 (en) 2024-01-04
EP3692718A1 (en) 2020-08-12
US20200236390A1 (en) 2020-07-23
WO2019070941A1 (en) 2019-04-11
EP3468194A1 (en) 2019-04-10
CN111386706A (zh) 2020-07-07
US11805271B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US11310526B2 (en) Hardware friendly constrained motion vector refinement
US10715827B2 (en) Multi-hypotheses merge mode
US11172203B2 (en) Intra merge prediction
CN112400319B (zh) 一种视频编码/解码方法及装置
US11115653B2 (en) Intra block copy merge list simplification
CN112534807B (zh) 一种用于编码/解码视频数据的方法和装置
CN111386706B (zh) 解耦模式推断和预测
US11245922B2 (en) Shared candidate list
US20240080490A1 (en) Signaling for multi-reference line prediction and multi-hypothesis prediction
JP2022507131A (ja) イントラブロックコピーのための履歴ベース動き候補リスト構築
US11109064B2 (en) Signaling of motion vector difference derivation
US20210044821A1 (en) Illumination compensation flag in frame rate up-conversion with template matching
US20190268611A1 (en) Intelligent Mode Assignment In Video Coding
CN113366839A (zh) 视频编解码中的细化量化步骤
RU2812648C2 (ru) Способ и устройство для обработки данных видео и носитель для хранения информации

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant