CN111052745A - 编码单元的内部子块的细化 - Google Patents

编码单元的内部子块的细化 Download PDF

Info

Publication number
CN111052745A
CN111052745A CN201880056827.0A CN201880056827A CN111052745A CN 111052745 A CN111052745 A CN 111052745A CN 201880056827 A CN201880056827 A CN 201880056827A CN 111052745 A CN111052745 A CN 111052745A
Authority
CN
China
Prior art keywords
sub
block
blocks
video data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880056827.0A
Other languages
English (en)
Other versions
CN111052745B (zh
Inventor
A.罗伯特
T.波里尔
S.丹滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN111052745A publication Critical patent/CN111052745A/zh
Application granted granted Critical
Publication of CN111052745B publication Critical patent/CN111052745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过使用编码块的左侧或顶部边缘上的子块的运动信息，可以推导较大块的内部子块的运动信息，以用于编码或者解码视频块或编码单元。边缘子块的左侧列和子块的顶部行具有使用诸如模板匹配之类的技术推导的运动信息，诸如运动矢量。这些边缘子块的运动矢量被用于推导内部子块的运动矢量，这产生更好的预测和改进的编码效率。在另一个实施例中，用于内部子块的其他运动信息从边缘子块的对应信息中推导。

Description

编码单元的内部子块的细化
技术领域
本原理涉及视频压缩领域。
背景技术
在HEVC(国际电信联盟的高效视频编码，ITU-TH.265)视频压缩标准中，将画面划分为所谓的编码树单元(CTU)，其尺寸典型为64x64、128x128或256x256像素。
每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶片称为编码单元(CU)，如图1所示。
采用运动补偿的时间预测来利用视频的连续画面之间存在的冗余。为此，将运动矢量与每个预测单元(PU)相关联。然后，每个CU被赋予一些帧内或帧间预测参数(预测信息)，并在空间上分区为一个或多个预测单元(PU)，每个PU被分配一些预测信息。帧内或帧间编码模式在CU级别分配，如图2所示。
在HEVC中，遵循″变换树″，以递归方式将编码单元也划分为所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装对应于所考虑的正方形空间区域的每个画面分量的正方形变换块。变换块是单个分量中的样本的正方形块，在其中应用相同的变换。
在HEVC中，为每个PU精确分配一个运动矢量。该运动矢量用于所考虑的PU的运动补偿的时间预测。
在由JVET(联合视频探索小组)组开发的联合探索模型(JEM)中，CU不再被划分为PU或TU，并且一些运动数据被直接分配给每个CU。在这种新的编解码器设计中，CU可以被划分为子CU，并且可以为每个子CU计算运动矢量。
若干种新工具可以进一步将CU划分为子块，并为这些子块中的每一个子块推导出一个运动矢量。FRUC和仿射工具使用这种子块运动推导，而OBMC(重叠块运动补偿)和BIO(双向光学流)以完全相同的方式执行。
这些工具中的一些工具或某些精确配置中使用图像的邻近编码和重构的部分。在那种情况下，那些工具不可能推导出内部子块的运动矢量，即子块不在第一行和/或列中。
新兴的视频压缩工具包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式表示画面数据。编码树的这种灵活表示的优势在于，与HEVC标准的CU/PU/TU布置相比，提供增加的压缩效率。
使用这些新的视频压缩工具，不再将CU划分为预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(之前2Nx2N预测单元分区类型)和单个变换单元(不划分成变换树)组成。
发明内容
现有技术的这些和其他缺点由所描述的实施例中的至少一个解决，所描述的实施例针对用于推导编码单元的内部子块的运动矢量的方法和设备，所述编码单元是通过使用子块级别和重构的邻近信息的工具编码的。
在至少一个实施例中，提出了利用之前细化的子块来改进内部子块的运动推导。
根据本文描述的至少一个一般实施例，提供一种用于编码视频数据块的方法。该方法包括以下步骤：从之前编码的邻近块中推导视频数据块的信息；通过使用所推导的信息和之前编码的邻近子块，细化沿视频数据块的左侧或顶部边缘的子块的信息；通过使用来自沿视频数据块的左侧或顶部边缘的子块的所细化的信息，来细化视频数据块的内部子块的信息；和使用所细化的子块编码视频数据块。
根据本文描述的另一方面，提供一种用于解码数据块的方法。该方法包括从之前编码的邻近块中推导视频数据块的信息；通过使用该信息和之前编码的邻近子块，细化沿视频数据块的左侧或顶部边缘的子块的信息；通过使用来自沿视频数据块的左侧或顶部边缘的子块的所细化的信息，来细化视频数据块的内部子块的信息；和使用所细化的子块解码视频数据块。
根据本文描述的另一方面，提供一种用于编码或者解码视频数据块的设备，包括：存储器，以及处理器，配置为：从之前编码的邻近块中推导视频数据块的信息；通过使用该信息和之前编码的邻近子块，细化沿视频数据块的左侧或顶部边缘的子块的信息；通过使用来自沿视频数据块的左侧或顶部边缘的子块的所细化的信息，来细化视频数据块的内部子块的信息；以及编码或解码视频数据块。该设备可以执行具有变形的任何前述方法实施例。
根据本文描述的另一方面，提供一种非暂时性计算机可读存储介质，其包含根据前述方法实施例中的任何一个方法或由前述设备实施例中的任何一个设备生成的数据内容，以用于使用处理器进行回放。。
根据本文描述的另一方面，提供一种信号，该信号包括视频数据，该视频数据根据用于编码视频数据块的上述方法实施例中的任何一个的方法，或者由用于编码视频数据块的上述设备实施例中的任何一个的设备而生成，以用于使用处理器进行回放。
根据本文描述的另一方面，提供一种计算机程序产品，其包括指令，当该程序由计算机执行时，使计算机实施前述方法实施例中的任何一个的方法。
通过以下要结合附图阅读的示例性实施例的详细描述，本发明原理的这些和其他方面，特征和优点将变得显而易见。
附图说明
图1示出表示压缩的HEVC画面的编码树单元和编码树概念的示例。
图2示出将编码树单元划分为编码单元，预测单元和变换单元的示例。
图3示出可以应用本实施例的通用视频压缩方案的一个示例。
图4示出可以应用本实施例的通用视频解压缩方案的一个示例。
图5示出作为示例的现有技术的内部编码单元FRUC模板匹配处理。
图6示出另一示例的现有技术的内部编码单元的子块的FRUC模板匹配处理。
图7示出作为示例的大编码单元的第二行和第二列上的OBMC传播。
图8示出使用本实施例的使用细化的邻域(虚线)或整个细化的编码单元(空白)的平均值的内部子块的改进的行和列的示例。
图9示出在帧的a)左侧或b)顶部边界上的两种具体情况的示例。
图10示出使用所描述的方面的编码方法的一个实施例。
图11示出使用所描述的方面的解码方法的一个实施例。
图12示出使用所描述的方面用于编码或解码的设备的一个实施例。
具体实施方式
在HEVC视频压缩标准中，将画面划分为所谓的编码树单元(CTU)，其典型大小为64x64、128x128或256x256像素。
每个CTU由压缩域中的编码树表示。这是CTU的四叉树划分，其中每个叶片称为编码单元(CU)，参见图1。
然后，为每个CU提供一些帧内或帧间预测参数(预测信息)。为此，将其在空间上划分为一个或多个预测单元(PU)，每个PU均分配有一些预测信息。帧内或帧间编码模式在CU级别分配，参见图2。
根据HEVC标准，遵循″变换树″，以递归方式将编码单元也划分为所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装对应于所考虑的正方形空间区域的每个画面分量的正方形变换块。变换块是单个分量中的样本的正方形块，在其中应用相同的变换。
新兴的视频压缩工具包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式表示画面数据。编码树的这种灵活表示的优势在于，与HEVC标准的CU/PU/TU布置相比，提供了增加的压缩效率。
所描述的实施例解决的问题是如何推导内部子块的运动矢量，以增加所考虑的视频编解码器的整体压缩性能。
在现有技术的方法中，利用使用来自图像的邻近重构部分的子块运动推导的工具编码的编码单元不能针对内部子块。本文提出的基本构思是推导编码器/解码器中的内部子块的运动矢量。
现有技术的帧速率上转换(FRUC)工具利用一些模板匹配技术来推导运动矢量。这样的技术允许在一组候选内提取最佳运动矢量，然后将其朝最佳模板匹配进行细化。FRUC首先在整个CU级别上执行。然后，将获得的细化的运动矢量用作子块级别的种子，其中，针对每个子块独立地重复该处理。
第一步在于推导整个CU的细化的运动矢量。FRUC收集从某些空间和时间邻域中选取的运动矢量候选。对于这些候选中的每一个，都在相关联的参考帧内选取(多个)对应模板作为空间顶部和/或左侧邻近(多个)图像块的，如图5所示。然后，相关联的模板匹配成本为(多个)候选模板和(多个)当前模板之间的SAD(绝对差之和)。达到最小模板匹配成本的候选被定义为最具代表性的候选。然后，通过向此运动矢量添加较小的增量(例如，使用菱形，正方形，十字形，图案或某种其他图案)，将此最佳候选朝最小的模板匹配成本细化。
然后，在子块级别(取决于整个CU的大小，为大小4x4或8x8)重复此FRUC处理。整个CU的细化的运动矢量被用作子块的候选以及一些其他潜在候选。对于每个子块，当当前模板(作为空间顶部和/或左侧邻近图像块)可用时，最佳候选根据模板匹配成本提取，然后朝最小模板匹配成本细化。当没有当前模板可用时，子块运动矢量被影响到整个CU细化的一个。对于不在帧边界上的CU，第一个左上子块可以使用顶部和左侧模板(图6中交叉图案的子块)，而第一行(相应列)上的其余子块只能使用顶部(相应左侧)模板(图6中垂直(相应水平)条带图案的子块)。其他内部子块(图6中的白色子块)不能从模板细化中受益，并且直接使用整个CU的细化的运动矢量。
以与FRUC完全相同的方式，对AMVP运动补偿的改进(在″Motion Compensation ata finer precision than Motion Vector Differential″中提出)允许在子块级使用邻近信息将输入的整数或1/4像素AMVP运动矢量细化为1/16像素精度。
子块的第一行和第一列可以直接或者通过FRUC处理使用空间和/或时间邻近信息，以增加其运动矢量的精度。对于所有其他内部子块，这种邻域不可用，因为它们尚未被编码和解码。因此，不可能使用与边界子块相同的处理。
现有技术子块处理的主要局限在于，所有内部子块信息都不能像其他(即边界)子块一样被改进，它们只能与整个CU的输入或细化的运动矢量相符。。
本节描述了建议的方法以推导CU的内部子块的信息。
所描述的实施例旨在通过利用已经推导的运动信息来改进CU的内部子块的运动推导。
在FRUC工具中，子块的第一行和第一列可以利用现有技术中描述的模板匹配来推导。其余内部子块不能与其他块一样推导，它们仅使用整个CU的细化的值。
在第一实施例中，可以通过利用细化的第一块来改进那些子块的运动推导。
为此，可以使用邻近的空间和/或时间上的细化运动矢量。
只能考虑一个邻域：(i)与最佳候选相同；(ii)预定义的邻域(例如，总是空间左侧邻域)；(iii)遇到的第一个具有与输入细化的MV不同值的邻域，(iv)具有与细化的输入的一个或某个其他候选最接近的MV的邻域。在那种情况下，内部子块MV采用所选择的邻近运动矢量的值。
在变型中，也可以考虑多个邻域：(i)(经典)空间邻域的集合(或子集)，(ii)遇到的具有与输入细化的运动矢量不同值的前2个，3个，......邻域(iii)具有与输入细化的运动矢量或其他运动矢量最接近的运动矢量的2个、3个，......，邻域。在这种情况下，利用所考虑的邻近运动矢量的平均值，中值或任何其他组合来填充内部子块运动矢量。
在另一变型中，也可以将输入细化的运动矢量视为与一个或几个邻近运动矢量的组合的一部分。
在另一变型中，还可以考虑更复杂的运动模型，该运动模型涉及第一行和第一列的所有子块细化的运动矢量以及整个CU中的运动矢量。这样的模型可以是仿射模型，参数模型，也可以是基于另一模型的一些模型。
在变型中，对于不同的子块也可以使用不同的运动推导方法。例如，内部子块的第一行和第一列(CU的第二个)可以使用几个邻近的运动矢量和整个CU细化的MV，为第二列和第二行使用较少的邻近MV和整个CU细化的MV，并且最后，对于所有随后的子块，使用与整个CU细化的运动矢量最接近的邻近运动矢量。
这样的运动推导不仅可以应用于FRUC，还可以应用于AMVP运动补偿。
上面的第一实施例专用于运动矢量(如在FRUC的情况下)，但是在第二实施例中，它可以应用于由其他子块工具使用的另一种信息。
例如，OBMC就像跨CU边界的运动平滑一样执行。它只影响子块的第一行和第一列，而对内部子块什么也没做。如图7呈现，尤其是对于非常大的CU，在内部子块的至少一行和一列中，在CU之内传播更多的平滑可能很有用。
在优选实施例中，使用相同的处理来改进FRUC工具和增强的AMVP运动补偿的内部子块的运动推导。
使用最多4个空间邻近MV(来自左侧，顶部，左上和右上邻域)和整个CU的细化的运动矢量的平均值来推导内部子块的前两行和列(CU的第二个和第三个)。并且，其余子块使用整个CU的细化的运动矢量，如图8所示。
图9描述在帧的左侧边界和顶部边界FRUC不能完全适用的特定情况。在左侧边界(相应顶部)，FRUC只能应用于子块的第一行(相应列)，所以第二行和第三行(相应列)使用邻近和整个CU细化的运动矢量的平均，并且其余行(相应列)使用整个CU细化的运动矢量。
图10示出根据所描述的方面的方法1000的一个实施例。该方法开始于开始块1001，并且控制进行到块1010，用于从之前编码的邻近块中推导视频数据块的信息。控制从块1010进行到块1020，用于通过使用推导的信息和之前编码的邻近子块来细化沿视频数据块的左侧或顶部边缘的子块的信息。然后，控制从块1020进行到块1030，用于通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息来细化视频数据块的内部子块的信息。控制然后从块1030进行至块1040，用于使用所述细化的子块编码视频数据块。
图11示出根据所描述的方面的方法1100的一个实施例。该方法开始于开始块1101，并且控制进行到块1110，用于从之前编码的邻近块中推导视频数据块的信息。控制从块1110进行至块1120，用于通过使用推导的信息和之前编码的邻近子块来细化沿视频数据块的左侧或顶部边缘的子块的信息。然后，控制从块1120进行到块1130，用于通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息来细化视频数据块的内部子块的信息。控制然后从块1130进行到块1140，用于使用所述细化的子块解码视频数据块。
图12示出用于编码或解码视频数据块的设备1200的一个实施例。该设备包括处理器1210，其具有输入和输出端口并且与也具有输入和输出端口的存储器1220处于信号连通。该设备可以执行任何前述方法实施例或变型。
附图中示出的各种元件的功能可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器，单个共享处理器或多个单独的处理器(其中一些可以被共享)提供。此外，术语″处理器″或″控制器″的明确使用不应解释为专门指代能够执行软件的硬件，并且可以隐含包括但不限于数字信号处理器(″DSP″)硬件，用于存储软件的只读存储器(″ROM″)，随机存取存储器(″RAM″)和非易失性贮存器。
也可以包括其他常规和/或定制的硬件。类似地，图中示出的任何开关仅是概念上的。它们的功能可以通过程序逻辑的操作，通过专用逻辑，通过程序控制和专用逻辑的交互，或者甚至手动来实施，如从上下文中更具体地理解，特定技术可由实现者选择。
本说明书例示本原理。因此，将理解，本领域技术人员将能够设计出尽管未在本文中明确描述或示出但体现本原理并且包括在其精神和范围内的各种布置。
本文叙述的所有示例和条件语言旨在用于教学目的，以帮助读者理解(多个)发明人为促进本领域而做出的本原理和概念，并且应解释为不限于这样的具体叙述的示例和条件。
此外，本文中叙述本原理的原理，方面和实施例及其特定示例的所有陈述旨在涵盖其结构和功能上的等同物二者。另外，意图这样的等同物包括当前已知的等同物以及将来开发的等同物(即，无论结构如何，开发的执行相同功能的任何元件)二者。
因此，例如，本领域技术人员将认识到，本文呈现的框图表示体现本原理的说明性电路的概念示图。类似地，将认识到，任何流程图表，流程图，状态转换图，伪代码等表示各种过程，这些过程可以基本上以计算机可读介质来表示，并且因此由计算机或处理器执行，无论这样的计算机或处理器是否被明确示出。
在本文的权利要求中，表达为用于执行指定功能的部件的任何元件旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合或b)任何形式的软件，因此，包括与用于执行该软件以执行功能的适当电路组合的固件，微代码等。这样的权利要求定义的本原理在于以下事实：由各种陈述的部件提供的功能以权利要求要求的方式被组合和提供在一起。因此认为可以提供那些功能的任何部件都等同于本文示出的那些。
在说明书中对本原理的″一个实施例″或″实施例″以及其其他变型的引用意味着结合该实施例描述的特定特征，结构，特性等至少包括在本原理的一个实施例中。因此，在整个说明书的各个地方出现的短语″在一个实施例中″或″在实施例中″以及任何其他变型的出现不一定都指代相同实施例。
总之，提供了一种改进的用于编码或解码的内部子块的细化的方法。在该细化中，使用已经被细化的子块部分来细化内部子块。例如，该细化可以是从已经细化的子块部分的运动信息推导出的运动信息。其他实施例使用其他信息来提供内部子块的其他推导。另外，实施例使用其他信息来基于外部子块信息来推导内部子块。

Claims (15)

1.一种方法，包括：
从之前编码的邻近块中推导视频数据块的信息；
通过使用所推导的信息和之前编码的邻近子块，细化沿所述视频数据块的左侧或顶部边缘的子块的信息；
通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息，来细化视频数据块的内部子块的信息；和
使用所细化的子块编码视频数据块。
2.一种方法，包括：
从之前编码的邻近块中推导视频数据块的信息；
通过使用所述信息和之前编码的邻近子块，细化沿视频数据块的左侧或顶部边缘的子块的信息；
通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息，来细化视频数据块的内部子块的信息；和
使用所细化的子块解码视频数据块。
3.一种用于编码视频数据块的设备，包括：
存储器，以及
处理器，配置为：
从之前编码的邻近块中推导视频数据块的信息；
通过使用该信息和之前编码的邻近子块，细化沿所述视频数据块的左侧或顶部边缘的子块的信息；
通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息，来细化视频数据块的内部子块的信息；和
使用所细化的子块编码视频数据块。
4.一种用于解码视频数据块的设备，包括：
存储器，以及
处理器，配置为：
从之前编码的邻近块中推导视频数据块的信息；
通过使用所述信息和之前编码的邻近子块，细化沿视频数据块的左侧或顶部边缘的子块的信息；
通过使用来自沿视频数据块的左侧或顶部边缘的子块的细化的信息，来细化视频数据块的内部子块的信息；和
使用所细化的子块解码视频数据块。
5.根据权利要求1或2中任一项所述的方法，或者根据权利要求3或4中任一项所述的设备，其中，所述推导信息使用模板匹配预测。
6.根据权利要求5所述的方法或设备，其中，在时间上执行所述模板匹配预测。
7.根据权利要求5所述的方法或设备，其中，在空间上执行所述模板匹配预测。
8.根据权利要求1或2中任一项所述的方法，或者根据权利要求3或4中任一项所述的设备，其中，使用N个空间邻近子块来细化当前子块的信息。
9.根据权利要求1或2中任一项所述的方法，或根据权利要求3或4中任一项所述的设备，其中，使用邻近空间或时间子块的一些组合为子块推导运动矢量。
10.根据权利要求1或2中任一项所述的方法，或者根据权利要求3或4中任一项所述的设备，其中，使用运动模型为子块推导运动矢量，所述运动模型使用来自邻近子块的至少一个细化的邻近运动矢量以及块的运动矢量。
11.根据权利要求1或2中任一项所述的方法，或者根据权利要求3或4中任一项所述的设备，其中，使用不同的运动推导方法用于所述当前块的不同子块。
12.根据权利要求1或2中任一项所述的方法，或者根据权利要求3或4中任一项所述的设备，其中，使用编码单元的直至四个空间邻近运动矢量和细化的运动矢量的平均值来推导所述编码单元的第二行和第三行以及第二列和第三列。
13.一种非暂时性计算机可读介质，其包含根据权利要求1和5至12中任一项所述的方法或由根据权利要求3和5至12中任一项所述的设备所生成的数据内容，以用于使用处理器进行回放。
14.一种信号，其包括根据权利要求1和5至12中任一项所述的方法或由权利要求3和5至12中任一项所述的设备所生成的视频数据，以用于使用处理器进行回放。
15.一种包括指令的计算机程序产品，当程序由计算机执行时，所述指令使计算机执行根据权利要求2和5至12中任一项所述的方法。
CN201880056827.0A 2017-09-01 2018-08-31 编码单元的内部子块的细化 Active CN111052745B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306130.0 2017-09-01
EP17306130.0A EP3451665A1 (en) 2017-09-01 2017-09-01 Refinement of internal sub-blocks of a coding unit
PCT/US2018/049009 WO2019046673A1 (en) 2017-09-01 2018-08-31 REFINING INTERNAL SUB-BLOCKS OF AN ENCODING UNIT

Publications (2)

Publication Number Publication Date
CN111052745A true CN111052745A (zh) 2020-04-21
CN111052745B CN111052745B (zh) 2023-11-14

Family

ID=59846535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880056827.0A Active CN111052745B (zh) 2017-09-01 2018-08-31 编码单元的内部子块的细化

Country Status (5)

Country Link
US (1) US11539947B2 (zh)
EP (2) EP3451665A1 (zh)
JP (1) JP7296943B2 (zh)
CN (1) CN111052745B (zh)
WO (1) WO2019046673A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451664A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Motion compensation at a finer precision than motion vector differential
EP3709648A1 (en) * 2019-03-12 2020-09-16 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding with subblock based local illumination compensation
CN109803175B (zh) * 2019-03-12 2021-03-26 京东方科技集团股份有限公司 视频处理方法及装置、设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105580364A (zh) * 2013-09-26 2016-05-11 高通股份有限公司 Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105765974A (zh) * 2013-10-14 2016-07-13 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
US20160286230A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Motion information derivation mode determination in video coding
WO2016201094A1 (en) * 2015-06-11 2016-12-15 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008091207A1 (en) 2007-01-26 2008-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Border region processing in images
KR20100105877A (ko) 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
FR2933565A1 (fr) 2008-07-01 2010-01-08 France Telecom Procede et dispositif de codage d'une sequence d'images mettant en oeuvre une prediction temporelle, signal, support de donnees, procede et dispositif de decodage, et produit programme d'ordinateur correspondants
WO2010090749A1 (en) * 2009-02-06 2010-08-12 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
US8675736B2 (en) 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
CN104853206A (zh) * 2009-07-01 2015-08-19 汤姆森特许公司 用于视频编码器和解码器的方法和装置
US20110026596A1 (en) 2009-07-28 2011-02-03 Wei Hong Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion
EP2640075A3 (en) * 2009-12-08 2014-02-26 Thomson Licensing Methods and apparatus for adaptive template matching prediction for video encoding and decoding
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
KR102668857B1 (ko) 2012-10-01 2024-05-24 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US9288507B2 (en) 2013-06-21 2016-03-15 Qualcomm Incorporated More accurate advanced residual prediction (ARP) for texture coding
US9438908B1 (en) 2014-02-25 2016-09-06 Pixelworks, Inc. Motion vector interpolation based on true motion and layer information
US10511835B2 (en) 2015-09-02 2019-12-17 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
US10999595B2 (en) * 2015-11-20 2021-05-04 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
US10638152B2 (en) * 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
CN109155856B (zh) * 2016-06-09 2023-10-24 英特尔公司 用于视频编解码的利用近邻块模式的运动估计的方法和系统
WO2018061522A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置
US10750203B2 (en) * 2016-12-22 2020-08-18 Mediatek Inc. Method and apparatus of adaptive bi-prediction for video coding
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
US10491917B2 (en) * 2017-03-22 2019-11-26 Qualcomm Incorporated Decoder-side motion vector derivation
US10595035B2 (en) * 2017-03-22 2020-03-17 Qualcomm Incorporated Constraining motion vector information derived by decoder-side motion vector derivation
US10602180B2 (en) * 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
EP3451664A1 (en) * 2017-09-01 2019-03-06 Thomson Licensing Motion compensation at a finer precision than motion vector differential
WO2020084512A1 (en) * 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Affine motion information derivation from neighboring block

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105580364A (zh) * 2013-09-26 2016-05-11 高通股份有限公司 Hevc中的基于子预测单元(pu)的时间运动向量预测和3d-hevc中的子pu设计
CN105765974A (zh) * 2013-10-14 2016-07-13 微软技术许可有限责任公司 用于视频和图像编码和解码的帧内块复制预测模式的特征
US20160286230A1 (en) * 2015-03-27 2016-09-29 Qualcomm Incorporated Motion information derivation mode determination in video coding
WO2016201094A1 (en) * 2015-06-11 2016-12-15 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
WO2017118409A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine merge mode prediction for video coding system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "Algorithm Description of Joint Exploration Test Model 6 (JEM 6)", 《JOINT VIDEO EXPLORATION TEAM (JVET)》 *

Also Published As

Publication number Publication date
JP2020532896A (ja) 2020-11-12
US11539947B2 (en) 2022-12-27
US20200195925A1 (en) 2020-06-18
WO2019046673A1 (en) 2019-03-07
EP3451665A1 (en) 2019-03-06
EP3677030A1 (en) 2020-07-08
RU2020112118A (ru) 2021-10-01
JP7296943B2 (ja) 2023-06-23
CN111052745B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN113661710B (zh) 核心转换和次级转换间的交互作用
US12034921B2 (en) Apparatus and method for applying artificial neural network to image encoding or decoding
TWI665907B (zh) 用於圖像和視訊編碼的基於模板的圖框內預測的方法和裝置
CN111954894B (zh) 用于视频压缩的基于深度学习的图像分区
US11245922B2 (en) Shared candidate list
TWI774141B (zh) 視訊編解碼方法及裝置
US11070838B2 (en) Motion compensation at a finer precision than motion vector differential
CN111492655A (zh) 用于视频压缩的基于纹理的分区决定
CN112956194A (zh) 图像信号编码/解码方法及其设备
CN111052745B (zh) 编码单元的内部子块的细化
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
RU2783219C2 (ru) Уточнение внутренних подблоков единицы кодирования

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant