CN111869211A - 图像编码装置和方法 - Google Patents

图像编码装置和方法 Download PDF

Info

Publication number
CN111869211A
CN111869211A CN201880091385.3A CN201880091385A CN111869211A CN 111869211 A CN111869211 A CN 111869211A CN 201880091385 A CN201880091385 A CN 201880091385A CN 111869211 A CN111869211 A CN 111869211A
Authority
CN
China
Prior art keywords
block
reference pixel
image
subset
pixel points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091385.3A
Other languages
English (en)
Other versions
CN111869211B (zh
Inventor
阿列克谢·康斯坦丁诺维奇·菲利波夫
瓦西里·亚历斯维奇·拉夫特斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111869211A publication Critical patent/CN111869211A/zh
Application granted granted Critical
Publication of CN111869211B publication Critical patent/CN111869211B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种图像处理装置和一种用于对图像进行编码或解码的方法。使用基于平面的帧内预测方法对图像进行编码或解码。所述平面由划分成子集的参考像素点定义。为每个子集分配权重值。这样可以更有效地对所述图像进行编码。

Description

图像编码装置和方法
技术领域
本公开涉及图像编码领域。特别地，本公开涉及改进对图像块的预测。
背景技术
长期以来，图像压缩编码一直是图像处理的重要组成部分。这是因为图像通常包括大量数据且传输介质一直有其局限性。因此，需要压缩图像，使得它们需要的空间更少。在一些压缩方法中，对数据进行预处理以便更好地进行压缩。预处理通常会导致图像中某些细节丢失。但是，细节的变化通常很小，以至于观看所述图像的人无法检测出差异。
摄像头和观看设备的进步增加了图像的信息内容，现代摄像头能够捕捉到更多的细节。因此，分辨率比过去高得多。此外，现在除了静止图像之外，视频也成为了日常生活的一部分。高分辨率视频对传输介质的要求特别高。虽然传输介质也在逐步发展，但当越来越多的人希望共享高分辨率图像和视频时，还是会出现问题。
在现代图像和视频编码方法中，通常将图像划分或分割成分区或块。现代编码技术中引入了几种划分方法，分区或块有不同的大小和形状。编码器可以基于几种标准进行划分来得到期望大小和形状的块。因此，图像通常被分割成不同形状和大小的块。
解码时，可以独立地处理每个块的内容，并且可以有几种可能性来导出块的内容。其中一种可能性是预测，所述预测通常分成两种类别。在帧内预测中，基本假设是块上的纹理与局部邻域中的纹理相似并可以从所述局部邻域进行预测。因此，帧内预测也可以用于单个静止图像。在帧间预测中，基本假设是内容的重要部分不会在视频序列的图像之间突然改变。因此，可以基于视频序列中的另一图像来预测块的内容。通常在预测阶段之后，对预测误差(原始信号与其预测值之间的差)进行变换编码。
上面提到的两种类别可以进一步划分成不同的预测方式。例如，已知几种不同的帧内预测模式。这些示例包括垂直、水平、DC和平面模式。所使用的模式可以在图像和视频编码的标准中定义。编码方式通常由编码器决定。
涉及上述原理的视频标准示例有H.264/AVC和HEVC/H.265。视频编码标准在不断发展，但始终需要提高编码效率或降低计算的复杂性。提高编码效率指的是在给定的图像质量水平上提高压缩比，或者在给定的压缩比下提高图像质量。
发明内容
提供了一种用于对图像进行编码的系统和方法。对图像中一个或多个块进行编码涉及使用基于平面的帧内预测方法。所述平面由划分成子集的参考像素点定义。然后为子集提供权重值，可以定义权重值以提高编码效率或降低计算的复杂性。
在一方面中，公开了一种包括处理电路的图像处理装置。所述处理电路用于基于图像的参考像素点对所述图像的块进行帧内预测，其中，所述参考像素点布置在一个或多个参考像素点集中，所述参考像素点集中的每一个参考像素点集是参考像素点的相干集，并包括邻接所述块的一个或多个参考像素点。所述集在拓扑意义上是相干的，即相应集中的像素点经由同一集的像素点彼此空间连接。所述处理电路还用于：将所述一个或多个参考像素点集中的每一个参考像素点集分割为三个或更多个子集的序列，其中所述序列由第一子集、最后一个子集和位于所述第一子集与所述最后一个子集之间的一个或多个中间子集组成。所述处理电路用于确定每个子集的权重值，其中，所述一个或多个中间子集的权重值小于所述第一子集的权重值和所述最后一个子集的权重值。所述处理电路还用于：使用所确定的权重值将平面拟合到所述参考像素点；基于所述平面生成帧内预测块(例如，使用所述平面的点作为所述帧内预测块的像素点)。
为参考像素点子集分配不同的权重值可以提高预测图像块的预测质量。在给定的码率下，更好的预测可以提高图像质量并提供更好的用户体验。
在本方面的一种实现方式中，所述处理电路用于确定所述子集的所述权重值，以减少所述块与所述图像的一个或多个相邻块之间的不连续性。当已确定所述权重值来减少所述块与一个或多个相邻块之间的不连续性时，图像质量随着连续性的改善而得到提高。
在本方面的一种实现方式中，所述处理电路用于基于所述参考像素点的空间分布确定所述子集的所述权重值。在确定所述权重值时使用所述空间分布是有益的，因为图像质量中的不连续性和其它缺点也沿着所述块的边缘在空间上分布。在根据所述空间分布调整所述权重值时，通过考虑块内的差异来改善局部环境。
在本方面的一种实现方式中，所述参考像素点邻接所述块。使用邻接所述块的参考像素点是有益的，因为它们为预测提供了相关的参考。在本方面的另一种实现方式中，所述参考像素点包括不邻接所述块的参考像素点，所述处理电路还用于基于所述参考像素点与所述块之间的距离确定所述权重值。在一些条件下，使用不邻接所述块的参考像素点是有益的，因为其信息可用于改进预测。在本方面的一种实现方式中，所述参考像素点布置成多行。能够使用多于一行的参考像素点是有益的。子集的划分涉及几行。
在本方面的一种实现方式中，所述处理电路还用于根据作为相邻块的像素点的参考像素点的空间误差分布确定权重值。使用属于相邻块的参考像素点以便子集延伸到所述相邻块的区域是有益的。当涉及基于对角平面的预测时，这提高了预测质量，从而提高了编码效率。
在本方面的一种实现方式中，所述图像处理装置为解码装置或编码装置。所述解码装置或所述编码装置可以在例如手机、平板电脑、计算机或类似设备中实现。
在本方面的一种实现方式中，所述装置用于对所述图像进行划分，使得所划分的块的一个或多个边缘上的参考像素点数量为2的幂。这降低了计算的复杂性，因为除法运算可以用二进制移位运算代替。
第二方面，公开了一种图像编码方法。所述方法包括基于图像的参考像素点对所述图像的块进行帧内预测，其中，所述参考像素点布置在一个或多个参考像素点集中，所述参考像素点集中的每一个参考像素点集是参考像素点的相干集，并包括邻接所述块的一个或多个参考像素点。所述方法还包括将所述一个或多个参考像素点集中的每一个参考像素点集分割为三个或更多个子集的序列，其中所述序列由第一子集、最后一个子集和位于所述第一子集与所述最后一个子集之间的一个或多个中间子集组成。在所述方法中，确定每个子集的权重值，其中，所述一个或多个中间子集的权重值小于所述第一子集的权重值和所述最后一个子集的权重值。所述方法还包括：使用所确定的权重值将平面拟合到所述参考像素点；通过使用所述平面的点作为所述帧内预测块的像素点生成帧内预测块。
为参考像素点子集分配不同的权重值提供了提高预测图像块的预测结果质量的可能性。更好的预测可以提高图像质量并提供更好的用户体验。
在第二方面的一种实现方式中，所述方法还包括确定所述子集的权重值，以便最小化块之间的不连续性。当已确定所述权重值来减少所述块与一个或多个相邻块之间的不连续性时，图像质量得到提高。
在第二方面的一种实现方式中，所述方法还包括基于所述参考像素点的空间分布确定所述子集的所述权重值。在确定所述权重值时使用所述空间分布是有益的，因为图像质量中的不连续性和其它缺点也沿着所述块的边缘在空间上分布。在根据所述空间分布调整所述权重值时，通过考虑块内的差异来改善局部环境。
在第二方面的一种实现方式中，所述参考像素点邻接所述块。使用邻接所述块的参考像素点是有益的，因为它们为预测提供了相关的参考。在第二方面的一种实现方式中，所述参考像素点包括不邻接所述块的参考像素点，所述方法还包括：至少部分基于所述参考像素点与所述块之间的距离确定所述权重值。在一些条件下，使用不邻接所述块的参考像素点是有益的，因为其信息可用于改进预测。在第二方面的一种实现方式中，所述参考像素点布置成多行。能够使用多于一行的参考像素点是有益的。子集的划分涉及几行。
在第二方面的一种实现方式中，所述方法还包括根据参考像素点的空间误差分布确定权重值，所述参考像素点是所述相邻块的像素点。以上公开的布置可以用于图像解码装置或图像解码装置中，使得所述布置可以用于不同类型的设备，例如移动电话、平板电脑、计算机和类似设备。
在第二方面的一种实现方式中，对所述图像进行划分，使得所划分的块的一个或多个边缘上的参考像素点数量为2的幂。这降低了计算的复杂性，因为除法运算可以用二进制移位运算代替。
在第三方面中，上述方法实现为包括计算机程序代码的计算机程序，在计算设备上执行所述计算机程序时，所述计算机程序代码执行所述方法。将所述方法实现为计算机程序是特别有益的，因为可以在不同的计算设备中容易地执行所述方法。
以上公开的方面和实现方式通常是有益的，因为它们提高了视频编码效率。这样可以更好地利用现有设备的容量，提高了用户体验。
附图说明
结合附图阅读以下详细描述将更好地理解本说明书。
图1示出了图像编码器的示例。
图2示出了图像解码器的示例。
图3示出了不同预测模式的示例。
图4示出了图像划分的示例。
图5示出了使用平面拟合的预测模式的示例。
图6示出了参考像素点和子集的划分。
图7示出了块边界附近的参考像素点。
图8示出了块内的典型误差分布。
图9示出了布置成多行的参考像素点。
图10示出了用于导出权重的方法的示例。
图11a至图11c示出了定义参考像素点集的示例。
具体实施方式
以下结合附图进行描述，所述附图是描述的一部分，并通过图解说明的方式示出可以实施本公开的具体方面。可以理解的是，在不脱离本发明范围的情况下，可以利用其它方面，并可以做出结构上或逻辑上的改变。因此，以下详细的描述并不当作限制，本发明的范围由所附权利要求书限定。但是，在下文的描述中，将论述解码，对应的编码器包括类似的解码器部分。
例如，应理解，结合所描述方法的公开可以对用于执行所述方法的对应设备或系统也同样适用，反之亦然。例如，如果描述了一个具体的方法步骤，则对应设备可以包括用于执行所描述的方法步骤的单元，即使此类单元未在图中详细描述或示出。另一方面，例如，如果基于功能单元来描述特定装置，则对应方法可以包括执行所描述的功能的步骤，即使此类步骤在附图中未明确描述或示出。此外，应理解，除非另外具体指出，否则本文中描述的各种示例性方面的特征可彼此组合。
视频编码通常指对形成视频或视频序列的图像序列的处理。在视频编码领域中，术语“图像”或“帧”可以同义地使用来代替术语“图片”。每个图像通常被划分成一组不重叠的块。视频的编码/编码(encoding/coding)通常在块级别上执行，例如，使用帧间预测或帧内预测来生成一个预测块，从当前块(当前处理的块/待处理的块)中减去预测块，得到残差块，进一步转换和量化以减少待传输的数据量(压缩)，而在解码器侧，对编码/压缩块进行逆处理以重建用于表示的块(视频块)。
在以下描述中，公开了一种视频编码装置、方法和对应的计算机程序。
图1示出了视频编码装置(编码器)100的示例，所述视频编码装置100包括输入102、残差计算单元104、变换单元106、量化单元108、逆量化单元110、逆变换单元112、重建单元114、环路滤波器120、帧缓冲器130、帧间估计单元142、帧间预测单元144、帧内估计单元152、帧内预测单元154、模式选择单元160、熵编码单元170，以及输出172。
所述输入102用于接收图像(例如，静止图像或形成视频或视频序列的图像序列的图像)的图像块101。所述图像块也可以称为当前图像块或待编码图像块，所述图像称为当前图像或待编码图像。
所述残差计算单元104用于通过如下等方式，基于所述图像块101和预测块165(下文提供所述预测块165的进一步的细节)来计算残差块105：逐个像素点(逐个像素)从所述图像块101的像素点值中减去所述预测块165的像素点值，以获得像素点域中的残差块。
所述变换单元106用于对所述残差块105应用变换(例如，离散余弦变换(discretecosine transform，DCT)或离散正弦变换(discrete sine transform，DST))，以获得变换域中的变换系数107。变换系数107也可以称为变换残差系数，表示变换域中的残差块105。
所述模式选择单元160可以用于执行帧间估计/预测和帧内估计/预测(或者更确切地说，控制帧间估计/预测和帧内估计/预测)，并选择参考块和/或预测模式(帧内或帧间预测模式)用作所述预测块165，用于所述残差块105的计算和重建块115的重建。例如，预测模式可以选择为帧内预测，并且可以使用基于平面的帧内预测模式来预测块。对应地，预测模式可以选择为帧间预测，并且可以使用基于平面的帧间预测模式来预测块，其中用于确定平面的参考像素点是从不同的图像中提取的。
所述帧内预测单元154用于基于帧内预测参数153(例如，所选择的帧内预测模式)确定帧内预测块155。
尽管图1示出了用于帧内编码的两个不同单元(或步骤)，即帧内估计152和帧内预测154，但两种功能可以作为一个整体执行。帧内估计包括计算帧内预测块，即所述帧内预测154或某种帧内预测154，例如通过在存储当前最佳帧内预测模式和相应帧内预测块的同时迭代地测试所有可能的或预定的可能的帧内预测模式子集，并使用所述当前最佳帧内预测模式和相应帧内预测块作为(最终)帧内预测参数153和帧内预测块155，而无需执行另一次帧内预测154。
所述帧间预测单元144用于接收帧间预测参数143，并基于/使用所述帧间预测参数143进行帧间估计，以获得帧间预测块145。
更具体地，所述视频编码装置100可以用于使用基于平面的预测对图像中的一个或多个块进行视频编码。所述视频编码装置包括处理器(或一组处理器)，用于根据以下描述的原理应用基于平面的预测。对处理器所接收的视频流或类似的编码图像序列进行基于平面的预测。可以使用公知的方式来完成接收，例如从总线、内部或外部存储器、网络连接等进行接收。此外，所述处理器用于在接收到所述视频后，从所接收的视频中提取图像帧。然后对所提取的图像帧进行处理，并将其显示给观看者。
图2示出了视频解码器200的示例，用于接收例如由所述编码器100编码的经编码的图像数据(比特流)171，以获得经解码过的图像231。
所述解码器200包括输入202、熵解码单元204、反量化单元210、逆变换单元212、重建单元214、缓冲器216、环路滤波器220、解码图像缓冲器230、预测单元260、帧间预测单元244、帧内预测单元254、模式选择单元260和输出232。与图1的编码器相对应，所述模式选择单元可以选择根据下文论述的原则应用的帧内预测模式(例如，基于平面的帧内预测模式)或帧间预测模式。
图2示出了可以由视频编码装置(例如图1的视频编码装置)执行的方法的示例。尽管在以下示例中，将所述方法描述为顺序过程，但是由于视频的解码是连续的，因此一些步骤可以并通常是并行执行的。在本示例中，在步骤200中接收包括多个编码图像帧的视频。可以使用任何合适的接收装置或通过从存储器检索来完成接收。接收所述图像帧的视频编码装置可以是任何能够显示此类视频的设备。如上所述，将视频提取成图像帧，所述图像帧随后逐个帧显示给观看者。在后面的描述中，当提及多个图像帧时，指的是从所接收的视频中提取的图像帧。
在以下示例中，假设已使用合适的划分方法进行了块划分。为了更好地理解示例，图3示出了不同的帧内预测模式，其中模式3是基于平面的预测。垂直、水平和DC预测模式仅用于说明目的。在图3中，参考像素点布置在水平集300和垂直集301中。但是，如果类似的原理允许定义平面，则所述类似的原理可以用于对角分割边界。虽然图3在左边界和上边界上示出了参考像素点集，但是可以使用两个、三个或四个边界的任意组合来定义平面。例如，可以使用两个水平参考像素点集，或者两个垂直像素点集和一个水平像素点集来定义平面。
图4示出了基于四叉树和二叉树划分且称为QTBT划分的划分方法的示例。如图4所示，QTBT划分不仅可以提供方形块，而且可以提供矩形块。所述QTBT仅为示例，还可以采用其它划分方法。例如，可以使用非对称划分，其中块的大小和形状甚至比图4的示例中的变化更大。
例如，利用图3和图4的基本设置，已将图像划分成若干块，并且已经选择了基于平面的预测模式。以下将描述可以用于增加编码增益的示例。所述示例涉及将参考像素点划分成子集。将参考像素点布置成两个集，例如水平集和垂直集。以下示例进一步说明了这一点。在所述示例中，将一个或多个集划分成子集，并且将权重值分配给所述子集。
优选地，对所述图像进行划分，使得所划分的块的一个或多个边缘上的参考像素点数量为2的幂。这降低了计算的复杂性，因为除法运算可以用二进制移位运算代替。因此，正方形块的每个边缘上可以包括16个像素点，和矩形块的水平集中包括8个像素点并且垂直集中包括16个像素点。这里提到的实际数字只是示例，还可以使用其它数字，只要它们是2的幂就可以。即使选择像素点数量为2的幂是有益的，但确定权重的方法和布置也使用其它数字。
图5公开了视频编码方法的示例的流程图。在图5的示例中，初始步骤500包括定义参考像素点的子集。基本上，进行子集划分是为了补偿参考像素点的可靠性差异。子集可以以这样的方式定义，即，将具有相似可靠性的像素点分组在同一子集中。本文中进一步将术语“可靠性”定义为从这些参考像素点预测的像素具有小的预测误差的概率，即预测误差越小，参考像素点越可靠。
图6示出了子集的示例(例如，如在步骤500中定义的)。参考像素点的可靠性程度可以与以下一项或多项相关联：包括相应参考像素点的块内的参考像素点的位置；参考像素点相对于待预测块的位置；参考像素点到待预测块的边界的距离(如果参考像素点不邻接待预测块)；待预测块的长宽比。在所示出的示例中(仍然参考图6)，定义了四个子集600、601、602、603。这些子集包括第一子集600和最后一个子集601。它们还包括位于待预测块的角(在所示出的示例中，在左上角)附近的子集602。所述第一子集600和所述最后一个子集601各自具有权重值w1。所述子集602的权重值w2小于所述第一子集和所述最后一个子集的权重值w1。此外，所述权重值w2大于分配给位于所述子集600、601、602、603之间的像素点的权重值w3。所述权重值w3大于分配给所述子集603的权重值w4。图10中更详细地解释了实际权重的确定。
在下一步骤501中，定义每个子集的权重值。通过指定权重值，可以控制子集对所述基于平面的预测的影响。
在步骤502中，使用所指定的权重值生成基于平面的预测信号。例如，这可以通过使用最小化以下量的最小二乘拟合方法应用多元线性回归(multiple linearregression，MLR)来实现：
Figure BDA0002685863370000061
其中，a、b和c为定义空间中坐标为x、y和p的平面的参数，其中，x、y为图像平面的直角坐标，p为强度坐标。
在步骤503中，基于所述基于平面的预测信号(例如通过添加基于平面的预测信号和残差信号)生成帧内预测块。
在下文中，将更详细地论述用于分配参考像素点权重的标准。块内参考像素点的位置与相应参考像素点的可靠性相关。误差值往往取决于参考像素点的位置，例如，如图8所示。参考像素点相对于待预测块的位置会影响视频编码中的客观和主观性能，在使用基于平面的预测器的情况下尤其如此。例如，在一些情况下，与其最大化客观编码性能，不如将块与其相邻块(主要在下方和右侧)之间的不连续性最小化，以提高它们的主观质量，这可能更为重要。当要最小化不连续性时，如图7所示，应增加位于块的角702、703附近的参考像素点子集700、701的权重值。
通常，与位于远离所述待预测块的参考像素相比，位于待预测块附近(例如，紧邻)的参考像素对于预测更可靠。
在图9中，示出了使用多行帧内预测机制的另一示例。
在图10中，公开了一种导出权重值的方法的示例。图10的示例是导出给定参考像素点集的权重值的可能方法中的一种，并且可以使用其它类似方法。图11用于图10的以下论述，以提供对不同条件的更好理解。
该算法的基本思想是检索沿待预测块的边界的相邻块的划分信息，并将参考像素点划分成第一子集、最后一个子集和位于所述第一子集和所述最后一个子集之间的中间子集。所述中间子集的数量在不同的实现方式中可能不同。在下文中，第一个集和最后一个集称为边界集，因为它们位于子集序列的边界中。
所述方法开始时，两个边界集不依赖于相邻块的划分。所述两个边界集中的每一个可以位于待预测块的相应角附近。步骤1000，为这两个初始边界集分配最大权重值。
根据相邻块的可用性，可以为待预测块指定一个或两个参考像素点集。如果指定了两个参考像素点集，则针对每个像素点集分别执行图10中所示的算法。特别地，如图11c的示例中所示出的，当可用相邻块彼此不相邻时，需要处理多于一个参考像素点集。
步骤1001，通过初始化用于预测块的通用参考像素点集(表示为REFS)，开始处理参考像素点集。该集的参考像素点与要编码的块的边界对齐。这种对齐方式取决于相邻块的可用性。如果相邻块是在待预测块的重建开始之前重建的，则认为所述相邻块是可用的。图11表示相邻块可用性的几种情况，其中参考像素点集对应地对齐。如果左块和上块可用(图11a的情况)，则边界参考像素点集定义为与待编码块的右上角和左下角相邻。如果右块和上块可用，则该集的定义类似，但选择其它两个角：右下角和左上角。此情况可以通过水平镜像图11a的情况示出。
图11表示相邻块可用性的几种情况，其中参考像素点集对应对齐。如果左块和上块可用(图11a的情况)，则边界参考像素点集定义为与待编码块的右上角和左下角相邻。如果右块和上块可用，则该集的定义类似，但选择其它两个角：右下角和左上角。此情况可以通过水平镜像图11a的情况示出。
在另一种情况下，当块的三个边可用时，选择其左下角和右下角以定义如图11b所示的边界参考像素点集。
当可用相邻块不相邻时，参考像素点集包括仅与待预测块的一侧对齐的像素(图11c)。如上所述，指定了两个参考像素点集(左侧一个和右侧一个)，这些集中的每一个分别处理。对于左侧参考像素点集，边界参考像素点集与块的左上角和左下角对齐。第二(右侧)参考像素点集使用对应的相对(右)侧角来定义边界参考像素点集。
步骤1002，初始边界参考像素点集中的每一个可以由沿着待预测块的周界顺时针或逆时针开始的对参考像素点进行扫描的两个索引值来定义。这些索引值表示开始位置和结束位置，即属于边界参考像素点集的第一个参考像素点和最后一个参考像素点的位置。给定与待预测块的相关角相邻的参考像素点的索引pc，将起始初始边界集的第一索引值定义为POSSTART＝pc-dc，并将第二索引值定义为POSEND＝pc+dc-1。d0的值是确定边界集大小的预定义参数。结束边界集的定义方式类似，但相对于pc的偏移量不同，具体为：POSSTART＝pc-dc+1，POSEND＝pc+dc。
本实施例的算法使用集合列表来定义权重值。其它不使用列表的实现方式也是可能的。图10中所示出的下一步骤1003包括初始化空的集合列表，并将前一步骤中定义的两个边界参考像素点集附加到该列表。步骤1004，在初始化该列表之后，通过将迭代器值初始化到紧跟在起始边界集的索引之后的像素点位置，开始对参考像素点的循环。
在算法的下一步骤1005中，检查该循环的终止条件。该条件是搜索下一边界参考像素点集的结果。搜索的范围受当前位置(迭代器值)和结束边界参考像素点集的索引值POSSTART的限制。
在步骤1005至1013中，该搜索操作可以以不同的方式执行。其中一个方法在于找到位于两个相邻块之间的边界处并且属于更远的块的参考像素点的最近位置。边界集以类似于上面针对初始边界集描述的方式从该位置导出，但是引入了剪切操作以避免集之间的交集。
在图10的示例中，步骤1005的结果确定以下步骤。如果在POSREF旁边找到位置，则所述方法前进到步骤1006，进行进一步的比较，看POSREF＜POSSTART_B-1是否成立。步骤1008，如果条件为假，则将POSSTART_B设置为POSREF，之后，所述方法前进到步骤1009。步骤1007，如果为真，则将中间集附加到列表。然后，所述方法前进到步骤1009，其中将所述边界集B附加到所述列表。步骤1010，将该POSREF设置为POSEND_B+1。然后，所述方法返回到1005，进行比较。
在比较中，如果在POSREF旁边未找到位置，则所述方法前进到步骤1011，进行比较，看POSREF＜POSSTART是否成立，以及POSSTART是否属于BLAST。如果两个条件都为真，则将中间集附加到列表LB，之后，所述方法结束(步骤1013)。如果条件为假，则所述方法直接结束(步骤1013)。
如上所述，用于帧内预测帧的布置可以在硬件(例如如上所述的图像编码装置)中实现，或者作为方法实现。所述方法可以实现为计算机程序。然后，在计算设备中执行所述计算机程序。
本文结合各种实施例描述了用于提供路由配置的视频编码装置和方法。但是，根据对附图、本发明和所附权利要求书的研究，本领域技术人员在实践所要求保护的发明时，能够理解和实现所公开实施例的其它变型。在权利要求书中，词语“包括”不排除其它元件或步骤，术语“一”或者“一个”不排除多个。单个处理器或其它单元可满足权利要求中描述的几项的功能。在互不相同的从属权利要求中列举某些措施并不表示这些措施的组合不能被有效地使用。计算机程序可存储/分配在合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分配。

Claims (17)

1.一种包括处理电路的图像处理装置，其特征在于，所述处理电路用于基于图像的参考像素点对所述图像的块进行帧内预测，其中，所述参考像素点布置在一个或多个参考像素点集中，所述参考像素点集中的每一个参考像素点集是参考像素点的相干集，并包括邻接所述块的一个或多个参考像素点，所述处理电路还用于：
将所述一个或多个参考像素点集中的每一个参考像素点集分割(500)为三个或更多个子集的序列，其中所述序列由第一子集(600)、最后一个子集(601)和位于所述第一子集(600)与所述最后一个子集(601)之间的一个或多个中间子集(602、603)组成；
确定每个子集(600至603)的权重值(501)，其中，所述一个或多个中间子集(602、603)的权重值小于所述第一子集(600)的权重值和所述最后一个子集(601)的权重值；
使用所确定的权重值将平面(502)拟合到所述每个子集(600至603)；
基于所述平面生成(503)帧内预测块。
2.根据权利要求1所述的图像处理装置，其特征在于，所述处理电路用于确定所述子集(600至603)的所述权重值，以减少所述块与所述图像的一个或多个相邻块之间的不连续性。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述处理电路用于基于所述参考像素点的空间分布确定所述子集(600至603)的所述权重值。
4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于，所述参考像素点邻接所述块。
5.根据权利要求1至3中任一项所述的图像处理装置，其特征在于，所述参考像素点包括不邻接所述块的参考像素点，所述处理电路还用于基于所述参考像素点与所述块之间的距离确定所述权重值。
6.根据权利要求5所述的图像处理装置，其特征在于，所述参考像素点布置成多行。
7.根据权利要求1至6中任一项所述的图像处理装置，其特征在于，所述处理电路还用于根据作为相邻块的像素点的参考像素点的空间误差分布确定权重值。
8.根据权利要求1至7中任一项所述的图像处理装置，其特征在于，所述装置为解码装置或编码装置。
9.一种图像编码方法，其特征在于，包括：
基于图像的参考像素点对所述图像的块进行帧内预测，其中，所述参考像素点布置在一个或多个参考像素点集中，所述参考像素点集中的每一个参考像素点集是参考像素点的相干集，并包括邻接所述块的一个或多个参考像素点；
将所述一个或多个参考像素点集中的每一个参考像素点集分割(500)为三个或更多个子集(600至603)的序列，其中所述序列由第一子集(600)、最后一个子集(601)和位于所述第一子集(600)与所述最后一个子集(601)之间的一个或多个中间子集(602、603)组成；
确定每个子集(600至603)的权重值(501)，其中，所述一个或多个中间子集(602、603)的权重值小于所述第一子集(600)的权重值和所述最后一个子集(601)的权重值；
使用所确定的权重值将平面(502)拟合到所述参考像素点；
基于所述平面生成帧内预测块(503)。
10.根据权利要求9所述的图像编码方法，其特征在于，所述方法还包括确定所述子集(600至603)的权重值，以便最小化块之间的不连续性。
11.根据权利要求9或10所述的图像编码方法，其特征在于，所述方法还包括基于所述参考像素点的所述空间分布确定所述子集(600至603)的所述权重值。
12.根据权利要求9至11中任一项所述的图像编码方法，其特征在于，所述参考像素点邻接所述块。
13.根据权利要求9至11中任一项所述的图像编码方法，其特征在于，所述参考像素点包括不邻接所述块的参考像素点，所述方法还包括：至少部分基于所述参考像素点与所述块之间的所述距离确定所述权重值。
14.根据权利要求13所述的图像编码方法，其特征在于，所述参考像素点布置成多行。
15.根据权利要求9至14中任一项所述的图像编码方法，其特征在于，所述方法还包括根据所述参考像素点的所述空间误差分布确定权重值，所述参考像素点是所述相邻块的像素点。
16.根据权利要求9至15中任一项所述的图像编码方法，其特征在于，所述方法为解码方法或编码方法。
17.一种包含计算机程序代码的计算机程序，其特征在于，在计算设备中执行所述计算机程序代码时，所述计算机程序代码用于执行根据前述权利要求9至16中任一项所述的方法。
CN201880091385.3A 2018-03-22 2018-03-22 图像编码装置和方法 Expired - Fee Related CN111869211B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2018/000181 WO2019182468A1 (en) 2018-03-22 2018-03-22 Apparatus and method for coding an image

Publications (2)

Publication Number Publication Date
CN111869211A true CN111869211A (zh) 2020-10-30
CN111869211B CN111869211B (zh) 2022-12-30

Family

ID=62044935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091385.3A Expired - Fee Related CN111869211B (zh) 2018-03-22 2018-03-22 图像编码装置和方法

Country Status (4)

Country Link
US (1) US11206394B2 (zh)
EP (1) EP3759915A1 (zh)
CN (1) CN111869211B (zh)
WO (1) WO2019182468A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023177810A1 (en) * 2022-03-16 2023-09-21 Beijing Dajia Internet Information Technology Co., Ltd. Intra prediction for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
WO2012088211A1 (en) * 2010-12-21 2012-06-28 Docomo Communications Laboratories Usa Inc. Enhanced intra-prediction coding using planar representations
WO2017153499A1 (en) * 2016-03-08 2017-09-14 Thomson Licensing Methods for performing an intra prediction encoding and decoding of at least one picture, and corresponding electronic devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
KR20100018810A (ko) 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8619857B2 (en) 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
GB2557809B (en) * 2015-08-28 2021-12-01 Kt Corp Method and device for processing video signal
CN110786014B (zh) 2017-07-05 2022-06-28 华为技术有限公司 用于视频编解码的装置、方法和存储介质
WO2019083394A1 (en) 2017-10-27 2019-05-02 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR IMAGE CODING WITH ASYMMETRICAL PARTITIONING

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523917A (zh) * 2006-09-29 2009-09-02 汤姆逊许可证公司 几何帧内预测
WO2012088211A1 (en) * 2010-12-21 2012-06-28 Docomo Communications Laboratories Usa Inc. Enhanced intra-prediction coding using planar representations
CN103270700A (zh) * 2010-12-21 2013-08-28 株式会社Ntt都科摩 使用平面表达的增强帧内预测编码
WO2017153499A1 (en) * 2016-03-08 2017-09-14 Thomson Licensing Methods for performing an intra prediction encoding and decoding of at least one picture, and corresponding electronic devices

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ATSURO ICHIGAYA 等: "JCTVC-A122，Description of video coding technology proposal by NHK and Mitsubishi", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
JANI LAINEMA 等: "Chapter 4 Intra-Picture Prediction in HEVC", 《"HIGH EFFICIENCY VIDEO CODING(HEVC)" SPRINGER INTERNATIONAL PUBLISHING》 *

Also Published As

Publication number Publication date
WO2019182468A1 (en) 2019-09-26
US20210006779A1 (en) 2021-01-07
CN111869211B (zh) 2022-12-30
US11206394B2 (en) 2021-12-21
EP3759915A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
US8023562B2 (en) Real-time video coding/decoding
CN111971960B (zh) 用于基于帧间预测模式处理图像的方法及其装置
KR20200125760A (ko) 픽처 예측 방법 및 픽처 예측 장치
CN112204964B (zh) 基于帧间预测模式的图像处理方法及其装置
US20140044347A1 (en) Mage coding apparatus, image coding method, image coding program, image decoding apparatus, image decoding method, and image decoding program
US20240048765A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
CN112385213B (zh) 基于帧间预测模式处理图像的方法和用于该方法的设备
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
CN113491115B (zh) 基于cclm预测的图像解码方法及其装置
JP2013229674A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム
WO2019160795A1 (en) Intra prediction for 360-degree video
JP7490864B2 (ja) クロマ成分符号化ブロックの最大変換サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
CN114009047A (zh) 视频/图像编译系统中用于合并数据语法的信令方法和装置
JP7492067B2 (ja) クロマ変換ブロックの最大サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
CN111448798A (zh) 基于块形状的视频编码和解码的方法和装置
CN114009016A (zh) 从合并数据语法移除冗余语法的方法和装置
CN111869211B (zh) 图像编码装置和方法
KR20220024499A (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
CN114128289A (zh) 基于sbtmvp的图像或视频编译
US20200195952A1 (en) Method and apparatus for processing video signal through target area modification
WO2023034629A1 (en) Intra prediction modes signaling
WO2023154359A1 (en) Methods and devices for multi-hypothesis-based prediction
WO2022221756A1 (en) Video coding using multi-model linear model
CN116800985A (zh) 编解码方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221230