CN107534780A - 视频中的帧间画面的编码和解码 - Google Patents

视频中的帧间画面的编码和解码 Download PDF

Info

Publication number
CN107534780A
CN107534780A CN201580079115.7A CN201580079115A CN107534780A CN 107534780 A CN107534780 A CN 107534780A CN 201580079115 A CN201580079115 A CN 201580079115A CN 107534780 A CN107534780 A CN 107534780A
Authority
CN
China
Prior art keywords
sample block
block
prediction
sample
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580079115.7A
Other languages
English (en)
Inventor
乔纳坦·萨缪尔森
马丁·彼得松
玻尔·温纳斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN107534780A publication Critical patent/CN107534780A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes

Abstract

提供了一种用于对包括视频序列的编码画面在内的比特流进行解码的机制。编码画面由至少一个帧间编码样本块和至少一个帧内编码样本块组成，其中，按照比特流的顺序，帧间编码样本块在帧内编码样本块之后。该方法包括在重建帧内编码样本块之前重建帧间编码样本块。提供了一种用于对视频序列的画面进行编码的机制。画面包括样本块，并且包括右空间相邻样本块和底空间相邻样本块中的至少一个。该方法包括通过帧间预测，预测右空间相邻样本块和底空间相邻样本块中的至少一个。该方法包括根据通过帧间预测来预测的右空间相邻样本块和底空间相邻样本块中的至少一个，预测所述样本块。

Description

视频中的帧间画面的编码和解码
技术领域
本文的实施例涉及诸如高效率视频编码(HEVC)等视频编码领域。特别地，本文的实施例涉及用于对包括视频序列的编码画面在内的比特流进行解码的方法和解码器，以及用于对视频序列的画面进行编码的方法和编码器。还公开了相应的计算机程序。
背景技术
现有的视频编码标准基于基于块的线性变换，例如离散余弦变换(DCT)。H.264/AVC及其前身将宏块定义为规定解码处理的基本处理单元，宏块通常由16×16个样本组成。宏块可以进一步划分为变换块，并划分为预测块。根据标准不同，变换块和预测块可以具有固定的大小，或者可以针对每个宏块改变大小以便适应局部的视频特性。
H.264/AVC的后继即H.265/HEVC(简称HEVC)用所谓的编码树单元(CTU)代替16×16的样本宏块，编码树单元可以使用以下块结构：64×64、32×32、16×16或8×8样本，其中，较大的块大小通常意味着较高的编码效率。较大的块大小对于高分辨率视频内容特别有利。画面中的所有CTU具有相同的大小。在HEVC中，还可以将画面更好地进一步划分成可变大小的结构，以适应不同的复杂性和存储器要求。
当使用HEVC对构成视频的画面序列进行编码时，首先将每个画面9分割成CTU。CTU17由三个块和相关联的语法元素组成，这三个块是一个亮度块和两个色度块。这些亮度和色度块被称为编码树块(CTB)。CTB具有与CTU相同的大小，但是可以使用树结构和类似四叉树的信令进一步分割成更小的块即所谓的编码块(CB)。CB的大小可以从8×8像素变化直到CTB的大小。一个亮度CB、两个色度CB和相关联的语法形成编码单元18(CU)。
CU 18的压缩是分两步执行的。在第一步骤中，根据相同画面或先前画面中的先前编码的像素值，对CU 18中的像素值进行预测。在第二步骤中，计算预测像素值和实际值之间的差即所谓的残差，并通过例如DCT对残差进行变换。
可以对整个CU 18一次性地进行预测，或者可以对更小的部分分别进行预测。这通过定义预测单元(PU)来完成，预测单元(PU)可以对于给定像素集合与CU 18具有相同的大小，或者可以分层地进一步分割成更小的PU。每个PU 19分别定义其如何根据先前编码的像素值预测其像素值。
以类似的方式，预测误差的变换以变换单元(TU)完成，变换单元(TU)可以与CU具有相同的大小，或者可以分层地分割成更小的大小。分别针对每个TU 20变换预测误差。PU19大小对于其亮度成分可以从4×4变化到64×64像素，而TU 20大小可以从4×4变化到32×32像素。在图1中示出了不同的PU 19和TU 20划分以及CU 18和CTU 17划分。
预测单元基于相同画面中的相邻像素的值(帧内预测)或基于来自一个或多个先前画面的像素值(帧间预测)来预测其像素值。仅允许对其块使用帧内预测的画面称为帧内画面(I画面)。序列中的第一个画面必须是帧内画面。使用帧内画面的另一个例子是所谓的关键帧，其提供对视频流的随机访问点。帧间画面可以包含帧内预测块和帧间预测块的混合。帧间画面可以是使用一个画面进行预测的预测画面(P画面)和使用两个画面进行预测的双向画面(B画面)。
在编码之前，图片可以分割成若干片(tile)，每个片由M×N个CTU组成，其中M和N是整数。在编码时，以光栅扫描顺序处理这些片(从左到右水平读取，直到整行被处理，然后移动到下一行并重复相同的过程)，并且以光栅扫描顺序处理每个片内部的CTU。CTU 17中的CU以及CU 18内部的PU和TU以Z扫描顺序进行处理。图2中示出了该过程。在对比特流进行解码时，使用相同的光栅扫描顺序和Z扫描顺序。
在对视频比特流中的CU 18进行解码时，首先从比特流解析CU 18的语法元素。然后，将语法元素用于重建解码画面中的对应样本块。
发明内容
在目前的视频编码标准中，帧间块的编码/解码独立于帧内块的解码。即使对于按照光栅扫描顺序位于帧间块之前的帧内块也是如此。通常，帧内块通过使用其顶和/或左空间相邻块作为参考来进行重建，这是因为，由于对块进行扫描的顺序，在预测/重建当前块时只有这些块是可用的。这意味着即使在预测/重建当前块时使用顶和左空间相邻块这两者，也仅使用了一半的可用空间相邻块。在预测中使用较少的空间相邻块意味着具有较差的预测质量。较差的预测质量意味着原始像素块与预测像素块之间的较大的差。考虑到该差在被打包进比特流中之前还进行变换和量化，较大的差意味着更多要发送的信息，显然较差的预测导致较高的比特率。
因此，为了降低比特率，尽可能准确地预测帧内块非常重要。
该目标和其它目标由本文公开的实施例来满足。
实施例的第一方面定义一种由解码器执行的用于对包括视频序列的编码画面在内的比特流进行解码的方法。编码画面由至少一个帧间编码样本块和至少一个帧内编码样本块组成，其中，按照比特流的顺序，帧间编码样本块在帧内编码样本块之后。该方法包括在重建帧内编码样本块之前重建帧间编码样本块。
实施例的第二方面定义一种用于对包括视频序列的编码画面在内的比特流进行解码的解码器。编码画面由至少一个帧间编码样本块和至少一个帧内编码样本块组成，其中，按照比特流的顺序，帧间编码样本块在帧内编码样本块之后。该解码器包括处理装置，该处理装置能够操作以在重建帧内编码样本块之前重建帧间编码样本块。
实施例的第三方面定义一种用于对包括视频序列的编码画面在内的比特流进行解码的计算机程序。编码画面由至少一个帧间编码样本块和至少一个帧内编码样本块组成，其中，按照比特流的顺序，帧间编码样本块在帧内编码样本块之后。该计算机程序包括代码装置，当在计算机上运行所述代码装置时，所述代码装置使计算机在重建帧内编码样本块之前重建帧间编码样本块。
实施例的第四方面定义一种计算机程序产品，其包括计算机可读装置和存储在所述计算机可读装置上的根据第三方面的计算机程序。
实施例的第五方面定义一种由编码器执行的用于对视频序列的画面进行编码的方法。画面包括样本块，并且包括右空间相邻样本块和底空间相邻样本块中的至少一个。该方法包括通过帧间预测，预测右空间相邻样本块和底空间相邻样本块中的至少一个。该方法包括根据通过帧间预测来预测的右空间相邻样本块和底空间相邻样本块中的至少一个，预测所述样本块。
实施例的第六方面定义一种用于对视频序列的画面进行编码的编码器。画面包括样本块，并且包括右空间相邻样本块和底空间相邻样本块中的至少一个。该编码器包括处理装置，该处理装置能够操作以通过帧间预测，预测右空间相邻样本块和底空间相邻样本块中的至少一个。该编码器包括处理装置，该处理装置能够操作以根据通过帧间预测来预测的右空间相邻样本块和底空间相邻样本块中的至少一个，预测样本块。
实施例的第七方面定义一种用于对视频序列的画面进行编码的计算机程序。画面包括样本块，并且包括右空间相邻样本块和底空间相邻样本块中的至少一个。该计算机程序包括代码装置，当在计算机上运行所述代码装置时，所述代码装置使计算机通过帧间预测，预测右空间相邻样本块和底空间相邻样本块中的至少一个。该计算机程序包括代码装置，当在计算机上运行所述代码装置时，所述代码装置使计算机根据通过帧间预测来预测的右空间相邻样本块和底空间相邻样本块中的至少一个，预测样本块。
实施例的第八方面定义一种计算机程序产品，其包括计算机可读装置和存储在所述计算机可读装置上的根据第七方面的计算机程序。
有利的是，至少一些实施例提供更高的压缩效率。
应当注意到：第一、第二、第三、第四、第五、第六、第七和第八方面的任何特征可被应用于任何其他方面(只要在合适的情况下)。类似地，第一方面的任何优点可以同样分别应用于第二、第三、第四、第五、第六、第七和第八方面，且反之亦然。通过以下详细公开、所附从属权利要求以及附图，所附实施例的其他目标、特征和优点将变得显而易见。
一般地，除非本文另有明确说明，否则权利要求中使用的所有术语根据其技术领域中的普通含义来解释。除非另有明确说明，否则对“一/一个/所述元件、设备、组件、装置、步骤等”的所有引用应被开放地解释为指代元件、设备、组件、装置、步骤等中的至少一个实例。除非明确说明，否则本文公开的任何方法的步骤不必以所公开的确切顺序来执行。
附图说明
通过参照结合附图给出的以下描述，将最佳地理解本发明及其其他目的和优点，在附图中：
图1示出了HEVC中使用的用于编码、预测和变换的不同的画面划分。
图2示出了根据光栅扫描顺序和Z扫描顺序处理HEVC中的不同画面划分的顺序。
图3示出了HEVC中定义的方向帧内预测模式(图3(A))，并且更详细地示出了方向模式29(图3(B))。
图4示出了如何通过使用空间相邻块作为参考来执行帧内预测(如HEVC中的使用方式)。
图5和图6示出了根据本发明的实施例的、对包括视频序列的编码画面在内的比特流进行解码的方法的流程图。
图7(A)示出了用于HEVC中的预测的来自相邻块的像素，而图7(B)示出了用于根据本发明的一些实施例的改进的帧内预测的来自空间相邻块的像素。
图8示出了根据本发明的实施例的帧内预测模式，该帧内预测模式使用来自右和底空间相邻块的样本以及来自顶和左空间相邻块的样本。
图9示出了与使用HEVC中的任何现有帧内预测模式相比，使用图8中描绘的帧内预测模式可以更好地预测的信号的示例。
图10-12示出了根据本发明的实施例的对视频序列的画面进行编码的方法的流程图。
图13和图15是示出了根据本发明的实施例的解码器的功能单元的示意框图，该解码器用于对视频序列的编码画面的比特流进行解码。
图14是示出了根据本发明的实施例的计算机的示意框图，该计算机包括具有用于对视频序列的编码画面的比特流进行解码的计算机程序的计算机程序产品。
图16和图18是示出了根据本发明的实施例的编码器的功能单元的示意框图，该编码器用于对视频序列的画面进行编码。
图17是示出了根据本发明的实施例的计算机的示意框图，该计算机包括具有用于对视频序列的画面进行编码的计算机程序的计算机程序产品。
具体实施方式
并入本文中并且形成说明书的一部分的附图示出了本发明的各个实施例，并且与说明一起进一步用于解释本发明的原则并且使本领域技术人员能够利用和使用本发明。贯穿附图将相同的附图标记用于类似或对应的要素。
在整个描述中，可互换地使用术语“视频”和“视频序列”、“帧内预测块”和“帧内块”、“帧间预测块”和“帧间块”、“样本块”和“块”、“像素”和“样本”。
虽然本发明的描述基于HEVC编解码器，但本领域技术人员应当理解，本发明可以应用于任何其他现有技术和将来的基于块的视频编码标准。
本实施例总体上涉及用于对包括视频序列的编码画面在内的比特流进行解码的方法和解码器，以及用于对视频序列的画面进行编码的方法和编码器。
现代视频编码标准使用组合了画面间/画面内预测和2D变换编码的所谓混合方法。如上所述，帧内预测是指仅基于画面中的信息来预测该画面中的块。通过帧内预测对所有块进行预测的画面称为帧内画面(或I画面)。对于所有其他画面，使用帧间预测，其中利用来自其他画面的预测信息。通过帧间预测对至少一个块进行预测的画面称为帧间画面。这意味着帧间画面可能具有帧内预测的块。
在预测画面中的所有块之后并且在附加的环路滤波之后，将画面存储在解码画面缓冲器中，使得它们可以用于预测其它画面。因此，在编码器中使用解码器环路，并将解码器环路与真正的解码器同步，以实现最佳性能并避免与解码器不匹配。
HEVC定义了3种类型的帧内预测：DC模式、平面模式和角度模式。DC帧内预测模式使用参考样本的平均值进行预测。该模式对于平坦表面特别有用。平面模式使用两个线性预测的平均值，这两个线性预测使用四个角部参考样本：它基本上是在块上进行插值，假设块右侧的所有值与位于块的上一行且位于块右侧的一列的像素相同。假设块下方的值等于位于块的下一行且位于块左侧的一列的像素。平面模式有助于减少沿块边界的不连续性。HEVC支持所有块大小，这与仅支持16×16块大小的平面预测的H.264/MPEG-4 AVC不同。
帧内角度预测定义了33个预测方向，这与只允许8个方向的H.264/MPEG-4 AVC不同。从图3(A)可以看出，与这些方向对应的角度被选择为，与近似对角线的角度相比，更密集地覆盖近似水平和近似垂直的角度，这遵循与使用此类预测时主要采用的方向有关的统计数据，并且遵循这些方向的有效性。通过帧内角度预测，根据重建的空间相邻样本，方向性地对每个块进行预测。对于N×N块，使用最多4N+1个相邻样本。图3(B)示出了方向模式29的一例。与根据块大小(4×4、8×8和16×16)使用不同的帧内角度预测方法的H.264/MPEG-4 AVC不同，HEVC中的帧内角度预测是一致的，与块大小无关。
帧间预测利用了相邻画面之间的时间冗余，因此通常实现更高的压缩比。帧间预测块的样本值是从来自其参考画面的对应块中获得的，参考画面由所谓的参考画面索引来标识，通过块匹配算法获得对应的块。块匹配的结果是运动矢量，其指向参考画面中的匹配块的位置。运动矢量可能不具有整数值：H.264/MPEG-4 AVC和HEVC均以亮度样本之间的距离的四分之一为单位支持运动矢量。对于非整数运动矢量，使用分数样本插值来生成非整数采样位置的预测样本，其中使用八抽头滤波器用于半采样位置，使用七抽头滤波器用于四分之一采样位置。要进行帧间预测的块与匹配块之间的差被称为预测误差。对预测误差进一步进行变换编码，并且在将变换系数与运动矢量信息一起发送到解码器之前对变换系数进行量化。
如图4所示，可以利用帧间块独立于其空间相邻块进行预测这一事实，从而改进帧内块的预测。本例中的块C 12将进行帧内预测。这意味着，通常使用(重建的)顶空间相邻块A 10和/或(重建的)左相邻块B 11进行预测，因为按Z扫描顺序，块A 10和B 11在块C 12之前。随后对块D 13进行预测，对于该块而言，最佳模式被证明是帧间预测模式。如已经说明的，帧间预测意味着在一个或多个先前重建的画面中寻找良好匹配块，因此块D 13不使用块C 12作为预测的参考。类似地，假设将对块E 14进行帧间预测。这也意味着块C 12不用作块E 14的参考。因此，块C 12不用作块D 13和E 14的参考，并且块D 13和E 14都不用于块C12的预测。
在这种情况下，块C 12除了使用块A 10和B 11之外还使用块D 13和/或块E 14进行其帧内预测可能是有利的，因为这可以为块C 12提供更准确的预测。更准确的预测进一步意味着更小的预测误差和更低的比特率。
将块D 13和E 14用作块C 12的参考意味着在对块C 12进行预测时块D 13和E 14必须可用于预测。这意味着块D 13和E 14必须已经被编码并因此在编码器的解码环路中被重建，使得它们可用于块C 12的预测。这也意味着必须违背标准解码，在标准解码中，所有块以与其语法元素被解析的顺序相同的顺序重建。因此，需要修改编码和解码过程这两者，以便能够使用更多的空间相邻块。在下文中，首先描述解码过程，然后解释编码过程。
根据一个方面，提供了一种由解码器100执行的用于对包括视频序列3的编码画面2的比特流1进行解码的方法，如图5所示。编码画面2由至少一个帧间编码样本块4和至少一个帧内编码样本块5组成。按照比特流1的顺序，帧间编码样本块4在帧内编码样本块5之后。比特流顺序应被理解为光栅扫描顺序或Z扫描顺序。
帧间编码样本块4可以用于帧内编码样本块5的预测。此外，帧间编码样本块4和帧内编码样本块5可以是空间相邻的样本块，使得帧间编码样本块4位于帧内编码样本块5的右侧或下方。参考图4，帧间编码样本块4可以对应于块D 13，而帧内编码样本块5可以对应于块C 12。该方法包括步骤S2，其中在重建帧内编码样本块5之前重建帧间编码样本块4。
该方法可以可选地包括在步骤S2之前执行的步骤S1，该步骤S1解析比特流1以获得与视频序列3的编码有关的语法信息。语法信息包括以下一项或多项：画面大小、块大小、预测模式、每个块的参考画面选择、运动矢量以及变换系数。
在一个实施例中，解码器100检查要解码的像素块的预测类型，如果该像素块是帧内预测类型，则此时不重建它，而是跳到要解码的下一个块。在该帧内块的位于上方和左侧、以及位于右侧和/或下方的空间相邻块已经重建之后，重新访问该帧内块，并且通过使用这些空间相邻块来重建该帧内块。
在另一个实施例中，在解码器100中执行的两次过程被限制为在编码树单元(CTU)内部执行，从而禁止了跨越CTU边界的重建。由于解码器通常在同一时间内至少将一个完整的CTU保存在存储器中，所以在典型实现中存储器访问不会增加，在这种意义上，具有这种约束也限制了计算复杂性。在这种情况下，解码器100执行图6所示的以下步骤S11-S13：
1.解析CTU中的所有语法元素(步骤S11)
在该步骤中，解析比特流1以获得与视频序列3的编码有关的信息。语法信息包括以下一项或多项：画面大小、块大小、预测模式、每个块的参考画面选择、运动矢量以及变换系数。语法元素的解析可以按照比特流的顺序进行。然而，也可以在解析CTU内部的帧内编码块的语法元素之前，解析帧间编码块的语法元素。
2.对CTU中的所有帧间编码块进行解码(步骤S12)
帧间编码块不使用当前画面中的任何块进行预测，因此可以独立地解码并在帧内编码块之前进行解码。
3.对CTU中的所有帧内编码块进行解码(步骤S13)
在所有帧间编码块已被解码之后，对所有帧内CU进行解码，所述解码除了通过使用顶和/或左相邻块之外，还有可能使用更多的右和/或底空间相邻块。
在另一个实施例中，可以在第一过程中与帧间编码块一起，对不使用右和/或底空间相邻块进行预测的一些帧内编码块进行解码，而在第二过程中对使用右和/或底空间相邻块进行预测的帧内编码块进行解码。
在又一个实施例中，在第一过程中仅重建用于其空间相邻块的帧内预测的帧间编码块，而在第二过程中重建剩余的帧间编码块。
在某些情况下，一个空间相邻块有可能只有部分可用，原因是该空间相邻块被分割成若干个子块，其中只有一部分子块以帧间模式进行编码。这可以通过对不可用于预测的像素的值进行内插或外推来解决，随后使用这些内插值或外推值来执行帧内编码块的重建。
在最简单的情况下，可以通过以下方法来利用上述实施例，即，改变帧内预测方法，从而也能够使用来自位于当前帧内块的下方和/或左侧的块的样本(如果可用)。改变帧内预测模式需要在编码器侧和解码器侧均进行修改，因为编码器和解码器必须被同步以避免预测不匹配。
这些新的帧内预测模式被称为改进的帧内预测模式。图7(A)示出了用于HEVC中的预测的来自相邻块的像素，而图7(B)示出了可以用于根据本发明的一些实施例的改进的帧内预测的、来自空间相邻块的边界像素。
可以通过修改现有的帧内预测模式来获得改进的帧内预测模式。例如，DC帧内预测模式简单地预测块中的值等于相邻值的平均值，通过允许对更多的相邻像素进行平均以用于预测，可以以直接的方式对DC帧内预测模式进行扩展。在HEVC平面帧内预测模式中，假设块右侧的所有值与位于块的上一行且位于块右侧的一列的像素相同。类似地，假设块下方的值等于位于块的下一行且位于块左侧的一列的像素。因此，可以通过使用块的右侧或下方的适当值(如果可用)而不是使用假设的值，来容易地扩展该帧内预测模式。
除了扩展HEVC的现有帧内预测模式外，还可以考虑受益于使用来自右侧和/或底侧的块的像素的新的帧内模式。例如，可以将两个不同的方向用于角模式，一个方向是HEVC中的方向(参见图8)，一个方向是图8中的与可能的角度方向相反的方向之一。位于这两个方向汇合的位置处的像素可以根据这两个方向开始和/或结束处的边界像素的值来进行插值。可以通过使用基于与用于插值的每个像素的距离的权重来进行插值，或使用计算权重的其他方式来进行插值。
改进的帧内预测模式可以与现有的帧内预测模式组合，或者可以简单地替换现有的一些帧内预测模式。
改进的帧内预测模式可以使用更多来自空间相邻块的行/列的像素进行预测，而不是仅使用边界的行/列的像素。例如对于如图9所示的包含曲面的块，这可以给出更好的预测。
如上所述，使用更多的空间相邻块来预测当前块也需要改变编码过程。根据实施例的一个方面，公开了一种由编码器执行的用于对视频序列3的画面9进行编码的方法，其中画面包括样本块12以及右空间相邻样本块13和底空间相邻样本块14中的至少一个。图10中示出了该方法的流程图。在步骤S3中，通过帧间预测，预测右空间相邻样本块13和底空间相邻样本块14中的至少一个。在接下来的步骤(S4)中，根据通过帧间预测来预测的右相邻样本块13和底相邻样本块14中的至少一个，预测样本块12。这样，通过考虑更多的空间相邻的帧间预测样本块，来改进样本块的预测。
在图11所示的一个实施例中，作为两次过程来执行编码。在第一过程中(步骤S5)，对画面9中的每个样本块12，从现有的帧间和帧内预测模式中选择初步预测模式15，其中现有的帧内预测模式基于顶和/或左空间相邻样本块执行预测。因此，初步预测模式15对应于普通编码(即用标准编码器编码)时用于样本块12的模式。
在第二过程中，对于在第一过程中选择的初步预测模式15是帧间模式的样本块，计算两个预测误差(步骤S6)。第一预测误差是对应于选择初步预测模式15的误差。预测误差是样本块12和预测的样本块的函数；例如，可以作为样本块12和重建样本块之间的均方误差来计算预测误差。第二预测误差对应于将改进的帧内预测16用于该样本块12时的误差，其中改进的帧内预测16基于初步预测模式15是帧间预测模式的空间相邻样本块。
比较这两个预测误差，如果对应于改进的预测模式16的预测误差小于对应于初步预测模式15的预测误差，则用改进的预测模式16预测样本块12(步骤S7)。这意味着在第二过程中证明了，与帧间预测相比，通过改进的帧内预测16预测样本块12更有利，因为存在可用于改进预测的相邻帧间预测块。如果对应于初步预测模式15的预测误差小于或等于改进的帧内预测模式16的预测误差，则以与普通编码相同的方式预测样本块，即通过初步预测模式15预测样本块(在这种情况下是帧间预测，步骤S8)。
在图12所示的另一实施例中，编码是通过以下操作执行的，在第一过程中计算(步骤S9)所有样本块的预测误差的估计，假定通过利用可用空间相邻样本块的不同组合进行的帧内预测以及通过帧间预测对所有样本块进行预测。预测误差是样本块和预测样本块的函数，如前面的实施例中那样。在第二过程中，对于按照Z扫描顺序第一个预测的样本块，在该块和相邻块的预测模式的不同组合中选择预测模式，使得其预测误差最小化。对于按照Z扫描顺序的第二个样本块，在该块和除第一个块之外的空间相邻块的预测模式的不同组合中选择预测模式，假定第一个样本块通过其所选预测模式进行了预测。第二过程会历经所有样本块，并且基本上重复相同的过程：对于一个样本块，在该块和按照Z扫描顺序处于该块之前的空间相邻块的预测模式的不同组合中选择预测模式，假定在该块之前的空间相邻块以其相应所选预测模式进行了预测(步骤S10)。
根据一个实施例，在第一过程之后不允许改变CU 18的大小。根据另一实施例，在第一过程之后允许将CU 18分成更小的部分。实际上这会更有利，因为每个分割后的CU 18可以使用其自己的预测模式。
帧间样本块可以在第一过程中重建，包括残差编码。在另一个实施例中，在不使用残差编码的情况下重建第一过程中的帧间块。在后一种情况下，当在第二过程中评估帧内块时，解码器也需要使用无残差的重建。不使用残差编码的重建进行预测的好处是可以减少编码器的一些复杂性，而帧内编码的压缩效率不会因为根据无残差的编码样本进行预测而受到太多的影响。
图13是根据一个实施例的解码器100的示意框图，该解码器100用于对包括视频序列的编码画面2在内的比特流1进行解码(还参见图5)。编码画面2由至少一个帧间编码样本块4和至少一个帧内编码样本块5组成。按照比特流1的顺序，帧间编码样本块4在帧内编码样本块5之后。解码器100包括重建模块180，重建模块180被配置为在重建帧内编码样本块5之前重建帧间编码样本块4。解码器100还可选地包括解析模块170，解析模块170被配置为解析比特流1以获得与视频序列3的编码有关的语法信息。
解码器100可以是HEVC或H.264/AVC解码器，或组合了画面间/画面内预测和基于块的编码的任何其他现有技术解码器。
解析模块170可以是常规HEVC解码器的一部分，其解析比特流以获得与编码的视频序列有关的信息，这些信息例如是：画面大小、样本块的大小、样本块的预测模式、每个样本块的参考画面选择、帧间编码样本块的运动矢量以及变换系数。
重建模块180可以利用来自解析模块170的解析出的语法信息来重建视频序列3的画面。例如，重建模块180可以获得关于用于所有样本块的预测模式的信息，并且可以使用该信息适当地重建这些样本块。特别地，重建模块180被配置为，即使按照比特流的顺序帧间编码样本块4在帧内编码样本块之后，如果帧间编码样本块4用于帧内编码样本块5的预测，也在重建帧内编码样本块5之前重建帧间编码样本块4。重建模块可以被配置为在所有帧内编码样本块之前重建所有帧间编码样本块。或者，它可以被配置为在重建所有帧内编码样本块之前，重建用于预测帧内编码样本块的帧间编码样本块的子集。
解码器100可以以硬件、软件或硬件及软件的组合的形式来实现。解码器100可以在诸如移动电话、平板电脑、台式机、上网本、多媒体播放器、视频流服务器、机顶盒或计算机之类的用户设备中实现。解码器100还可以在通信网络或系统中的网络设备中实现，该网络设备采用网络节点的形式或者连接到网络节点，网络节点例如是无线电基站。
虽然结合图13公开的各个单元被公开为设备中的物理上分离的单元，但所有这些单元可以是专用电路，例如ASIC(专用集成电路)。存在该设备的替代实施例，其中部分或所有单元被实现为在通用处理器上运行的计算机程序模块。在图14中公开了这种实施例。
图14示意性地示出了具有处理单元110(例如，DSP(数字信号处理器)或CPU(中央处理单元))的计算机160的实施例。处理单元110可以是用于执行本文所描述的方法的不同步骤的单个单元或多个单元。计算机还包括用于接收比特流的输入/输出(I/O)单元120。在图14中，I/O单元120已经被示出为单个单元，但是其同样可以具有单独的输入单元和单独的输出单元的形式。
此外，计算机160包括至少一个非易失性存储器形式的计算机程序产品130，例如，EEPROM(电可擦除可编程只读存储器)、闪存或磁盘驱动器。计算机程序产品130包括计算机程序140，其包括代码装置，当在计算机160上例如由处理单元110运行该代码装置时，该代码装置使计算机160执行前面结合图5所描述的方法的步骤。
根据另一个方面，如图15所示，提供一种用于对包括视频序列3的编码画面2在内的比特流1进行解码的解码器100。处理装置由CPU(中央处理单元)110例示。该处理装置能够操作以执行前面结合图5所描述的方法的步骤。这意味着处理装置110能够操作以在重建帧内编码样本块5之前重建帧间编码样本块4。处理装置110还能够操作以解析比特流1以获得与视频序列3的编码有关的语法信息。
图16是根据一个实施例的用于对视频序列3的画面9进行编码的编码器200的示意框图。画面9包括样本块12以及右空间相邻样本块13和底空间相邻样本块14中的至少一个。编码器200包括预测器270，预测器270被配置为通过帧间预测，预测右空间相邻样本块13和底空间相邻样本块14中的至少一个。
编码器200还包括预测器280，预测器280被配置为根据通过帧间预测来预测的右空间相邻样本块13和底空间相邻样本块14中的至少一个，预测样本块12。
编码器200可以是HEVC或H.264/AVC编码器，或组合了画面间/画面内预测和基于块的编码的任何其他现有技术编码器。
预测器270可以使用样本块13和14中的至少一个中的样本值以及至少一个先前编码的画面中的样本值，来找到用于预测样本块13和14中的至少一个的良好匹配块。可以通过块匹配算法获得匹配块。
预测器280可以使用来自通过帧间预测来预测的块13和14中的至少一个的样本值，来预测样本块12。预测器280可以使用改进的帧内预测模式，这种模式使用的样本来自顶和/或左空间相邻样本块与底和/或右空间相邻样本块的组合。改进的帧内预测模式可以通过扩展例如HEVC中的现有帧内预测模式来获得。预测器280还可以使用现有和改进的帧内预测模式这两者，以便找到最佳预测样本块12的模式。
编码器200可以以硬件、软件或硬件及软件的组合的形式来实现。解码器200可以在诸如移动电话、平板电脑、台式机、上网本、多媒体播放器、视频流服务器、机顶盒或计算机之类的用户设备中实现。编码器200还可以在通信网络或系统中的网络设备中实现，该网络设备采用网络节点的形式或者连接到网络节点，网络节点例如是无线电基站。
虽然结合图16公开的各个单元被公开为设备中的物理上分离的单元，但所有这些单元可以是专用电路，例如ASIC(专用集成电路)。存在该设备的替代实施例，其中部分或所有单元被实现为在通用处理器上运行的计算机程序模块。在图17中公开了这种实施例。
图17示意性地示出了具有处理单元210(例如，DSP(数字信号处理器)或CPU(中央处理单元))的计算机260的实施例。处理单元210可以是用于执行本文所描述的方法的不同步骤的单个单元或多个单元。计算机还包括用于接收视频流的输入/输出(I/O)单元220。在图17中，I/O单元220已经被示出为单个单元，但是其同样可以具有单独的输入单元和单独的输出单元的形式。
此外，计算机260包括至少一个非易失性存储器形式的计算机程序产品230，例如，EEPROM(电可擦除可编程只读存储器)、闪存或磁盘驱动器。计算机程序产品230包括计算机程序240，其包括代码装置，当在计算机260上例如由处理单元210运行该代码装置时，该代码装置使计算机260执行前面结合图10所描述的方法的步骤。
根据另一个方面，如图18所示，提供一种用于对视频序列3的画面9进行编码的编码器200。画面9包括样本块12以及右空间相邻样本块13和底空间相邻样本块14中的至少一个。处理装置由CPU(中央处理单元)210例示。该处理装置能够操作以执行前面结合图10所描述的方法的步骤。这意味着处理装置210能够操作以通过帧间预测，预测右空间相邻样本块13和底空间相邻样本块14中的至少一个。这还意味着处理装置210能够操作以根据通过帧间预测来预测的右相邻样本块13和底相邻样本块14中的至少一个，预测样本块12。
以上描述的实施例将被理解为本发明的几个说明性示例。本领域技术人员将理解，在不脱离本发明的范围的前提下，可以对实施例作出各种修改、组合和改变。尤其是，在技术上可行的其他配置中，不同实施例中的不同部分解决方案可以被组合。

Claims (32)

1.一种由解码器(100)执行的用于对包括视频序列(3)的编码画面(2)在内的比特流(1)进行解码的方法，其中，所述编码画面(2)由至少一个帧间编码样本块(4)和至少一个帧内编码样本块(5)组成，其中，按照比特流(1)的顺序，所述帧间编码样本块(4)在所述帧内编码样本块(5)之后，所述方法包括：
在重建所述帧内编码样本块(5)之前，重建(S2)所述帧间编码样本块(4)。
2.根据权利要求1所述的方法，其中，所述帧间编码样本块(4)用于所述帧内编码样本块(5)的预测。
3.根据权利要求1-2所述的方法，其中，所述帧间编码样本块(4)和所述帧内编码样本块(5)是空间相邻的样本块，并且所述帧间编码样本块(4)位于所述帧内编码样本块(5)的右侧或下方。
4.根据前述权利要求中任一项所述的方法，其中，所述编码画面(2)被分割成所述画面的至少一部分(6)，其中来自所述画面的一部分(6)的所有帧间编码样本块在来自所述画面的同一部分(6)的所有帧内编码样本块之前重建。
5.根据权利要求4所述的方法，其中，所述画面的所述部分(6)是编码树单元CTU。
6.根据前述权利要求中任一项所述的方法，其中所述方法包括：
解析(S1)所述比特流(1)以获得与所述视频序列(3)的编码有关的语法信息。
7.根据前述权利要求中任一项所述的方法，其中所述方法包括：
在解析所述帧内编码块(5)的语法元素之前，解析所述帧间编码块(4)的语法元素。
8.根据权利要求6或7所述的方法，其中，语法信息包括以下一项或多项：画面大小、块大小、预测模式、每个块的参考画面选择、运动矢量以及变换系数。
9.根据前述权利要求中任一项所述的方法，其中，所述比特流的解码基于HEVC或H.264/AVC。
10.根据权利要求9所述的方法，其中，基于顶和/或左空间相邻样本块与底和/或右空间相邻样本块的组合，来预测帧内编码样本块。
11.一种由编码器(200)执行的用于对视频序列(3)的画面(9)进行编码的方法，其中所述画面包括样本块(12)以及右空间相邻样本块(13)和底空间相邻样本块(14)中的至少一个，所述方法包括：
通过帧间预测，预测(S3)所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个；以及
根据通过帧间预测来预测的所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个，预测(S4)所述样本块(12)。
12.根据权利要求11所述的方法，其中通过帧内预测模式对所述样本块(12)进行预测。
13.根据权利要求11-12所述的方法，所述方法包括：
在第一过程中，从现有的帧间模式和帧内模式中选择(S5)所述样本块(12)的初步预测模式(15)，其中现有的帧内模式基于顶和/或左空间相邻样本块执行预测；
在第二过程中，计算(S6)初步预测模式是帧间预测模式的所述样本块的预测误差以及在通过改进的帧内预测模式(16)来预测的情况下所述样本块的预测误差，其中，所述预测误差是样本块和预测的样本块的函数，并且所述改进的帧内预测模式(16)基于初步预测模式是帧间预测模式的空间相邻样本块；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差小于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过改进的帧内预测模式(16)来预测(S7)所述样本块(12)；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差大于或等于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过初步预测模式(15)预测(S8)所述样本块(12)。
14.根据权利要求11-12所述的方法，所述方法包括：
在第一过程中，计算(S9)所有样本块的预测误差的估计，假定通过利用可用空间相邻样本块的不同组合进行的帧内预测和通过帧间预测对所有样本块进行预测，其中，所述预测误差是样本块和预测的样本块的函数；以及
在第二过程中，对于所述样本块(12)，基于按照Z扫描顺序处于样本块(12)之前的其空间相邻块的所选预测模式和计算出的预测误差的估计，选择(S10)所述样本块(12)的预测模式。
15.根据权利要求11-14中任一项所述的方法，其中对所述视频序列(3)的所述画面(9)的编码基于HEVC或H.264/AVC。
16.根据权利要求15所述的方法，其中，基于顶和/或左空间相邻样本块与底和/或右空间相邻样本块的组合，来预测帧内编码样本块。
17.根据权利要求11-16中任一项所述的方法，其中所述样本块(12)通过根据至少两个空间相邻样本块进行预测的帧内预测模式来编码，其中所述帧内预测模式使用至少两个不同方向来重建所述样本块(12)的像素。
18.根据权利要求11-16中任一项所述的方法，其中所述样本块(12)通过根据至少两个空间相邻样本块进行预测的帧内预测模式来编码，其中所述帧内预测模式使用所述空间相邻样本块中的至少一个中的多于一行的像素，以提供所述样本块(12)中的样本的非线性重建。
19.一种用于对包括视频序列(3)的编码画面(2)在内的比特流(1)进行解码的解码器(100)，其中，所述编码画面(2)由至少一个帧间编码样本块(4)和至少一个帧内编码样本块(5)组成，其中，按照比特流(1)的顺序，所述帧间编码样本块(4)在所述帧内编码样本块(5)之后，所述解码器(100)包括处理装置(110)，所述处理装置(110)用于：
在重建所述帧内编码样本块(5)之前，重建所述帧间编码样本块(4)。
20.根据权利要求19所述的解码器(100)，其中所述处理装置(110)包括处理器(150)和存储器(130)，其中所述存储器(130)包含所述处理器(150)可执行的指令。
21.根据权利要求19-20中任一项所述的解码器(100)，其中，所述处理装置(110)还被配置为：
解析所述比特流(1)以获得与所述视频序列(3)的编码有关的语法信息。
22.一种编码器(200)，用于对视频序列(3)的画面(9)进行编码，其中所述画面包括样本块(12)以及右空间相邻样本块(13)和底空间相邻样本块(14)中的至少一个，所述编码器(20)包括处理装置(210)，所述处理装置(210)用于：
通过帧间预测，预测所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个；以及
根据通过帧间预测来预测的所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个，预测所述样本块(12)。
23.根据权利要求22所述的编码器(200)，其中所述处理装置(210)包括处理器(250)和存储器(230)，其中所述存储器(230)包含所述处理器(250)可执行的指令。
24.根据权利要求22-23中任一项所述的编码器(200)，其中，所述处理装置(210)还用于：
在第一过程中，从现有的帧间模式和帧内模式中选择所述样本块(12)的初步预测模式(15)，其中现有的帧内模式基于顶和/或左空间相邻样本块执行预测；
在第二过程中，计算初步预测模式(15)是帧间预测模式的所述样本块的预测误差以及在通过改进的帧内预测模式(16)来预测的情况下所述样本块的预测误差，其中，所述预测误差是样本块和预测的样本块的函数，并且所述改进的帧内预测模式(16)基于初步预测模式是帧间预测模式的空间相邻样本块；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差小于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过改进的帧内预测模式(16)预测所述样本块(12)；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差大于或等于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过初步预测模式(15)预测所述样本块(12)。
25.根据权利要求22-23中任一项所述的编码器(200)，其中，所述处理装置(210)还用于：
在第一过程中，计算所有样本块的预测误差的估计，假定通过利用可用空间相邻样本块的不同组合进行的帧内预测以及通过帧间预测对所有样本块进行预测，其中，所述预测误差是样本块和预测的样本块的函数；以及
在第二过程中，对于所述样本块(12)，基于按照Z扫描顺序处于样本块(12)之前的其空间相邻块的所选预测模式和计算出的预测误差的估计，选择所述样本块(12)的预测模式。
26.一种用于对包括视频序列(3)的编码画面(2)在内的比特流(1)进行解码的计算机程序(140)，其中，所述编码画面(2)由至少一个帧间编码样本块(4)和至少一个帧内编码样本块(5)组成，其中，按照比特流(1)的顺序，所述帧间编码样本块(4)在所述帧内编码样本块(5)之后，所述计算机程序(140)包括代码装置，当在计算机(160)上运行所述代码装置时，所述代码装置使所述计算机(160)：
在重建所述帧内编码样本块(5)之前，重建所述帧间编码样本块(4)。
27.根据权利要求25所述的计算机程序(140)，所述代码装置还使所述计算机(160)解析所述比特流(1)以获得与所述视频序列(3)的编码有关的语法信息。
28.一种计算机程序(240)，用于对视频序列(3)的画面(9)进行编码，其中所述画面包括样本块(12)以及右空间相邻样本块(13)和底空间相邻样本块(14)中的至少一个，所述计算机程序(240)包括代码装置，当在计算机(260)上运行所述代码装置时，所述代码装置使所述计算机(260)：通过帧间预测，预测所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个；以及
根据通过帧间预测来预测的所述右空间相邻样本块(13)和所述底空间相邻样本块(14)中的至少一个，预测所述样本块(12)。
29.根据权利要求28所述的计算机程序(240)，使所述计算机(260)：
在第一过程中，从现有的帧间模式和帧内模式中选择所述样本块(12)的初步预测模式(15)，其中现有的帧内模式基于顶和/或左空间相邻样本块执行预测；
在第二过程中，计算初步预测模式是帧间预测模式的所述样本块的预测误差以及在通过改进的帧内预测模式(16)来预测的情况下所述样本块的预测误差，其中，所述预测误差是样本块和预测的样本块的函数，并且所述改进的帧内预测模式(16)基于初步预测模式是帧间预测模式的空间相邻样本块；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差小于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过改进的帧内预测模式(16)预测所述样本块(12)；
如果计算出的通过改进的帧内预测模式(16)预测的样本块(12)的预测误差大于或等于计算出的通过初步预测模式(15)预测的样本块(12)的预测误差，则：
通过初步预测模式(15)预测所述样本块(12)。
30.根据权利要求28所述的计算机程序(240)，使所述计算机(260)：
在第一过程中，计算所有样本块的预测误差的估计，
假定通过利用可用空间相邻样本块的不同组合进行的帧内预测以及通过帧间预测对所有样本块进行预测，其中，所述预测误差是样本块和预测的样本块的函数；以及
在第二过程中，对于所述样本块(12)，基于按照Z扫描顺序处于样本块(12)之前的其空间相邻块的所选预测模式和计算出的预测误差的估计，选择所述样本块(12)的预测模式。
31.一种计算机程序产品(300)，包括计算机可读装置(310)和存储在所述计算机可读装置(310)上的根据权利要求26-27所述的计算机程序(140)。
32.一种计算机程序产品(400)，包括计算机可读装置(410)和存储在所述计算机可读装置(410)上的根据权利要求28-30所述的计算机程序(240)。
CN201580079115.7A 2015-02-25 2015-02-25 视频中的帧间画面的编码和解码 Pending CN107534780A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2015/050210 WO2016137368A1 (en) 2015-02-25 2015-02-25 Encoding and decoding of inter pictures in a video

Publications (1)

Publication Number Publication Date
CN107534780A true CN107534780A (zh) 2018-01-02

Family

ID=56789033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580079115.7A Pending CN107534780A (zh) 2015-02-25 2015-02-25 视频中的帧间画面的编码和解码

Country Status (4)

Country Link
US (1) US20180035123A1 (zh)
EP (1) EP3262837A4 (zh)
CN (1) CN107534780A (zh)
WO (1) WO2016137368A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719470A (zh) * 2018-07-15 2020-01-21 北京字节跳动网络技术有限公司 视频编码的块尺寸限制
CN111277841A (zh) * 2018-12-04 2020-06-12 达音网络科技（上海）有限公司 视频通信系统中的错误隐藏技术
CN111630856A (zh) * 2018-01-26 2020-09-04 交互数字Vc控股公司 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
CN112567742A (zh) * 2018-06-14 2021-03-26 瑞典爱立信有限公司 用于编码360度沉浸式视频的系统和方法
CN112565747A (zh) * 2019-09-26 2021-03-26 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN113170114A (zh) * 2018-09-13 2021-07-23 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
CN113302923A (zh) * 2018-12-28 2021-08-24 瑞典爱立信有限公司 用于在编码器和解码器中选择变换选择的方法和装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023236B2 (ja) * 2016-02-12 2022-02-21 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ピクチャデータを含む符号化単位をイントラ予測符号化／復号するための方法およびデバイスであって、前記イントラ予測符号化が予測木および変換木に依存する、方法およびデバイス
CN116506600A (zh) * 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
US20190387234A1 (en) * 2016-12-29 2019-12-19 Peking University Shenzhen Graduate School Encoding method, decoding method, encoder, and decoder
CN108259913A (zh) * 2016-12-29 2018-07-06 北京大学深圳研究生院 一种用于帧间预测帧中的帧内预测方法
KR102566836B1 (ko) 2018-03-29 2023-08-16 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 병렬 코딩 기능들 향상을 위한 컨셉
WO2020263680A1 (en) * 2019-06-22 2020-12-30 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus for prediction simplification in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717056A (zh) * 2004-07-02 2006-01-04 三菱电机株式会社 用于小波视频编码中的高通时间滤波帧的帧内预测
US20090003446A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN102084658A (zh) * 2008-07-01 2011-06-01 法国电信公司 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序
CN102484704A (zh) * 2009-08-17 2012-05-30 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
DE602004022789D1 (de) * 2004-07-02 2009-10-08 Mitsubishi Electric Inf Tech Intra-Bildprädiktion für zeitlich Hochpass gefilterte Bilder in Wavelet-Videokodierung
EP1696673A1 (en) * 2004-09-01 2006-08-30 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
US9113169B2 (en) * 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
JP5694674B2 (ja) * 2010-03-03 2015-04-01 株式会社メガチップス 画像符号化装置、画像符号化復号化システム、画像符号化方法、画像表示方法
EP2559239A2 (en) * 2010-04-13 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
KR102030136B1 (ko) * 2010-12-08 2019-10-08 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
KR101383775B1 (ko) * 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717056A (zh) * 2004-07-02 2006-01-04 三菱电机株式会社 用于小波视频编码中的高通时间滤波帧的帧内预测
US20090003446A1 (en) * 2007-06-30 2009-01-01 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
CN102084658A (zh) * 2008-07-01 2011-06-01 法国电信公司 实施改进的预测的图像编码方法和装置、对应的解码方法和装置、信号和计算机程序
CN102484704A (zh) * 2009-08-17 2012-05-30 三星电子株式会社 对视频编码的方法和设备以及对视频解码的方法和设备

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630856B (zh) * 2018-01-26 2024-05-07 交互数字Vc控股公司 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
CN111630856A (zh) * 2018-01-26 2020-09-04 交互数字Vc控股公司 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
CN112567742A (zh) * 2018-06-14 2021-03-26 瑞典爱立信有限公司 用于编码360度沉浸式视频的系统和方法
CN110719470A (zh) * 2018-07-15 2020-01-21 北京字节跳动网络技术有限公司 视频编码的块尺寸限制
CN110719470B (zh) * 2018-07-15 2023-10-03 北京字节跳动网络技术有限公司 视频编码的块尺寸限制
US11647189B2 (en) 2018-07-15 2023-05-09 Beijing Bytedance Network Technology Co., Ltd Cross-component coding order derivation
CN113170114B (zh) * 2018-09-13 2024-03-29 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
CN113170114A (zh) * 2018-09-13 2021-07-23 弗劳恩霍夫应用研究促进协会 仿射线性加权帧内预测
CN111277841B (zh) * 2018-12-04 2022-02-25 达音网络科技（上海）有限公司 一种在视频通信中执行错误隐藏的方法和设备
CN111277841A (zh) * 2018-12-04 2020-06-12 达音网络科技（上海）有限公司 视频通信系统中的错误隐藏技术
CN113302923A (zh) * 2018-12-28 2021-08-24 瑞典爱立信有限公司 用于在编码器和解码器中选择变换选择的方法和装置
CN113302923B (zh) * 2018-12-28 2024-04-02 瑞典爱立信有限公司 用于在编码器和解码器中选择变换选择的方法和装置
CN112565747B (zh) * 2019-09-26 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN113709457B (zh) * 2019-09-26 2022-12-23 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN113709457A (zh) * 2019-09-26 2021-11-26 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备
CN112565747A (zh) * 2019-09-26 2021-03-26 杭州海康威视数字技术股份有限公司 一种解码、编码方法、装置及其设备

Also Published As

Publication number Publication date
US20180035123A1 (en) 2018-02-01
WO2016137368A1 (en) 2016-09-01
EP3262837A4 (en) 2018-02-28
EP3262837A1 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN107534780A (zh) 视频中的帧间画面的编码和解码
CN104584549B (zh) 用于视频编码的方法和装置
JP6164600B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
JP6251627B2 (ja) ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置
KR100956478B1 (ko) 동화상 복호 장치 및 동화상 복호 방법
CN105556965B (zh) 用于视频编码和解码的方法、装置和计算机程序产品
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN103891281B (zh) 检测用于视频译码的相邻视频单元的可用性
JP5869493B2 (ja) ビデオ符号化および復号化のためのテンプレート・マッチング予測の適応型残差更新のための方法および装置
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN109076237A (zh) 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置
CN108702501A (zh) 用于视频编码的色度预测的区域化亮度预测模式继承的方法及装置
CN105409215B (zh) 深度预测模式选择方法及装置
CN110393011A (zh) 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置
CN110140356A (zh) 使用广角帧内预测的视频和图像编码
CN108605128A (zh) 合并用于视频译码的用于多类别块的滤波器
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
CN108605124A (zh) 一种视频编解码的方法及装置
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN107409225A (zh) 视频译码中运动信息推导模式确定
CN108605143A (zh) 视频编码中的非局部自适应环内滤波器的方法和装置
CN105917650A (zh) 视频和图像编码/解码中的块向量预测
CN106464919A (zh) 视频译码中用于第0个输出层集合的简档、层次、层级
CN105284117A (zh) 根据运动信息压缩方案通过层间运动信息预测对图像进行编码或解码的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180102

WD01 Invention patent application deemed withdrawn after publication