CN111971959A - 基于分区的帧内编码概念 - Google Patents

基于分区的帧内编码概念 Download PDF

Info

Publication number
CN111971959A
CN111971959A CN201980024064.6A CN201980024064A CN111971959A CN 111971959 A CN111971959 A CN 111971959A CN 201980024064 A CN201980024064 A CN 201980024064A CN 111971959 A CN111971959 A CN 111971959A
Authority
CN
China
Prior art keywords
partition
intra
block
predetermined
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024064.6A
Other languages
English (en)
Inventor
圣地亚哥·德鲁西安埃尔南德斯
海科·施瓦茨
德特勒夫·马尔佩
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN111971959A publication Critical patent/CN111971959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Seasonings (AREA)

Abstract

通过提供帧内预测编码概念,图片的基于块的编码更加有效,根据该帧内预测编码概念,通过将预定块分为沿着某个维度的分区,使用某个帧内编码模式对图片的某个块进行帧内预测编码,其中分区的数量大于两个和/或分区沿着某个维度为一个样本宽,其中出于重构目的,使用针对该某个块以信号传送的帧内预测编码模式,对分区顺序地进行空间预测,随后通过使用预测残差来校正由此获得的预测子,使得在处理接下来、当前的分区时,针对先前分区重构的样本对于解码器是可用的。关于分区的信令开销可被避免或可被保持较低。分区使得能够保持预定块的信令开销整体较低,针对该预定块在数据流中以信号传送帧内预测模式,而仍然为编码器和解码器提供降低预定块的样本与它们已经重构/编码的相邻参考样本之间的平均距离的机会。后者至少部分地位于预定块自身内,即位于预测残差已被确定的先前处理的分区内,以便可用于对用于它们位于的分区的预测子进行校正。

Description

基于分区的帧内编码概念
技术领域
本申请涉及用于在基于块的编解码器(例如,混合视频编解码器)中使用的帧内编码概念。
背景技术
给定某个块,通过遵循某些模式(即33个角度模式以及DC和平面模式)对相邻块的经解码的边界样本进行外插,在HEVC中执行帧内预测[1]。然后将使速率失真成本最小化的一个帧内预测模式以信号传送给解码器。尽管已知的编解码器支持许多帧内预测模式(IPM),但是由此实现的帧内预测仍在开发以寻找导致更高编码效率的更好的帧内预测子。这不仅与HEVC有关,而且与使用帧内预测的其他基于块的编解码器有关。找到适合于有效地对块的内部进行编码的帧内预测模式集需要在信令开销和通过这些帧内预测模式获得的预测子产生的质量方面考虑用于以信号传送帧内预测模式的开销,这是由于以下事实:更准确的预测子减少了预测残差,由此减少了与对预测残差进行编码相关联的信令开销。为了使与帧内预测模式相关联的信令开销保持为较低,帧内预测的块应当较大,即,以信号传送帧内预测模式的粒度应保持较粗,但另一方面,由于帧内预测的块内部的样本(即,要预测的样本)和与该块相邻的已经解码/编码的样本(即,参考样本)之间的平均样本距离较高,因此较大块的空间预测的准确性往往较差。HEVC通过允许变换残差块继承其相应编码单元的帧内预测模式而稍微减轻了该两难的局面(catch-22),变换残差块相对于相应编码单元形成叶块,通过多树细分将编码单元细分为这些叶块。然而,这仍然需要用于从编码器向解码器以信号传送以下内容的信令开销:将各个帧内编码的编码单元细分为变换块。
因此,有利的是具有进一步提高帧内编码的编码效率的概念。
发明内容
因此,本发明的目的是提供一种更有效的用于帧内编码的概念。
该目的是通过本申请的独立权利要求的主题来实现的。
本发明基于以下发现:通过提供帧内预测编码概念,图片的基于块的编码更加有效,根据该帧内预测编码概念,通过将预定块分为沿着某个维度的分区,使用某个帧内编码模式对图片的某个块进行帧内预测编码,其中分区的数量大于两个和/或分区沿着某个维度为一个样本宽,其中出于重构目的,使用针对该某个块以信号传送的帧内预测编码模式,对分区顺序地进行空间预测,随后通过使用预测残差来校正由此获得的预测子,使得在处理接下来、当前的分区时,针对先前分区重构的样本对于解码器是可用的。关于分区的信令开销可被避免或可被保持较低。例如,可以仅在数据流中花费关于分区维度的信令,诸如在沿着垂直轴的分区之间进行区分,由此将预定块分为预定块的具有预定块的宽度的水平切片,并且沿着水平轴分区,由此将预定块分为预定块的具有预定块的高度的垂直切片。通过例如具有在编码器和解码器之间商定的分区数量,由编码器和解码器将预定块分割为该数量的分区,或者通过将预定块分为与预定块在沿着预定维度以样本为单位的数量一样多的分区(使得每个分区沿着分区维度为一个样本宽,即通过分为这些一个样本宽的分区),分区数量可以本质上很清晰。因此,分区使得能够保持预定块的信令开销整体较低,针对该预定块在数据流中以信号传送帧内预测模式,而仍然为编码器和解码器提供降低预定块的样本与它们已经重构/编码的相邻参考样本之间的平均距离的机会。后者至少部分地位于预定块自身内,即位于预测残差已被确定的先前处理的分区内,以便可用于对用于它们位于的分区的预测子进行校正。
附图说明
本发明的有利方面是从属权利要求的主题。以下参照附图描述本申请的优选实施例,其中:
图1示出了作为编码器的示例的用于对图片进行预测编码的装置的框图,其中可以实现根据本申请的实施例的帧内预测概念;
图2示出了作为解码器的示例的适于图1的装置的、用于对图片预测解码的装置的框图,其中可以实现根据本申请的实施例的帧内预测概念;
图3示出了说明预测残差信号、预测信号和经重构的信息之间的关系的示例的示意图,以便示出分别设置用于编码模式选择、变换选择和变换性能的细分的可能性;
图4示出了说明根据一个实施例的帧内编码的块的分区处理的示意图,该实施例允许在不同分区维度,即水平和垂直分割之间进行选择;
图5示出了说明根据分区选项处理的帧内编码的块中分区的顺序处理的示意图;
图6示出了说明用于分区的填充过程的经预测的推导的示意图;
图7示出了分别根据水平分割模式和垂直分割模式分割的经分区的帧内预测的块,并且具有分别与其相关联的两个不同的帧内预测模式的示例,以便示出对与帧内预测的块相关联的帧内预测模式上的分区顺序进行依赖性确定的可能性;
图8示出了说明使用分区选项处理的帧内预测的块80消耗的可能的信号化的示意图;
图9示出了根据实施例的发送分区的预测残差的可能方式的示意图;
图10示出了说明针对帧内预测模式的分区所涉及的编码开销的部分总和确定的示意图,以便能够在测试结果很明显不会比任何正常帧内预测模式的结果更好时中止测试;以及
图11示出了根据实施例的为了执行分区模式测试而进行的编码器的模式或操作的流程图;以及
图12a和图12b示出了用于帧内编码的块的备选分区的示例,图12a是另一实施例,且图12b是说明性的比较实施例。
具体实施方式
附图的以下描述以对以下描述的呈现开始:针对视频的编码图片的基于块的预测编解码器的编码器和解码器,以便形成用于编码框架的示例,用于帧内预测编解码器的实施例可以内建于该示例中。参考图1至图3描述先前的编码器和解码器。在下文中,将一起呈现与本申请的帧内预测改变的实施例的描述以及关于如何将这些分别概念构建到图1的编码器和图2的解码器,尽管随后的图4和以下描述的实施例也可用于形成不根据图1的编码器和图2的解码器下的编码框架操作的编码器和解码器。
图1示出了用于示例性地使用基于编码的残差编码将图片12预测性地编码到数据流14中的装置。使用参考符号10表示装置或编码器。图2示出了相应的解码器20,即,被配置为也使用基于编码的残差解码从数据流14预测性地解码图片12’的装置20,其中撇号已被用于指示由解码器20重构的图片12’在由预测残差信号的量化引入的编码损失方面与由装置10原始编码的图片12发生了偏离。图1和图2示例性地使用基于变换的预测残差编码,尽管本申请的实施例不限于这种预测残差编码。对于参考图1和图2描述的其他细节也是如此,这将在下文中概述。
编码器10被配置为对预测残差信号进行空间到频谱变换,并将由此获得的预测残差信号编码到数据流14中。同样,解码器20被配置为对来自数据流14的预测残差信号进行解码,并对由此获得的预测残差信号进行频谱到空间变换。
编码器10内部可以包括预测残差信号形成器22,该预测残差信号形成器22生成预测残差24,以便测量预测信号26与原始信号(即图片12)的偏差。预测残差信号形成器22可以例如是减法器,其从原始信号(即图片12)中减去预测信号。然后,编码器10还包括变换器28,其对预测残差信号24进行空间到频谱变换以获得频谱域预测残差信号24’,然后由也包括在编码器10中的量化器32对该频谱域预测残差信号24’进行量化。将这样经量化的预测残差信号24”编码到比特流14中。为此,编码器10可以可选地包括熵编码器34,其将经变换和量化的预测残差信号编码到数据流14中。预测残差26由编码器10的预测级36基于编码到数据流14中并可从数据流14解码的预测残差信号24”来生成。为此,如图1所示,预测级36内部可以包括反量化器38,其对预测残差信号24”进行反量化,从而获得频谱域预测残差信号24”’,除量化损失之外,该频谱域预测残差信号24”’与信号24’相对应;随后是逆变换器40,其对后一个预测残差信号24”’进行逆变换,即频谱到空间变换,以获得预测残差信号24””,除量化损失之外,该预测残差信号24””与原始预测残差信号24相对应。然后,预测级36的组合器42例如通过加法来将预测信号26和预测残差信号24””重新组合,以获得经重构的信号46,即原始信号12的重构。经重构的信号46可以与信号12’相对应。然后,预测级36的预测模块44通过使用例如空间预测(即帧内预测)和/或时间预测(即帧间预测),基于信号46来生成预测信号26。
同样,解码器20内部可以由与预测级36相对应的组件组成,并以与预测级36相对应的方式互连。具体地,解码器20的熵解码器50可以对来自数据流的经量化的频域预测残差信号24”进行熵解码,由此以与以上参考预测级36的模块的方式互连和协作的反量化器52、逆变换器54、组合器56和预测模块58基于预测残差信号24”来恢复经重构的信号,使得如图2所示,组合器56的输出产生经重构的信号,即12’。
尽管上面没有具体描述,但是很容易清楚,编码器10可以根据例如以优化一些速率和失真相关标准(即编码成本)的方式的一些优化方案来设置一些编码参数,编码参数例如包括预测模式、运动参数等。例如,编码器10和解码器20以及相应的模块44、58可以分别支持不同的预测模式,诸如帧内编码模式和帧间编码模式。编码器和解码器在这些预测模式类型之间切换的粒度可以分别对应于将图片12和12’细分为编码段或编码块。例如,以这些编码段为单位,可以将图片细分为帧内编码的块和帧间编码的块。帧内编码的块基于相应块的空间、已编码/解码的邻域来预测,如下面所更详细地概述的。可以存在若干种帧内编码模式,并且为各个帧内编码的段选择包括方向性或角度帧内编码模式在内的帧内编码模式,根据所选择的帧内编码模式,通过将沿着特定于相应方向性帧内编码模式的特定方向的邻域的样本值外插到相应的帧内编码的段中来填充相应的段。帧内编码模式还可以例如包括一个或多个其他模式,例如DC编码模式和/或平面帧内编码模式,根据DC编码模式,对各个帧内编码的块的预测将DC值分配给各个帧内编码的段内的所有样本,根据平面帧内编码模式,各个块的预测近似或确定为各个帧内编码的块的样本位置上的二维线性函数描述的样本值的空间分布,该二维线性函数基于相邻样本来定义平面的斜率和偏移。与此相比,可以例如在时间上预测帧间编码的块。对于帧间编码的块,可以在数据流中以信号传送运动矢量,运动矢量指示图片12所属的视频的先前经编码的图片中的部分的空间位移,在该处对先前经编码/解码的图片进行采样,以便获得用于各个帧间编码的块的预测信号。这意味着,除了数据流14所包括的残差信号编码,例如代表经量化的频域预测残差信号24”的经熵编码的变换系数级别之外,数据流14还可以在其中编码:用于向各个块分配编码模式的编码模式参数、用于一些块的预测参数(例如用于帧内编码的段的运动参数)以及可选的其他参数(例如分别控制和以信号传送图片12和12’到段中的细分的参数)。解码器20使用这些参数以与编码器相同的方式细分图片,将相同的预测模式分配给段,并执行相同的预测以产生相同的预测信号。
图3示出了一方面的经重构的信号(即经重构的图片12’)与另一方面的数据流中以信号传送的预测残差信号24””与预测信号26的组合之间的关系。如上所述,组合可以是加法。预测信号26在图3中被示为将图片区域细分为帧内编码的块(使用阴影线示意性地指示)和帧间编码的块(未使用阴影线示意性地指示)。细分可以是任何细分,例如将图片区域规则地细分为多行的块或多列的块,或者将图片12多树细分为不同大小的叶块,例如四叉树等细分为块,其中在图3中示出规则细分和多树细分的混合,其中首先将图片区域细分为多行和多列的树根块,然后根据递归多树细分将树根块进一步细分。再次,数据流14可以具有编码到其中的用于帧内编码的块80的帧内编码模式,其将若干种支持的帧内编码模式之一分配给相应的帧内编码的块80。进一步的细节在下面描述。对于帧间编码的块82,数据流14可以具有一个或多个编码到其中的运动参数。一般而言,帧间编码的块82不限于时间编码。备选地,帧间编码的块82可以是根据当前图片12自身之外的先前经编码的部分预测的任何块,例如图片12所属的视频的先前经编码的图片,或者在编码器和解码器分别是可缩放编码器和可缩放解码器的情况下,为另一视图或层次较低的层的图片。图3中的预测残差信号24””也被示为将图片区域细分为块84。这些块可以被称为变换块,以便将其与编码块80和82区分开。实际上,图3示出了编码器10和解码器20可以使用两种不同的细分将图片12和图片12’分别细分为块,即一种分别细分为编码块80和82,另一种细分为块84。两种细分可以是相同的,即每个编码块80和82可以同时形成变换块84,但是图3例如示出到变换块84的细分形成到编码块80/82的细分的扩展的情况,使得块80和82中的两个块之间的任何边界都覆盖两个块84之间的边界,或者说每个块80/82或者与变换块84之一重合,或者与变换块84的簇重合。然而,细分也可以彼此独立地确定或选择,使得变换块84可以备选地跨块80/82之间的块边界。就细分为变换块84而言,类似的陈述因此是正确的,正如关于细分为块80/82提出的那样,即块84可以是:将图片区域规则细分为按行排列的块/按列排列的块的结果,图片区域的递归多树细分的结果或其组合,或者如何其他种类的分块。顺便提一句,要注意的是,块80、82和84不限于正方形,矩形或任何其他形状。
图3示出了预测信号26和预测残差信号24””的组合直接产生经重构的信号12’。然而,应注意,根据备选实施例,可以将一个以上的预测信号26与预测残差信号24””组合以产生图片12’。
在图3中,变换段84应具有以下含义。变换器28和逆变换器54以这些变换段84为单位执行它们的变换。例如,许多编解码器对所有变换块84使用某种DST或DCT。一些编解码器允许跳过变换,从而对于一些变换段84,直接在空间域中对预测残差信号进行编码。然而,根据以下描述的实施例,编码器10和解码器20以它们支持几种变换的方式来配置。例如,编码器10和解码器20支持的变换可以包括:
ο DCT-II(或DCT-III),其中DCT代表离散余弦变换
ο DST-IV,其中DST代表离散正弦变换
ο DCT-IV
ο DST-VII
ο恒等变换(IT)
自然地,在变换器28将支持这些变换的所有正向变换版本的同时,解码器20或逆变换器54将支持其相应的后向或逆版本:
ο逆DCT-II(或逆DCT-III)
ο逆DST-IV
ο逆DCT-IV
ο逆DST-VII
ο恒等变换(IT)
后续描述提供了关于编码器10和解码器20可以支持哪些变换的更多细节。无论如何,应该注意的是,所支持的变换集可以仅包括一个变换,例如一个频谱到空间或空间到频谱的变换。
如上面已经概述的,已经呈现图1至图3作为示例,其中可以实现下面进一步描述的帧内预测概念,以便形成针对根据本申请的编码器和解码器的特定示例。就此而言,图1的编码器和图2的解码器可以分别表示本文中以下描述的编码器和解码器的可能实现。如将在下面更详细地概述的,当将随后解释的用于根据本申请的帧内预测的实施例内建到图1的编码器和图2的解码器中时,图1的编码器和图2的解码器支持(至少作为一种选择)以下面更详细概述的方式来处理帧内预测的块80。因此,在下文中描述的实施例涉及与图1的编码器10等效的编码器,该编码器以下面更详细概述的方式处理帧内编码的块80,并且同样适用于图2的解码器,其因此代表根据实施例的解码器的示例,其中以下面更详细概述的方式来处理帧内编码的块。然而,图1和图2仅是特定示例。然而,根据本申请的实施例的编码器可以使用以下更详细地概述的概念来执行图片12的基于块的编码,并且该概念与图1的编码器不同,例如没有视频编码器,不支持帧间预测,或者与图1所示的方式不同地执行到块80的细分,或者甚至该编码器不对预测残差使用变换预测残差编码,例如直接在空间域处理预测残差。同样,根据本申请的实施例的解码器可以使用以下进一步概述的帧内预测编码概念来对来自数据流14的图片12’执行基于块的解码,但是可以不同于图2的解码器20,例如没有视频解码器,而是静止图片解码器,不支持帧内预测,或者与参考图3描述的方式不同地将图片12’细分为块和/或不在变换域从数据流14导出预测残差,而是例如在空间域导出预测残差。
话虽如此,以下描述集中于根据本申请的实施例的帧内预测的描述。根据本文呈现的帧内预测,诸如图4中的块80的帧内预测的块被允许分割为一维水平分区或一维垂直分区。可以为任何大小的帧内预测的块80提供以这种方式处理块的可用性,或者将处理块的可用性限制为仅对块大小的预定范围内的块80,例如大于特定大小的块。“一维”是指以下事实:–当与分区相关的是分区的结果时,分区只是沿着分区维度的一个样本宽。然而,本文讨论的分区模式的一维度是指以下事实:分区沿着一定的维度发生,其中得到的分区像条一样,这些条在垂直于分区方向的方向上在块上完全延伸。例如,参见图4。图4在左手侧示出帧内预测的块80,即,要解码的块或要编码的块。它的尺寸为W×H。也就是说,它是W×H尺寸的块,其中H和W分别是块80以样本测量的高度和宽度。根据图4,存在两种可用的分割或分区选项,即水平分割100,根据水平分割100,将块80沿着垂直轴(即分区维度104)分割或分为多个分区1021、1022、1023和1024。根据作为在以下描述中应用的示例的图4的示例,每个分区1021至1024是如双头箭头106所示的一个样本宽度,使得从块80得到的分区1021至1024的数量等于H,即块80中以块80的样本108为单位的高度,但是应当清楚的是,分区可也可以由编码器和解码器以编码器和解码器之间商定的不同的方式执行,例如块80沿着维度104的分区可以以产生预定数量的分区102i的方式进行,预定数量例如大于2,或者是其混合,其中沿着分区维度将块80的大小均匀地分布在预定数量的分区上。
图4中描绘的并由参考符号110指示的另一种编码选项与将块80划分为垂直分区1121、1122、…1128相对应。也就是说,根据选项110,将框80沿着水平轴即水平分区维度104分为分区112i。在选项100的情况下,每个分区102i与块80一样宽,即具有块的宽度W,而分区112i采用块80的高度H,即具有高度H。概括地说,以与选项100的描述类似的方式,垂直分割110可以将块80分割为W个分区112i,其中W表示块80中以样本108测量的水平宽度,使得每个分区112i在水平方向上为一个样本宽,然后,其中根据选项110的分区也可以以编码器和解码器之间商定的另一方式执行。
因此,根据图4,编码器可以自由地根据水平分割选项100将块80分为H个W×1的分区102i,或者根据垂直分割选项110将块80分为W个1×H的分区112i,并且编码器为块80选择的分割选项可以例如通过以数据流14中相应分区维度标志114的方式在针对块80的数据流14中以信号传送。然而,应该清楚的是,本申请的实施例还覆盖了以下编码器和解码器:默认情况下仅需要选项100和110中的一个,而无需数据流中的标志114。更进一步,在其他示例中,可以依赖于在数据流14中针对块80从编码器以信号传送到解码器的帧内编码模式116,在数据流80中传送标志114。如上所述,帧内编码模式可以指示可用/支持的帧内编码模式集中的一个,包括例如角度模式,以及可选地诸如DC模式或平面模式之类的一个或多个非角度模式。也就是说,根据下文中未进一步讨论的备选实施例,可以以有条件地依赖于帧内编码模式116的方式在数据流14中传送标志114。根据下文中描述的实施例,标志114在针对块80的数据流14中存在,而与在数据流14中针对块80以信号传送的帧内编码模式116无关。然而,可能存在相对于以下二者之间的标志切换的依赖性:刚讨论的帧内编码的块80的分区处理,与下文中将讨论的处理块80的帧内编码的不同方式。
根据本申请的实施例,分区102/112中的每一个被单独地预测、变换、量化和编码,并且以这种方式顺序地处理分区。因此,某个分区的经重构的样本将能够用于预测块80已被分区的分区中的分区顺序在后的任何分区102/112,并且以这种方式,帧内预测的过程循环通过块80已被分区的分区102/112。图5示例性地示出了根据选项100分割的帧内预测的块80。对块80的每个分区1021至1024进行预测(即导出各个分区102i的预测子)和预测残差相关的任务(即使用预测残差校正预测子)。后一项任务可以通过组合预测残差和预测子来执行。这在解码器中完成以进行重构。编码器执行与预测残差相关的任务,确定涉及例如变换和量化的预测残差,以及执行使用预测残差对预测子进行校正,即通过用图片的重构填充编码器中的解码图片缓冲器来使预测循环保持与解码器同步。对分区1021至1024单独并在分区1021至1024之间顺序地执行刚刚提到的任务,即预测和残差处理。在针对当前处理的分区执行这两个步骤之后,根据分区顺序对下一个分区102i进行相同的处理。在图5中使用三个箭头126示例性地示出了分区顺序。
图5示出了在继续进行紧邻的下一个邻居分区1022等等之前,将首先处理包括块80的最左上像素的分区,对应于图5中将索引分配给1021至1024,但该顺序仅是示例,并且如以下描述将变得清楚,该分区顺序可以以依赖于诸如帧内编码模式和/或块80的大小之类的其他设置的方式来选择,前者的依赖性将在下文中讨论。
在下面进一步讨论的示例中,分区顺序126仅在以以下方式遍历分区102/112的分区之间变化:使得紧接的分区彼此为紧邻的邻居,使得分割类型100的情况下,分区顺序从上到下或从下到上,并在分区类型110的情况下,从左到右或从右到左。然而,应该指出,其他示例也是可以想象的。例如,可以按以下方式选择分区顺序:使得分区以刚刚概述的相邻顺序以两种扫描进行扫描,其中在第一扫描中,从上到下、从下到上、从左到右或从右到左处理每个第二分区(无论应用哪一种),然后以相同的顺序方向或以相反的方向处理它们之间的其余分区。
在任何情况下,图5示出了第一分区1021首先被处理并且是当前处理的分区。对于第一分区,这里示例为1021,可以仅基于处理块80的第一分区时位于块80的边界之外的样本来选择用于形成分区1021的预测子的相邻样本集合1181,而不使用块80中尚未处理(即经重构或编码)的样本。也就是说,使用数据流中发送的预测残差,通过使用相应预测子的任何预测和校正,已经在编码器中重构集合1181中的样本。它们属于先前经编码/解码的图片块,并且可以是帧间编码的或帧内编码的或任何其他编码的块。至于用于形成第一分区1021的预测子的相邻样本集合1181的样本的数量和精确位置取决于分配给块80的帧内编码模式。该帧内编码模式被联合或同等地用于块80的每个分区的处理,如将在下面讨论的。为了完成第一分区1021的处理,通过取决于集合1181中的一个或多个已经重构/编码的样本填充该分区1021来在解码器和编码器中导出用于该分区1021的预测子,就编码器而言,确定其预测残差,即通过如上所述的变换和量化,然后通过使用数据流14中的预测残差校正预测子将该预测残差用于该分区1021的重构,该预测残差是在数据流中发送的版本,即包括量化损失。例如,图5在1201中示例性地示出了分区1021的预测残差。也就是说,1201包括与分区1021的预测残差的变换相对应的变换系数,以及在下面更详细地讨论的数据1201的描述。
现在转到按分区顺序的下一个分区,即图5的示例中的分区1022。情况已经改变,因为用于导出分区1022的预测子的已经重构/编码的样本现在可以由位于块80之外的样本和/或块80之内的样本组成,即位于任何已经处理的分区(这里是图5的示例中的当前分区1021)中的样本,因为对于这些样本,预测残差已被确定,并且在数据流14中已经可用。也就是说,编码器和解码器导出分区1022的预测子,然后在编码器中确定预测参数,并且分别在编码器和解码器中使用预测残差校正预测子。然后对线条中的下一个分区(即分区顺序中的下一个分区)继续该过程,由此顺序地处理块80的所有分区。
如上面已经提到的,有可能以遍历分区之外的另一种方式来选择分区顺序126,使得紧接着连续的分区是紧邻的分区邻居。也就是说,分区顺序可以从一个分区跳到下一分区。这意味着用于通过填充各个分区102i来导出各个预测子的相邻样本集合118i不限于如图5中所示的各个分区的紧邻的样本邻居。这也与分区顺序126的开始的选择有关。例如,想象分区1024是分区顺序中的第一个分区。然后,可以通过依赖于相邻样本集合1184(图5中未示出)相同地填充来导出其预测子,集合1184收集了沿着块80周围位于块80左侧和顶部的样本。集合1184中的一些样本将不紧邻分区1024。顺便说一下,这将对应于在块80整体的一般帧内预测填充中填充最后一个样本行的情况。对于任何后续处理的分区,即分区顺序中的第二和之后的分区,刚刚提到的可能性也为真。也就是说,它们的相邻样本集合118i还可以包含不紧邻相应分区102i的样本。甚至更进一步,在不限制分区顺序以使连续分区彼此紧邻的方式来遍历分区的情况下,则任何第二或随后处理的分区102i的参考样本集合118i将不仅收集位于相应分区102i左侧和顶部的样本,而且还可以是位于相应分区1021之下的样本,这取决于根据分区顺序,块80的任何分区是否已在分区1021之前进行处理。也就是说,集合180i可以包括位于分区102i的两个以上侧面的样本。
简要地总结,图5示出了这里相对于水平分区示例性地对块80的分区102/112进行的顺序处理,但是相对于垂直分区112i,相同的描述也适用于垂直模式110。对于每个分区102i,相应的预测残差102i被包含在数据流14中。数据1201至1204一起形成块80的预测残差,即120。应当记得,根据本申请的备选实施例,可以不使用变换残差编码,即,可以在数据流14中以信号传送块80的预测残差120,例如直接在空间域中以信号传送。在这种情况下,各个分区1021至1024的数据1201至1204可以不包含如图5中所示的数据流14中的分区单独字段,其中每个数据分区120i表示用于相应分区102i的特定变换的信令。相反,在该情况下,块80的预测残差120可以形成数据14的一个字段。在该备选实施例中,解码器将在处理某个分区102i时,从字段120收集关于该分区102i的预测残差的信息。当使用变换的完全可逆版本时,也可以应用该过程,使得可以在空间域中进行量化。
因此,图5示出了在编码器和解码器中,对每个分区102i执行两个任务,即:1)预测导出任务122,产生各个分区1021的预测或预测子,即针对各个分区102i的每个样本的经预测的样本值;和2)之后执行的预测残差相关的任务,即编码器处的预测残差导出,包括为了使预测残差编码到数据流中而对其进行量化,以及通过组合或校正预测残差和预测子来重构各个分区102i的样本,以便获得该分区102i的经重构的样本。对于预测导出任务,后面的重建样本可以用作分区顺序126中随后处理的分区102j的相邻样本集合118j的储备。
在继续对本申请的实施例的细节进行进一步描述之前,图6示出了通过填充当前处理的分区102i预测导出122的过程,其中应当记得,仅示意性地选择水平分区120作为说明,并且相同的描述也涉及垂直分区112。图6示出了当前处理的分区102i及其相应的已经重构/编码的相邻样本集合118i。如以上关于图5已经指出的,集合118i可以不限于直接与分区102i相邻或邻近的样本128。然而,由于分区,与根据例如H.264或HEVC的已知的执行块80的帧内预测相比,当在块80的所有样本之上进行平均时,分区102i的样本和集合118i的样本128之间的平均距离130更低。如参考图5所描述的,使用与块80相关联的帧内预测模式对每个分区102i执行预测子导出或填充122,其中该模式指示可用的帧内预测模式集合中的一个。该集合可以包括在角度或方向132上彼此不同的角度或方向模式,沿着该角度或方向132将相邻样本集合118i的样本内容复制到分区102i的样本134中。为了执行该复制,可以基于集合118i中位于面向与方向132相反的方向上的样本134中的多个相邻样本134来导出分区102i的每个样本134的预测。数量例如由用于在样本集合118i的样本128之间导出像素间位置的内插滤波器的内核来定义。例如,图6示出了使用集合118i中的三个样本128来计算当前处理的分区102i中的一个样本134的预测。由于相对小的平均距离130,分区102i的每个样本134的参考样本134的数量可以保持较低。下文将给出更多细节。然而,出于完整性的考虑,应当注意,可用的帧内预测模式的集合还可以包括DC模式,根据该DC模式,将一个DC值分配给分区102i的所有样本134,其中通过对相邻样本集合118i执行平均来导出该DC值。此外,可以存在平面模式,根据该平面模式,样本134的预测值由分区102i内的样本位置的线性函数来定义,其中基于相邻样本118i来导出该线性函数的斜率和偏移。另外,应当注意,相邻集合118i可以根据为块80选择的帧内预测模式而不同,并且例如可以在角度模式和非角度模式DC/平面之间尤其不同。
例如,在最新的JEM解码器中,存在67个帧内预测模式可用:其中65个是角度模式,其中两个(DC和平面模式)是非方向纹理。1D分区(简称为1D分区模式)模式,即针对上面和下文概述的分区102/112执行的预测子导出122,根据该预测子导出,将块80分为/分割为沿着维度104的分区,其中得到的分区垂直于维度104在块的完整宽度上延伸,每个分区是沿着方向104的一个样本宽或一个以上的样本宽,可以是它们中的任何组合,或者换言之,可以使用它们中的任何来实现。如已经参考图5所描述的,一个块80的所有分区102/112,诸如编码单元CU,使用相同的与块80相关联的帧内预测模式,由此避免了信号化中的过多开销,因为仅需要在数据流14中为块80发送一次帧内预测模式116。
也就是说,可以以与在JEM解码器中概述的二维情况相同的方式来执行预测122。然而,对于当前处理的分区102/112,仅计算一条线(水平或垂直的),使得与JEM相比,预测过程122将被相应地调整。在选择用于以使得连续分区彼此紧邻的方式遍历分区的分区顺序的情况下,预测过程122可以与JEM的二维情况相对应,但是仅对第一条线如此,即最接近已经重构/编码的邻域的一条线。在一些情况下,HEVC和JEM均允许使用应用于参考样本128或产生的预测子的某些滤波器。这在二维情况下是有用的,以更好地预测预测块80内远离参考样本128的样本,来减少边界不连续性。然而,通过使用分为分区102/112的划分,有可能并且应当是目标来利用附近像素之间的高相关性。
也就是说,应当利用减小的平均距离130。过度的平滑将降低这种质量。因此,编码器或解码器应当能够执行两种类型的帧内预测,即使用参考图4至图6及随后的内容概述的分区的帧内预测,然后或者禁用帧内滤波器(即预测子导出122中涉及的滤波器),或者在针对块80的帧内预测在块上执行或根据HEVC执行的二维情况下(即将块80的分层四叉树细分的叶块分解为矩形块),相对于对一个样本做出贡献的样本数,至少减少了每个分区样本134的贡献样本134的数量。
从上面提出的讨论中可以清楚地看出,为了执行预测残差相关的任务,解码器例如对来自数据流14的当前处理的分区的各个预测残差的变换进行解码,并且对该变换执行诸如频谱到空间变换的逆变换,以便产生预测残差,然后通过组合/加法使用该预测残差校正在122获得的预测子。在编码器中进行了相同的操作,以使预测循环与解码器保持同步。此外,对于当前处理的分区,编码器对使用122确定的预测子的预测误差执行变换,对其进行诸如空间到频谱变换的相同变换,接着对变换系数进行量化,然后将变换编码到数据流14中,以产生当前处理的分区102i的相应数据120i。关于变换,可以使用该相同的变换来处理块80内的所有分区102/112。除了平面模式的情况(例如可以使用DST-VII的情况)之外,它可以是DCT-II。因此,如果块80以到目前为止参考图4至图7及下面进一步概述的分区方式使用帧内预测模式,则可以禁用编码器和解码器可能用于其他块的与变换和逆变换有关的所有工具,例如变换跳过(即空间域中的编码,EMT(EMT=显式多核变换)、NSST(NSST=依赖于模式的不可分离的次级变换)等),以避免不必要的开销比特。甚至备选地,变换可以是基于帧内预测模式、专用语法元素和预定分区顺序中的一个或多个来选择其类型的线性变换。
关于分区顺序126已经花费了一些词句,使用该分区顺序126顺序地处理当前处理的块80的分区102/112。应当强调的是,该实施例仅是示例,并且根据备选实施例,分区顺序可以是静态的,或者根据下面阐述示例的其他实施例,分区顺序可以以不同的方式变化。图7通过刻记编号指示使用图5中的箭头126所示的可能的分区/处理顺序。这里,该顺序按照递增顺序遵循刻记编号。图5表示一个示例,其中顺序126以包含块80的左上像素/样本140的分区开始,并向下引导至最低分区。类似地,如果分割类型是垂直的,则处理顺序将再次从包含左上像素/样本的最左侧的分区开始,并向右引导。然而,对于所有现有的帧内预测模式来说,这不是最佳情况。这在图7中示例性地示出,其中示出了针对对角线模式的块80的垂直分区和水平分区,对角线模式包括模式2(即从左下到右上侧指向45°的复制角度/方向132)和模式34(即从左上到右下指向-45°的复制角度/方向132)。在前一种情况下,如果分割是水平的,则从块80的左上角开始将产生其经重构的样本将不会对后续分区的预测具有任何影响的分区。因此,从块的左下角开始更为合理,使得每个分区的经重构的样本可用于预测分区顺序中的下一分区。但是,在垂直分割中,这不是必需的,如可以在前述附图中观察到的那样。另一方面,模式34不存在这些问题中的任何一个,因为样本在水平和垂直分割中都是从两侧进入的。因此,可以在两种分割中采用正常的处理顺序。
表1示出了根据帧内预测模式和分割类型的处理顺序的完整列表。
Figure BDA0002710861900000171
表I:根据帧内模式和分割类型的处理顺序。HOR_DIR和VER_DIR分别是水平和垂直模式,且VDIA_DIR是垂直对角线模式
参考图8总结到此为止关于信号化开销的描述的实施例。图8示出了根据本申请的实施例的针对块80发送的内容。具体地,存在帧内预测模式信号化116,用于以信号传送将哪个帧内预测模式应用于块80。因此,信号化116指示例如角度模式之一,或者包括角度模式和非角度模式(例如DC和平面)在内的可用模式之一。除了该信号化116之外,存在由编码器编码到数据流14中并且由解码器从数据流针对块80解码的分区标志160,其指示是否将根据图4至图7的分区处理应用于块80,或者是否“正常地”处理块80,例如成块地或以一片或二维地处理,即仅块80之外的样本用于形成用于预测块80内的每个样本的参考样本储备118。备选地,标志160一方面可以在参考图4至图7讨论的分区处理之间切换,并且使用四叉树细分将块80分解为变换块,然后顺序地处理这些变换块,然而缺点是必须在数据流14中以信号传送该分解。如果分区标志160指示根据图4的分区,则数据流14针对块80包含分区维度标志114,该分区维度标志114在参考图4讨论的分区类型100和110之间切换。然后,如果分区标志160指示该分区选项,则对于块80中将块80细分/分为的每个分区,数据流14包括信令/数据1201,信令/数据1201具有(例如如上所述,在变换域中)编码到其中的各个分区的预测残差。
关于图8,应当注意,可以按照与分区/编码顺序126相对应的顺序将预测残差数据1201、1202…编码到数据流14中。如上所述,后者可以由信号化116指示的帧内预测模式唯一地确定。然而,备选实施例将是,分区顺序126至少部分地基于数据流14中的可选附加信号化来确定。
本文提出的描述的另一备选方案是以下事实:可以备选地使用信号化116,以便指示是否使用了分区选项。换言之,一个语法元素通常可以承担116和160的信号化责任。这种语法元素将采取值范围中的一个,其中每个值与帧内预测模式和是否使用块分区的指示的组合相对应。在这种情况下,也可能只针对帧内预测模式的子集提供分区选项。最后,应当注意,也可以仅在信号化116所指示的帧内预测模式采取可用的帧内预测模式中的某个子集的情况下,在数据流14中有条件地传送分区标志160。
图9示例性地示出了具有某个分区102/112i的预测残差的数据120i可以看起来如何。根据图9的实施例,在变换域中将预测残差编码到数据流14中。也就是说,编码器通过变换180生成预测残差的变换182,而解码器通过逆变换184在空间域中导出预测残差。图9示出了例如变换182与不同频谱频率f相对应的变换系数186。数据120i可以包括编码块标志CBF,数据120i可以包括编码块标志CBF 188,编码块标志CBF 188指示变换182是否包括任何显著变换系数186,即变换182是否完全为零。如果设置了CBF 188,则变换182不为零,并且数据120i可以包括最后位置(LP)语法元素190,最后位置(LP)语法元素190指示192沿着显著变换系数的增加的频谱频率(参见轴194)的最后位置,即从最低或DC系数196开始的非零变换系数186。然后,数据120i包括从196到192以信号传送变换系数的信令198。
也就是说,图9示出了每个分区102i/112i可以通过CBF 188、LP 190和变换系数数据198将其预测残差编码到数据流14中。也就是说,对于具有n个分区102/112的块80,将存在n个CBF 188,并且对于具有非零CBF 188的每个分区存在一个LP 190,并且仅对那些具有与之相关联的非零CBF 188的分区存在变换系数数据198。可以按照与对正常处理的帧内预测的块(即块80的分区标志160指示非分区选项)相同的方式对系数数据198进行编码,但以下情况除外:如果分区为一个样本宽,则每个LP 190仅需要一个坐标(否则每个LP 190和往常一样需要2个坐标),即对于水平分割100为x,对于垂直分割110为y。但是,在二维分区的情况下,LP 190或者使用秩指示或者使用x和y坐标来指示沿着扫描方向或路径的最后位置。可以将每个CBF188的上下文选择为先前编码的CBF的值,即分区顺序126中的先前分区的CBF。此外,由于分区,变换系数数据198与不同的形状有关。也就是说,变换182也具有不同的形状。如参考图4所讨论的,在分区是一维分区的情况下,变换182是一维变换。也就是说,取决于分割类型100或110,变换182可以是变换系数186的W/H长的向量。
关于图8的标志160和114及其编码,注意以下内容。指示块80是否被分区分区102/112的标志160定义了要检查是否针对块80在数据流14中传送标志114的条件。具体地,如果标志160指示分为分区102/112,则标志114存在于数据流14中并被发送到解码器,以便以信号传送要执行哪种类型的分割100/110,即水平或垂直中的任一个。与标志CBF一样,也可以使用上下文相关的熵编码/解码对标志114进行编码。根据块80的帧内预测模式,标志114的上下文可以具有三种可能:0表示非角度模式,1表示水平模式,2表示垂直模式。
尽管图9示出了CBF 188可能在当前块80的每个分区i中存在一次,但是附加地或备选地,当前块的分区120i的变换182可以各自被分为一个或多个子块,其中在数据120i内为每个子块以信号传送编码子块标志,该编码子块标志指示该子块内的变换系数186是否为全零或其至少一个系数为非零。因此,将仅对编码子块标志以信号传送存在非零系数的子块内的系数186进行编码,在解码侧将编码子块标志以信号传送不存在任何非零系数的子块内的其他系数推断为零。注意,由于每个分区120i被单独变换,因此属于一个分区的子块在该分区的变换182的频谱分量上不同,并且在它们构成该变换之外的变换系数186上也不同。例如,只要各个分区102i/112i的尺寸x(分区宽度)和y(分区高度),都等于或大于4个样本140,并因此只要各个分区102i/112i的变换180的尺寸x和y都等于或大于4个系数186,则可以将子块设置为4×4的系数块。在4×N分区的情况下,这些子块形成m个4×4子块的列,其中m×4=N且m为整数。在N×4分区的情况下,子块形成m个4×4子块的行,其中m×4=N且m为整数。对于更宽的分区,可以形成以行和列排列的4×4子块阵列。然而,取决于实施例,可能不会发生这种分区,即,比4个样本宽的分区和/或4个样本宽的分区。不论是否发生,对于更窄的分区(即其尺寸之一小于4个样本,即在至少一个维度x和y上小于4个样本宽),可以将其变换180子块分为子块,每个子块可以收集该变换的不同系数组,使得对于当前块的大小,子块在所有可能的情况下具有系数最小数量M。也就是说,可以沿着一个维度将分区设置为与块宽度N一样大,而沿着另一个维度104进行分区。因此,每个分区的变换180的大小可以为1×N、2×N、N×1或N×2。实际上,某个分区的变换180可以具有与该分区中的样本数量相等的多个系数。在1×N分区/变换的情况下,子块然后可以形成m个1×M子块的列,其中m×M=N且m为整数。在N×1分区的情况下,子块形成m个M×1子块的行,其中m×M=N且m为整数。在2×N分区/变换的情况下,子块然后可形成m个2×(M/2)子块的列,其中m×(M/2)=N且m为整数。在N×2分区的情况下,子块可以形成m个(M/2)×2子块的行,其中m×(M/2)=N且m为整数。针对M=16的系数最小数量的示例性情况,在表1中示例性地示例。
表1:熵编码系数组大小
Figure BDA0002710861900000211
尽管图9示出了当前块80的每个分区i可以出现一次CBF 188,,但是解码器和编码器可以商定,当前块80的分区中的n个分区中的至少一个分区具有非零CBF 188。因此,如果n是子分区的数量,并且编码顺序中的前n-1个子分区已经产生了零CBF,则第n个分区的CBF将被推断为1。因此,不必对其进行解码并且不需要对其进行编码。因此,由于数据1201至120n-1中的CBF被以信号传送为零,数据120n的CBF将丢失,并且解码器将推断该CBF以信号传送在该分区的变换中存在至少一个非零系数。
就帧内编码模式信号化116而言,以下内容可以成立。编码模式信号化116可能作为指向最可能模式(MPM)列表中的一个的指针或索引被发送。后一MPM列表继而可以由编码器和解码器基于用于先前编码/解码的帧内预测的块的帧内预测模式(例如空间和/或时间相邻帧内预测模式)以相同的方式确定。因此,MPM列表可以代表可用/支持的帧内预测模式的适当子集,即上述角度模式和/或DC和平面模式中的一个或多个。如上所述,可能存在使用LIP或ISP方案的帧内预测的块,例如除了经典地进行帧内预测的块之外的图中的块80,即,以块为单位或以变换块为单位,这些帧内预测的块使用递归四叉树分区来分区。两种类型的帧内预测的块可能支持相同的可用/支持的帧内预测模式集。对于随后的正常/经典帧内预测的块,可以在数据流中以信号传送MPM标志–其中解码器对一MPM标志进行解码并且编码器对相同的MPM标志进行编码-MPM标志指示该块的模式是否从MPM列表中选择,在这种情况下,发送指向MPM列表的指针/索引–其中解码器对指向MPM列表的指针/索引进行解码并且编码器对相同的指向MPM列表的指针/索引进行编码–在诸如块80的帧内预测的块使用LIP或ISP方案的情况下,将推断MPM标志以信号传送MPM列表限制。如果对于某个正常/经典帧内预测的块,MPM标志以信号传送未使用任何MPM模式,则数据流中不存在该块的索引/指针,替代地,在数据流中为该块传送指向帧内预测模式剩余列表的替代指针/索引。剩余列表也可以是可用/支持的帧内预测模式集的适当子集,并且具体地,可以是MPM列表与可用/支持的帧内预测模式集相比的补充集,即可用/支持的帧内预测模式集中的每个成员将是MPM列表或是剩余集中任一者的成员。指向MPM列表的指针/索引可能是经VLC编码的,而指向剩余集的指针/索引可能是使用固定长度码编码的。自然地,即使对于LIP或ISP方案的帧内预测的块,也可能发送MPM标志,并且编码器将通过取决于所选择的模式是在MPM列表还是在剩余列表中来设置MPM标志,而自由地从可用/支持的帧内预测模式集中选择任何模式。
对于正常/经典帧内预测的块以及对于ISP/LIP帧内预测的块,MPM列表对于编码器和解码器可以是相同的,即由编码器和解码器以相同的方式确定。然而,无论是否应用对用于ISP/LIP帧内预测的块的MPM列表和推断用于以信号传送MPM列表的MPM标志的限制,备选地,可以针对ISP/LIP帧内预测的块不同地确定MPM列表,以便适应ISP/LIP模式的统计信息。例如,可以改变MPM列表以从MPM列表中排除DC帧内模式,并为ISP水平分割优先选择水平帧内模式(即水平方向104),并为ISP垂直分割优先选择垂直帧内模式(即垂直方向104)。也就是说,对于正常/经典帧内预测的块,MPM列表可以形成可用/支持的帧内预测模式集的适当子集,根据特定概念来选择和排序模式。对于ISP/LIP帧内预测的块80,MPM索引可以指向取决于由标志114以信号传送的分区方向104的MPM列表和/或形成可用/支持的帧内预测模式集减去DC模式或减去DC和平面模式的适当子集,即可用/支持的帧内预测模式集中的角度模式的适当子集。基于先前编码/解码的先前使用的帧内预测模式的MPM列表构造可以在标志114指示分区方向104为水平的情况下偏好角度帧内预测方向中更接近水平维度的角度模式,并且在标志114指示分区方向为垂直的情况下偏好角度帧内预测方向中更接近垂直维度的角度模式。
关于刚刚提出的描述,再次注意,如本文概述的,不需要正常处理的帧内预测模式和使用分区处理的帧内预测模式之间的并置。也就是说,编码器和解码器可以不可避免地使用本文提出的分区来处理帧内预测的块80,因此分区标志160例如变得过时。然而,如果由标志160以信号传送的分区选项可用作编码器的一个决策,则以下描述揭示了编码器如何执行决策的可能性,或者找出分区模式是否应当用于某个块80以及哪个分割类型(即水平或垂直)是最佳的。为了执行该操作,编码器应针对每个块为不同的帧内预测模式测试两个选项。与编码器仅具有一个选项(例如正常选项)的情况相比,由于必须测试更多的选项,因此编码器将较慢。为了减少这种影响,编码器可以根据以下策略来测试由标志160以信号传送的分区模式,其中参考图10和图11。
1)1D分区模式是要测试的最后一个帧内模式。
2)令Cmin为将要测试1D分区模式时的最小成本。
3)选择帧内模式和分割类型的组合进行测试。
4)块被分割为N个1D分区,令i表示这些分区中的每个分区的索引,其中i=[1,N]。
5)在对每个分区进行编码之后,计算其子成本Ji。因此,我们可以知道已经对分区i进行编码之后可用的所有子成本之和,即
Figure BDA0002710861900000231
该过程在图10中进行了描述,因此示出了1D分区子成本的累加以获得整个块的最终成本。
6)处理完每个分区后,将对表达式Si<Cmin进行评估。如果为真,则我们将继续对分区进行编码,直到最后。否则,可以确保该测试模式不会产生比Cmin更低的RD成本,因此该过程被中断,我们继续进行到帧内模式和分割类型的下一个组合。
7)如果所有1D分区已被编码,则测试模式为最佳模式,并相应地更新Cmin
该过程的优点在于,它避免了不必要的1D分区处理,因为它已经知道1D分区模式不会产生比已经存在的最小成本更好的成本。此外,在RD损失方面没有任何缺点。整个过程如图11的流程图所示。
再次注意,以上所有实施例示出了分区为在横向于维度104的方向上的一个样本宽的条,但是分区可以备选地以导致更宽的分区的方式进行,由此导致二维分区,除非描述的实施例中的某些细节采取了一维度。下面列出了有关分区的其他备选方案。
换言之,在以上描述中,已经描述了被简要地描述为包括基于线的帧内预测(LIP)编码模式工具的实施例,根据该LIP编码模式工具,帧内预测的W×H的块80被分为1-D分区102/112或线。然后,对得到的每条线102/112进行预测并生成残差信号,对该残差信号进行变换、量化和熵编码,最后描述了将系数发送给解码器。这种线的经重构的样本可以用于预测下一条线,等等。重复该过程,直到对原始块内的所有1-D分区进行了编码。
然而,对于该LIP概念,修改是可行的。上面在讨论图4时已经指出,本申请的实施例不限于使分区102/112沿着分区/分割方向104一个样本宽。在接下来描述的实施例中,基于1)帧内预测模式是角度模式还是非角度模式,以及2)帧内预测的块沿着该方向104的宽度来定义沿着分割方向104的宽度。
1)W×H(其中假设W和H为2的幂)的块80可被水平或垂直地(例如,利用发送到解码器的语法元素114指示)分为K个尺寸为w×h的相等的分区102/112,其值在表II中进行了描述。根据表II,例如,使用非角度帧内模式预测并经垂直分割(即方向104为垂直)的W=16,H=8的块,将被分割为4个分区102,所有分区的尺寸为w=16和h=2。该示例在图12a中被描绘。如果使用角度模式预测相同的块80,则它将被分割为8个分区102,每个分区的尺寸为w=16和h=1。
Figure BDA0002710861900000241
Figure BDA0002710861900000251
表II:用于额外的布局示例1的w、h和K值
2)W×H的块80(假设W和H为2的幂)可被备选地水平或垂直(例如,利用发送到解码器的语法元素114指示)划分为K个尺寸为w×h的相等的分区,其中K的值不固定(因此,利用语法元素将其发送到解码器)且其范围可以是2和S之间的2的任意次幂,其中S是被分割的维度的值(对于垂直分割为宽度,对于水平分割为高度)。如表III所述获得w和h的值。
变量 垂直分割 水平分割
w W/K W
h H H/K
表III:用于额外的布局示例2的w和h值
代替地,可以对块80直接以信号传送分区沿着维度104的宽度。
3)W×H的块80(假设W和H为2的幂)可被备选地水平或垂直(例如,利用发送到解码器的语法元素114指示)划分为K个尺寸为wi×hi(其中K取决于W和H)的分区,其中i=1,2,…,K。如果分割为水平的,则令S=H,si=hi,如果分割为垂直的,则令S=W,si=wi。表IV中针对S的不同值(其测量块80沿着维度104的宽度)描述了si的值的各种选项,其中si测量分区i沿着维度104的宽度。
Figure BDA0002710861900000252
Figure BDA0002710861900000261
表IV:用于不同分区布局的si
解码器使用的选项是固定的,或者可以根据解码器侧现有参数的值隐式地确定。
4)W×H的块80(假设W和H为2的幂)可被备选地水平或垂直(例如,利用发送到解码器的语法元素114指示)划分为K个尺寸为wi×hi(其中K取决于W和H)的分区,其中i=1,2,…,K。如果分割为水平的,则令S=H,si=hi,如果分割为垂直的,则令S=W,si=wi。si的值将通过指示示例3)中呈现的三个选项中的哪个选项将用于将块划分为子分区的语法元素来确定。
因此,如在上面的示例1至4中示例的,可以沿着一个维度104进行分区,使得分区与预定块中垂直于预定维度的方向一样宽,而沿着预定维度104测量的分区的宽度从至少两种不同的宽度设置或选项中选择。显式或隐式信令概念可以用于使选择在编码器和解码器之间保持同步。因此,该选择使得尽管可以在相同大小和形状的块之间改变分区,但是与这种改变相关联的开销保持在合理的低水平。例如,可以取决于用于预定块的帧内编码模式,诸如取决于用于预定块的帧内编码模式是否是角度模式,来进行选择。如在示例4中所示,还可以根据数据流中的索引为至少两个不同的宽度设置上的预定块索引进行选择。分区可以是沿着分区维度的一个或多个样本宽。在一个块内,沿着分区/预定方向的分区宽度可以变化。一个可以是一个样本宽,即一维条带,而另一个可以是一个以上的样本宽,是二维样本域。
此外,在上述某些LIP概念实施例的情况下,提出了两种类型的处理顺序(在以上描述中被称为分区顺序126)可用于每个块80,其中取决于用于块80的帧内模式最终选择应用一种处理顺序。然而,如上所述,存在决定分区顺序126的备选方法。处理顺序126指示将以哪个顺序处理子分区102/112。可能的处理顺序126包括从左上子分区开始,然后以预定顺序继续,例如在水平分割的情况下向下,在垂直分割的情况下向右,或者在将使用另一分区进行分区的情况下例如采用光栅扫描方式。一般地,处理顺序126可以由解码侧器将要对各个子分区进行解码/处理时可用的现有参数来确定。也就是说,对于解码器来说,处理顺序126可以是在运行中确定的,即与预测各个子分区102/112交替地确定的顺序。这些现有参数可以包括帧内模式、子分区索引、原始块的尺寸、子分区的尺寸、当前分区的CBF标志等。也可以直接以信号传送顺序126给解码器。
甚至对于使用相同的分区分为分区102/112的经过分区帧内预测的块80,改变分区顺序的动机也可以源于上面已经参考图5讨论的思想:改变处理分区102/112的顺序126使得能够在各个分区102/112之间分配预测精度。例如,如上所述,当根据分区顺序126选择首先处理远离相邻样本集合118的分区102/112时,这将意味着与根据分区顺序126最后处理该分区相比,其帧内预测将更差,因为在后一种情况下,用于填充该分区的参考的位置将更近,即在该分区面向参考样本集118的一侧与之相邻的分区处。例如,在图5的情况下,很明显,与根据分区顺序126最后对分区1024进行处理(在这种情况下,分区1024将基于覆盖相对于分区1024的紧邻的样本并且例如包括分区1023的样本的相邻样本集合产生预测)相比,在根据分区顺序126首先对分区1024进行处理的情况下获得的帧内预测结果将产生较大的预测残差(使得预测将基于块80外部的相邻样本来获得)。然而,对于其余分区,情况恰恰相反。在首先处理分区1024的情况下,可以将其使用针对分区1024的预测残差的重构包括在根据分区顺序126的任何随后处理的分区的相邻样本集合118i中,由此,例如,能够使用来自这些分区两侧的用于块80的帧内预测模式对图5的每个分区1021至1023的内部进行预测。在处理分区1024的情况下,对于分区102i中的每一个,i=1…4,相邻样本集合118i仅位于相应分区的一侧。也就是说,对于分区1021至1023,情况将相反。对于这些分区,与最后处理分区1024相比,首先处理分区1024的预测残差将更低。甚至更进一步,应当考虑上面已经指出的内容,即不仅可以在并排连续遍历分区的两个选项之间切换顺序,而且还可以允许进一步的分区顺序126,例如根据预定顺序首先处理每个第二分区,然后以相同的顺序或以相反的预定顺序处理其余分区。可以通过在编码器侧测试各个顺序选项来确定最佳选项,其中在数据流中发送关于块80的顺序126的相应附加信号化,或者可以根据在数据流中发送的针对块80或针对相邻块的语法元素的方式,以相同的方式在编码器侧和解码器侧选项顺序126,使得即使对于相同大小和形状且以相同方式分为分区102/112的块80,顺序126也不是同样的,且可以在这些块80之间变化。
因此,可以从至少两个不同的顺序中选择对块80的分区进行处理的分区顺序。显式或隐式信令概念可以用于使选择在编码器和解码器之间保持同步。因此,该选择使得能够在将分区顺序应用于预定块的同时,可以将另一顺序应用于相同大小和形状且以相同方式分为分区的另一块,该另一块也使用分区帧内预测概念进行编码。选择用于编码器的分区处理顺序的自由度,或使分区处理顺序取决于大小、形状和分区以外的其他参数的自由度,在提高分区帧内预测模式的有效性方面是有效的。当为了导出某个分区102i的预测子而以取决于从至少两个不同的顺序中为预定块选择预定分区顺序126的方式来募集参考样本118i时,效果可能更大。具体地,如图所示,在一个可用或可选择的分区顺序的情况下,所募集的参考样本118i可以位于当前分区的两个相对侧,而在另一可选择的分区顺序的情况下,所募集的参考样本118i可以仅位于分区120i的两个相对侧中的一侧上。在沿着维度104分区的情况下,“侧面”可以是分区垂直于该方向的侧面,例如在垂直方向104的情况下,为上侧和下侧,而在水平方向的情况下,为左侧和右侧,但是如在下文简要地谈论的另一分区的情况下,“侧面”可被简单地定义为:面向参考样本集合118i中位于块80外部的那些样本的分区的一侧,以及面向参考样本集合118i中位于块80内部的那些样本的分区的一侧,即位于先前处理的分区之一内。例如,虽然至少两个不同的可选顺序之一可以从距预定块的左上角最远的分区开始遍历分区,但是至少两个不同的可选顺序中的另一个可以从最接近预定块的左上角的分区开始遍历分区。
应解决的另一个问题是残差编码。如上所述,可以使用变换编码来完成相同的操作。每个子分区102/112可以在数据流中具有其自己的编码块标志(CBF)188、最后位置(LP)语法元素190和变换系数198,并将这些发送到解码器。因此,对于诸如具有K个子分区102/112的CU的块80,将存在K个CBF 188,并且对于具有非零CBF的每个分区102/112,将存在一个LP 190。用于对每个CBF 188进行编码的上下文可以取决于相同块内例如沿着顺序126的先前编码的子分区的CBF的值。附加地,可以在数据流中向解码器发送另一尚未提及的语法元素,来指示是否对每个块使用所描述的概念,或者指示是对与整个数据流相对应的范围还是对某个图片或者对某个图片的切片使用所描述的概念,例如本文描述的分区帧内预测概念是否对该范围内的每个帧内预测的块80使用,或者其中的一些是否被以信号传送为作为一片来处理,即如被分为仅一个分区那样处理。
同样,如上所述,可以使用一个变换对每个子分区分别进行变换,由此针对未被量化为全零的每个分区102/112产生一个变换。作为用于特定分区102/112的变换,可以使用2-D变换,除了在该分区102/112的维度之一为一的情况之外,在这种情况下将应用1-D变换。变换核可以是DCT-II或者由解码器侧在要对子分区进行解码时的现有参数确定的任何其他变换。例如,可以根据帧内模式、子分区索引和子分区尺寸的组合或后面的参数的一些子集来选择变换。也可以直接将其以信号传送给解码器,或者换言之,以额外的语法元素的形式发送,例如针对块80内的所有分区或者针对一个块80的每个分区102/112分别以信号传送。
与上面已经讨论的方面有关的一个方面是以下事实:可以在空间域或一些中间变换域中对块80的分区102/112的残差进行量化之后,对其进行无损或可逆的进一步变换,经量化的残差是通过每个分区的预测残差单独地进行变换,然后对变换系数进行量化得到的。因此,解码器将能够获得整个块80的变换的变换系数级别,对其进行逆无损变换来以在空间域或中间变换域中获得每个分区102/112的预测残差,通过对每个分区102/112进行重新变换获得空间域中的预测残差。
应当注意,根据上述实施例的变型,可以与沿着维度104的分区的形式不同地进行分区。可以给使用这种变型的帧内预测编码命名,例如灵活帧内预测子分区(FIPS)。代替分为条102/112,块80的划分/分区可以导致块80的任何矩形子划分。灵活的帧内预测子分区(FIPS)将W×H的帧内预测的块80分为K个大小为wi×hi的矩形不重叠子分区,其中i=1,2,…,K。子分区的最终布局非常紧凑,这意味着子分区的面积之和等于原始块的面积,即
Figure BDA0002710861900000301
图12b示出了块80的这种广义划分的示例,其中参考符号102已经被重新用于分区。在这种情况下,16×8的块80被分为K=7个子分区102,其尺寸在表V中定义。
Figure BDA0002710861900000302
表V:图12b中描绘的子分区的尺寸
至此,上述实施例产生了刚刚提到的分区的示例分区。例如,图4示出了块80的这种FIPS划分的两个示例。然而,在这种情况下,所有子分区102/112具有相同的大小。具体地,垂直于维度104,它们具有块的宽度,而沿着维度104,它们具有相等的宽度,与块宽度沿着维度104的某一部分相对应。与上述分区102/112中的任何分区一样,对FIPS中生成的子分区102进行预测,并例如对产生的残差信号单独进行变换、量化和编码。因此,其经重构的值可以用于预测尚未被编码/解码的其他子分区102。例如,在图12b中描绘的块80的情况下,可以首先对1号子分区进行预测,然后其经重构的样本可以用于预测2号和3号子分区。重复该过程,直到所有子分区都已被编码/解码为止。
总结FIPS概括,可以经由数据流定义和以信号传送与上面讨论的方式不同的将帧内预测的块80分为分区102/112的方式,例如使用递归多树细分将块80分为不同大小的矩形分区,或定义分区的任何其他可能性。例如,可以如上讨论的通过导出维度104并且取决于条的横向宽度(即,分别为水平条102的高度和垂直条112的宽度)目前涉及的帧内预测模式来定义分区,以便基于维度确定块80的分区是水平条102还是垂直条112。保留了上面讨论的所有其他可能性,例如,改变处理/分区顺序126的可能性,改变可以如上面讨论的取决于帧内预测模式,除了帧内预测模式参数之外或者根据在数据流中发送的一些其他信息(例如可从数据流中针对各个分区发送的预测残差导出的信息),在数据流中针对块80发送一些语法元素。
此外,上面已经讨论了,块的各个分区的预测残差以相对于这些分区的各个帧内预测的备选方式被顺序地、逐个分区地量化并编码到比特流中。已经参考图5以及参考图10和图11对此进行了描述。然而,解码器不需要通过在一方面进行残差解码和通过组合一方面的帧内预测和另一方面的预测残差进行各个分区的重构之间交替来执行解码。也就是说,在对某个块80进行解码时,解码器可以从包括各个分区的各个帧内预测的实际重构过程解耦对各个分区的预测残差120的解码。参见图5:解码器可以根据一个处理任务,从数据流14中解码所有分区的预测残差120,即块80的预测残差1201至1204,并且解码器可以根据另一任务,使用分区102i的预测残差120i,以便根据分区顺序126逐个分区地重构块80的内部。为此,解码器在第二任务中,使用块的80帧内预测模式对每个分区120i执行帧内预测,然互将其与从第一任务获得的预测残差120i相加,然后进行到分区顺序126中的下一分区120i+1来继续块80的重构以便执行空间预测,接着通过使用该分区的预测残差进行重构以便校正帧内预测结果。解码器或者可以在开始使用预测残差执行预测和预测校正的第二任务之前,执行从数据流14完全导出预测残差120的第一任务,或者解码器可以并行执行两个任务,只要提供保证某一分区102i的预测残差120i在需要时就绪的措施即可,即在针对该分区102i的预测结果已经使用块的帧内预测模式获得并且需要矫正时。具体地,在第一任务或阶段期间,解码器可以对所有非零分区(即预测残差120i被以信号传送为非零的所有分区102)并行地执行所有逆变换。
恰好注意到,根据以上分区i的残差120i在变换域中量化的实施例,可能发生这些分区的经重构的样本可能偏离(即超过或落后于)某个允许的样本值范围。如上所述,它们可以按照顺序126用作分区j的参考样本118j的成员。根据实施例,这些样本被保留以用于预测顺序126中随后的分区j,并对块80的这些样本执行裁剪,作为对整个块80的最后裁剪步骤,由此例如增加了解码器侧的实现友好性。因此,在导出分区102i的预测子时,根据分区顺序126在该分区102i之前的分区的经重构的样本可以用于尚未裁剪的状态,该经重构的样本是用于当前分区的参考的一个或多个已经重构的样本118i中的样本,其中将经重构的样本从尚未裁剪的状态裁剪为允许的样本值范围的状态发生在最后,即在已经执行顺序重构之后,以最终重构预定块。在编码器侧,仅出于获得这种样本的经重构的版本的目的执行裁剪,以用于后续编码的块的预测参考,以便保持与解码器的参考同步。然而,该最终的裁剪整理仅是示例,备选地,可以在对分区i中用作随后处理的分区j的参考样本118j的样本进行重构之前,立即执行裁剪。
在到目前为止讨论的实施例中,下面将使用具体示例来说明一个实施例。具体地,根据该实施例,数据流14通过分割模式标志160的方式为帧内编码的块80以信号传送是否使用LIP或ISP方案进行编码。数据流14中的相应语法元素可以命名为intra_subpartitions_mode_flag。例如,如果该标志为1,则可以使用LIP或ISP方案对帧内编码的块80进行编码,否则使用正常帧内预测对块80进行编码。仅在满足某一个或多个条件的情况下,LIP或ISP方案例如可用于当前帧内编码的块80。一个或多个条件可以例如包括:例如,在块80的样本数量方面,帧内编码的块80需要比一些最小尺寸大,和/或帧内编码的块80可能至少在水平和垂直两个方向上不允许超过某个尺寸,以便例如不导致过大的变换大小。更准确地说,可能仅在块80在至少一个方向(即水平或垂直)上小于或等于刚刚提到的最小变换相关大小的情况下,LSP或ISP模式可用。因此,仅在块80满足刚刚提到的条件的情况下,intra_subpartitions_mode_flag才可以存在于数据流中。否则,解码器可以推断出帧内编码的块80是正常帧内编码的。在分割模式标志intra_subpartitions_mode_flag指示帧内编码的块80是LSP或ISP编码的块的情况下,还可以针对帧内编码的块80以信号传送分区维度标志114。然而,可能该intra_subpartitions_mode_flag没有不可避免地被显式以信号传送,而是在某些情况下将其推断为指示某个分区维度104。例如,在帧内编码的块80的宽度超过前述最大变换大小(但是高度不超过)的情况下,则分区维度104可以被强制为水平,而在块80的高度超过刚刚提到最大变换大小(但是宽度不超过)的情况下,维度104可以被强制为垂直。在这两种情况下,intra_subpartitions_split_flag将不会在数据流中显式以信号传送,而是由解码器相应地推断。如上所述,可以在数据流中以信号传送帧内编码模式116,即,通过使用在编码器和解码器侧构造的最可能帧内预测模式列表来以信号传送。对于LIP或ISP帧内编码的块80,数据流14可以通过不可避免地指向最可能帧内预测模式列表的MPM列表指针来以信号传送帧内编码模式,该指针例如称为intra_luma_mpm_IDX,在帧内编码的块未采用LIP或ISP方案编码的情况下,在数据流14中,该指针之前可能存在MPM标志。如果该MPM标志,例如称为intra_luma_mpm_flag,具有某个标志状态,则代替指向最可能帧内预测模式列表的指针,将在数据流中以信号传送指向帧内预测模式剩余列表的指针。然而,如上所述,这仅是示例,并且可能的是,帧内预测模式的可以信号传送集对正常编码的帧内预测的块和LIP或ISP帧内预测的块二者是相同的,即覆盖所有支持的帧内预测模式。例如,可以针对两种类型的帧内编码的块发送intra_luma_mpm_flag。备选地,针对两种类型的帧内编码的块发送的指针可以直接指向所支持的帧内预测模式的完整列表,而对于两种类型的帧内编码的块,无需任何MPM标志。如果使用LIP或ISP方案对帧内编码的块80进行编码,则分区102/112的数量可以如下定义。具体地,编码器和解码器可以根据块80的大小来确定分区的数量。数据流中不会花费信号。对于小的块尺寸,数量可以是两个,否则分区102/112的数量是四个。执行分区的帧内预测以及在数据流中对预测残差进行编码的分区顺序在水平方向n14的情况下,可以沿着分区方向104从最左边的分区顺序地到达最远的分区,并且在垂直分区方向的情况下从最上边的分区顺序地到达最远的分区。也不会为此花费信令。如上所述,可以每个分区102/112地进行残差变换。也就是说,每个分区可以分别转换。与此相比,在正常帧内编码的块80的情况下,变换的次数可以取决于帧内编码的块80的大小,如下所示:如果帧内编码的块在水平和垂直方向上比前述最大变换大小小,则使用一次变换对帧内编码的块80的残差进行编码,即对块80的残差整体进行一次变换。在水平方向超过最大变换大小的情况下,将帧内编码的块80水平地分割为两半或相应数量的变换块,使得每一半或变换块满足最大变换大小,并且对块80的残差每一半/变换块进行一次变换。在块80在垂直方向超过最大变换大小的情况下,这同样适用。如果在垂直和水平方向都超过最大变换大小,则使用四次或相应数量的变换在该块80的四个象限中对块80的残差进行变换,或者将块80常规2维细分为相应数量的变换块。此外,正常帧内编码的块80的处理可以不同于LIP或ISP编码的帧内编码的块80的处理,因为正常帧内编码的块是成块帧内预测的。也就是说,正常帧内编码的块未被细分区。进一步的差异可能与对块80的预测残差进行编码的变换的编码有关。对于每个变换,可以发送诸如tu_cbf_luma之类的编码块标志188,虽然对于正常帧内编码的块80,可能针对块80内的每个变换不可避免地对该标志进行编码,但是在块80被LIP或ISP编码且先前变换的所有先前CBF为零的情况下,对于该块80的最后的变换,该标志可被推断为1。此外,每个变换中对子块的尺寸的选择可以在一方面的正常帧内编码的块80与另一方面的LIP或ISP编码的块80之间不同。细节在上面列出。然而,备选地,对于正常帧内编码的块和LIP或ISP编码的块,将变换182细分为子块可以同样地进行。例如,令log2SbW和log2SbH分别是子块的宽度和高度的对数对偶,log2TbWidth和log2TbHeight分别是变换的宽度和高度。然后,可以如下确定子块尺寸:
Figure BDA0002710861900000351
上面的伪代码产生大小如表1所示的子块。可能是由于帧内编码的块80的固有最小尺寸以及正常帧内编码的块的未细分,对于正常帧内编码的块80仅产生了4×4系数的子块。最后应注意,刚刚概述的示例可能导致不同大小的LIP或ISP帧内预测的块包括仅被分为两个分区102/112的块,但是无论是否存在这种LIP或ISP帧内预测的块,都存在被分为两个以上分区的LIP或ISP帧内预测的块。
虽然已经在装置的上下文中描述了一些方面,但是将清楚的是,这些方面还表示对应方法的描述,其中,块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤上下文中描述的方面也表示对相应块或项或者相应装置的特征的描述。可以由(或使用)硬件设备(诸如,微处理器、可编程计算机或电子电路)来执行一些或全部方法步骤。在一些实施例中,可以由这种装置来执行最重要方法步骤中的一个或多个方法步骤。
本发明的数据流可以存储在数字存储介质上,或者可以在诸如无线传输介质或有线传输介质(例如,互联网)等的传输介质上传输。
取决于某些实现要求,可以在硬件中或在软件中实现本发明的实施例。可以使用其上存储有电子可读控制信号的数字存储介质(例如,软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或闪存)来执行实现,该电子可读控制信号与可编程计算机系统协作(或者能够与之协作)从而执行相应方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,其能够与可编程计算机系统协作以便执行本文所述的方法之一。
通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,程序代码可操作以在计算机程序产品在计算机上运行时执行方法之一。程序代码可以例如存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的计算机程序,该计算机程序用于执行本文所述的方法之一。
换言之,本发明方法的实施例因此是具有程序代码的计算机程序,该程序代码用于在计算机程序在计算机上运行时执行本文所述的方法之一。
因此,本发明方法的另一实施例是其上记录有计算机程序的数据载体(或者数字存储介质或计算机可读介质),该计算机程序用于执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时性的。
因此,本发明方法的另一实施例是表示计算机程序的数据流或信号序列,所述计算机程序用于执行本文所述的方法之一。数据流或信号序列可以例如被配置为经由数据通信连接(例如,经由互联网)传送。
另一实施例包括处理装置,例如,计算机或可编程逻辑器件,所述处理装置被配置为或适于执行本文所述的方法之一。
另一实施例包括其上安装有计算机程序的计算机,该计算机程序用于执行本文所述的方法之一。
根据本发明的另一实施例包括被配置为向接收机(例如,以电子方式或以光学方式)传送计算机程序的装置或系统,该计算机程序用于执行本文所述的方法之一。接收器可以是例如计算机、移动设备、存储设备等。装置或系统可以例如包括用于向接收器传送计算机程序的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可以用于执行本文所述的方法的功能中的一些或全部。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法之一。通常,方法优选地由任意硬件装置来执行。
本文描述的装置可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何组件可以至少部分地在硬件和/或软件中实现。
本文描述的方法可以使用硬件装置、或者使用计算机、或者使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何组件可以至少部分地由硬件和/或由软件执行。
上述实施例对于本发明的原理仅是说明性的。应当理解的是,本文所述的布置和细节的修改和变形对于本领域其他技术人员将是显而易见的。因此,旨在仅由所附专利权利要求的范围来限制而不是由借助对本文的实施例的描述和解释所给出的具体细节来限制。

Claims (68)

1.一种用于对来自数据流(14)的图片(12)进行基于块的解码的解码器,被配置为:
从数据流(14)解码用于图片的预定块(80)的帧内编码模式(116);
沿着预定维度(104)将预定块(80)分为分区(102i;112i),其中所述分区的数量大于2和/或所述分区沿着所述预定维度为一个样本宽;
通过针对当前分区并在进行后续分区之前执行以下步骤,根据预定分区顺序(126)顺序地重构所述预定块的分区,所述预定分区顺序沿着所述预定维度顺序遍历分区:
通过以依赖于帧内编码模式的方式,根据与所述当前分区相邻的一个或多个已经重构的样本填充当前分区,导出(122)当前分区的预测子;
通过使用在数据流中以信号传送的预测残差(120i)校正(122)所述预测子来重构所述当前分区。
2.根据权利要求1所述的解码器,
其中,所述解码器被配置为在变换域中从所述数据流解码预测残差,并且将所述预测残差重新变换到空间域以用于校正所述预测子。
3.根据权利要求1或2所述的解码器,
其中,所述解码器被配置为逐个分区地在变换域中从所述数据流解码预测残差。
4.根据权利要求1至3中任一项所述的解码器,
其中,所述解码器被配置为:通过对每个分区执行以下步骤,在变换域中从所述数据流解码预测残差,
从数据流中解码编码分区标志(188);
如果未设置所述编码分区标志,则将各个分区的预测残差设置为零,并且
如果设置了所述编码分区标志,则从所述数据流中解码各个分区的预测残差的变换。
5.根据权利要求4所述的解码器,
被配置为从数据流中顺序解码分区的编码分区标志,并且如果所有的先前编码分区标志未设置,则推断分区顺序中的最后分区的编码分区标志被设置。
6.根据权利要求5所述的解码器,
被配置为通过使用上下文相关熵解码从数据流中解码各个分区的编码分区标志,所述上下文相关熵解码使用依赖于预定分区顺序中针对各个分区之前的先前分区解码的编码分区标志的上下文。
7.根据权利要求1至6中任一项所述的解码器,
其中,所述解码器被配置为:
通过以下方式逐个分区地在变换域中从所述数据流解码预测残差并且从数据流解码预定分区的预测残差的变换:
从数据流解码指示所述变换沿着预定扫描顺序的最后变换系数位置的最后位置指示(190),所述预定扫描顺序扫描一维变换的变换系数;以及
从数据流中解码所述变换直到沿着预定扫描顺序的最后变换系数位置的变换系数(198),并且将所述变换沿着所述预定扫描顺序超出最后变换系数位置的变换系数推断为零。
8.根据权利要求7所述的解码器,其中,所述分区沿着所述预定维度为一个样本宽,并且所述变换是一维变换。
9.根据权利要求1至8中任一项所述的解码器,
其中,所述解码器被配置为:
沿着预定维度将预定块分为分区,其中,所述分区沿着所述预定维度为一个样本宽,
使用每个分区的变换,逐个分区地在变换域中从数据流解码预测残差,其中
在帧内预测模式不是平面模式的情况下,所述变换是DCT变换,并且在帧内预测模式是平面模式的情况下,所述变换是DST变换,或者
所述变换是基于帧内预测模式、专用语法元素和预定分区顺序中的一个或多个来选择变换类型的线性变换。
10.根据权利要求1至9中任一项所述的解码器,
其中,所述解码器被配置为:
使用每个分区的变换,逐个分区地在变换域中从数据流中解码预测残差,其中变换的类型是基于帧内预测模式、专用语法元素和分区的大小中的一个或多个来选择的。
11.根据权利要求1至10中任一项所述的解码器,
被配置为:
从数据流解码用于图片的预定块的分割模式标志(160);
如果分割模式标志指示第一分割模式,则执行分区和顺序重构;
如果编码分区标志指示第二分割模式,则以依赖于帧内编码模式的方式通过空间帧内预测来重构所述预定块。
12.根据权利要求11所述的解码器,
被配置为:
在编码分区标志指示第二分割模式的情况下,通过如下方式执行空间帧内预测:以依赖于帧内编码模式的方式,根据与预定块相邻的一个或多个已经重构的样本,通过以一个片来填充所述预定块来导出所述预定块的预测子,然后通过使用在数据流中以信号传送的预测残差校正所述预测子来重构所述预定块,或者
在编码分区标志指示第二分割模式的情况下,通过如下方式执行空间帧内预测:沿着水平和垂直细分叶块边界,将所述预定块分为所述预定块的分层多树细分的叶块,并且根据顺序遍历所述叶块的预定叶块顺序来顺序重构所述预定块的所述叶块。
13.根据权利要求11或12所述的解码器,
被配置为,如果所述帧内预测模式是角度模式,则
如果分割模式标志(160)指示第一分割模式,
则在以依赖于帧内编码模式的方式,根据与当前分区相邻的一个或多个已经重构的样本填充当前分区时,对已经重构的样本进行依赖于角度模式的第一内插滤波;
如果编码分区标志指示第二分割模式,
则在以依赖于帧内编码模式的方式,通过对已经重构的样本进行依赖于角度模式的第二内插滤波来根据与预定块相邻的一个或多个已经重构的样本填充预定块来通过空间帧内预测重构预定块,
其中,第一内插滤波与第二内插滤波的不同之处在于,所述预定块内的预测子的每个样本(134)所依赖的已经重构的样本(134)的平均数量。
14.根据权利要求1至13中任一项所述的解码器,
被配置为:
从数据流解码用于图片的预定块的分区维度标志(114),并且根据所述分区维度标志将分区维度(104)设置为水平或垂直。
15.根据权利要求14所述的解码器,
被配置为:
通过使用上下文相关熵解码对分区维度标志(114)进行解码,所述上下文相关熵解码使用依赖于帧内编码模式的上下文。
16.根据权利要求14或15所述的解码器,
被配置为:
通过使用上下文相关熵解码对分区维度标志(114)进行解码,所述上下文相关熵解码使用包括以下内容的三个上下文之一:
以信号传送非角度模式的帧内编码模式,
以信号传送水平模式的帧内编码模式,
以信号传送垂直模式的帧内编码模式。
17.根据权利要求1至16中任一项所述的解码器,
被配置为:
根据帧内编码模式设置预定分区顺序(126)。
18.根据权利要求1至17中任一项所述的解码器,
被配置为,如果所述帧内预测模式是角度模式,则
在以依赖于帧内编码模式的方式,根据与当前分区相邻的一个或多个已经重构的样本填充当前分区时,对已经重构的样本应用依赖于角度模式的滤波器,而不进行预滤波。
19.根据权利要求1至18中任一项所述的解码器,
被配置为:
从数据流解码图片所细分的块的分配,所述块的分配为帧间预测编码模式和帧内预测编码模式,以在帧间预测的块和帧内预测的块之间进行区分,其中所述预定块是帧内预测的块。
20.根据权利要求1至19中任一项所述的解码器,
被配置为通过以下方式来设置沿着预定维度(104)测量的分区的宽度,
依赖于沿着预定维度(104)的预定块(80)的大小和/或
依赖于预定块的帧内编码模式和/或
依赖于预定块的帧内编码模式是否是角度模式和/或
依赖于数据流中用于预定块的语法元素,所述语法元素指示分区的数量或者指示宽度。
21.根据权利要求1至20中任一项所述的解码器,
其中,所述解码器被配置为在顺序重构所述预定块的分区之前,针对所有分区,从数据流解码预测残差。
22.根据权利要求1至21中任一项所述的解码器,
被配置为:
除了帧内编码模式之外,还根据针对预定块以信号传送的语法元素来设置预定分区顺序(126)。
23.根据权利要求1至22中任一项所述的解码器,
被配置为:
从至少两个不同顺序中,根据数据流,为所述预定块选择预定分区顺序(126),
以根据从至少两个不同顺序为所述预定块选择预定分区顺序(126)的方式,选择一个或多个已经重构的样本用于预测子的导出。
24.根据权利要求23所述的解码器,
被配置为通过以下方式执行根据预定分区顺序(126)的选择来选择一个或多个已经重构的样本:在至少两个不同顺序中的一个顺序的情况下,所述一个或多个已经重构的样本位于所述当前分区的两个相对侧,并且在至少两个不同顺序中的另一个顺序的情况下,所述一个或多个已经重构的样本仅位于两个相对侧中的一侧。
25.根据权利要求23或24所述的解码器,
其中,所述至少两个不同顺序中的一个顺序从距离所述预定块的左上角最远的分区开始遍历分区,并且所述至少两个不同顺序中的另一个顺序从最接近所述预定块的左上角的分区开始遍历分区。
26.根据权利要求1至25中任一项所述的解码器,被配置为:
通过以下方式解码用于所述预定块(80)的帧内编码模式(116):
导出最可能帧内预测模式列表,所述最可能帧内预测模式列表形成解码器支持的帧内预测模式集的适当子集,
从数据流解码出指向所述最可能帧内预测模式列表的最可能模式列表指针。
27.根据权利要求1至25中任一项所述的解码器,其中,所述预定块是第一类型的帧内预测的块,其中,所述解码器被配置为通过以下方式处理帧内预测的块:
如果帧内预测的块是第二类型,
则从数据流导出最可能标志,在帧内预测的块属于第一类型的情况下,所述解码器推断所述最可能标志处于第一标志状态,
如果所述最可能标志处于第一标志状态,
则导出最可能帧内预测模式列表,所述最可能帧内预测模式列表形成所述解码器支持的帧内预测模式集的适当子集,
从数据流解码出指向所述最可能帧内预测模式列表的最可能模式列表指针,
如果所述最可能标志处于第二标志状态,
则从数据流解码指向帧内预测模式剩余集的另一指针,所述帧内预测模式剩余集包括帧内预测模式集中与所述最可能帧内预测模式列表不相交的帧内预测模式,
分块或使用递归四叉树分区对帧内预测的块进行帧内预测。
28.根据权利要求26或27所述的解码器,被配置为在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表。
29.根据权利要求26或27所述的解码器,被配置为通过以下方式在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表:所述解码器被配置为通过避免在帧内预测模式集的DC和/或平面模式之外填充帧内预测模式集的角度模式,或者对于帧内预测模式集的DC和/或平面模式优先填充帧内预测模式集的角度模式来填充最可能帧内预测模式列表。
30.根据权利要求26至29中任一项所述的解码器,被配置为通过以下方式在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表:所述解码器被配置为通过与帧内预测模式集中远离将预定块分为分区的预定维度(104)的角度模式相比,在填充中优先选择帧内预测模式集中更接近所述预定维度(104)的角度模式来填充所述最可能帧内预测模式列表,使得所述分区与所述预定块(80)一样宽。
31.根据权利要求1至30中任一项所述的解码器,
其中,所述解码器被配置为:通过对每个分区执行以下步骤,在变换域中从所述数据流解码预测残差,
对于每个子块,通过以下方式从数据流中以子块为单位对各个分区的预测残差的变换进行解码,其中所述变换分为所述子块,
从数据流解码编码子块标志(188);
如果未设置所述编码子块标志,则推断变换在各个子块内的变换系数为零,以及
如果设置了编码子块标志,则从数据流中解码变换在各个子块内的变换系数。
32.根据权利要求31所述的解码器,被配置为将所述变换分为所述子块,使得每个子块的系数数量为预定数量,而与分区大小无关,和/或使得所述变换被分为沿着一个维度的一维子块,所述变换沿着所述维度的宽度较小。
33.一种用于将图片基于块地编码到数据流中的编码器,被配置为:
确定用于图片的预定块的帧内编码模式,并且在数据流中以信号传送所述帧内编码模式;
沿着预定维度将所述预定块分为分区,其中所述分区的数量大于2和/或所述分区沿着所述预定维度为一个样本宽;
通过针对当前分区并在进行后续分区之前执行以下步骤,根据预定分区顺序对所述预定块的分区顺序地进行预测,所述预定分区顺序沿着所述预定维度顺序遍历分区,
通过以依赖于帧内编码模式的方式,根据与所述当前分区相邻的一个或多个已经编码的样本填充当前分区,来导出当前分区的预测子;
确定用于对所述预测子进行校正以用于重构所述当前分区的预测残差,
在数据流中以信号传送所述分区的预测残差。
34.根据权利要求33所述的编码器,
其中,所述编码器被配置为在变换域中将所述预测残差编码到数据流中,并将所述预测残差重新变换到空间域中以用于校正所述预测子。
35.根据权利要求33或34所述的编码器,
其中,所述编码器被配置为逐个分区地在变换域中将预测残差编码到数据流中。
36.根据权利要求33至35中任一项所述的编码器,
其中,所述编码器被配置为对于每个分区,通过以下方式在变换域中将预测残差编码到数据流中,
将编码分区标志编码到数据流中;
其中,在设置了所述编码分区标志时,以信号传送将各个分区的预测残差设置为零,以及
其中,在未设置编码分区标记时,对各个分区的预测残差进行变换,以便获得各个分区的预测残差的变换并且将所述变换编码到数据流中。
37.根据权利要求36所述的编码器,
被配置为:如果所有先前的编码分区标志未被设置,则将除了分区顺序中的最后分区的编码分区标志之外的分区的编码分区标志顺序编码到数据流中,然后推断分区顺序中的最后分区的编码分区标志被设置。
38.根据权利要求36或37所述的编码器,
被配置为:通过使用上下文相关熵编码将各个分区的编码分区标志编码到数据流中,所述上下文相关熵编码使用依赖于预定分区顺序中针对各个分区之前的先前分区编码的编码分区标志的上下文。
39.根据权利要求33至38中任一项所述的编码器,
其中,所述编码器被配置为:
通过以下方式逐个分区地在变换域中将所述预测残差编码到数据流中并且将预定分区的预测残差的变换编码到数据流中:
将指示所述变换沿着预定扫描顺序的最后变换系数位置的最后位置指示编码到数据流中,所述预定扫描顺序扫描一维变换的变换系数;以及
将所述变换直到沿着预定扫描顺序的最后变换系数位置的变换系数编码到数据流中,其中将所述变换沿着所述预定扫描顺序超出最后变换系数位置的变换系数设置为零。
40.根据权利要求38所述的编码器,其中,所述分区沿着所述预定维度为一个样本宽,并且所述变换是一维变换。
41.根据权利要求33至40中任一项所述的编码器,
其中,所述编码器被配置为:
沿着预定维度将预定块分为分区,其中,所述分区沿着所述预定维度为一个样本宽,
使用每个分区的一个变换,逐个分区地在变换域中将预测残差编码到数据流中,其中
在帧内预测模式不是平面模式的情况下,所述变换是DCT变换,并且在帧内预测模式是平面模式的情况下,所述变换是DST变换,或者
所述变换是基于帧内预测模式、专用语法元素和预定分区顺序中的一个或多个来选择变换类型的线性变换。
42.根据权利要求33至41中任一项所述的编码器,
其中,所述编码器被配置为:
使用每个分区的变换,逐个分区地在变换域中将预测残差编码到数据流中,其中变换的类型是基于帧内预测模式、专用语法元素和分区的大小中的一个或多个来选择的。
43.根据权利要求33至42中任一项所述的编码器,
被配置为:
将用于图片的预定块的分割模式标志编码到数据流中;
如果分割模式标志指示第一分割模式,则执行分区,顺序得到分区的预测残差并以信号传送所述预测残差;
如果编码分区标志指示第二分割模式,则以依赖于帧内编码模式的方式对预定块进行空间帧内预测,并且以信号传送所述预定块的预测残差。
44.根据权利要求43所述的编码器,
被配置为:
在编码分区标志指示第二分割模式的情况下,通过以下方式执行空间帧内预测:以依赖于帧内编码模式的方式,根据与预定块相邻的一个或多个已经编码的样本,通过以一个片填充所述预定块来导出所述预定块的预测子,并且通过使用预测残差校正所述预测子来确定所述预定块的预测残差用于所述预定块的重构,或者
在编码分区标志指示第二分割模式的情况下,通过如下方式执行空间帧内预测:沿着水平和垂直细分叶块边界,将所述预定块分为所述预定块的分层多树细分的叶块,并且根据顺序遍历叶块的预定叶块顺序确定所述预定块的预测残差用于顺序重构所述预定块的叶块。
45.根据权利要求43或44所述的编码器,
被配置为:如果所述帧内预测模式是角度模式,则
如果分割模式标志指示第一分割模式,
则在以依赖于帧内编码模式的方式,根据与当前分区相邻的一个或多个已经重构的样本填充当前分区时,对已经编码的样本进行依赖于角度模式的第一内插滤波;
如果编码分区标志指示第二分割模式,
则在以依赖于帧内编码模式的方式,根据与预定块相邻的一个或多个已经重构的样本填充预定块来通过空间帧内预测重构预定块时,对已经编码的样本进行依赖于角度模式的第二内插滤波,
其中,第一内插滤波与第二内插滤波的不同之处在于,所述预定块内的预测子的每个样本依赖于的已经编码的样本的平均数量。
46.根据权利要求33至45中任一项所述的编码器,
被配置为:
确定分区维度为水平或垂直,
将用于图片的预定块的分区维度标志编码到数据流中,所述分区维度标志指示分区维度是水平还是垂直。
47.根据权利要求46所述的编码器,
被配置为:
通过使用上下文相关熵编码对分区维度标志进行编码,所述上下文相关熵编码使用依赖于帧内编码模式的上下文。
48.根据权利要求46或47所述的编码器,
被配置为:
通过使用上下文相关熵编码对分区维度标志进行编码,所述上下文相关熵编码使用包括以下内容的三个上下文之一:
以信号传送非角度模式的帧内编码模式,
以信号传送水平模式的帧内编码模式,
以信号传送垂直模式的帧内编码模式。
49.根据权利要求33至48中任一项所述的编码器,
被配置为:
根据帧内编码模式设置预定分区顺序。
50.根据权利要求33至49中任一项所述的编码器,
被配置为:如果所述帧内预测模式是角度模式,则
在以依赖于帧内编码模式的方式,根据与当前分区相邻的一个或多个已经编码的样本填充当前分区时,对已经编码的样本应用依赖于角度模式的滤波器,而不进行预滤波。
51.根据权利要求33至50中任一项所述的编码器,
被配置为:
将图片所细分的块的分配编码到数据流中,所述块的分配为帧间预测编码模式和帧内预测编码模式,以在帧间预测的块和帧内预测的块之间进行区分,其中所述预定块是帧内预测的块。
52.根据权利要求33至51中任一项所述的编码器,被配置为:
将用于图片的预定块的分割模式标志编码到数据流中,如果所述分割模式标志被设置,则指示使用分区、顺序获得分区的预测残差并以信号传送所述预测残差对所述预定块进行编码,或者如果所述分割模式标志未被设置,则使用针对所述预定块确定的帧内预测模式,使用空间帧内预测的备选方式对所述预定块进行编码,
通过
对所述预定块执行编码成本测试,以便从所支持的帧内预测模式集中识别出所支持的帧内预测模式,在以备选方式使用所支持的帧内预测模式对预测块进行编码时,在编码成本方面优选所述所支持的帧内预测模式,以便在以备选方式使用帧内编码模式对预定块进行编码时获得所述预定块的帧内编码模式和与之相关联的参考编码成本,以及
在顺序进行时,确定与预测残差相关联的编码子成本,所述预测残差用于重构当前分区时校正所述预测子,将所述编码子成本与与所述预定块的先前分区的预测残差相关联的先前编码成本的总和相加,以获得经更新的编码成本总和,检查所述经更新的编码成本总和是否超过参考编码成本,并且在编码成本超过参考编码成本的情况下,中止所述顺序进行,其中将分割模式标志编码为未设置,并且如果针对预定分区顺序中的最后分区获得的经更新的编码成本总和仍未超过参考编码成本,则将分割模式标志编码为被设置,
来使用编码成本最小化方案来决定:
所支持的帧内预测模式集中的帧内编码模式,以及
是否设置了分割模式标志。
53.根据权利要求33至52中任一项所述的编码器,
被配置为通过以下方式来设置沿着预定维度(104)测量的分区的宽度,
依赖于沿着预定维度(104)的预定块(80)的大小和/或
依赖于预定块的帧内编码模式和/或
依赖于预定块的帧内编码模式是否是角度模式和/或
依赖于数据流中用于预定块的语法元素,所述语法元素指示分区的数量或者指示宽度。
54.根据权利要求33至53中任一项所述的编码器,
被配置为:
除了帧内编码模式之外,还根据针对预定块以信号传送的语法元素来设置预定分区顺序(126)。
55.根据权利要求33至54中任一项所述的编码器,
被配置为:
从至少两个不同顺序中选择用于预定块的预定分区顺序(126),
以根据从至少两个不同顺序为所述预定块选择预定分区顺序(126)的方式,选择一个或多个已经重构的样本用于预测子的导出。
56.根据权利要求55所述的编码器,
其中,通过以下方式执行根据预定分区顺序(126)的选择来选择一个或多个已经重构的样本:在至少两个不同顺序中的一个顺序的情况下,所述一个或多个已经重构的样本位于所述当前分区的两个相对侧,并且在另一情况下,仅位于两个相对侧中的一侧。
57.根据权利要求55或56所述的编码器,
其中,所述至少两个不同顺序中的一个顺序从距离所述预定块的左上角最远的分区开始遍历分区,并且所述至少两个不同顺序中的另一个顺序从最接近所述预定块的左上角的分区开始遍历分区。
58.根据权利要求33至57中任一项所述的编码器,被配置为:
通过以下方式编码用于所述预定块(80)的帧内编码模式(116):
导出最可能帧内预测模式列表,所述最可能帧内预测模式列表形成编码器支持的帧内预测模式集的适当子集,
将指向所述最可能帧内预测模式列表的最可能模式列表指针编码到数据流中。
59.根据权利要求33至57中任一项所述的编码器,其中,所述预定块是第一类型的帧内预测的块,其中所述编码器被配置为通过以下方式来处理帧内预测的块:
如果帧内预测的块是第二类型,
则将最可能标志编码到数据流中,在帧内预测的块属于第一类型的情况下,推断所述最可能标志处于第一标志状态,
如果所述最可能标志处于第一标志状态,
导出最可能帧内预测模式列表,所述最可能帧内预测模式列表形成编码器支持的帧内预测模式集的适当子集,
将指向最可能帧内预测模式列表的最可能模式列表指针编码到数据流中,
如果最可能标志处于第二标志状态,
将指向帧内预测模式剩余集的另一指针编码到数据流中,所述帧内预测模式剩余集包括帧内预测模式集中与所述最可能帧内预测模式列表不相交的帧内预测模式,
分块或使用递归四叉树分区对帧内预测的块进行帧内预测。
60.根据权利要求58或59所述的编码器,被配置为在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表。
61.根据权利要求58或59所述的编码器,被配置为通过以下方式在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表:所述编码器被配置为通过避免在帧内预测模式集的DC和/或平面模式之外填充帧内预测模式集的角度模式,或者对于帧内预测模式集的DC和/或平面模式优先填充帧内预测模式集的角度模式来填充最可能帧内预测模式列表。
62.根据权利要求58至61中任一项所述的编码器,被配置为通过以下方式在所述预定块为第一类型的帧内预测的块的情况下,与所述预定块为第二类型的帧内预测的块的情况不同地导出所述最可能帧内预测模式列表:所述编码器被配置为通过与帧内预测模式集中远离将预定块分为分区的预定维度(104)的角度模式相比,在填充中优先选择帧内预测模式集中更接近所述预定维度(104)的角度模式来填充所述最可能帧内预测模式列表,使得所述分区与所述预定块(80)一样宽。
63.根据权利要求33至62中任一项所述的编码器,
其中,所述编码器被配置为针对每个分区,通过以下方式在变换域中将预测残差编码到数据流中,
对于每个子块,通过以下方式以子块为单位将各个分区的预测残差的变换编码到数据流中,其中所述变换分为所述子块,
将编码子块标志(188)编码到数据流中,其中
如果未设置所述编码子块标志,则推断变换在各个子块内的变换系数为零,以及
如果设置了编码子块标志,则将变换在各个子块内的变换系数编码到数据流中。
64.根据权利要求63所述的编码器,被配置为将所述变换分为所述子块,使得每个子块的系数数量为预定数量,而与分区大小无关,和/或使得所述变换被分为沿着一个维度的一维子块,所述变换沿着所述维度的宽度较小。
65.一种用于从数据流(14)中对图片(12)进行基于块的解码的方法,包括:
从数据流(14)解码用于图片的预定块(80)的帧内编码模式(116);
沿着预定维度(104)将预定块(80)分为分区(102i;112i),其中所述分区的数量大于2和/或所述分区沿着所述预定维度为一个样本宽;
通过针对当前分区并在进行后续分区之前执行以下步骤,根据预定分区顺序(126)顺序地重构所述预定块的分区,所述预定分区顺序沿着所述预定维度顺序遍历分区:
通过以依赖于帧内编码模式的方式,根据与所述当前分区相邻的一个或多个已经重构的样本填充当前分区,来导出(122)当前分区的预测子;
通过使用在数据流中以信号传送的预测残差(120i)校正(122)所述预测子来重构所述当前分区。
66.一种用于将图片基于块地编码到数据流中的方法,包括:
确定用于图片的预定块的帧内编码模式,并且在数据流中以信号传送所述帧内编码模式;
沿着预定维度将所述预定块分为分区,其中所述分区的数量大于2和/或所述分区沿着所述预定维度为一个样本宽;
通过针对当前分区并在进行后续分区之前执行以下步骤,根据预定分区顺序对所述预定块的分区顺序地进行预测,所述预定分区顺序沿着所述预定维度顺序遍历分区,
通过以依赖于帧内编码模式的方式,根据与所述当前分区相邻的一个或多个已经编码的样本填充当前分区,来导出当前分区的预测子;
确定用于对所述预测子进行校正以用于重构所述当前分区的预测残差,
在数据流中以信号传送所述分区的预测残差。
67.一种具有程序代码的计算机程序,所述程序代码用于当在计算机上运行时执行根据权利要求65或66所述的方法。
68.一种数据流,由根据权利要求66的方法产生。
CN201980024064.6A 2018-02-09 2019-02-07 基于分区的帧内编码概念 Pending CN111971959A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP18156169.7 2018-02-09
EP18156169 2018-02-09
EP18183571.1 2018-07-13
EP18183571 2018-07-13
EP19150108 2019-01-02
EP19150108.9 2019-01-02
PCT/EP2019/053058 WO2019154936A1 (en) 2018-02-09 2019-02-07 Partition-based intra coding concept

Publications (1)

Publication Number Publication Date
CN111971959A true CN111971959A (zh) 2020-11-20

Family

ID=65243601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024064.6A Pending CN111971959A (zh) 2018-02-09 2019-02-07 基于分区的帧内编码概念

Country Status (7)

Country Link
US (2) US11956429B2 (zh)
EP (1) EP3750306A1 (zh)
JP (2) JP7187566B2 (zh)
KR (2) KR20230030054A (zh)
CN (1) CN111971959A (zh)
TW (1) TWI767105B (zh)
WO (1) WO2019154936A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2577056B (en) * 2018-09-11 2022-12-14 British Broadcasting Corp Bitstream decoder
US11272198B2 (en) 2019-01-30 2022-03-08 Tencent America LLC Method and apparatus for improved sub-block partitioning intra sub-partitions coding mode
US11595663B2 (en) * 2019-02-01 2023-02-28 Qualcomm Incorporated Secondary transform designs for partitioned transform units in video coding
WO2020163535A1 (en) * 2019-02-05 2020-08-13 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using intra sub-partition coding mode
CN113875236A (zh) * 2019-03-11 2021-12-31 Vid拓展公司 视频译码中的帧内子分区
US11539952B2 (en) 2019-03-12 2022-12-27 Qualcomm Incorporated Implicit transform selection in video coding
CN113661712A (zh) * 2019-03-12 2021-11-16 夏普株式会社 在视频编码中用于执行帧内预测编码的系统和方法
US20220191530A1 (en) * 2019-03-12 2022-06-16 Hyundai Motor Company Intra prediction method and device for predicting and dividing prediction unit into sub-units
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11206417B2 (en) * 2019-05-30 2021-12-21 Tencent America LLC Method and apparatus for video coding
US11438616B2 (en) * 2019-08-27 2022-09-06 Tencent America LLC Method and apparatus for video coding
CN117676167A (zh) 2019-08-30 2024-03-08 北京字节跳动网络技术有限公司 帧内编解码中的子分割
EP4008108A4 (en) 2019-09-01 2022-09-21 Beijing Bytedance Network Technology Co., Ltd. ALIGNMENT OF PREDICTION WEIGHTS IN VIDEO ENCODING
WO2021055574A1 (en) * 2019-09-17 2021-03-25 Vid Scale, Inc. Intra sub-partitions related infra coding
US11310511B2 (en) * 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
WO2021068920A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Use of non-rectangular partitions in video coding
US11601257B2 (en) * 2020-12-04 2023-03-07 International Business Machines Corporation Creating deterministic ciphertext using wide-block encryption
US20230099292A1 (en) * 2021-09-29 2023-03-30 Malini MANOCHA Detection and management of dysfunctions in subterranean operations
WO2023214699A1 (ko) * 2022-05-03 2023-11-09 현대자동차주식회사 블록 위치에 기초하는 인트라 모드의 적응적 코딩을 위한 방법과 장치
WO2024005547A1 (ko) * 2022-06-29 2024-01-04 엘지전자 주식회사 Isp 모드에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011128365A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inheritance in sample array multitree subdivision
WO2012167119A1 (en) * 2011-06-03 2012-12-06 Qualcomm Incorporated Intra prediction mode coding with directional partitions
WO2013106888A1 (en) * 2012-01-20 2013-07-25 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
WO2014053517A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
US20150078445A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
CN105247871A (zh) * 2014-03-04 2016-01-13 微软技术许可有限责任公司 帧内块复制预测中的块翻动和跳跃模式
CN107231557A (zh) * 2016-03-25 2017-10-03 谷歌公司 用于在视频编码中的高级帧内预测的递归块分区中的智能重排
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9800870B2 (en) 2011-09-16 2017-10-24 Qualcomm Incorporated Line buffer reduction for short distance intra-prediction
US10218975B2 (en) 2015-09-29 2019-02-26 Qualcomm Incorporated Transform precision manipulation in video coding
US10764587B2 (en) 2017-06-30 2020-09-01 Qualcomm Incorporated Intra prediction in video coding
US20190045198A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Region adaptive data-efficient generation of partitioning and mode decisions for video encoding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011128365A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Inheritance in sample array multitree subdivision
WO2012167119A1 (en) * 2011-06-03 2012-12-06 Qualcomm Incorporated Intra prediction mode coding with directional partitions
WO2013106888A1 (en) * 2012-01-20 2013-07-25 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
WO2014053517A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
CN105052134A (zh) * 2012-10-01 2015-11-11 Ge视频压缩有限责任公司 使用空间帧内预测参数的层间预测的可伸缩视频编码
US20150078445A1 (en) * 2013-09-19 2015-03-19 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
CN105247871A (zh) * 2014-03-04 2016-01-13 微软技术许可有限责任公司 帧内块复制预测中的块翻动和跳跃模式
CN107231557A (zh) * 2016-03-25 2017-10-03 谷歌公司 用于在视频编码中的高级帧内预测的递归块分区中的智能重排
US20170374369A1 (en) * 2016-06-24 2017-12-28 Mediatek Inc. Methods and Apparatuses of Decoder Side Intra Mode Derivation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHANGCAI LAI等: "New intra prediction using the correlation between pixels and lines", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11,2ND MEETING: GENEVA, CH, 21-28 JULY, 2010,JCTVC-B040, pages 1 - 4 *

Also Published As

Publication number Publication date
KR20200128020A (ko) 2020-11-11
TWI767105B (zh) 2022-06-11
JP7187566B2 (ja) 2022-12-12
US20200366895A1 (en) 2020-11-19
JP2021513296A (ja) 2021-05-20
EP3750306A1 (en) 2020-12-16
WO2019154936A1 (en) 2019-08-15
TW201941604A (zh) 2019-10-16
US20240155126A1 (en) 2024-05-09
KR20230030054A (ko) 2023-03-03
KR102504298B1 (ko) 2023-02-28
TW202249485A (zh) 2022-12-16
US11956429B2 (en) 2024-04-09
JP2023022221A (ja) 2023-02-14

Similar Documents

Publication Publication Date Title
CN111971959A (zh) 基于分区的帧内编码概念
KR102306562B1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
JP7447076B2 (ja) 区分けされたイントラ符号化のコンセプト
US20200036985A1 (en) Method and apparatus for block partitioning and intra prediction in image coding system
CN110996100B (zh) 解码器、解码方法、编码器和编码方法
US20210006778A1 (en) Method and apparatus for encoding/decoding image
KR101809630B1 (ko) 적응적인 디블록킹 필터링에 관한 부호화/복호화 방법 및 장치
JP2022538160A (ja) イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
TW201946461A (zh) 轉換係數區塊寫碼技術
KR20200140844A (ko) 패딩을 위한 화면내-예측 모드 선택을 위한 장치
JP2023145703A (ja) 実装効率の良いパーティションベースのイントラ符号化概念
TWI834167B (zh) 基於分區之框內寫碼技術

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination