CN112075078A - 合成式预测及限制性合并 - Google Patents

合成式预测及限制性合并 Download PDF

Info

Publication number
CN112075078A
CN112075078A CN201980028989.8A CN201980028989A CN112075078A CN 112075078 A CN112075078 A CN 112075078A CN 201980028989 A CN201980028989 A CN 201980028989A CN 112075078 A CN112075078 A CN 112075078A
Authority
CN
China
Prior art keywords
prediction
primitive
predictive
merge
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980028989.8A
Other languages
English (en)
Other versions
CN112075078B (zh
Inventor
托马斯·威甘德
德特勒夫·马尔佩
海科·施瓦尔茨
马丁·温肯
克里斯蒂安·巴尼克
乔纳森·普法夫
菲利普·海勒
米莎·西克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority to CN202410434555.0A priority Critical patent/CN118264797A/zh
Publication of CN112075078A publication Critical patent/CN112075078A/zh
Application granted granted Critical
Publication of CN112075078B publication Critical patent/CN112075078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Amplifiers (AREA)

Abstract

通过使用合成式预测信号预测图像的预定区块来达成编码效率增大。

Description

合成式预测及限制性合并
技术领域
本申请关于视频编码/解码。
背景技术
所有相关视频编码标准，如AVC/H.264或HEVC/H.265，遵循所谓的混合方法，其中预测性编码与预测残差的变换编码相组合。为产生预测信号，通过这些标准支持两个可能模式，即帧内预测及帧间预测。在AVC/H.264中，这两个模式之间的决策可在宏区块(16×16亮度样本)层级进行，而在HEVC/H.265中，在编码单元(CU)层级进行，其可具有不同大小。在帧内预测中，当前区块的已经重建的相邻区块的样本值可用于产生预测信号。如何从相邻经重建样本值形成此帧内预测信号由帧内预测模式指定。在帧间预测中，已经重建的帧(以编码次序)可用于产生预测信号。对于帧间预测，在AVC/H.264及HEVC/H.265两者中，使用单向或双向预测。对于单向预测，预测信号为所谓的参考图像的经移位及经内插区。所使用的参考图像由参考索引指定，且参考图像内的(可能经内插)区的位置由运动向量指定(相对于当前区块)。运动向量本身相对于运动向量预测因子预测性地编码，使得仅运动向量差异必须被实际上编码。在HEVC/H.265中，通过传输运动向量预测因子索引来选择运动向量预测因子。在AVC/H.264及HEVC/H.265两者中，运动向量可以以四分之一像素(qpel)的准确度加以指定。产生此类(经内插)预测信号的过程亦称为经运动补偿的预测。在双向预测中，两个经运动补偿的预测信号线性地叠加(通常对于两个构成性预测信号皆使用因子0.5)。因此，对于双向预测，必须传输两个参考索引及运动向量差异(及运动向量预测因子索引，在HEVC/H.265中)。
为了简化具有相同运动特征的连续区域的编码，HEVC/H.265支持所谓的合并模式，其中局部相邻或时间共置区块的预测参数(即，参考索引及运动向量)可再利用于当前区块。HEVC/H.265的跳过模式为合并的特定情况，其中不传输预测残差。
尽管如今的视频编解码器的可用及支持的预测模式在使用这些预测模式来控制预测所必要的合理量的预测边信息下将预测残差保持为低的方面已经非常有效，但进一步增大基于区块的预测性视频编解码器的编码效率将为有利的。
发明内容
因此，本发明的目标为提供使用基于区块的预测性编码的视频编解码器，其具有改良的编码效率。
此目标通过本申请的独立权利要求的主题来达成。
本发明的基本构思为通过使用合成式预测信号预测图像的预定区可达成编码效率增大。
根据实施例，允许经组合以得出合成式预测信号的合成的基元预测的数目超过二，或换言之，超出第一预测信号的其他预测信号(最终预测预定区块基于所述其他预测信号与第一预测信号)的数目可超过1。贡献于合成式预测信号的预测信号或基元预测的最大数目可受到默认值或数据流中发信号通知的某一值的限制。对于预定区块允许每个合成式预测信号的此种高数目的贡献预测信号或基元预测的可能性通过利用各个预测贡献的独立噪声分量的相互噪声降低而提供合成式预测信号的固有噪声降低的可能性。
根据本申请的实施例，预测预定区块所基于的贡献基元预测或组合预测信号的数目，即形成合成式预测信号所基于的基元预测集合的基数，在子图像粒度下经受局部变化。通过使用空间和/或时间预测可保持低信令开销，以便在使用或不使用数据流中传送的显式信息的情况下控制变化，以便发信号通知残差数据以校正空间和/或时间预测。除此之外，如例如在HEVC中使用的合并区块的概念可扩展以不仅与贡献于最终合成式预测信号的第一预测信号或第一基元预测有关，而且与其他基元预测或其他预测信号的定义有关。举例而言，可从合并候选采用贡献基元预测或预测信号以及其相关联的预测参数及预测模式的数目，由此进一步降低否则由于贡献基元预测及预测信号的数目的增大而导致的信令开销。
根据本申请的实施例，藉助于数据流中的边信息来控制将贡献基元预测或预测信号组合以产生合成式预测信号的方式。特别地，根据本申请的某些实施例，依序对各个基元预测或预测信号求和。将第二基元预测或第一其他预测信号相加至第一基元预测或第一预测信号，以便形成第一中间总和。为了控制此第一求和，在数据流中发信号通知对于预定区块的贡献权重。在所述求和中，此贡献值用于对由当前基元预测或其他预测信号(即，分别为第二基元预测或第一其他预测信号)形成的加数进行加权，而使用1减去贡献权重来分别对第一基元预测或第一预测信号进行加权。同样，为预定区块传输第二贡献值，以便控制第三基元预测或第二其他预测信号与刚刚提及的中间总和的求和，等等。因此，合成亦以子图像粒度控制，诸如以区块自身为单位。在以此方式控制贡献时，用于控制合成的边信息开销可保持为低。特别地，根据本申请的实施例，贡献权重由编码器选择，且使用每个贡献权重可采用的离散数目个值的离散值域在数据流中用信号通知。举例而言，对于个别依序执行的求和，即，对于所有贡献权重，离散权重值的此数目可为相等的，且尽管有此限制，但较早基元预测或较早的其他预测信号贡献于合成式预测信号的有效权重的精细设定可通过以下事实来达成：此有效权重实际上由不仅这些较早基元预测或其他预测信号的贡献值而且随后相加的基元预测及其他预测信号的各个贡献权重的乘积形成。关于实施，通过使中间总和中的至少一些或依序执行的求和结果中的一些经受限幅和/或舍入运算，可将用于执行依序相加的计算开销保持为低。就编码器而言，有利地，合成预测信号时的增大的自由度的测试在计算开销上合理地增大，因为分别对各个基元预测或预测信号的测试大部分已经在编码器的现有实施中完成，以使得与由合成预测信号时的新自由度提供的编码效率增大相比，依序求和仅导致编码器开销的合理增大。
根据结合上述概念或与其独立使用的本申请的另一方面，允许通过数据流中的语法来控制合并。合并候选限制信令可激活合并候选集合构造被限制为双向预测性预测参数合并候选，且若如此，则增加假设选择指示以选择最终选择的预测参数合并候选的假设中的一个。替代地，合并候选限制信令可激活受限合并，且若如此，则增加假设选择指示以选择最终选择的预测参数合并候选的假设中的一个。此处，所述构造允许单向及双向预测候选两者进入集合，但选择双向预测候选，仅所选假设用于当前区块的单向预测处理。通过此方式，通过仅增加合理量的边信息以适应合并过程来使合并概念更有效。
本申请的有利方面为附属权利要求的目标。
附图说明
下文中关于附图来描述本申请的有利实施例，其中：
图1展示作为视频解码器的示例的用于预测性地编码视频的设备的框图，其中可实施根据本申请的实施例的合成式预测概念；
图2展示作为视频解码器的示例的用于预测性地解码视频的设备的框图，所述设备与图1的设备相配，其中可实施根据本申请的实施例的合成式预测概念；
图3展示说明预测残差信号、预测信号及经重建信号之间的关系以便说明设定分别用于限定预测信号、处理预测残差信号等的细分的可能性的示例的示意图；
图4展示说明根据实施例的分别使用迭代方法或递归关系的预测信号的合成的示意图；
图5展示说明通过使用隐式和/或显式信令可指定的个别基元预测的示意图；
图6展示说明根据示例的通过如图5中所描绘的迭代方法合成预测信号的概念的示意图，其中一个基元预测以由贡献因子加权加到中间总和的方式贡献于每次迭代的合成式预测信号，所述中间总和又通过1减去贡献因子加权；
图7展示说明图6中的额外的其他基元预测的贡献值的可信号通知离散值的值域的示意图；
图8展示说明将合成式预测的概念与合并的概念组合的可能性的示意图；
图9展示用于发信号通知其他基元预测的预测单元语法的示例，其他基元预测不可避免地为帧间模式的预测，其中示例说明可能已经从合并候选得出了数个隐式地定义的其他基元预测；
图10展示与图9不同的预测单元语法的语法示例，不同之处在于未提供隐式定义的其他基元预测；
图11展示预测单元语法的语法示例，其中除了图10的示例之外，亦花费了额外语法以便仅允许B预测性第一基元预测的假设的部分继承；
图12展示用于编码单元语法的语法示例，其说明合成式预测的概念亦可应用于第一预测是帧内预测模式的区块，且其另外说明所发信号通知的其他基元预测可以是帧内预测模式或帧间预测模式，其中在数据流中发信号通知选择；及
图13展示由图12的CU语法调用的预测单元语法的示例语法，其中亦说明对于帧间预测的区块，其他基元预测可以是帧内预测及帧间预测模式中的所信号通知的模式。
具体实施方式
以下对图的描述开始于对用于编码视频图像的基于区块的预测性编解码器的视频编码器及视频解码器的描述，以便形成用于编码框架的示例，其中可内置合成式预测编解码器的实施例。关于图1至图3描述视频编码器及视频解码器。下文呈现本申请的合成式预测概念的实施例的描述及关于这种概念如何可被分别构建至图1及图2的视频编码器及解码器中的描述，但在后续图4及随后图中描述的实施例亦可用于形成不根据作为图1及图2的视频编码器及视频解码器的基础的编码框架操作的视频编码器及视频解码器。
图1展示用于将由图像12的序列组成的视频11预测性编码成数据流14的设备。为此，使用逐区块预测性编码。此外，示例性地使用基于变换的残差编码。使用参考符号10指示所述设备或编码器。图2展示对应解码器20，即被配置为从数据流14以图像区块预测性地解码由图像12'组成的视频11'的设备20，此处亦示例性地使用基于变换的残差解码，其中撇号已用于分别指示由解码器20重建的图像12'及视频11'在由预测残差信号的量化引入的编码损失方面偏离由设备10最初编码的图像12。图1及图2示例性地使用基于变换的预测残差编码，但本申请的实施例不限于此种预测残差编码。对于关于图1及2描述的其他细节亦如此，如将在下文中概述。
编码器10被配置为对预测残差信号进行空间至频谱变换，并将如此获得的预测残差信号编码至数据流14中。同样，解码器20被配置为从数据流14解码预测残差信号并使得如此获得的预测残差信号经受频谱-空间变换。
在内部，编码器10可包含预测残差信号形成器22，其产生预测残差24，以便量测预测信号26与原始信号，即视频11或当前图像12的偏差。预测残差信号形成器22可例如为减法器，其从原始信号，即当前图像12减去预测信号。接着，编码器10进一步包含变换器28，其使预测残差信号24经受空间至频谱变换，以获得谱域预测残差信号24'，接着由亦由编码器10包含的量化器32进行量化。由此量化的预测残差信号24”被编码成位流14。为此，编码器10可以可选地包含熵编码器34，其对经过变换及量化的预测残差信号进行熵编码成数据流14。预测残差26通过编码器10的预测级36基于被编码至数据流14且从数据流14可解码的预测残差信号24”产生。为此，如图1所示，预测级36可在内部包含反量化器38，其对预测残差信号24'进行反量化，以便获得除了量化损失之外对应于信号24'的谱域预测残差信号24”'；接着为逆变换器40，其使后者的预测残差信号24”'经受逆变换，即频谱至空间变换，以获得预测残差信号24””，其除了量化损失之外，对应于原始预测残差信号24。接着，预测级36的组合器42重新组合，例如通过相加，预测信号26及预测残差信号24””，以便获得经重建信号46，即原始信号12的重建。经重建信号46可对应于信号12'。
接着，预测级36的预测模块44通过使用例如空间预测(即帧内预测)和/或时间预测(即帧间预测)基于信号46产生预测信号26。关于此方面的细节在下文描述。
同样，解码器20可在内部由对应于预测级36且以对应于预测级36的方式互连的组件组成。特别地，解码器20的熵解码器50可从数据流熵解码经量化的谱域预测残差信号24”，由此反量化器52、逆变换器54、组合器56及预测模块58，以上文关于预测级36的模块描述的方式互连及协作，基于预测残差信号24”恢复经重建信号，以使得如图2所示，组合器56的输出产生经重建信号，即视频11'或其当前图像12'。
尽管上文未具体描述，但容易清楚，编码器10可根据某种优化方案(例如，以优化一些速率及失真相关标准，即编码成本，和/或使用一些速率控制的方式)设定一些编码参数，包括例如预测模式、运动参数等。如下文更详细描述的，编码器10及解码器20及对应模块44、58分别支持不同的预测模式，例如帧内编码模式及帧间编码模式，其形成一种基元预测模式的集合或池，基于其以下文更详细描述的方式合成图像区块的预测。编码器及解码器在这些预测合成之间切换的粒度可分别对应于图像12及12'至区块的细分。注意，这些区块中的一些可为仅被帧内编码的区块，且一些区块可为仅被帧间编码的区块，且可选地，甚至其他区块可为使用帧内编码及帧间编码两者获得的区块，但细节被设定在下文中。根据帧内编码模式，基于相应区块的空间的、已经编码/解码邻域来获得区块的预测信号。可存在若干帧内编码子模式，其中，准(quasi)表示一种帧内预测参数。可存在定向或角度帧内编码子模式，根据其，通过沿着特定于相应定向帧内编码子模式的特定方向外推邻域的样本值来填充相应区块的预测信号至对应区块中。举例而言，帧内编码子模式亦可包含一个或多个其他子模式，例如DC编码模式和/或平面帧内编码模式，根据DC编码模式，相应区块的预测信号将DC值指派给相应区块内的所有样本，根据平面帧内编码模式，相应区块的预测信号被近似或确定为由相应区块的样本位置上的二维线性函数描述的样本值的空间分布，其中基于相邻样本得出由二维线性函数定义的平面的偏移及偏移。与此相比，根据帧间预测模式，可例如通过在时间上预测区块内部来获得区块的预测信号。对于帧间预测模式的参数化，可在数据流内用信号通知运动向量，运动向量指示视频11的先前编码图像的一部分的空间位移，在所述部分处对先前编码/解码的图像进行取样以便获得相应区块的预测信号。这意味着，除了由数据流14包含的残差信号编码，诸如表示量化的谱域预测残差信号24”的熵编码的变换系数层级之外，数据流14可具有编码在其中的用于将预测模式指派至区块的预测相关参数、用于所指派的预测模式的预测参数，诸如用于帧间预测模式的运动参数，及可选地，使用所指派的预测模式及预测参数来控制区块的最终预测信号的合成的其他参数，如将在下文更详细地概述。另外，数据流可包含分别控制及发信号通知图像12及12'细分成区块的参数。解码器20使用这些参数以与编码器相同的方式细分图像，以将相同的预测模式及参数指派给区块，并执行相同的预测以产生相同的预测信号。
图3展示(一方面)经重建信号(即经重建图像12')与(另一方面)数据流中发信号通知的预测残差信号24””和预测信号26的组合之间的关系。如上所述，所述组合可为相加。预测信号26在图3中说明为图像区域细分为不同大小的区块80，但此仅为示例。细分可为任何细分，诸如将图像区域规则细分成区块的列及行，或者将图像12多树细分成不同大小的叶区块，例如四叉树细分等，其中其混合在图3中说明，其中图像区域首先被细分为树根区块的列及行，接着根据递归的多树细分被进一步细分以产生区块80。
图3中的预测残差信号24””亦被说明为图像区域至区块84的细分。这些区块可被称为变换区块，以便将其与编码区块80区分开。实际上，图3说明编码器10及解码器20可分别使用图像12及图像12'至区块的两个不同细分，即一个细分为编码区块80，另一细分为区块84。两个细分可相同，即，每个区块80可同时形成变换区块84，反之亦然，但图3说明例如对变换区块84的细分形成至区块80的细分的扩展以便两个区块80之间的任何边界覆盖两个区块84之间的边界的情况，或替代地，每个区块80或与变换区块84中的一个重合或与变换区块84的群集重合。然而，亦可彼此独立地确定或选择细分，使得变换区块84可交替地跨越区块80之间的区块边界。就至变换区块84的细分而言，类似的陈述因此与关于至区块80的细分所提出的一样，即区块84可为将图像区域规则细分成按列及行排列的区块的结果、图像区域的递归多树细分的结果，或其组合或任何其他类型的细分。另外，应注意，区块80及84不限于四边形、矩形或任何其他形状。此外，将当前图像12细分为形成预测信号的区块80，及将当前图像12细分为编码预测残差的区块84，可并非用于编码/解码的唯一细分。这些细分形成执行预测信号确定及残差编码的粒度，但首先，残差编码可替代地在未细分的情况下完成，其次，在除了这些细分之外的其他粒度，编码器及解码器可设定某些编码参数，其可能包括一些上述参数，诸如预测参数、预测信号合成控制信号等。
图3说明预测信号26及预测残差信号24””的组合直接导致经重建信号12'。然而，应注意，根据诸如从其他视图或例如从在具有单独DPB的单独预测循环中对其进行编码/解码的其他编码层获得的预测信号的替代实施例，可将多于一个预测信号26与预测残差信号24””组合以产生图像12'。
在图3中，变换区块84应具有以下意义。变换器28及逆变换器54以这些变换区块84为单位执行其变换。举例而言，许多编解码器对所有变换区块84使用某种DST或DCT。一些编解码器允许跳过变换，以便对于一些变换区块84，预测残差信号直接在空间域中编码。然而，根据下文描述的实施例，编码器10及解码器20以支持多个变换的方式被配置。举例而言，编码器10及解码器20支持的变换可包含：
○DCT-II(或DCT-III)，其中DCT代表离散余弦变换
○DST-IV，其中DST代表离散正弦变换
○DCT-IV
○DST-VII
○标识转换(IT)
自然地，尽管变换器28将支持这些变换的所有正向变换版本，但解码器20或逆变换器54将支持其对应反向或逆向版本：
○逆DCT-II(或逆DCT-III)
○逆DST-IV
○逆DCT-IV
○逆DST-VII
○标识转换(IT)
在任何情况下，应注意，所支持的变换的集合可仅包含一个变换，诸如一个频谱至空间或空间至频谱变换。
如上所述，已经呈现了图1至图3作为示例，其中可实施下文进一步描述的合成式预测概念，以便形成根据本申请的视频编码器及解码器的特定示例。就此而言，图1及图2的视频编码器及解码器分别表示下文描述的视频编码器及解码器的可能实施。如下文将更详细地概述的，当具有随后解释的根据本申请的用于图1及2的视频编码器及解码器的组合预测的实施例时，图1的视频编码器及图2的视频解码器至少作为一个选项支持以下文更详细描述的方式处理区块80，或甚至构成当前图像12的所有区块。因此，下文中描述的实施例尤其是指视频编码器，其等于图1的编码器10，其以下文更详细描述的方式处理区块80，且相同情况适用于图2的解码器，因此，表示根据实施例的视频解码器的示例，其中以下文更详细描述的方式处理区块80。然而，图1及2仅为特定示例。然而，根据本申请的实施例的视频编码器可使用下文更详细描述的概念来执行基于区块的编码，且与图1的编码器不同，例如，其中以与图3中示例的方式不同的方式执行至区块80的细分，或该编码器不使用变换预测残差编码来编码预测残差，例如反而直接在空间域中。同样，根据本申请的实施例的视频解码器可使用下文进一步概述的合成式预测编码概念从数据流14执行解码，但例如可与图2的解码器20的区别在于以与关于图3描述的方式不同的方式将图像12'细分成区块和/或解码器不在变换域中从数据流14得出预测残差，但例如在空间域中得出预测残差。
特别地，关于区块细分为区块80，应注意，可以关于图3概述的方式或以不同的方式完成此操作。细分为变换区块(若存在)亦可如关于图3所描述的或以不同的方式进行。特别地，一方面细分为区块而另一方面细分为其他区块，诸如变换区块，可通过分别独立地将图像12细分为这些区块而彼此独立地完成，或以相依方式完成。举例而言，一个细分，诸如细分为变换区块，可形成如上所述的另一细分的扩展，或两个细分可形成公共主细分的单独扩展，例如，将图像细分为树根区块的阵列，如关于图3所描述。而且，此种可能性亦适用于下文将提及的其他子图像粒度，诸如关于某些预测参数、预测模式、贡献权重等的定义。不同的细分可用于这些实体中的不同实体，且可彼此独立、部分独立或作为彼此的扩展而定义。
为此，以下描述集中于预测编码器及解码器处的区块80。目的是通过用更通用的方法替换帧内预测、帧间单向预测及帧间双向预测之间的传统难区别来改良视频编码的速率失真效能，这允许获得预测信号的方式具有更大的灵活性。想法为合成多个基元预测操作，使得合成产生比其任何构成基元预测操作更好的预测信号。在简单的情况下，构成基元预测操作可为帧内预测或帧间预测(单向或双向)，且组合操作可为加权叠加。在此种情况下，得到的整体预测信号q将从构成基元预测信号p1，...，pN得出为
Figure BDA0002748070690000091
其中αn为加权因子，N为构成基元预测的数目。此处及下文，p1，...，pN及q为由对应信号的样本值组成的向量，即，要预测的区块的形状的二维向量。
在特定实施例中，通过重复应用合成操作来获得整体预测信号。我们定义初始化
q1＝p1，v1＝1
及递归关系
Figure BDA0002748070690000092
合成运算符fn将中间合成式预测信号qn及一个或多个基元预测信号
Figure BDA0002748070690000093
映射至新的中间预测信号qn+1。vn+1及vn+1的值指定用于产生中间预测信号qn+1的第一及最后基元预测信号的索引。获得整体预测信号作为最终中间预测信号q＝qK+1。请注意，K指定应用的合成操作的数目。举例而言，可应用K≥0、K≥1或K＞1，且亦可应用诸如1 o2的上限。利用给定为N的构成基元预测信号的总数，其遵循vK+1＝N。
为了进一步说明此点，请参见图4。解码器及编码器支持的一组基元预测模式在100处说明。此组100可包含帧内预测模式102及帧间预测模式104。单向预测帧间预测模式且双向预测帧间预测模式可形成组100的单独元素，或者可被解释为帧间预测模式104的不同参数化版本，如图4中的虚线所示。当前要预测的区块在106处指示。为了形成合成式预测信号q，108，对于预定区块106，解码器及编码器提供基元预测的集合110，即p1至
Figure BDA0002748070690000094
编码器及解码器使用预测模式的组100来得出此集合110，或者更确切言之，从组100得出基元预测模式的集合112，其中此集合112可等于组100或者可为其适当的子集，此取决于各个基元预测pi与组100中的预测模式的关联。特别地，对于基元预测集合110的得出114，每个基元预测pi可通过组100的预测模式中的相关联的一个来得出。因此，与集合110中的至少一个基元预测相关联的所有预测模式形成集合112。基于基元预测的集合，即110，解码器及编码器接着通过组合基元预测的集合110来合成预定区块106的合成式预测信号108。如通过最后一个公式所示，此组合116可分阶段完成或者在迭代中依序完成。上文已经通过K指示了迭代次数。特别地，首先通过函数f1将形成通常或基本预测的第一基元预测p1与具有其他基元预测的第一子集(即
Figure BDA0002748070690000101
)组合以获得中间预测信号q2。接着，后者经受另一函数f2及其他基元预测的另一子集，即
Figure BDA0002748070690000102
以便得到中间预测信号q3，以此类推与函数fK的结果产生最终合成式预测信号108，即q。
如图4所说明，每个基元预测pi及合成式预测信号q及所有中间预测信号qi表示将预测样本值与区块106的每个样本位置相关联的向量或矩阵。如上文参考图1及图2所述，编码器将用于区块106的预测残差编码至数据流14中，即相对于合成式预测信号108，用于校正合成式预测信号108，以便重建区块106。
仅为了便于理解以下描述，图5说明关于如何基于相关联的预测模式得出各个基元预测pi的问题，需要在编码器及解码器之间共享参数化的情况。特别地，图5说明编码器在120处为每个基元预测pi选择要为区块106选择的预测模式，且在122处为其参数化选择。若在120处选择的预测模式为例如帧内预测模式，则在122处选择的参数化为帧内模式参数。举例而言，一组一个或多个帧内模式参数124可区分相互不同的角度模式，例如，在帧内预测方向或角度方面，及可选地，区分一个或多个其他模式，诸如DC及平面模式，如上所述。若所选预测模式为帧间预测模式，则一组一个或多个帧间模式参数126可包含运动向量，且可选地，包括参考图像索引及可选的预测索引。特别地，参数组126中的运动向量可发信号通知为相对于通过空间和/或时间预测从区块106的空间和/或时间邻域获得的运动向量预测的运动向量差，且在参数组126包括预测索引的情况下，可从若干此种预测候选中选择一个作为运动向量差的基础。因此，对于每个基元预测pi，数据流14允许解码器得出用于区块106的此基元预测pi的预测模式128，及用于参数化对应模式128的相关联的一组一个或多个预测参数，以使用相应地参数化的此模式产生预测pi，即预测参数组130。接着使用组合116组合在132处如此获得的基元预测，以产生最终的组合的预测信号q，108。如下文将更详细解释的，可使用不同的机制来减轻与保持编码器及解码器同步相关联的信令开销相关的负担，或者替代地，以便将用于每个基元预测的信息128及130发信号通知给解码器。根据下文更详细描述的本申请的实施例，控制组合116且因此合成式预测信号108的另一参数可经历编码器的子图像层级变化，可涉及：
1)递归或迭代的数目K。如图5中的134所示，K可以以子图像粒度变化，例如，对于诸如区块106的每个区块。
2)在使用图6的迭代合成方法的情况下，递归或迭代次数K可改变。若K变化，此亦间接地改变预测集合110的基数，且在对于额外预测p2至
Figure BDA0002748070690000111
允许多于一种模式的情况下，改变模式集合112的基数。然而，当不使用迭代方法时，后者基数中的一个或两者亦可变化。
3)可以以子图像粒度控制组合116。举例而言，在使用上述公式的迭代组合的情况下，每次迭代的函数fn可能受到编码器的变化的影响。如下文将更详细地概述的，函数fn可为可参数化的，其中编码器选择136函数fn的参数化，通过数据流14向解码器提交或发信号通知对应合成控制信息138，以相应地执行组合116的合成。
如图5所说明的与合成116相关联或控制合成116的信令，即迭代次数K、预测模式128及其对每个所涉及的基元预测及合成控制138的参数化不需要在区块106的数据流中显式发信号通知。亦即，这些信息项不需要作为图像12的区块106或某个子区域(区块106位于其中)的额外信息而被传输。相反，如下文将更详细地概述的，一些或所有此信息可通过隐式信号化来发信号通知，这意味着解码器能够从数据流14中的其他数据(例如，与相同信息类型相关，但相对于与例如区块106相邻的另一区块，或与另一编码参数问题相关，诸如关于例如残差编码等的编码参数问题)推断出相应信息实体。以下描述实施例。
换言之，图5清楚地表明用于产生基元预测信号p1，...，pN的预测控制信息，诸如关于预测模式的信息128，预测模式参数化相关信息130(诸如帧内模式、参考索引及运动向量)，应为解码器所知，因此应在数据流14中的边信息中传输。此外，已经概述了可显式地或隐式地发送或发信号通知此预测相关信息。显式信号化可被描述为发送部分或全部预测相关信息，例如专门用于区块80或区块80所在的图像的某些子区域的帧内预测模式或参考索引、运动向量预测索引、运动向量预测索引或运动向量差，而隐式信号化可被描述为意谓预测相关信息或其部分可从数据流14的其他部分推断，例如与当前预测区块80不同的区块相关的数据流14的部分，即对于区块80不在其中的区块。参见例如图4。当前预测区块106已经使用参考符号106表示。此参考符号已经用于指示图4中说明的任务具体地针对此区块106执行。然而，区块106为区块80，如在106后面的括号中的80所示，且关于预测合成的任务可替代地针对所有区块80执行，或者例如，对于p1具有帧间预测模式的区块80。因此，从邻域中的此种区块，可推断出得出其他基元预测及其数目或迭代次数所涉及的一些信息，例如通过将参考图8描述的合并指示符或合并旗标来激活推断。其他相邻区块可被视为K为零的区块，即额外基元预测的数目为零。
在下文更详细概述的示例中，例如，通过调整及进一步开发所使用的合并方案或合并模式来使用隐式信号化，例如，在HEVC或H.265中。在特定实施例中，例如，在数据流14中为
Figure BDA0002748070690000121
的子集明确地发信号通知信息128及130或单独发信号通知信息130，且对于补集合，隐式地发信号通知。
举例而言，预测模式可由解码器及编码器默认设定，例如，涉及除了第一基元预测p1之外的基元预测。
如上文关于参考符号138所概述的，合成运算符f1，...，fK亦应为解码器已知的。其可为固定的或从已经传输的语法元素推断的，或在数据流中明确地发信号通知。
在一个特定实施例中，各个f1，...，fK可从通用合成运算符h获得
Figure BDA0002748070690000122
此处，假设构成基元预测信号的数目对于所有合成运算符f1，...，fK为相同的，即，vn+1-vn＝m。向量αn对通用合成运算符h进行参数化，使得获得特定合成运算符fn。因此，若通用组合运算符h为固定的，则仅必须指定αn。注意，αn的维数独立于
Figure BDA0002748070690000123
(及qn)的维数，且亦可为1，从而使αn成为标量。由于αn的值指定合成运算符fn，因此解码器亦应知晓。其可为固定的、推断的或在数据流中发信号通知的。
对于每个合成操作中的均值保持加权线性叠加及一个基本预测信号的特定情况(即，vn+1-vn＝1)，通用合成运算符h可定义为
h(qn，pn+1，αn)＝αn·pn+1+(1-αn)·qn
其中
Figure BDA0002748070690000124
为加权或合成因子。由于加权因子αn应为解码器已知的，因此其可为固定的，或为推断的，或者在数据流中发信号通知的。若仅αn的值的(通常较小)数目为可行的，则可替代地传输索引值
Figure BDA0002748070690000125
其指示αn的实际值。接着通过使用查找表或通过计算或通过其他方式得出αn的实际值。注意，对于所有n，αn的允许值不需要相同。进一步注意，αn或(1-αn)亦可为负的，从而导致对应预测信号的减法。
由解码器及编码器执行以产生合成式预测信号108的后一过程在图6中说明。存在K+1个基元预测p1...pK+1且执行K个迭代或连续求和1501至150K。在每次迭代150i中，将用对应的贡献因子αi加权的下一个基元预测pi+1加至目前为止形成的中间总和，即qi，其中q1为p1，用1减去对应贡献因子αi加权，即1-αi。因此，例如，额外基元预测p2以有效因子α1·(1-α2)·(1-α3)·...·(1-αK)而非α1有效地影响或贡献于最终合成式预测信号108。实际上，这意味着特别为对于较早的基元预测或具有较低索引的基元预测，可将有效权重设定得非常精细，但，例如，各个贡献因子α1至αK的设定限于有限数目的离散权重值。举例而言，参见图7，其说明关于编码器对贡献值αi的设定及其通过隐式或显式信号化由数据流14进行的信令的一些可能性。特别地，图7说明可由编码器设定，即允许由编码器设定，且可在数据流14中隐式地或显式地发信号通知，贡献值αi的贡献值αi的值域160，可限制为由图7中的十字指示的离散数目的权重值。如图7所说明，有限数目的离散权重值可包含至少一个负值及至少一个正值。可以是，额外地或替代地，至少一个可采用值在区间[0；1]外；因此，对于此贡献值αi，其本身或(1-αi)为负的。甚至替代地，例如，可仅允许正值。如上所述，可使用索引表查找或用于αi的所发信号通知的信息(一方面)与权重值(另一方面)之间的算术关系，以便发信号通知贡献值αi。值域160的离散权重值的数目及值在贡献值αi之间可相等，或者对于贡献值可为不同的。注意，可在数据流中发信号通知αi或(1-αi)。
与上文类似，当
Figure BDA0002748070690000131
为二维向量时，通用合成运算符h可定义为：
h(qn，pn+1，αn)＝(αn)1·pn+1+(αn)2·qn
与上述类似，(αn)1及(αn)2的值应被解码器知晓，且可为固定的、推断的或在数据流中发信号通知的。从某种意义上说，先前描述的具有
Figure BDA0002748070690000132
的通用合成运算符h可看作为一个特殊情况，其中(αn)2＝1-(αn)1总能被推断出来。
在另一特定实施例中，限幅和/或舍入运算可包括在合成运算符fn中。其为固定的或推断的，或者在数据流中发信号通知是否要执行限幅和/或舍入运算。亦有可能，限幅和/或舍入运算仅被包括用于合成运算符f1，...，fK的子集(例如，若仅针对整体预测信号q＝qK+1要执行限幅和/或舍入，则只有fK包括限幅和/或舍入运算)。举例而言，参见图6中的虚线框170。他们指示每个中间总和q2至qK可经受限幅和/或舍入运算170。另外，限幅和/或舍入运算172可应用于最终总和qK+1以便产生最终合成式预测信号q。应清楚，任何舍入170/172形成的量化比计算及表示中间总和的计算精度要粗糙得多。举例而言，限幅和/或舍入运算172确保合成式预测信号q，108的样本值在图像12被编码的样本值的允许表示范围或值域内。
此外，合成运算符fn在某种意义上可为标量，即在特定样本位置处的(新中间)预测信号qn+1的结果样本值仅取决于基元预测信号
Figure BDA0002748070690000141
及相同样本位置的中间预测信号qn的值。
再次，为了说明的目的，参见图6。每个基元预测pi为二维向量，其包含合成式预测信号108的每个样本位置180或者区块106/80的每个样本位置180的分量或样本值，且以使得预测信号108的每个样本位置180仅基于基元预测pi内的对应的共同定位的样本位置来确定的方式完成定义。一种替代方案可以为某些中间总和将受到某种滤波，例如FIR滤波等。
表示中间预测信号q1，...，qK+1(或其子集)的域(例如，动态范围、位深度、精度)可与基元预测信号p1，...，pN的域不同。
在联合编码多个颜色平面(例如，R、G、B、亮度、色度、深度、α通道等)的情况下，合成运算符可在平面的(子)集合之间共享或者为独立的。其为固定、推断或在数据流中发信号通知的，所述平面使用相同的合成运算符。
可为整个视频序列定义合成运算符fn或h，或者其可以以给定的粒度(例如，随机访问周期层级、图像层级、切片层级、区块层级等)变化。粒度为固定或推断的，或在数据流中发信号通知。与合成运算符本身一起，其数目K亦可在相同或不同的粒度内变化。可存在上限Kmax，其限制合成运算符的最大数目。Kmax的值为固定的或推断的，或者在数据流中发信号通知。
可显式地(例如，通过发信号通知参数向量αn)或隐式地(例如，类似于HEVC/H.265中的合并模式)发信号通知合成运算符fn或h。在后一种情况下，发信号通知对已经编码的合成运算符组的参考，且使用那些合成运算符(可能在适应之后，例如对于区块大小、颜色信道、位深度等)。隐式及显式信令的混合亦为可能的，例如，隐式地发信号通知第一kimplicit＜K个合成运算符
Figure BDA0002748070690000142
即通过参考已经发信号通知的合成运算符，且显式地发信号通知剩余的K-kimplicit个合成运算符
Figure BDA0002748070690000143
即通过直接发信号通知解码器能够执行合成操作所必需的信息。其为固定的、推断的或在数据流中发信号通知的，在数据流中显式地或隐式地发信号通知合成运算符。
在继续描述通过修改HEVC编解码器获得本申请的实施例的实施的可能性之前，将结合图8说明将合并的概念与合成预测的概念组合的后一方面。图8展示当前处理的区块，即当前解码的或当前编码的区块，即区块106，其为区块80。在其附近，有区块190a及190b。其解码/编码顺序在区块106之前，因此可用于预测或合并。应注意，如图8所示的两个相邻区块190a及190b的事实仅仅为出于说明目的而选择，且亦可使用仅一个相邻区块或多于两个相邻区块。此外，两个相邻区块190a及190b被说明为与区块106大小相同的事实亦仅用于说明目的。实际上，区块190a及190b亦为区块80，即，对于这些区块，已经以与上述相同的方式确定了预测信号108。解码器及编码器可基于例如区块106的一个或多个预定样本位置，识别所有先前处理的区块(即，按编码顺序在前的区块)中的区块190a及190b。举例而言，可确定区块190a为包含在区块106的左上样本192的左侧的样本的区块，且区块190b可被确定为包含在左上样本192的顶部的样本的区块80。然而，其他示例亦为可行的。举例而言，区块候选亦可包含另一图像的区块，诸如包含与区块106并列的区块，诸如包含与前述特定位置192并列的样本位置的区块。在使用对于区块106的合并的情况下，多于一个合并候选中的选择可在数据流14中发信号通知。
由于区块190a及190b为预测区块80，即已经为其确定了预测信号100a的区块，对于这些区块中的每个，存在预测相关信息194，如图8中针对区块190a示例性说明的。更确切地说，相对于区块190a，预测相关信息194导致区块190a的合成式预测信号108。预测相关信息194可包含例如关于预测模式及对应预测参数的信息，基于其得出基元预测p1。另外，信息194指示额外基元预测N的数目。图8示例性地假设预测信号合成遵循图6的概念，且例如指示预测相关信息194指示分别等于所应用的迭代次数150的额外基元预测K的数目。若K＞0，此为有效的可能性，则预测相关信息134另外包含关于用于得出额外基元预测p2...pK+1的模式及对应预测参数的信息。另外，对于每个基元预测pi，对应贡献权重αi-1被包含在预测相关信息194中。应清楚，相邻区块190a的预测相关信息194不需要在数据流14中被显示地发信号通知，但是预测相关信息194可至少部分地在数据流14中被隐式地发信号通知。在任何情况下，编码器及解码器在处理区块106时可访问或知晓区块190a的预测相关信息194。为了节省信令开销，编码器有机会为区块106选择合并模式，从而发信号通知待从区块190a或一些其他合并候选的预测相关信息194推断区块106的对应预测相关信息的至少一部分，例如区块190b的对应预测相关信息。亦即，编码器可在数据流14内通过合并信息196的方式发信号通知激活区块106的合并模式，其中合并信息196激活合并模式，且可选地，指示要使用的合并候选。
可能地，合并信息196额外地包含关于合并候选的预测相关信息194的哪一部分将用于推断当前区块106的预测相关信息198的对应部分的信息。根据一个选项，例如，仅仅关于如何得出第一基元预测p1的信息受到由花括号200指示的合并的影响。因此，预测相关信息198内的对应信息200′将被设定为等于信息200。对于任何其他基元预测，例如p2，可通过指向用于相邻区块且与所述特定基元预测的预测模式相关的预测参数列表的信息，在该区块106的数据流中发信号通知预测相关信息或参数。注意，对合并候选列表有贡献的相邻区块及对后者列表有贡献的那些区块，以及因此通过合并信息196及信令206在那些列表中指向其预测相关信息的区块可能为不同的。举例而言，预测p1可为帧间预测信号，而p2为帧内预测信号。
刚刚概述了一种替代方案，可以是：合并信息196含有额外信令，其将用于区块190a的p1的双向预测模式转换为用于区块106的p1的单向预测模式，其中另外选择区块190a的双向预测模式的两个假设中的哪一个将形成区块106的基元预测p1的单向预测模式的基础。替代方案可为合并信息196含有限制合并候选的确定到对于p1使用双向预测模式的合并候选的额外信令，另外发信号通知关于此种双向预测编码的合并区块的两个假设中的哪一个将形成区块106的基元预测p1的基础。在两个替代方案中，区块106的p1的模式被设定为单向预测模式。在将在下文再次更详细地论述的后一替代方案中，合并信息196因此将合并候选集合的形成限制为双向预测的帧间区块，其中可能发信号通知关于最后选择作为区块106的合并伙伴的信息。在前一替代方案中，此限制被丢掉，且所发信号通知的合并候选对于p1可为单向预测或双向预测，且若为双向预测，则仅仅使用所发信号通知的假设用于参数化区块106的p1的单向预测模式得出。
另一选项为，例如，除了部分200之外，使额外基元预测的数目K及关于如何得出对应基元预测及如何设定对应贡献值的对应信息经受合并操作，如由花括号202所指示。在所述情况下，将从区块190a的部分202推断出区块106的预测相关信息198的对应部分202′，即kimplicit乘以关于模式的信息、相关联的预测参数及用于额外基元预测的贡献值
Figure BDA0002748070690000161
Figure BDA0002748070690000162
亦即，根据选项202，预测得出信息，即模式及相关联的预测参数，以及相邻区块190a的所有K个额外基元预测p2至pK+1的贡献权重将用于形成用于合成区块106的合成式预测信号的相同数目的基元预测的对应基元预测得出信息及贡献权重信息。即，根据此示例，若对于区块106确定为隐式地得出p1的预测参数，即部分200，则这同时发信号通知或触发
Figure BDA0002748070690000163
的预测参数及贡献值的隐式推断。然而，如图8所示，编码器可另外决定相对于设定kimplicit将用于当前区块106的额外基元预测的数目扩展为等于相邻区块190a的K。编码器可在数据流14内发信号通知偏移或不同的K-kimplicit以发信号通知多个显式发信号通知的基元预测。因此，区块106的预测相关信息198接着将在数据流14中明确地发信号通知对于区块106如何得出对应基元预测
Figure BDA0002748070690000164
应清楚，信息内容198中的K与区块106的额外基元预测的数目有关，而信息194内的K与区块190a有关，且两个参数可不同地设定。其皆可能受到某些Kmax的限制，如上所述，Kmax可被设定为默认值，或者可在数据流14中发信号通知。
代替选项202，编码器可能具有额外的自由度来发信号通知并非相邻区块190a的所有额外基元预测K都将用于为当前区块106建立预测相关信息198。换言之，数据流14可用于发信号通知如何修改区块190a的K，即合并候选，以获得区块106的kimplicit。后一选项在图8中使用花括号204说明。使用选项200至204中的哪个可能取决于实施。举例而言，选项200至204中的一个可由编码器及解码器以固定方式使用。可替换地，一些信息可提供在选项200至204中的两个或全部之间的切换。代替向编码器提供修改与区块190a有关的信息194内的K以产生区块106的kimplicit并经由在数据流14中发信号通知来通知解码器的机会，与区块190a有关的信息194内的K与区块106的kimplicit之间的关系可通过默认固定或由隐式信令确定。
关于图8，应注意，默认情况下可知晓哪个预测模式，即帧内或帧间，用于预测相关信息198中区块106的任何其他基元预测p2至pK+1。因此，就涉及的显式发信号通知的基元预测而言，可能不必在数据流14中传送与此情况有关的语法。对于区块106的p1，类似的陈述可能为真。举例而言，合并选项/操作可仅由对应合并旗标激活，例如，对于区块106，在数据流中，已经发信号通知区块106的p1为特定模式，诸如帧间模式，或者合并激活本身同时显示区块106的p1为特定模式，作为合并候选组(列表已通过仅允许p1为相应预测模式的候选进入而建构)。
现在让我们转向通过修改HEVC/H.264编解码器实现的本申请实施例的可能实施的呈现。在HEVC/H.265中，每个图像被分成多个编码树单元(CTU)，每个编码树单元可进一步细分为编码单元(CU)。CU可再次进一步划分为预测单元(PU)及变换单元(TU)。可在PU层级发信号通知上述合成预测。除了HEVC/H.265的普通预测参数(即，帧内预测模式或运动向量及参考索引)之外，可与合成信息一起发信号通知其他预测参数(亦为帧内或帧间)，其指示如何将从个别预测参数获得的个别预测信号合成为所得到的整体预测信号。亦即，之前描述的区块106可以为根据HEVC命名法的PU区块。可通过一个额外语法元素来指示额外预测参数的可用性。若此语法元素指示不存在额外预测参数，则不需要发送其他数据。否则，跟随对应于额外预测信号的语法元素及指定如何执行普通HEVC/H.265预测信号及额外预测信号的合成操作的数据。在简单的情况下，发送额外预测信号的加权或贡献因子。这个因子可直接发信号通知，或作为查询表的索引被发信号通知，通过该索引获得实际的加权因子。若使用不止一个额外预测信号，则信令再次从头开始，即，发信号通知一个语法元素，其指示是否跟随更多额外预测信号。接着如前所述继续发信号通知。
在后一种陈述中，已经揭示了一种发信号通知K，或者替代地，用于区块106的K-kimplicit的方式。特别地且如将在以下呈现的语法示例中所例示，有可能在用于区块106的数据流14中依序通过额外基元预测，即通过对应旗标指示额外基元预测、对于数据流14中的当前区块是否遵循额外的显式发信号通知的基元预测，且因此，对于此其他额外基元预测，是否遵循预测参数及其贡献权重。如下所示，这些旗标可以以与关于基元预测得出信息及对应的贡献权重的对应显式信息交织的方式在数据流14中传输。总而言之，kimplicit个基元预测可通过K-kimplicit个显式定义的基元预测来扩展。控制kimplicit个基元预测的参数为从合并候选得出的。对于区块106，在数据流14中发信号通知K-kimplicit个额外显式定义的基元预测的数目。这可通过每个额外显式定义的基元预测发送一个特定状态的旗标，接着为另一状态的一个位(可选地，除非已达到最大数目Kmax)来完成。关于显式定义的基元预测的信息，即图8中的206，在区块106的数据流14中传送。
应注意，图8展示对于参与区块106的预测信号的合成的每个基元预测，模式由信息198指示。然而，这并不意味着必须对于这些基元预测中的每个在数据流14内传送此模式指示。相反，至少对于这些基元预测中的一些，默认情况下可知晓对应基元预测为哪种模式。举例而言，下文更详细地概述的一些实施例假定任何其他基元预测p2，...，pK+1为帧间预测模式，因此不需要对其花费信令开销。
让我们简要地比较图8的描述与HEVC的合并模式，并简要描述关于如何关于合并模式修改HEVC，以便形成关于图8描述的实施例的一个实施示例。在HEVC/H.265中，合并模式允许使用来自已发送的相邻或时间上共同定位的区块的帧间预测参数。这减少了所需的数据量。并非发信号通知以下全部
·inter_pred_idc(指示是否使用list0、list1或双向预测)
·运动向量预测索引(在双向预测的情况下)
·参考图像索引(在双向预测的情况下)
·运动向量差异
仅发信号通知合并索引，其指示预测参数将被重新用于当前PU的预测单元(PU)。
如关于图8所描述的，亦可将合并模式用于一个或多个基元预测信号。换言之，例如，若对于第一基元预测信号p1使用合并模式，则可发送一个或多个额外预测信号，即显式定义的预测信号，并将其合成为如上所述的一个整体预测信号。此外，通过额外信令，可限制合并模式，使得仅可用预测数据的部分用于p1(例如，list0或list1预测而非双向预测)或者可用预测数据被修改(例如，在得到的运动向量网格上有或没有移位的情况下量化为全像素或半像素运动向量精度)。合并模式被限制的方式由其他语法元素指示(例如，对于双向预测至单向预测的情况，用一个旗标指示是否要使用list0或list1预测)。
若所使用的合并候选(如合并索引所指示)使用合成预测，则所有构成基元预测信号或其子集可用于当前基元预测信号，即隐式定义的基元预测。其为固定的，或推断的，或显式地发信号通知合并相邻者的p2-pN+1中的哪个子集用于隐式定义。举例而言，可确定，在上述双向至单向预测限制的合并模式的情况下，不仅舍弃指定双向预测信号的两个运动参数中的一个，而且亦舍弃所有额外的基元预测信号。在另一示例中，若不施加此种限制，则所使用的合并候选的所有基元预测参数可用于当前区块。
在HEVC/H.265中，合并候选列表以避免冗余条目的方式构造。在合成式预测的上下文中，这意味着不仅可检查第一基元预测信号p1的运动参数是否相等，而且亦可检查所有其他基元预测信号的运动参数。
如在数据流中指定的预测的顺序的示例参见图9，其展示用于定义信息206的PU语法的一部分。第一预测假设p1可为“普通”(即，帧内、单向预测帧间或双向预测帧间)预测信号。注意，对于HEVC/H.265中的合并模式的特殊情况(或类似者)，即进行对另一经编码区块的引用且来自彼处的预测参数亦用于当前区块的预测模式，有可能通过多达两个语法元素将双向预测的使用限制为两个构成预测信号中的一个(指示是否应用此种限制，且当是时，指示将使用两个[list0或list1]预测信号中的哪一个)。在此第一“普通”预测假设之后，其后为一系列语法元素。
变量NumMergedAdditionalHypotheseis 208给出了已经通过合并模式从其自身具有额外假设的区块“继承”的额外假设的数目。变量MaxNumAdditionalHypotheseis 209限制额外假设的总数。其值可为固定的，或由配置文件/层级限制给出，或者在数据流中传输，等等。
特别地，根据图9的示例，通过旗标210的序列，即additional_hypotheseis_flag来发信号通知显式定义的基元预测的数目。具有特定状态(即为1)的旗标210的数目定义了显式定义的基元预测的数目，且后面为属于另一状态(为零)的旗标210。为1的每个旗标210之后为关于如何解释对应额外基元预测的信息。在此示例中，假设这些额外基元预测中的每个为帧间预测模式。因此，针对每个额外显式定义的基元预测传输以下语法元素：ref_idx_add_hyp212指示对应额外显式定义的基元预测i的参考图像的参考索引，即，第i个旗标210为1的参考图像的参考索引；语法部分mvp_coding 214，包含运动向量差，即与运动向量预测的差，当加至后者的运动向量预测时，产生用于建立/得出第i个基元预测的运动向量；mvp_add_hyp_flag 216为选择两个运动向量预测中的一个的旗标；替代旗标，因为可使用具有更多状态的语法元素，或者若在编码器及解码器中仅使用一个预测子则可以丢掉旗标；语法元素add_hyp_weight_idx 218表示第个基元预测对合成式预测信号有多少贡献的贡献权重，其中αn或(1-αn)可由218指示。根据图9，可使用图6中的概念。如图9所示，若后一个旗标为1，则语法元素212至218仅跟随第i个旗标210，且旗标210为1和对应信息212至218交错。此外，若由于已经达到由变量209定义的允许的额外基元预测的最大数目的事实而已经知晓无其他基元预测可以跟随的事实，则不传输旗标210。如上所述，例如，编码器可在数据流中对于整个视频、图像序列或在逐个图像的基础上发信号通知变量209的值。此外，如上所述，变量208可定义已经隐式定义的基元预测的数目。根据一个实施例，所述变量不可避免地被设定为0，即，所有额外的基元预测都为显式定义的，且根据另一实施例，此变数200定义了图8的数目kimplicit。
在上文给出的语法表中，add_hyp_weight_idx[x0][y0][i]的值指定空间位置(x0，y0)(在亮度样本中给出)处的第i个额外假设的加权因子(通过索引至查找表中)。因此，空间粒度处于预测区块层级(CU或PU，在HEVC/H.265中)。
请注意，根据图6的迭代合成的优点在于组合若干基元预测的非迭代方法。特别地，与双向预测相比，所需预测样本缓冲器阵列的数目不增大，因为一个缓冲器可用于累积各个预测假设，而另一缓冲器含有当前预测信号。除此之外，其允许中等复杂度的编码算法，其中各个假设为本着“贪婪算法”(即局部优化)的精神而一个接一个地确定的，可能之后为精化阶段，其中所有假设的预测参数(即运动向量)在其先前值的局部邻域中变化，可能在所有假设上多次迭代，直至达到最大迭代次数或者未实现进一步改良。
此外，关于在形成合成式预测信号时使用诸如舍入及/限幅操作170及172的非线性操作的可能性，应做出一些评论。独立于是否使用个别预测/假设的累积的问题，使用比实际表示位深度(例如，10位)更高的位深度精度(例如，14位)，从实际的观点来看，在累积(“相加”)新预测/假设之后，必须至少存在一些非线性舍入运算，因为否则用于储存新累积预测信号的所需位深度将对于每个额外预测增大一个位。(假设，累积位深度为10，给定位置的至今为止累积样本值为1023，且当前额外假设的对应样本值为1022，若两个预测均以0.5被加权，则所得值将为1022.5，其不能储存在10位中，因此要么应进行一些舍入，以保持位深度不变，要么每个新预测的位深度都应增大。)因为保持位深度不变是通常所期望的，因此舍入为不可避免的，以使得合成应以迭代的方式完成，且不应扩展成一个大的加权总和(或类似者)。
进一步注意，图6中的权重αi不限于在[0..1]的范围内。特别地，可分别使用对于当前(累积)预测的权重{3/4、9/8、17/16}及对应地，对于当前假设的{1/4，-1/8，-1/16}，即分别为(1-α)及α。通过使操作170、172除了舍入之外亦涉及限幅，对于中间总和qi及最终合成预测q，防止所得预测样本值超出范围(例如，对于10位为＜0或＞1023)。
图9的语法表依赖于以下事实：在分析期间已知NumMergedAdditionalHypotheseis的值。可能并非此种情况，因为确定合并候选的列表且因此使用的合并候选可能为耗时的任务，其可在分析过程期间被避免且推迟至实际解码(即，经重建样本值的计算)。换言之，根据图9，用于定义预测参数及甚至区块106的显式定义的基元预测的数目的显式信息的分析取决于最终选择的合并候选的预测相关信息，即特别地取决于后者的额外基元预测的数目K。然而，若由于传输损失，可能无法在解码器侧毫无疑问地确定合并候选，则解码器不能正确地分析关于数目的语法及关于区块的显式定义基元预测206的预测参数，从而导致增大的传输损耗问题。因此，在图10的语法图中，通过在从数据流分析这些信息项之前初始设定kimplicit被设定为0来解除此依赖性，信息项即通过语法元素212至216发信号通知的预测参数的数目连同相关联贡献权重218及通过旗标210发信号通知的区块106的显式定义的基元预测的数目。换言之，后者信息项的编码及分析独立于任何合并候选的设定而被呈现，尤其为可能从其得出的任何kimplicit，且尤其为合并候选中最终选择的一个。然而，在对应解码过程中，必须遵循以下两个方面。
·额外假设p2 ... pK+1的有效列表来自对kimplicit个合并的额外假设，即
Figure BDA0002748070690000211
附加发信号通知的额外假设，即根据图10使用独立于相邻区块K的旗标210及语法元素212至218传输的假设，即
Figure BDA0002748070690000212
·可给出关于有效列表的最大大小的限制Kmax，即，通过209给出。若发信号通知过多额外假设，使得有效列表过大(因为kimplicit加上经由210至218发信号通知的显式发信号通知的预测的数目超过Kmax)，则数据流无效。
亦可能存在合并候选列表的限制。在图11的语法表中，突出显示了相对于HEVC/H.265的变化。在由语法元素226(合并旗标)激活的合并模式的情况下，对于B个切片，传输额外语法元素230 restricted_merge_flag，指示将使用修改的合并候选。若这个旗标230为真(即，等于1)，则传输另一语法元素232restricted_merge_list，其指示如何修改合并候选。若restricted_merge_list＝＝0，则仅对所使用的合并候选采用list0预测。类似地，若restricted_merge_list＝＝1，则仅对所使用的合并候选采用list1预测。在任何情况下，若restricted_merge_flag＝＝1，则舍弃所使用的合并候选的所有潜在可用的额外假设，即，k内隐不可避免地被设定为0。可替代地，语法元素230可发信号通知合并候选列表的信息的变化，因为仅允许双向预测的合并候选。上文已经参考图8概述了此种可能性。
图12中提供另一示例。图12展示CU语法示例，且通过突出显示相对于HEVC的改变，展示关于图9至图11提供的实施例不限于与帧间预测区块有关的使用。在图12的示例中，使用区块106的预测的合成的概念亦应用于帧内预测区块106/80。图12展示CU语法。再次，由旗标210发信号通知显式定义的额外基元预测的数目。然而，对于每个其他显式定义的基元预测，语法元素220指示模式。亦即，其指示是否通过帧内预测或帧间预测模式来解释第hyp个额外的显式定义的基元预测。取决于此，定义相应的第hyp个显式定义的基元预测的帧内预测相关的语法元素222在根据帧间预测细节定义第hyp个额外基元预测的所有语法元素210、212、214及216后面。在两种情况下，贡献权重亦在数据流中传输，即分别为218或228。然而，根据图12的示例，合成式预测信号的概念不仅用于帧内预测区块106，而且亦用于帧间预测区块，如图13所示，其展示由图12的CU语法调用的预测单元语法。即使在此，对于帧间预测的基础预测p1，其他基元预测p2至pK+1的模式可以是发信号通知的与帧内预测相关或与帧间预测相关的一个模式。亦即，对于帧间预测的PU应用相同的语法，如图12中针对帧内预测的区块所示，因此，在图13中使用了相同的参考符号。
换言之或使用另一术语，上述实施例因此尤其揭示了用于使用基于区块的预测解码/编码从/向数据流解码/编码视频的视频解码器及视频编码器，其中预定区块106的预测涉及以下内容：在数据流14中传送的第一预测信息。这可通过激活合并模式来使用合并模式。亦即，第一预测信息可包含合并旗标226。若旗标不激活合并模式，则第一预测信息可明确地指示预测模式及相关联的参数。注意，仅针对p1应用帧间预测模式的区块80可例如经历合成预测，但亦可能仅针对p1应用帧内预测模式的区块80，或两者(对于p1应用帧间预测模式的区块，及对p1应用帧内预测模式的区块)皆经历合成预测。基于第一预测信息，确定/得出第一预测信号p1，诸如图4中的得出114的一部分。此外，从数据流14得出数目K。在实施例中，这通过依序传输K+1或K次的旗标210完成，其取决于是否已经达到Kmax。然而，代替此种截断的一元编码，可使用另一编码。特别地，可不同地解决旗标210与数据流中随后提及的信息的交织。此外，K可预测地在数据流14中编码。举例而言，在上文中，kimplicit可被视为K的预测，仅仅K-kimplicit被传输。确定K个其他预测信号p2 ... pK+1，且对于K个其他预测信号中的每个，确定合成权重。可使用显式信令和/或隐式信令以保持解码器及编码器同步，即用于发送用于p2 ... pK+1的一个或多个预测参数的集合且用于发送贡献权重。举例而言，对于p2 ... pK+1的全部，可显式地发送一个或多个预测参数的组。对于所有预测信号p1 ...pK+1，此组已在图30中表示为130。在图9至13中，此组包括212至216或222，此取决于模式。模式指示220亦可被包括或发信号通知。然而，所有p2 ... pK+1可为帧间预测模式，例如默认的单向预测模式。关于贡献权重α1...αK的信息亦可显式地和/或隐式地传输。举例而言，可通过语法元素218/228显式地发送所有这些。可如上文参考图7所述使用索引。最后基于第一预测信号及K个其他预测信号及其合成权重来预测预定区块106。对于预测，如关于图6所教导的，可将K个其他预测信号中的每个依序相加至第一预测信号，其中利用对应其他预测信号的合成权重对对应其他预测信号进行加权且利用1减去合成权重对依序相加的中间总和进行加权，相应其他预测信号被相加至依序相加的中间总合。K个其他预测信号中的每个的贡献权重可以如下方式在数据流中传送：使得贡献权重从值域中取出一个值，所述值域由对于K个其他预测信号相等的多个值组成。对于K个其他预测信号，值域可相等。对于α1...αK中的一个，至少一个值可在[0；1]之外。限幅和/或舍入运算170、172和/或另一非线性可以应用于至少中间总和的子集。
亦注意以下内容。上文的示例显示第一预测p1经历某种受控的限制合并的可能性。对于，诸如通过合并旗标226激活合并模式的区块106，合并候选限制信令230在数据流中被发信号通知。完成用于预定区块106的一组预测参数合并候选的确定，其中若合并候选限制信令230指示对双向预测性预测参数合并候选的合并候选限制，从预测参数合并候选集合中排除单向预测性预测参数合并候选，即区块190a、b中的一些，对于其，信息194指示不使用p1的双向预测，以及其中若合并候选限制信令230不指示对双向预测性预测参数合并候选的合并候选限制，允许单向预测性预测参数合并候选进入预测参数合并候选集合，即，除了对应信息194建议双向预测的区块190a、b之外，信息194建议单向预测的区块190a、b。注意，预测参数合并候选的集合实际上可为有序集合，即列表。可通过与具有用于区块106的某些估计或设定的每个预测参数合并候选进行比较来完成排序。亦应注意，预测参数合并候选或合并候选，如在此处及在先前描述中所提及的，与诸如200、202及204的预测相关设定有关，其可能仅从一个相邻区块获得，或者通过某种平均或某种其他组合等从多于一个此种相邻者获得。此外，如上所述，相邻区块亦可位于除区块106的外的其他图像中。更进一步地，该组预测参数合并候选可能已经被一个或多个默认预测参数设定另外补充，例如，以便在一些相邻区块丢失的情况下，在集合/列表中实现预测参数合并候选的固定数目或基数。为预定区块选择一组预测参数合并候选中的一个。为此，可使用诸如图12中的merde_idx的索引。其对预测参数合并候选集合中的一个进行索引。若合并候选限制信令230指示对双向预测性预测参数合并候选的合并候选限制，则数据流含有假设选择指示232。若合并候选限制信令230指示对双向预测性预测参数合并候选的合并候选限制，通过使用根据所选择的预测参数合并候选的两个假设中的一个参数化的单向预测性预测来获得确定预定区块的预测信息，一个假设是根据假设选择指示232选择的，且若合并候选限制信令230不指示对双向预测性预测参数合并候选的合并候选限制，则根据所选预测参数合并候选进行预测，即若所选预测参数合并候选是双向预测的，则使用根据所选预测参数合并候选的两个假设参数化的双向预测性预测，且若所选预测参数合并候选为单向预测的，则使用根据所选预测参数合并候选参数化的单向预测性预测。如上所述，在单向预测中，预测信号可为参考图像的移位及内插区域，参考图像即为用于参考的图像。所使用的参考图像由参考索引指定，且参考图像内的可能内插区域的位置由运动向量相对于当前区块指定。从合并候选采用参考索引及运动向量，或者，换言之，参考索引及运动向量用于参数化区块106的单向预测，即来自单向预测合并候选或双向预测合并候选的所选假设。在双向预测中，两个运动补偿的预测信号被线性叠加，诸如对于两个构成预测信号使用因子0.5，或使用一些其他权重比。因此，对于双向预测，两个参考索引及运动向量从双向预测合并候选采用，或者用于参数化双向预测。如同在此提及的双向预测一样，此处两个假设的组合可通过以相等权重或基于每个图像在数据流中发信号通知的一些权重比将两个假设相加来固定地完成。因此，根据此实施例，取决于合并候选限制信令230是否指示对双向预测性预测参数合并候选的合并候选限制，p1的得出向前与开始不同地进行，即，构造合并候选列表。然而，根据替代实施例，视频解码器及视频编码器不支持以p2 ... pK+1的形式相加其他假设，而仅以刚刚概述的方式处理帧间预测区块106的合并：即，对于此种区块106仅存在p1，且在图12及13的示例中，除了HEVC语法之外仅存在语法元素230及232而非与p2 … pK+1的相加相关的语法元素。至目前为止，上文提及的所有细节，就刚刚强调的限制合并候选列表构建问题所描述的，应形成最近突出显示的实施例的进一步细节的储存库，重点为关于p1的合并而不管任何其他预测信号，例如上文关于图1至3所示的所有细节，例如关于如何在内部实施编码器及解码器，及如何将图像细分为含有当前处理的区块(即106)的区块80。
此外，注意以下内容。以上示例亦针对第一预测p1显示在所选合并候选为双向预测性合并候选，即双向预测模式适用的合并候选的情况下，在合并候选的预测设定被重新用于当前区块106的程度方面，即在所采用的数目方面，其受到某种受控限制合并的可能性，而非将合并候选列表信息限制为双向预测模式。对于诸如使用merge_flag激活合并模式的区块106，在解码器及编码器处确定用于预定区块的一组预测参数合并候选。所述确定以上文已经解释过的方式进行，诸如参考图8，或者在前一段中。选择预定区块的一组预测参数合并候选中的一个，例如在数据流中发信号通知所选合并候选的索引，如上文已经参考图8所解释的，或者在前一段中所解释。在数据流中发信号通知合并候选限制信令230。这可不可避免地进行，即，不管所选合并候选是否为双向预测的，以便增大错误稳健性，或者响应于所选合并候选为双向预测的而进行，在所选合并候选为单向预测的情况下省略信令230。若合并候选限制信令230指示受限合并操作，则向数据流另外提供假设选择指示232。接着，通过以下确定用于预定区块的预测信号：1)若所选预测参数合并候选为单向预测性的，则使用根据所选预测参数合并候选参数化的单向预测性预测，2)若所选预测参数合并候选为双向预测性的，若所述合并候选限制信令230指示受限合并操作，则使用根据所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，一个假设是根据假设选择指示232而选择的，及3)若所选预测参数合并候选为双向预测的，若合并候选限制信令230不指示受限合并操作，则使用根据所选预测参数合并候选的所述两个假设参数化的双向预测性预测。以此方式，已经确定区块106的p1。然而，根据替代实施例，视频解码器及视频编码器不支持以p2 ... pK+1的形式相加其他假设，而仅以刚刚概述的方式处理帧间预测区块106的合并：即对于此种区块106，仅有p1。至目前为止，上文提及的所有细节，就刚刚强调的限制合并候选列表构建问题所描述的，应形成最近突出显示的实施例的进一步细节的储存库，重点为关于p1的合并而不管任何其他预测信号，例如上文关于图1至3所示的所有细节，例如关于如何在内部实施编码器及解码器，及如何将图像细分为含有当前处理的区块(即106)的区块80。
尽管已在设备的上下文中描述一些方面，但显然，这些方面亦表示对应方法的描述，其中区块或装置对应于方法步骤或方法步骤的特征。类似地，方法步骤的上下文中所描述的方面亦表示对应区块或项目或对应设备的特征的描述。可由(或使用)硬设备(类似于(例如)微处理器、可程序化计算机或电子电路)执行方法步骤中的一些或全部。在一些实施例中，可由此类设备执行最重要的方法步骤中的一个或多个。
本发明的数据流可储存于数字储存媒体上或可在诸如无线传输媒体的传输媒体或诸如因特网的有线传输媒体上传输。
取决于某些实施要求，本发明的实施例可在硬件或软件中实施。实施可使用数字储存媒体来执行，所述媒体例如软性磁盘、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或闪存，所述媒体上储存有电子可读控制信号，所述电子可读控制信号与可程序化计算机系统协作(或能够协作)，使得执行各别方法。因此，数字储存媒体可为计算机可读的。
根据本发明的一些实施例包含具有电子可读控制信号的数据载体，所述等控制信号能够与可编程计算机系统合作，使得本文中所描述的方法中的一个得到执行。
通常，本发明的实施例可实施为具有程序代码的计算机程序产品，当计算机程序产品在计算机上执行时，程序代码操作性地用于执行所述等方法中的一个。程序代码可例如储存于机器可读载体上。
其他实施例包含储存于机器可读载体上的用于执行本文中所描述的方法中的一个的计算机程序。
换言之，本发明方法的实施例因此为计算机程序，其具有用于在计算机程序于计算机上执行时执行本文中所描述的方法中的一个的程序代码。
因此，本发明方法的另一实施例为数据载体(或数字储存媒体，或计算机可读媒体)，所述数据载体包含记录于其上的用于执行本文中所描述的方法中的一个的计算机程序。数据载体、数字储存媒体或记录媒体通常是有形的和/或非暂时性的。
因此，本发明的方法的另一实施例为表示用于执行本文中所描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可(例如)被配置为经由数据通讯连接(例如，经由因特网)而传送。
另一实施例包含处理构件，例如被配置为或经调适以执行本文中所描述的方法中的一个的计算机或可编程逻辑设备。
另一实施例包含计算机，其上安装有用于执行本文中所描述的方法中的一个的计算机程序。
根据本发明的另一实施例包含被配置以(例如，电子地或光学地)传送用于执行本文中所描述的方法中的一个的计算机程序至接收器的设备或系统。举例而言，接收器可为计算机、行动装置、内存装置或其类似者。设备或系统可(例如)包含用于传送计算机程序至接收器的文件服务器。
在一些实施例中，可编程逻辑设备(例如，场可编程门阵列)可用以执行本文中所描述的方法的功能性中的一些或全部。在一些实施例中，场可编程门阵列可与微处理器协作，以便执行本文中所描述的方法中的一个。通常，较佳由任何硬设备来执行方法。
本文中所描述的设备可使用硬设备或使用计算机或使用硬设备与计算机的组合来实施。
本文中所描述的设备或本文中所描述的设备的任何组件可至少部分地以硬件和/或以软件来实施。
本文中所描述的方法可使用硬设备或使用计算机或使用硬设备与计算机的组合来执行。本文所描述的方法或本文中所描述的设备的任何组件可至少部分地由硬件和/或由软件进行。
上文所描述的实施例仅仅说明本发明的原理。应理解，对本文中所描述的配置及细节的修改及变化将对本领域的其他技术人员显而易见。因此，希望其仅受到接下来的权利要求的范围限制，而不受到通过本文中的实施例的描述解释所呈现的特定细节限制。

Claims (86)

1.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的视频解码器，所述视频解码器支持用于预测所述视频(11’)的图像(12’)的区块(80)的一组(100)基元预测模式，被配置为通过以下操作通过合成式预测信号(108)预测预定区块(106)：
使用所述一组(100)基元预测模式中的一个或多个基元预测模式的集合(112)得出(114)用于所述预定区块(106)的一个或多个基元预测的集合(110)，以及
通过组合(116)一个或多个基元预测的所述集合(110)而合成用于所述预定区块(106)的所述合成式预测信号(108)。
2.如权利要求1所述的视频解码器，被配置为通过使用加权叠加组合(116)所述一个或多个基元预测的所述集合而合成用于所述预定区块的所述合成式预测信号。
3.如权利要求1或2所述的视频解码器，被配置为对于所述区块(80)中的多于一个通过合成式预测信号执行所述预测，且以子图像粒度局部改变
所述一个或多个基元预测模式的所述集合(112)的基数，和/或
一个或多个基元预测的所述集合(110)的基数。
4.如权利要求1至3中任一项所述的视频解码器，其被配置为通过空间和/或时间预测确定所述预定区块的
所述一个或多个基元预测模式的所述集合(112)的所述基数，和/或
一个或多个基元预测的所述集合(110)的所述基数。
5.如权利要求1至4中任一项所述的视频解码器，被配置为通过得出所述预定区块的空间和/或时间预测且使用在所述数据流(14)中传送的显式信息(210)对其进行校正而确定所述预定区块的
所述一个或多个基元预测模式的所述集合(112)的所述基数，和/或
一个或多个基元预测的所述集合(112)的所述基数。
6.如权利要求1至5中任一项所述的视频解码器，被配置为使得一个或多个基元预测的所述集合(110)的基数大于二。
7.如权利要求1至6中任一项所述的视频解码器，被配置为对于所述区块(80)中的多于一个通过合成式预测信号执行所述预测，且以子图像粒度局部改变一个或多个基元预测的所述集合(110)的基数，以使得一个或多个基元预测的所述集合(110)的基数在1至Kmax+1之间改变，包括1和Kmax+1在内，其中所述视频解码器被配置为从所述数据流得出Kmax。
8.如权利要求1至7中任一项所述的视频解码器，其中所述一组基元预测模式内的每个基元预测模式是经由一组一个或多个预测参数可参数化的，且所述视频解码器被配置为在得出一个或多个基元预测的所述集合时对于一个或多个基元预测的所述集合(110)中的每个基元预测，
使用基元预测模式的所述集合中的相应基元预测模式得出相应基元预测，
如下确定用于参数化所述相应基元预测的所述一组一个或多个预测参数(130)：
基于以子图像粒度在所述数据流(14)中传送的显式预测参数信息，或
通过基于与所述预定区块相邻的一个或多个相邻区块的预测参数信息(194)完整地推断所述一组一个或多个预测参数。
9.如权利要求1至8中任一项所述的视频解码器，被配置为通过使用递归关系执行所述合成
q1＝p1
Figure FDA0002748070680000021
对于n＝1…K
其中
q＝qK+1为所述合成式预测信号(108)，其中
Figure FDA0002748070680000022
为使用基元预测模式的所述集合(112)得出的一个或多个基元预测的所述集合(110)，
v1＝1且vn+1＝vn+mn，mn为fn所取决于的基元预测的数目，m1+…+mK＝vK+1-1，且vK+1为一个或多个基元预测的所述集合(110)的所述基数，且
fn为将中间合成式预测信号qn及一个或多个基元预测信号
Figure FDA0002748070680000023
映射至新中间预测信号qn+1的函数。
10.如权利要求9中一项所述的视频解码器，其中对于所有n＝1…K，每个函数fn可通过下式从通用合成函数h得出
Figure FDA0002748070680000024
其中αn为相对于函数fn参数化所述通用合成函数h的一组一个或函数参数。
11.如权利要求10所述的视频解码器，其中αn为用于n＝1…K中的至少一个或全部的标量。
12.如权利要求10或11中任一项所述的视频解码器，被配置为对于每个n＝1…K如下确定αn：
基于对于所述相应基元预测及所述预定区块以子图像粒度在所述数据流(14)中传送的显式函数预测参数信息(218；228)，或
通过基于与所述预定区块相邻的相邻区块的在所述数据流中用信号表示的若干组函数预测参数信息而完整地推断αn。
13.如权利要求10至12中任一项所述的视频解码器，其中对于n＝1…K中的至少一个或全部，αn为标量αn，且vn+1-vn＝1且h(qn,pn+1,αn)＝αn·pn+1+(1-αn)·qn。
14.如权利要求13所述的视频解码器，其中对于n＝1…K中的至少一个或全部，αn在所述数据流中用信号通知，其中可信号通知值范围包括区间[0；1]外的至少一个值。
15.如权利要求10至14中任一项所述的视频解码器，其中对于n＝1…K中的至少一个或全部，νn+1-νn＝1且h(qn,pn+1,αn)＝(αn)1·pn+1+(αn)2·qn，其中(αn)2及(αn)1为分别用于由αn限定的逐样本加权pn+1及qn的加权因子区块。
16.如权利要求15所述的视频解码器，其中对于n＝1…K中的至少一个或全部，(αn)2＝1-(αn)1。
17.如权利要求9至16中任一项所述的视频解码器，其中对于n＝1…K中的至少一个或全部，所述函数fn包括限幅和/或舍入运算符。
18.如权利要求9至17中任一项所述的视频解码器，其中对于n＝1…K中的至少一个或全部，所述函数fn为逐分量运算，以使得qn+1中的每个样本位置独立于
Figure FDA0002748070680000031
中的其他样本位置。
19.如权利要求9至18中任一项所述的视频解码器，被配置为从用于一组相邻先前解码区块(190a，190b)的预测设定中确定合并候选，且为得出所述基元预测信号p1而从所述合并候选继承一组(130)一个或多个预测参数以用于参数化与所述基元预测信号p1相关联的基元预测模式。
20.如权利要求19所述的视频解码器，其中所述一组基元预测模式包含单向预测性帧间预测模式及双向预测性帧间预测模式，且所述视频解码器被配置为
检查所述合并候选是否涉及用于得出p1的双向预测性帧间预测模式，
若涉及，
则对于所述预定区块(106)的所述基元预测信号p1从所述数据流确定应使用所述双向预测性帧间预测模式的两个假设中的哪个选择，且通过将用于参数化所述基元预测信号p1所相关联的所述基元预测模式的所述一组(130)一个或多个预测参数设定为等于用于参数化所述合并候选所涉及的所述双向预测性基元预测模式的一组一个或多个预测参数的一部分而从所述合并候选得出用于参数化所述基元预测信号p1所相关联的所述基元预测模式的所述一组(130)一个或多个预测参数，所述部分关于所述两个假设中的所述选择。
21.如权利要求9至18中任一项所述的视频解码器，其中所述一组基元预测模式包括单向预测性帧间预测模式及双向预测性帧间预测模式，且所述视频解码器被配置为
对于所述预定区块(106)的所述基元预测信号p1，从所述数据流确定合并限制指示(230，2332)，所述合并限制指示(230，2332)指示合并候选是否应受限于与所述双向预测性帧间预测模式相关的候选，且若如此，指示应从此类合并候选使用所述双向预测性帧间预测模式的两个假设中的哪个选择，且
取决于所述合并限制指示(230，2332)，从用于一组相邻先前解码区块(190a，190b)的预测设定中确定合并候选，且为得出所述基元预测信号p1而从所述合并候选继承
用于参数化所述基元预测信号p1所相关联的基元预测模式的一组(130)一个或多个预测参数，通过将其设定为等于用于参数化所述合并候选所涉及的所述双向预测性基元预测模式的一组一个或多个预测参数的一部分，所述部分关于所述两个假设中的所述选择。
22.如权利要求9至21中任一项所述的视频解码器，被配置为从用于一组先前解码区块(190a，190b)的预测设定确定合并候选，且所述合并候选得出
kimplicit，其中kimplicit≤K，且从所述数据流得出偏移K-kimplicit，且
为得出所述基元预测信号
Figure FDA0002748070680000041
中的每个，得出用于参数化所述相应基元预测信号所相关联的所述基元预测模式的一组(130)一个或多个预测参数。
23.如权利要求22所述的视频解码器，被配置为从所述合并候选得出
Figure FDA0002748070680000042
24.如权利要求22或23所述的视频解码器，被配置为从所述数据流递增地逐旗标地得出传所述数据流中用信号表示的所述偏移K-kimplicit。
25.如权利要求22至24中任一项所述的视频解码器，被配置为通过以下操作从所述合并候选得出kimplicit
采用所述合并候选所包含的K作为用于所述预定区块的kimplicit，或
以如下方式减小所述合并候选所包含的K
以默认方式，
取决于所述数据流中的信令。
26.如权利要求9至25中任一项所述的视频解码器，其中所述一组基元预测模式包括一个或多个帧内预测模式及一个或多个帧间预测模式，其中所述视频解码器被配置为使用基元预测模式的所述集合中含有的所述一个或多个帧间预测模式得出
Figure FDA0002748070680000051
27.如权利要求1至26中任一项所述的视频解码器，被配置为
在得出(114)用于所述预定区块(106)的一个或多个基元预测的所述集合(110)时，使用帧间预测得出第一基元预测信号p1，且使用帧内预测得出第二基元预测信号p2，且
根据q＝α·p2+(1-α)·q1合成用于所述预定区块(106)的所述合成式预测信号(108)。
28.如权利要求27所述的视频解码器，被配置为确定用于一组相邻先前解码区块(190a，190b)的预测设定中的合并候选，且从所述合并候选继承用于得出所述第一基元预测p1的一组(130)一个或多个帧间预测参数，且从包含在用于所述预定区块(106)的所述数据流中的信息得出用于所述基元预测p2的一组(130)一个或多个帧内预测参数。
29.如权利要求28所述的视频解码器，被配置为从所述合并候选继承用于得出所述第一基元预测p1的所述一组(130)一个或多个帧间预测参数，且在使用合成式预测信号编码所述合并候选的情况下及系使用通过包括帧内预测的基元预测的基元预测的组合形成的一合成式预测信号编码所述合并候选的情况下从包含在用于所述预定区块(106)的所述数据流中的信息得出用于所述基元预测p2的所述一组(130)一个或多个帧内预测参数。
30.一种用于使用基于区块的预测性编码将视频(11)编码为数据流(14)的视频编码器，所述视频编码器支持用于预测所述视频的图像(12)的区块(80)的一组(100)基元预测模式，被配置为通过以下操作通过合成式预测信号预测预定区块(106)：
使用所述一组(100)预测模式中的一个或多个预测模式的集合(112)得出(114)用于所述预定区块(106)的基元预测的集合(110)，及
通过组合(116)基元预测的所述集合而合成用于所述预定区块(106)的所述合成式预测信号(108)。
31.如权利要求31所述的视频编码器，被配置为通过使用加权叠加组合所述基元预测的所述集合而合成用于所述预定区块的所述合成式预测信号。
32.如权利要求31或32所述的视频编码器，被配置为对于所述区块(80)中的多于一个通过合成式预测信号执行所述预测，且以子图像粒度局部改变
所述一个或多个基元预测模式的所述集合的基数，和/或
基元预测的所述集合的基数。
33.如权利要求31至33中任一项所述的视频编码器，被配置为通过空间和/或时间预测确定所述预定区块的
所述一个或多个基元预测模式的所述集合的所述基数，和/或
基元预测的所述集合的所述基数。
34.如权利要求31至34中任一项所述的视频编码器，被配置为通过得出所述预定区块的空间和/或时间预测且使用所述数据流中的显式信息发信号通知其校正而确定所述预定区块的
所述一个或多个基元预测模式的所述集合的所述基数，和/或
基元预测的所述集合的所述基数。
35.如权利要求31至35中任一项所述的视频编码器，被配置为使得基元预测的所述集合(110)的基数大于二。
36.如权利要求31至36中任一项所述的视频解码器，被配置为对于所述区块(80)中的多于一个通过合成式预测信号执行所述预测，且以子图像粒度局部改变基元预测的所述集合(110)的基数，以使得基元预测的所述集合(110)的基数在1至Kmax+1之间改变，包括1和Kmax+1在内，其中所述视频解码器被配置为从所述数据流得出Kmax。
37.如权利要求31至37中任一项所述的视频编码器，其中所述一组基元预测模式内的每个基元预测模式是经由一组一个或多个预测参数可参数化的，且所述视频编码器被配置为在得出一个或多个基元预测的所述集合时对于一个或多个基元预测的所述集合中的每个，
使用基元预测模式的所述集合中的相应基元预测模式得出相应基元预测，
确定用于参数化所述相应基元预测的所述一组一个或多个预测参数
且使用以子图像粒度在所述数据流中传送的预测参数信息对其进行信号通知，或
通过基于用于与所述预定区块相邻的相邻区块的预测参数信息完整地推断所述一组一个或多个预测参数。
38.如权利要求31至38中任一项所述的视频编码器，被配置为通过使用递归关系执行所述合成
q1＝p1
Figure FDA0002748070680000071
对于n＝1…K
其中
q＝qK+1为所述合成式预测信号，其中
Figure FDA0002748070680000072
为使用一个或多个基元预测模式的所述集合得出的基元预测的所述集合，
v1＝1且vn+1＝vn+mn，mn为fn所取决于的基元预测的数目，m1+…+mK＝vK+1-1，且vK+1为一个或多个基元预测的所述集合的所述基数，且
fn为将中间合成式预测信号qn及一个或多个基元预测信号
Figure FDA0002748070680000073
映射至新中间预测信号qn+1的函数。
39.如权利要求39所述的视频编码器，其中对于所有＝1…K，每个函数fn可通过下式从通用合成函数h得出
Figure FDA0002748070680000081
其中αn为相对于函数fn参数化所述通用合成函数h的一组一个或函数参数。
40.如权利要求40所述的视频编码器，其中αn为用于n＝1…K中的至少一个或全部的标量。
41.如权利要求40或41中任一项所述的视频编码器，被配置为对于每个n＝1…K确定αn
且以子图像粒度在所述数据流中基于显式函数预测参数信息对其进行信号通知，或
通过基于与所述预定区块相邻的相邻区块的以子图像粒度在所述数据流中用信号通知的若干组预测模式而完整地推断αn。
42.如权利要求40至42中任一项所述的视频编码器，其中对于n＝1…K中的至少一个或全部，αn为标量αn，νn+1-νn＝1且h(qn,pn+1,αn)＝αn·pn+1+(1-αn)·qn。
43.如权利要求43所述的视频编码器，被配置为对于n＝1…K中的至少一个或全部，确定αn，且在所述数据流中对其进行信号通知，其中可信号通知值范围包括区间[0；1]外的至少一个值。
44.如权利要求40至44中任一项所述的视频编码器，其中对于n＝1…K中的至少一个或全部，vn+1-vn＝1且h(qn,pn+1,αn)＝(αn)1·pn+1+(αn)2·qn，其中(αn)2及(αn)1为分别用于由αn限定的逐样本加权pn+1及qn的加权因子区块。
45.如权利要求45所述的视频编码器，其中对于n＝1…K中的至少一个或全部，(αn)2＝1-(αn)1。
46.如权利要求39至36中任一项所述的视频编码器，其中对于n＝1…K中的至少一个或全部，所述函数fn包括限幅和/或舍入运算符。
47.如权利要求39至37中任一项所述的视频编码器，其中对于n＝1…K中的至少一个或全部，所述函数fn为逐分量运算，以使得qn+1中的每个样本位置独立于
Figure FDA0002748070680000082
中的其他样本位置。
48.如权利要求39至48中任一项所述的视频编码器，被配置为从一组相邻先前编码区块的预测设定中确定合并候选，且为得出所述基元预测信号p1而从所述合并候选继承
一组一个或多个预测参数以用于参数化与所述基元预测信号p1相关联的所述一个或多个基元预测模式。
49.如权利要求49所述的视频编码器，其中所述一组基元预测模式包含单向预测性帧间预测模式及双向预测性帧间预测模式，且所述视频编码器被配置为
检查所述合并候选是否涉及用于得出p1的双向预测性帧间预测模式，
若涉及，
则对于所述预定区块的所述基元预测信号p1确定且在所述数据流中发信号通知应使用所述双向预测性帧间预测模式的两个假设中的哪个选择，且从所述合并候选得出用于参数化所述基元预测信号p1所相关联的所述基元预测模式的所述一组(130)一个或多个预测参数，通过将其设定为等于用于参数化所述合并候选所涉及的所述双向预测性基元预测模式的一组一个或多个预测参数的一部分，所述部分关于所述两个假设中的所述选择。
50.如权利要求39至48中任一项所述的视频编码器，其中所述一组基元预测模式包含单向预测性帧间预测模式及双向预测性帧间预测模式，且所述视频编码器被配置为
对于所述预定区块(106)的所述基元预测信号p1，从所述数据流确定合并限制指示(230，2332)，所述合并限制指示(230，2332)指示合并候选是否应受限于与所述双向预测性帧间预测模式相关的候选，且若如此，指示应从此类合并候选使用所述双向预测性帧间预测模式的两个假设中的哪个选择，且
取决于所述合并限制指示(230，2332)，从用于一组相邻先前解码区块(190a，190b)的预测设定中确定合并候选，且为得出所述基元预测信号p1而从所述合并候选继承
用于参数化所述基元预测信号p1所相关联的基元预测模式的一组(130)一个或多个预测参数，通过将其设定为等于用于参数化所述合并候选所涉及的所述双向预测性基元预测模式的一组一个或多个预测参数的一部分，所述部分关于所述两个假设中的所述选择。
51.如权利要求39至51中任一项所述的视频编码器，被配置为从用于一组先前编码区块的预测设定确定合并候选，且从所述合并候选得出
kimplicit，其中kimplicit≤K，且从所述数据流得出K与kimplicit的偏移，且
为得出所述基元预测信号
Figure FDA0002748070680000101
中的每个，得出用于参数化所述相应基元预测信号所相关联的所述基元预测模式的一组一个或多个预测参数。
52.如权利要求52所述的视频编码器，被配置为从所述合并候选得出
f1,…,fkimplicit。
53.如权利要求52或53所述的视频编码器，被配置为通过在所述数据流中逐旗标地发信号通知而递增地在所述数据流中发信号通知K与kimplicit的所述偏移。
54.如权利要求52至54中任一项所述的视频编码器，被配置为通过以下操作从所述合并候选得出kimplicit
采用所述合并候选所包含的K作为用于所述预定区块的kimplicit，或
以如下方式减小所述合并候选所包含的K
以默认方式，
取决于所述数据流中的信令。
55.如权利要求50至55中任一项所述的视频编码器，其中所述一组基元预测模式包括一个或多个帧内预测模式及一个或多个帧间预测模式，其中所述视频编码器被配置为使用包含在基元预测模式的所述集合中的所述一个或多个帧间预测模式得出
Figure FDA0002748070680000102
56.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的视频解码器，被配置为对于预定区块(106)，
从所述数据流(14)读取第一预测信息，
基于所述第一预测信息确定第一预测信号(p1)，
从所述数据流得出数目K，
确定K个其他预测信号(p2…pK+1)，且对于所述K个其他预测信号中的每个，确定合成权重，
基于所述第一预测信号及所述K个其他预测信号以及其合成权重预测所述预定区块(106)。
57.如权利要求61所述的视频解码器，被配置为通过依序将所述K个其他预测信号中的每个相加至所述第一预测信号而预测所述预定区块，其中使用用于相应其他预测信号的所述合成权重对所述相应其他预测信号进行加权，而用1减去所述合成权重对所述相应其他预测信号相加至的所述依序相加的中间总和进行加权。
58.如权利要求62所述的视频解码器，被配置为从所述数据流得出用于所述K个其他预测信号中的每个的贡献权重，以使得所述贡献权重采用由对于所述K个其他预测信号相等的数个值组成的值域中的一个值。
59.如权利要求63所述的视频解码器，其中所述值域对于所述K个其他预测信号相等。
60.如权利要求63或64所述的视频解码器，其中所述值域包含[0；1]外的至少一个值。
61.如权利要求62至65中任一项所述的视频解码器，被配置为
在依序相加所述K个其他预测信号中的每个时，至少对于所述K个其他预测信号的子集，使得用1减去所述贡献值加权的所述中间总和与用所述贡献值加权的所述相应其他预测信号之间的总和经受限幅和/或舍入运算。
62.如权利要求61至66中任一项所述的视频解码器，被配置为从所述第一预测信息得出合并信息(196)，且取决于所述合并信息，
从相邻区块(190a，190b)的其他第一预测信息推断一组(130)至少一个预测参数，且使用所述一组(130)至少一个预测参数来确定所述第一预测信号，或
从所述数据流读取用于所述预定区块的一组(130)至少一个预测参数，且使用所述一组至少一个预测参数来确定所述第一预测信号。
63.如权利要求61至67中任一项所述的视频解码器，被配置为
对于所述K个其他预测信号中的每个，从所述数据流读取用于所述预定区块的另一组至少一个预测参数(212，214，216，222)，且使用所述另一组至少一个预测参数来确定所述相应其他预测信号。
64.如权利要求61至69中任一项所述的视频解码器，被配置为使得K为1，且被配置为从所述第一预测信息得出合并信息(196)，且取决于所述合并信息，
从相邻区块(190a，190b)的其他第一预测信息推断一组(130)至少一个预测参数，且使用所述一组(130)至少一个预测参数来确定所述第一预测信号，并且对于所述其他预测信号，从所述数据流读取用于所述预定区块的另一组至少一个预测参数(212，214，216，222)，且使用所述另一组至少一个预测参数来确定所述其他预测信号，或
从所述数据流读取用于所述预定区块的一组(130)至少一个预测参数及另一组至少一个预测参数(212，214，216，222)，并且使用所述一组至少一个预测参数来确定所述第一预测信号，且使用所述另一组至少一个预测参数(212，214，216，222)来确定所述其他预测信号。
70a、如权利要求70所述的视频解码器，被配置为使得所述第一预测信号为帧间预测信号，且所述其他预测信号为帧内预测信号。
65.一种用于使用基于区块的预测性编码将视频编码为数据流的视频编码器，被配置为对于预定区块，
将第一预测信息插入至所述数据流中，
基于所述第一预测信息确定第一预测信号，
确定K个其他预测信号，且对于所述K个其他预测信号中的每个，确定合成权重，且在所述数据流中发信号通知K，
基于所述第一预测信号及所述K个其他预测信号以及其合成权重预测所述预定区块。
66.如权利要求71所述的视频编码器，被配置为通过依序将所述K个其他预测信号中的每个相加至所述第一预测信号而预测所述预定区块，其中使用用于相应其他预测信号的所述合成权重对所述相应其他预测信号进行加权，而用1减去所述合成权重对所述相应其他预测信号相加至的依序相加的中间总和进行加权。
67.如权利要求72所述的视频编码器，被配置为选择用于所述K个其他预测信号中的每个的贡献权重且在所述数据流中发信号通知所述贡献权重，以使得所述贡献权重采用由对于所述K个其他预测信号相等的数个值合成的值域中的一个值。
68.如权利要求73所述的视频编码器，其中所述值域对于所述N个其他预测信号相等。
69.如权利要求73或74所述的视频编码器，其中所述值域包含[0；1]外的至少一个值。
70.如权利要求72至75中任一项所述的视频编码器，被配置为
在依序相加所述K个其他预测信号中的每个时，至少对于所述K个其他预测信号的子集，使得用1减去所述贡献值加权的所述中间总和与用所述贡献值加权的所述相应其他预测信号之间的总和经受限幅和/或舍入运算。
71.如权利要求71至76中任一项所述的视频，被配置为使得所述第一预测信息包含合并信息，所述合并信息指示
一组至少一个预测参数是否将从相邻区块的其他第一预测信息推断且用以确定所述第一预测信号，或
用于所述预定区块的一组至少一个预测参数是否将从所述数据流读取且用以确定所述第一预测信号。
72.如权利要求71至77中任一项所述的视频编码器，被配置为
对于所述N个其他预测信号中的每个，将用于所述预定区块的另一组至少一个预测参数插入至所述数据流中，且使用所述另一组至少一个预测参数来确定所述相应其他预测信号。
73.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的视频解码器，被配置为对于激活合并模式的预定区块(106)，
从所述数据流读取合并候选限制信令(230)，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的合并候选限制，则确定用于所述预定区块的一组预测参数合并候选且从所述一组预测参数合并候选排除单向预测性预测参数合并候选，且若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，则允许单向预测性预测参数合并候选进入所述一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则从所述数据流读取假设选择指示(232)；及
通过以下确定用于所述预定区块的预测信号
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则使用根据所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，若所选预测参数合并候选为双向预测性的，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测，且若所述所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测。
74.一种用于使用基于区块的预测性解码将视频(11)编码为数据流(14)的视频编码器，被配置为对于激活合并模式的预定区块(106)，
将合并候选限制信令(230)写入至所述数据流中，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的合并候选限制，则确定用于所述预定区块的一组预测参数合并候选且从所述一组预测参数合并候选排除单向预测性预测参数合并候选，且若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，则允许单向预测性预测参数合并候选进入所述一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则将假设选择指示(232)写入至所述数据流中；及
通过以下确定用于所述预定区块的预测信号
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，若所述所选预测参数合并候选为双向预测性的，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测，且若所述所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测。
75.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的视频解码器，被配置为对于激活合并模式的预定区块(106)，
确定用于所述预定区块的一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
从所述数据流读取合并候选限制信令(230)，
若所述合并候选限制信令(230)指示受限合并操作，则从所述数据流读取假设选择指示(232)；及
通过以下确定用于所述预定区块的预测信号
若所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测，
若所述所选预测参数合并候选为双向预测性的，
若所述合并候选限制信令(230)指示所述受限合并操作，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示所述受限合并操作，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测。
76.一种用于使用基于区块的预测性解码将视频(11)编码为数据流(14)的视频编码器，被配置为对于激活合并模式的预定区块(106)，
确定用于所述预定区块的一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
将合并候选限制信令(230)写入至所述数据流中，
若所述合并候选限制信令(230)指示受限合并操作，则将假设选择指示(232)写入至所述数据流中；及
通过以下确定用于所述预定区块的预测信号
若所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测，
若所述所选预测参数合并候选为双向预测性的，
若所述合并候选限制信令(230)指示所述受限合并操作，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示所述受限合并操作，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测。
77.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的方法，所述方法支持用于预测所述视频(11’)的图像(12’)的区块(80)的一组(100)基元预测模式，且包含通过以下操作通过合成式预测信号预测预定区块(106)：
使用所述一组(100)基元预测模式中的一个或多个基元预测模式的集合(112)得出用于所述预定区块(106)的基元预测的集合(110)，及
通过组合(116)基元预测的所述集合而合成用于所述预定区块(106)的所述合成式预测信号(108)。
78.一种用于使用基于区块的预测性编码将视频(11)编码为数据流(14)的方法，所述方法支持用于预测所述视频的图像(12)的区块(80)的一组(100)基元预测模式，且包含通过以下操作通过合成式预测信号预测预定区块(106)：
使用所述一组(100)预测模式中的一个或多个预测模式的集合(112)得出用于所述预定区块(106)的基元预测的集合(110)，及
通过组合(116)基元预测的所述集合而合成用于所述预定区块(106)的所述合成式预测信号(108)。
79.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的方法，包括对于预定区块(106)，
从所述数据流(14)读取第一预测信息，
基于所述第一预测信息确定第一预测信号(p1)，
从所述数据流得出数目K，
确定K个其他预测信号(p2…pK+1)，且对于所述K个其他预测信号中的每个，确定合成权重，
基于所述第一预测信号及所述K个其他预测信号以及其合成权重预测所述预定区块(106)。
80.一种用于使用基于区块的预测性编码将视频编码为数据流的方法，包括对于预定区块，
将第一预测信息插入至所述数据流中，
基于所述第一预测信息确定第一预测信号，
确定K个其他预测信号，且对于所述K个其他预测信号中的每个，确定合成权重，且在所述数据流中发信号通知K，
基于所述第一预测信号及所述K个其他预测信号以及其合成权重预测所述预定区块。
81.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的方法，包括对于激活合并模式的预定区块(106)，
从所述数据流读取合并候选限制信令(230)，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的合并候选限制，则确定用于所述预定区块的一组预测参数合并候选且从所述一组预测参数合并候选排除单向预测性预测参数合并候选，且若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，则允许单向预测性预测参数合并候选进入所述一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则从所述数据流读取假设选择指示(232)；及
通过以下确定用于所述预定区块的预测信号
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则使用根据所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，若所述所选预测参数合并候选为双向预测性的，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测，且若所述所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测。
82.一种用于使用基于区块的预测性解码将视频(11)编码为数据流(14)的方法，包括对于激活合并模式的预定区块(106)，
将合并候选限制信令(230)写入至所述数据流中，
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的合并候选限制，则确定用于所述预定区块的一组预测参数合并候选且所述一组预测参数合并候选排除单向预测性预测参数合并候选，且若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，则允许单向预测性预测参数合并候选进入所述一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
若所述合并候选限制信令(232)指示对双向预测性预测参数合并候选的所述合并候选限制，则将假设选择指示(232)写入至所述数据流中；及
通过以下确定用于所述预定区块的预测信号
若所述合并候选限制信令(230)指示对双向预测性预测参数合并候选的所述合并候选限制，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示对双向预测性预测参数合并候选的所述合并候选限制，若所述所选预测参数合并候选为双向预测性的，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测，且若所述所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测。
83.一种用于使用基于区块的预测性解码来从数据流(14)解码视频(11’)的方法，包括对于激活合并模式的预定区块(106)，
确定用于所述预定区块的一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
从所述数据流读取合并候选限制信令(230)，
若所述合并候选限制信令(230)指示受限合并操作，则从所述数据流读取假设选择指示(232)；及
通过以下确定用于所述预定区块的预测信号
若所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测，
若所述所选预测参数合并候选为双向预测性的，
若所述合并候选限制信令(230)指示所述受限合并操作，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示所述受限合并操作，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测。
84.一种用于使用基于区块的预测性解码将视频(11)编码为数据流(14)的方法，包括对于激活合并模式的预定区块(106)，
确定用于所述预定区块的一组预测参数合并候选，
选择用于所述预定区块的所述一组预测参数合并候选中的一个，
将合并候选限制信令(230)写入至所述数据流中，
若所述合并候选限制信令(230)指示受限合并操作，则将假设选择指示(232)写入至所述数据流中；及
通过以下确定用于所述预定区块的预测信号
若所选预测参数合并候选为单向预测性的，则使用根据所述所选预测参数合并候选参数化的单向预测性预测，
若所述所选预测参数合并候选为双向预测性的，
若所述合并候选限制信令(230)指示所述受限合并操作，则使用根据所述所选预测参数合并候选的两个假设中的一个参数化的单向预测性预测，所述一个假设根据所述假设选择指示(232)而选择，及
若所述合并候选限制信令(230)不指示所述受限合并操作，则使用根据所述所选预测参数合并候选的所述两个假设参数化的双向预测性预测。
85.一种具有程序代码的计算机程序，所述程序代码当在计算机上执行时用于执行如权利要求121至128中任一项所述的方法。
86.一种通过如权利要求122、124、126及128中任一项所述的方法产生的数据流。
CN201980028989.8A 2018-02-28 2019-02-27 合成式预测及限制性合并 Active CN112075078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410434555.0A CN118264797A (zh) 2018-02-28 2019-02-27 合成式预测及限制性合并

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18159304.7 2018-02-28
EP18159304 2018-02-28
PCT/EP2019/054896 WO2019166508A1 (en) 2018-02-28 2019-02-27 Composed prediction and restricted merge

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410434555.0A Division CN118264797A (zh) 2018-02-28 2019-02-27 合成式预测及限制性合并

Publications (2)

Publication Number Publication Date
CN112075078A true CN112075078A (zh) 2020-12-11
CN112075078B CN112075078B (zh) 2024-03-15

Family

ID=61526667

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410434555.0A Pending CN118264797A (zh) 2018-02-28 2019-02-27 合成式预测及限制性合并
CN201980028989.8A Active CN112075078B (zh) 2018-02-28 2019-02-27 合成式预测及限制性合并

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410434555.0A Pending CN118264797A (zh) 2018-02-28 2019-02-27 合成式预测及限制性合并

Country Status (7)

Country Link
US (3) US11284065B2 (zh)
EP (1) EP3759911A1 (zh)
JP (3) JP7170738B2 (zh)
KR (2) KR102534719B1 (zh)
CN (2) CN118264797A (zh)
TW (2) TWI749297B (zh)
WO (1) WO2019166508A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118264797A (zh) * 2018-02-28 2024-06-28 弗劳恩霍夫应用研究促进协会 合成式预测及限制性合并
WO2023205185A1 (en) * 2022-04-18 2023-10-26 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503775A (ja) * 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
US20110007802A1 (en) * 2009-07-09 2011-01-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US20120250769A1 (en) * 2009-11-06 2012-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid video coding
WO2013059470A1 (en) * 2011-10-21 2013-04-25 Dolby Laboratories Licensing Corporation Weighted predictions based on motion information
CN103299623A (zh) * 2010-11-04 2013-09-11 弗兰霍菲尔运输应用研究公司 支持区块合并和跳过模式的图像编码
CN104170381A (zh) * 2012-03-16 2014-11-26 高通股份有限公司 在高效率视频译码及其扩展中的运动矢量译码及双向预测
WO2015042399A1 (en) * 2013-09-20 2015-03-26 Qualcomm Incorporated Combined bi-predictive merging candidates for 3d video coding
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN106899847A (zh) * 2011-10-17 2017-06-27 株式会社东芝 编码设备、解码设备、编码方法和解码方法
WO2017135661A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100727972B1 (ko) 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
CN101690235B (zh) * 2007-06-29 2013-05-01 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法、程序以及记录介质
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US9118929B2 (en) * 2010-04-14 2015-08-25 Mediatek Inc. Method for performing hybrid multihypothesis prediction during video coding of a coding unit, and associated apparatus
US9531990B1 (en) * 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) * 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
KR102179383B1 (ko) * 2013-08-09 2020-11-16 삼성전자주식회사 병합 모드 결정 방법 및 장치
EP3217663A4 (en) 2014-11-06 2018-02-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
US10390015B2 (en) * 2016-08-26 2019-08-20 Qualcomm Incorporated Unification of parameters derivation procedures for local illumination compensation and cross-component linear model prediction
US10362332B2 (en) * 2017-03-14 2019-07-23 Google Llc Multi-level compound prediction
CN118264797A (zh) * 2018-02-28 2024-06-28 弗劳恩霍夫应用研究促进协会 合成式预测及限制性合并

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007503775A (ja) * 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
US20110007802A1 (en) * 2009-07-09 2011-01-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
CN102474621A (zh) * 2009-07-09 2012-05-23 高通股份有限公司 视频编码中的非零舍入与预测模式选择技术
US20120250769A1 (en) * 2009-11-06 2012-10-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Hybrid video coding
CN103299623A (zh) * 2010-11-04 2013-09-11 弗兰霍菲尔运输应用研究公司 支持区块合并和跳过模式的图像编码
CN106899847A (zh) * 2011-10-17 2017-06-27 株式会社东芝 编码设备、解码设备、编码方法和解码方法
WO2013059470A1 (en) * 2011-10-21 2013-04-25 Dolby Laboratories Licensing Corporation Weighted predictions based on motion information
CN104170381A (zh) * 2012-03-16 2014-11-26 高通股份有限公司 在高效率视频译码及其扩展中的运动矢量译码及双向预测
WO2015042399A1 (en) * 2013-09-20 2015-03-26 Qualcomm Incorporated Combined bi-predictive merging candidates for 3d video coding
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017135661A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN等: "Description of scalable video coding technology proposal by Qualcomm (configuration 2)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11，11TH MEETING: SHANGHAI, CN, 10-19 OCT., 2012，JCTVC-K0036, pages 4 - 2 *

Also Published As

Publication number Publication date
TW201937931A (zh) 2019-09-16
KR20200128065A (ko) 2020-11-11
TWI749297B (zh) 2021-12-11
TW202234889A (zh) 2022-09-01
WO2019166508A1 (en) 2019-09-06
JP2021516009A (ja) 2021-06-24
CN118264797A (zh) 2024-06-28
KR20230074302A (ko) 2023-05-26
EP3759911A1 (en) 2021-01-06
US20240205385A1 (en) 2024-06-20
JP2024097001A (ja) 2024-07-17
US20210021808A1 (en) 2021-01-21
US11895290B2 (en) 2024-02-06
JP7170738B2 (ja) 2022-11-14
KR102534719B1 (ko) 2023-05-22
JP2023011807A (ja) 2023-01-24
WO2019166508A9 (en) 2019-12-19
US11284065B2 (en) 2022-03-22
US20220286665A1 (en) 2022-09-08
CN112075078B (zh) 2024-03-15
JP7478211B2 (ja) 2024-05-02
TWI789986B (zh) 2023-01-11

Similar Documents

Publication Publication Date Title
US10812821B2 (en) Video encoding and decoding
US20210281854A1 (en) Method and apparatus for encoding/decoding an image
JP7277447B2 (ja) 動き補償用の改善されたプレディクタ候補
CN114765685A (zh) 基于多帧内预测模式的用于解码或编解码图像的技术
CN110870314A (zh) 用于运动补偿的多个预测器候选
WO2011054879A2 (en) Hybrid video coding
US20140064373A1 (en) Method and device for processing prediction information for encoding or decoding at least part of an image
JP7478211B2 (ja) 複合予測および制限付きマージ
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
CN111955006B (zh) 用于使用复合参考阵列的帧内预测的方法和装置
WO2023200907A1 (en) Methods and devices for geometric partitioning mode with adaptive blending
WO2023158765A1 (en) Methods and devices for geometric partitioning mode split modes reordering with pre-defined modes order
WO2023141338A1 (en) Methods and devices for geometric partitioning mode with split modes reordering
CN118614060A (zh) 利用自适应混合的几何分区模式的方法和设备
CN118614059A (zh) 利用拆分模式重排序的几何分区模式的方法和设备
CN118202656A (zh) 视频编解码中考虑边界外条件的运动补偿

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant