CN110915218B - 对变换系数编码和解码的方法及用于其的编码器和解码器 - Google Patents

对变换系数编码和解码的方法及用于其的编码器和解码器 Download PDF

Info

Publication number
CN110915218B
CN110915218B CN201880046206.4A CN201880046206A CN110915218B CN 110915218 B CN110915218 B CN 110915218B CN 201880046206 A CN201880046206 A CN 201880046206A CN 110915218 B CN110915218 B CN 110915218B
Authority
CN
China
Prior art keywords
groups
group
coefficient
data stream
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880046206.4A
Other languages
English (en)
Other versions
CN110915218A (zh
Inventor
约阿希姆·凯纳特
托马斯·里克特
米格尔·安吉尔·马丁内斯·德·阿莫
曼纽尔·德·弗鲁托斯·洛佩斯
克里斯蒂安·谢尔
赫伯特·托马
齐格弗里德·菲塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN110915218A publication Critical patent/CN110915218A/zh
Application granted granted Critical
Publication of CN110915218B publication Critical patent/CN110915218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

通过以一种方式执行位平面编码，使得对于编码的位平面的集合对于其在数据流中以预测方式用信号通知的系数组被分为两个组集合并且如果在数据流中花费信号，该信号对于组集合用信号通知是否相应组集合的所有系数组的编码的位平面的集合都为空，即，相应组集合内的所有系数都不重要，来实现编码效率的提高。根据另一方面，通过提供根据第一方面的具有按组集合不重要的信号化的位平面编码作为相对于针对其被用信号通知对于相应组集合内的声明组的编码的位平面没有编码的预测残差的组集合的信号化的编码选项替代的编码选项替代方案来实现编码效率的提高。

Description

对变换系数编码和解码的方法及用于其的编码器和解码器
技术领域
本申请涉及用于对静止图像和/或视频进行编码的位平面编码，诸如位平面图像编码。
背景技术
在位平面编码中，人们试图通过将编码的位平面限制到可用位平面总量的一部分来尝试减少必要的编码量。大多数情况下，位平面编码是对变换系数(即，对要编码的实际数据的变换(诸如图像的频谱分解变换)的系数)执行的。这种变换已经将整个信号能量“浓缩”为更少量的样本(即，变换系数)，并导致相邻的变换系数共享相似的统计数据，直到可用位平面中最高有效位平面的位置为有关(即，最高有效位平面在相应变换系数中具有非零位)。因而，在即将到来的JPEG XS的当前设想版本中，表示图像的变换系数以变换系数组的单位进行编码，而数据流每个变换系数组花费指示由那个组内的变换系数位填充的最大(即，最有效)位平面的语法元素，称为GCLI，最大编码线索引。替代名称是MSB位置或位平面计数。以预测方式(诸如使用来自邻居变换系数组的空间预测)将这个GCLI值编码在数据流中。此类GCLI组进而被分为SIG组，并且对于GCLI组的每个这种SIG组，在数据流中花费一个标志来用信号通知为GCLI值编码的预测残差对于SIG组内的所有GCLI组全为零的情况。如果这样的标志用信号通知SIG组内用于GCLI的所有预测残差均为零，那么无需传输GCLI预测残差并节省位速率。
但是，仍存在持续不断的希望，例如就压缩和/或编码复杂度而言，提高刚刚概述的位平面概念的编码效率。
发明内容
本发明的目的是提供一种更有效的位平面编码概念。这个目的通过独立权利要求的主题来实现。
根据第一方面，本申请基于以下发现：如果以一种方式执行位平面编码，使得对于编码的位平面的集合对于其在数据流中以预测方式用信号通知的系数组被分为两个组集合并且如果信号在数据流中被花费，该信号对于组集合用信号通知是否相应组集合的所有系数组的编码的位平面的集合都为空(即，相应组集合内的所有系数都不重要)，那么可以实现编码效率的提高。通过这种措施，在尽管某个组集合内的所有系数组内的所有变换系数都不重要的情况下，可以避免将不必要的位用于非零预测残差以对某个组集合内的系数组的编码的位平面的集合进行编码，由此趋于导致改善的压缩。除此之外，就编码器而言，可以对于每个组集合并行地(即，彼此独立)确定变换系数是否不重要，即，确定编码的位平面的集合(即，非零位平面)是否都在量化的阈值以下，从而使得使用按组设置不重要的信号化的并行实现更加容易。
根据本申请的另一方面，已经发现，如果相对于在说明书的介绍部分中讨论的用于组集合的信号化提供根据上述第一方面的具有按组集合不重要的信号化的位平面编码作为编码选项替代方案，那么可以实现编码效率的提高，根据介绍部分中讨论的信号化，可以为组集合用信号通知对于相应组集合内的声明组的编码的位平面没有编码的预测残差。为此，根据第二方面，数据流提供信息，该信息识别将不对其使用重要性编码模式的组集合的第一子集和将对其使用重要性编码模式的组集合的第二子集。组集合的第一子集被“正常”编码，即，数据流为这种组集合的系数组的编码的位平面提供预测残差并且，如果有效，那么将编码的位平面内的位编码在数据流中。对于组集合的第二子集，数据流包括重要性编码模式的指示或指定。换句话说，这个指示或指定向解码器用信号通知关于如何解释组集合的第二子集，或者换句话说，关于如何解释对组集合的第二子集的识别。重要性编码模式的第一模式与这样的解释对应，根据该解释，对于这种组集合内的系数组的编码的位平面信号化的预测残差为零。为此，根据第一重要性编码模式类型，对于组集合的第二子集，仅省略了用于编码的位平面信号化的预测残留信号化。如果重要性编码模式被指示为第二模式，那么第二子集的组集合被视为不重要的系数的集合。为此，解码器继承了，对于这样的组集合的每个系数组，其系数是不重要的。根据这个第二方面，为编码器提供了在两个重要编码模式选项之间切换的机会，并且编码器可以利用这种自由度来选择导致更高编码效率的编码模式。但是，除此之外，为数据流提供了让解码器知道已使用了哪个重要性编码模式选项的机会，还为编码器侧的设计提供了选择更适合于编码器侧的预期实现的重要性编码模式选项的机会。例如，当对实现更高的并行度有高兴趣时，不重要信号化模式(即，第二模式)可能是优选的，而在编码器的单线程实现的情况下，第一模式可能是优选的。即，可以将编码器实现为仅以两种模式类型之一操作，选择模式类型以适合于编码器的实现。有利的是，在重要性编码模式的两种模式类型之间，解码器复杂度没有显著差异。
附图说明
本申请的有利方面是从属权利要求的主题。下面结合附图描述本申请的优选实施例，其中：
图1示出了当前设想的JPEG XS的解码器操作的框图；
图2示出了图示使用小波变换将图像12分解成变换系数的示意图，作为位平面编码的目标(即，变换系数)的示例；
图3示出了示意图，图示通过GCLI德尔塔编码使用基于编码的位平面的集合的基于预测的编码以系数组为单位进行的变换系数的位平面编码；
图4示出了图示将小波变换细分为区(precincts)的示意图；
图5为了说明重要性编码模式而示出了图示来自系数组中的组集合的组成的示意图；
图6.1至6.32示出了通过使用RSF进行位平面编码获得的PSNR模拟结果，即，对于已编码的位平面信令CSF，用信号通知零预测残差的编码模式，对于相关系数，用信号通知全零重要性的编码模式，或其组合，即，两种编码模式均可供编码器使用以在其间切换的情况；
图7示出了根据实施例的编码器的框图；
图8示出了根据实施例的解码器的框图；
图9示出了根据实施例的编码器，其中编码器使用CSF编码模式；
图10示出了适合于图9的编码器的解码器的框图；
图11示出了使用RSF编码模式的编码器的框图，该编码器形成了指示RSF编码模式使用的数据流；
图12示出了能够处置数据流的解码器的框图，该数据流通过指示来指示CSF和RSF使用中的任一种；以及
图13示出了用于说明形成包括RSF或CSF使用的指示的数据流的示例的伪代码。
具体实施方式
本申请的实施例的以下描述从简要介绍JPEG XS标准化过程的当前状况(即，JPEGXS的当前讨论的版本)开始，关于其概述了可以如何修改该版本以便归结到本申请的实施例。在下文中，这些实施例被扩展，以便得到进一步分开描述的实施例，但是包括对前面讨论的具体细节的单独引用。
图1提供了当前针对JPEG XS设想的解码处理的示例，如稍后所述，可以将本申请的实施例应用于该解码处理。如从稍后描述的扩展实施例将变得清楚的，本申请不限于这种解码处理和对应的编码处理。不过，图1帮助熟练的读者获得对本申请的概念的更好理解。
根据图1，将代码流解码分组为方框1中的语法分析部分、由多个方框2.1至2.4组成的熵解码阶段、方框3中的逆量化、方框4中的逆小波变换，以及方框5中的逆多分量解相关。在方框6中，对样本值进行缩放、添加DC偏移量，并将它们钳位到其标称范围。
在方框1中，解码器分析代码流语法，并检索关于采样网格的布局以及所谓的切片和分区的维度的信息。
然后，将代码流的熵编码数据段的子分组解码为重要信息、符号信息、MSB位置信息(也称为GCLI信息)，并使用所有这些信息来解码小波系数数据。这个操作在图1中的方框2.1至2.4中执行。
图像和视频压缩通常在运行熵编码之前应用变换。例如，参考文献[7]使用基于块的预测，而参考文献[4]、[3]、[5]、[6]提倡小波变换。在图1的情况下使用了小波，但是再次说明，图1仅作为示例，并且关于小波变换的使用也是如此。
这种小波变换在图2中描绘。它将图像分解成多个子带。每个子带表示图像12的空间下采样的(spatially down sampled)、且子带特定的频谱带通滤波的(sub-band-specifically spectrally bandpass-filtered)版本。如图2中所描绘的，水平分解的次数可能与垂直分解的次数不同。在每个分解步骤中，先前分解的低通子带被进一步分解。例如，L5子带表示图像的子采样版本，而其它子带则包含细节信息。
在频率变换之后，子带的系数被熵编码。换句话说，将子带ABm的g≥1个系数布置到系数组中，其中A,B∈{L,H},
Figure GDA0003417150080000041
然后，将该系数组的最高有效非零位平面信号化，后面跟着原始数据位。关于编码技术的更多细节将在下面解释。
图3图示了GCLI编码的原理，GCLI编码最终得到语法元素，例如，图1的方框2.2对GCLI编码得到的该语法元素进行解码。因此，GCLI编码涉及对最高有效位位置进行编码，并且因此涉及编码位平面的指示。这是按以下方式完成的。数量大于1、且系数属于频率变换的相同子带的多个系数被组合到一个组中，这个组从现在开始被称为系数组。例如，参见图2。其中描绘的小波变换10是图像12的变换的示例。再次说明，小波变换仅仅是本申请的实施例可适用的变换的示例。该编码并不是直接对图像12的样本或像素14的值进行编码，而是对变换10的变换系数16执行编码。图3假设该系数组由四个系数组成。但是，该数量仅仅是出于说明目的而选择的，并且可以不同地选择数字。图2图示了例如这种系数组18包括四个空间上相邻的变换系数16，这些变换系数16全部属于变换10的同一子带。图2图示了包括在一个系数组18中的系数16在水平方向上彼此相邻，但这也仅仅是示例并且可以以不同的方式将系数16分组为系数组18。图3在20处在左侧图示了第一系数组中每个系数的位表示，在22处图示了第二系数组中的每个系数的位表示。每个系数的绝对值的位沿着列针对每个系数展开。因而，分别在20和22处示出了四列。每一位属于某个位平面，其中图3中的最低位属于最低有效位平面，而最高位则属于最高有效位平面。出于说明的目的，图3中示出了八个可用的位平面，但该数量可以不同。除了变换系数的量值位24之外，图3还针对每个系数示出了在对应量值位上方的符号位26。现在参考图3更详细地解释GCLI编码。
如已经概述的，系数以符号-量值表示来表示。相应系数组中的最大系数确定这个系数组的活动位平面的数量。如果位平面本身或任何更高的位平面(表示更大数字的位平面)的至少一个系数位24不等于零，那么将该位平面称为活动位平面。活动位平面的数量是由所谓的GCLI值(即，最大编码行索引)给出的。例如，对于系数组20，GCLI为6，而对于第二系数组22，GCLI示例性地为7。GCLI值为0意味着没有位平面处于活动状态，因此完整的系数组将为0。这种情况被称为不重要的GCLI，并且反过来就称为重要的GCLI。为了实现压缩，仅将活动位平面放置到位流中，即，对其进行编码。
对于有损编码，可能需要截断其中一些位平面，使得为系数组传输的位平面的数量小于GCLI值。该截断是由所谓的GTLI(即，最大裁剪行索引)规定的。替代名称是截断位置。GTLI为零对应于无截断。GTLI值为1意味着为系数组传输的位平面的数量比GCLI值小1。换句话说，GTLI定义了位流中包括的最小位平面位置。在简单的死区量化方案的情况下，所传输的位平面等于系数组的位平面，而没有被截断的位平面。在更高级的量化方案的情况下，可以通过修改量化区间将计划的截断位的一些信息“推入”到所传输的位平面中。更多细节可以在[6]中找到。
由于，对于每个系数，剩余位平面的数量等于GCLI和GTLI值之间的差，因此显而易见的是，位流中不包含其GCLI小于或等于GTLI值的系数组。换句话说，在位流中不为这些系数组传递任何(数据)位24。它们的系数是不重要的。
截断和量化之后剩余的活动位平面在以下被称为剩余位平面，或换句话说，截断GCLI。而且，该GTLI在下文中也被称为截断点。当剩余位平面为零时，GCLI被称为不重要的截断GCLI。
然后将这些剩余位平面作为原始位传输到解码器。图1中的方框2.3负责从位流中导出这些位。但是，为了使得能够进行正确的解码，解码器需要知道每个系数组18的GCLI值。连同GTLI值(也用信号通知给解码器)一起，解码器可以推断出位流中原始数据位平面的数量。
GCLI值本身是通过变长码来信号化的，该变长码表示与先前系数组的GCLI值的差。这个先前系数组原则上可以是该编码器之前已经编码的任何系数组。因此，它可以例如是水平或垂直邻居组。来自于预测的输出是两个系数组之间的剩余位平面的数量上的差异，这导致德尔塔(delta)剩余位平面。例如，图3假设在20处描绘的左侧系数组在编码次序上位于系数组22之前，并且其GCLI用作用于系数组22的GCLI的预测因子。在下文中描述更多细节。请注意，低于GTLI值的GCLI值是不受关注的，因为在任何情况下该系数都不被包括在位流中。因此，该预测是以如下方式来执行的：解码器能够推断GCLI是否大于GTLI，并且如果是的话，GCLI的值是什么。
请注意，以下描述的方法对于不同位流部分的传输次序是不可知论的(agnostic)。例如，可以首先将所有子带的GCLI系数放入位流中，然后是所有子带的数据位。可替代地，GCLI和数据位可以在数据流中交织。
图2中所描绘的频率变换的系数被组织为所谓的分区30。这在图4中描绘。分区对对输入图像12的给定空间区域32有贡献的不同子带的系数进行分组。
为了使解码器能够恢复信号，它应当知道每个系数组18的GCLI值。根据[3]，存在可用于高效地对它们信号化的不同方法。
在RAW(原始)模式下，将在不进行任何预测的情况下传输GCLI值。
因此，令F1为接下来要编码的系数组。然后，可以通过表示该值的固定长度码字来对GCLI值进行编码：
max(GCLI(F1)-GTLI(F1),0)
在水平预测中，编码的码元是在考虑GTLI的情况下GCLI值与先前编码的属于同一行和同一小波子带的GCLI的值之间的差。以下将这个差值称为残差或δ值。
令F1和F2为两个水平相邻的系数组，由g>1个系数组成。令F2为当前要编码的系数组。然后，可以通过传输如下计算的残差将GCLI(F2)用信号通知给解码器：
Figure GDA0003417150080000061
解码器通过计算以下公式来恢复GCLI(F2)
Figure GDA0003417150080000071
Figure GDA0003417150080000072
请注意，在水平预测中，通常GTLI(F1)＝GTLI(F2)。还要注意的是，如[4]中所述，δ作为变长码传输。
在两个子带行之间的垂直预测中，结果是该GCLI值与先前编码行中的同一系数子集的GCLI之间的差。
令F1和F2为两个垂直相邻的系数组，由g>1个系数组成。令F2为当前要编码的系数组。然后，可以以与水平预测相同的方式对GCLI(F2)进行编码。
垂直预测被限制在切片中，该切片是连续行(例如，64行)的预定义集合。以这种方式，无法垂直预测切片的第一个分区。
用于垂直预测的替代方式是，不进行上文所述的预测，而是使用以下预测公式：
δ＝max(GCLI(F2),GTLI(F2))-max(GCLI(F1),GTLI(F1))
用于垂直预测的另一种替代方案是使用所谓的有界码(bounded code)：
Figure GDA0003417150080000073
其中
Figure GDA0003417150080000074
Figure GDA0003417150080000075
Figure GDA0003417150080000076
其中
gi是要编码的GCLI
Figure GDA0003417150080000077
是用作参考的GCLI
ti是适用于gi的截断
Figure GDA0003417150080000078
是已经应用于
Figure GDA0003417150080000079
的截断
这种代码具有δ≥0的特性，使得高效的一元编码是可能的。
相同的预测方法也可以应用于
Figure GDA0003417150080000081
在[1]中，转义码(escape code)已用于GCLI编码，用于对由全部小于预定义截断阈值的多个系数组成的系数组的序列进行信号化。通过这些手段，由于可以用一个转义字表示多个零系数组而不需要为每个系数组提供一个码字，因此可以提高编码效率。
虽然这个方法的优点在于在重要性标志方面不需要任何开销，但是与当不使用任何转义码时所需的位相比，计算附加位会带来一些复杂性。而且，一些编码方法不允许以容易的方式使用转义码。
参见例如图5，示出了系数组18，该系数组18相对于在系数组18之中定义的编码次序38而言可能是直接连续的，但这不是强制性的。根据刚刚提到的转义编码，通过采用转义码，在数据流中为系数组18传输的GCLI值可以用信号通知：该系数组18的系数以及和该系数组18一起形成组集合40的多个后续系数组18的系数都是不重要的。关于哪个系数组18属于组集合40的问题可以默认为已知或可以用信号通知。例如，当连续的GCLI系数组18具有不重要的截断的GCLI值时，例如，可以通过这种手段将它们从代码流中丢弃以提高编码效率。在这种空间零游程(run)方法中，这是通过将组集合40中的第一系数的转义码编码为不重要来完成的。但是，如刚刚指出的那样，花费这样的编码转义值会增加编码复杂度，因而不适合极低复杂度的情况。
根据[1]中所教导的所谓RSF方法，通过以下方式可以显著减少对GCLI值进行编码的负担：针对诸如图5中的组集合40之类的组集合，用信号通知该系数组18的不重要的截断GCLI值是根据参考GCLI值预测的，针对组集合40中的所有组集合导致残差均等于0。为此，将系数组18分组为组集合40，并且数据流针对每个组集合40包括RSF标志，该RSF标志指示在组集合40内针对该GCLI的预测残差是否全部为0，在这种情况下，自然无需在数据流中传输预测残差。但是，当这些不重要GCLI的对应残差不为0时，RSF不会跳过不重要的GCLI的编码。
可能是针对集合40的GCLI的预测残差不为零，但是由于截断，相应组集合40内的所有系数组18中的所有系数都是不重要的。
下文描述的实施例提供了通过修改RSF的解释而从代码流中删除不重要的截断的GCLI的机会，从而允许在低复杂度下作为刚刚概述的RSF方法的补充。
下面将对此进行详细讨论。
在[1]中讨论的RSF方法中，GCLI系数在每个子带内按组布置，从现在开始，称为SIG组。例如，图5中的元素40是这样的SIG组。SIG组的大小可以为8或大于1的任何其它数字。即，SIG组40可以包括两个或更多个系数组18。虽然如刚刚概述的那样，由一个SIG组40组成的系数组18可以属于变换10的一个子带，但这不是强制性的。注意的是，如果子带不是SIG组的大小(诸如8)的倍数，那么最后的系数可以作为不完整的组来处理。
例如，在针对分区30的代码流的开始处，标志的序列被信号化。每个标志与该分区中的每个SIG组40对应。如果该标志被置位，那么意味着与该组40对应的所有GCLI残差均为0，因此在代码流中不存在。
如前面所提到的，存在SIG组中的GCLI全部被截断(或简单地为0)而它们的残差不为0的情况。例如，当从其中GCLI是重要的行(line)或排(row)中垂直预测它们时，会发生这种情况。在此，当因为不同于0的残差需要更多预算用于例如一元编码，因此防止其残差被信号化实际上可能是有利的时候，RSF却不能成功地做到这一点。
因此，根据本申请的实施例，使用系数重要性标志(CSF)来代替RSF，从而旨在进一步扩展RSF的定义。通过引入新的GCLI编码方法，CSF还为每个SIG组40分配一个标志，每当截断后SIG组40的系数组18的GCLI都是不重要的，即用于这些系数组18的编码位平面的集合为空的时候，就对所述标志置位。因此，需要与RSF相同数量的标志。如下所述，从可以根据替代编码选项使用CSF编码和RSF编码两者的意义来讲，CSF编码可以与RSF编码相结合，从而可以例如针对每个分区30或每个子带来选择CSF编码。在此，取决于数据流中的某些附加信号通知，数据流中的相同标志可以被解释为RSF或CSF。
Figure GDA0003417150080000091
Figure GDA0003417150080000101
表1–四个示例性SIG组的示例，以及如何为这些SIG组对RSF和CSF进行置位的指示
表1示出了示例以及CSF与RSF方法的比较。对于SIG组0，选择CSF，因为截断GCLI值全为0，同时因为残差不为0，没有给出RSF标志。对于SIG组1，情况则相反。对于SIG组2，GCLI和残差均为0，因此CSF也设为一，RSF也设为一。最后，在SIG组3中，没有选择它们中的任何一个，即，RSF和CSF均设为零。
在下文中，将进一步讨论CSF变体。
例如，CSF标志的使用具有影响，因为可以实现对于每个SIG组的预算节省。
用于一元编码的字母表通常专门指定1位，以便用信号通知残差值0。因此，RSF节省的预算对于每个删除的SIG组始终是相同的，并且正好等于该组的大小。另一方面，由该方法引入的预算开销在整个图像中是恒定的，并且始终等于所需的RSF的量。
关于CSF，预算开销与RSF完全相同。但是相比之下，每个SIG组节省的最高预算等于或大于RSF。实际上，由CSF移除的残差可以等于或不等于0，因此它们的预算可以大于或等于组的大小。
虽然RSF可以透明地用于预测，但前提是它是后处理(在编码器中)或预处理(在解码器中)，但对于CSF，对解码器和编码器中的预测模块进行了一些修改。
在编码器处，只要发现SIG组仅包含不重要的截断的GCLI，就可以完全跳过它们的编码。但是，预算计算必须进行更多计算才能获得由残差节省的位数。在解码器中，也可以跳过使用CSF对那些删除的GCLI的逆向预测，而代之以0。
在下文中，更详细地描述使用如刚刚概述的CSF的图像编码。为此，如下使用一些函数定义。
令α为要编码的系数组。然后
GCLI(α)：返回适用于系数组α的GCLI值
PREF(α)：返回用于预测系数组α的GCLI值的系数组
GTLI(α)：返回适用于系数组α的GTLI值。因此，GTLI(α)取决于组α的分区和子带。
PRED(gα,tα,gb,tb)：返回使用GCLI gb作为参考的与GCLI gα的预测对应的残差，分别具有GTLI tα和tb。
PRED-1(δ,tα,gb,tb)：返回使用GCLI gb、残差δ作为参考的与系数组对应的逆预测，分别具有GTLI tα和tb。
SIZE(s)：子带s的一行中的系数组的数量。
SIGGRP(α)：返回系数组α所属的SIG组的索引。
CSF(g)：返回CSF标志是否与SIG组g相关联。True(真)表示该组是不重要的。
RSF(g)：返回RSF标志是否与SIG组g相关联。True(真)表示该组是不重要的。
SIGSIZE(s)：SIG组的大小，对于每个子带可以不同。
下面提供用于管理CSF的伪代码。
子带的GCLI值的解码如下进行。
当使用CSF时，可以如下所述描述解码器。对于子带s，系数组ai的值GCLI(ai)的集合如下解码：
Figure GDA0003417150080000111
Figure GDA0003417150080000121
子带的GCLI值的编码如下进行。
让我们定义如下GTLI，从该GTLI开始SIG组的所有GCLI都变为不重要的，如下所示：
Figure GDA0003417150080000122
即，该组的最大GCLI值。因此，可以如下执行子带s的系数组ai的编码：
Figure GDA0003417150080000123
与此相比较，下面提供用于管理RSF的伪代码作为参考。
首先，检查子带的GCLI值的解码。
当使用RSF时，解码器可以如下所述进行描述。对于子带s，对系数组(ai)的值GCLI(ai)的集合如下进行解码：
Figure GDA0003417150080000124
如果使用RSF，那么子带的GCLI值的编码如下。
让我们如下定义GTLI，从该GTLI开始SIG组的所有残差都变得不重要，如下所示：
Figure GDA0003417150080000131
因此，可以如下执行子带s的系数组aj的编码：
Figure GDA0003417150080000132
可以支持在系数和剩余重要性标志之间的切换。如上面所解释的，系数重要性标志可以指示存在量化后为零的系数组序列(所谓的SIG组)，即使它们的预测残差不为零。通过相对应地对表示该SIG组的重要性信息或重要性标志进行置位，可以避免将表示预测残差的代码字放置到位流中，从而提高了编码效率。
另一方面，残差重要性标志用信号通知存在具有全部零预测残差的量化的SIG组。换句话说，如果SIG组的所有量化的系数都具有与其预测值相同的值(可能不为零)，那么当适当地对该SIG组的对应的(一个或多个)重要性位进行置位时，不需要将零预测残差放置到位流中。
为此，每个分区(或甚至每个子带)的位流都用信号通知选择了这两个重要性标志中的哪个。通过这些手段，编码器可以为每个分区或每个子带选择最佳替代方案，从而给出如下面解释的某种编码增益。
图6.1至6.32给出了使用上述编码框架获得的PSNR(峰值信噪比)结果，即，使用GCLI编码、与RSF编码结合、CSF编码或允许在两种编码模式之间切换的变体。图6.1至6.6涉及RGB 444 8位的编码，即，针对RSF/CSF可切换性而使用不同bpp(位/像素)约束进行PSNR优化的；在分别对仅RSF、仅CSF以及RSF/CSF切换进行比较时使用4bpp的位速率约束进行视觉优化的；在分别对仅RSF、仅CSF以及RSF/CSF切换进行比较时使用6bpp的位速率约束进行PSNR优化的；在分别对仅RSF、仅CSF以及RSF/CSF切换进行比较时使用12bpp的位速率约束进行PSNR优化的；在分别对仅RSF、仅CSF以及RSF/CSF切换进行比较时使用4bpp的位速率约束进行视觉优化的；以及在分别对仅RSF、仅CSF以及RSF/CSF切换进行比较时使用12bpp的位速率约束进行视觉优化的。如标题所指示的，在图6.7至6.10中针对RGB 444 10位编码描述了类似的模拟结果，并且在图6.11至6.14中针对YUV 422 10位编码描述了类似的模拟结果。图6.15至6.32中呈现了多代最大PSNR和平均PSNR结果，即，在图6.15至6.20中针对RGB444 8位进行图示，在图6.21至6.26中针对RGB 444 10位进行图示，以及在图6.27至6.32中针对YUV 422 10位进行图示。
在下文中，结合CSF和RSF讨论了一些复杂性方面。但是，在此之前，相对于图7示出编码器体系架构。以使用先前讨论的小波变换10作为起点的方式，在图7中使用附图标记50示出编码器。小波变换10可以通过图7中未示出的变换器通过小波变换获得。为了对小波变换10进行编码，编码器50包括GCLI提取器52，其确定每个系数组18的最大编码行索引。编码器50例如按分区进行操作，并且寻求满足受约束的某个位速率。GCLI提取器52将确定的GCLI值馈送到GCLI缓冲器54和游程/GTLI模块56中。模块56计算最小GTLI，该最小GTLI导致重要组的所有系数组均被截断为零。更多细节在下面解释。模块56将GCLI值和导致不重要的重要组的最小GTLI转发给后续的预算计算机58，该预算计算机58计算每个GTLI候选值的位预算。为此，为了编码次序中下一个要操作的变换系数行，模块58可以访问缓冲器60中先前变换系数行的GCLI值并保持更新。因为确切的预算取决于可能已经不可用的先前区域的GTLI，所以模块58仅计算每个GTLI候选的位预算的初始近似值。更精确地说，预算计算机58对当前分区的一行变换系数进行操作。连接到GCLI缓冲器54的分区预算更新器62提供区域预算更新。它将校正先前预算近似值与实际位预算之间的任何偏差。为此，模块62对该分区进行操作以便由模块64对下一分区进行编码，从而使得先前区域的GTLI是可用的。基于由计算机58确定的分区域预算更新和预算值，RA模块63计算GTLI值以有效地应用于该分区以对下一分区进行编码，以便满足上面提到的位速率约束。这个GTLI值被提供作为GCLI编码器64的输入，该GCLI编码器64还额外从GCLI缓冲器54接收GCLI值。GCLI编码器64可以以先前行GCLI缓冲器60的形式访问先前行的GCLI值以及通过寄存器66访问先前行的GTLI。GCLI编码器64利用在这方面已经在上面阐述的细节对GCLI值进行编码，并将其输出到缓冲器68中。变换10的系数也被缓存在缓冲器70中，并且其借助于缓冲器68中的编码GCLI值如在数据流中用信号通知的那样在编码位平面中的那些位，经由系数编码器72被插入到数据流中。如上所述，这可以以将所述位作为原始数据放置到数据流中的形式来完成。打包器74将编码的GCLI数据和原始数据位打包到数据流中。
图7中突出显示的方框，即，56、58和64，涉及两种不同类型的重要性标志的使用，即，RSF和CSF。如在其内容通过引用并入本文的[1]中进一步解释的，小波变换10的小波系数被存储在系数缓冲器70中，以用于以后通过编码器72进行数据编码。还如[1]中所述，GCLI提取器52确定GCLI值并将其存储在缓冲器54中。
为了组合这两种不同的重要性标志方法，需要诸如通过模块56按每一重要性组来计算以下值：
Figure GDA0003417150080000151
Figure GDA0003417150080000152
其中
·gj是GCLI j
·tj是应用于GCLIgj的量化/截断
·
Figure GDA0003417150080000153
是用于预测gj的参考GCLI(因此，即，水平或垂直邻居)
·
Figure GDA0003417150080000154
是应用于GCLI
Figure GDA0003417150080000155
的量化/截断
·PRED是使用t和
Figure GDA0003417150080000156
从
Figure GDA0003417150080000157
预测值gj的预测函数
·ssig是当前处理的重要性组
给定
Figure GDA0003417150080000158
与[2]中使用的值相同，将不进一步讨论复杂性。借助于比较器(<＝5个LUT)和每个子带一个4位的寄存器，可以进行
Figure GDA0003417150080000159
的计算。而且，通过将GCLI值延迟一个重要性组来简化初始预算计算。对于一个垂直小波分解级别(3·8个子带)，这需要3·8·8·4＝768位。对于Xilinx，这对应于2·48＝96个LUT，或者对于Altera设备，这对应于2个MLAB块。
在GCLI编码器中还需要进行另一种轻微的修正：当仅使用残差重要性标志时(如[1]中所述)，在对残差进行编码以确定是否所有残差均为零之前，需要对ssig预测残差进行缓冲。这允许输出预测残差、或者借助于重要性标志用信号通知该SIG组不重要。当使用
Figure GDA00034171500800001510
时，编码器还必须额外检查是否所有要编码的GCLIgi都在所选择的量化/截断参数ti之下。但是，这是微不足道的，不需要额外缓存。
系数重要性标志的预算节省的计算如下完成。
每当使用系数重要标志向重要组发送通知不重要时，图7中的预算计算模块就需要跟踪通过不将预测残差放入位流中而节省的位数。
因此，两种方法的总预算都可以通过以下方式计算：
·计算没有任何重要性标志时的预算
·计算针对残差重要性标志的预算节省
·计算针对系数重要性标志的预算节省
这意味着使用这两种方法的复杂性增加仅在于计算额外预算节省，如下面所讨论的。
假设根据上面讨论的第一个选项的垂直预测适用。
对于这种预测方法，使用以下等式
Figure GDA0003417150080000161
如果当前GTLIti与参考GTLIti-1两者相等，那么等式(1)简化为
Figure GDA0003417150080000162
当知道预算节省只能对
Figure GDA0003417150080000163
发生时，我们从等式(1)得出：
δi＝ti-max(gi-1,max(ti-1,ti))
因此，预算节省唯一地取决于gi-1和
Figure GDA0003417150080000164
加上参数ti-1和ti使得可以轻松地计算出该预算节省。
如果第二个垂直预测选项适用，那么使用以下等式
Figure GDA0003417150080000165
如果当前GTLIti与参考GTLIti-1两者相等，那么等式(1)简化为
Figure GDA0003417150080000171
当知道预算节省只能对
Figure GDA0003417150080000172
发生，我们从等式(3)得出：
Figure GDA0003417150080000173
因此，预算节省唯一地取决于gi-1和
Figure GDA0003417150080000174
加上参数ti-1和ti，使得可以轻松地计算出该预算节省。
对应的解码体系架构在图8中示出。图8的解码器一般性地使用附图标记80来指示。输入解复用器82接收数据流，并从中导出编码位平面内的编码系数位(即，84)、GCLI残差86、以及可能是RSF或CSF的标志(即，88)。位84存储在数据缓冲器90中，GCLI残余值存储在GCLI缓冲器92中，并且标志88存储在缓冲器94中。如图8中所描绘的，存储在缓冲器92中的GCLI残差值可以被一元编码或编码为原始数据，并且取决于此，使用原始解码器96或一元解码器98对GCLI残差值进行解码。可选地，子带GCLI缓冲器101可以分别由解码器96和解码器98访问。经由GCLI打包器102，逆GCLI预测器104接收GCLI残差，并基于先前GCLI 106并基于RSF标志来重构GCLI值：如果应用了RSF，并且用于当前GCLI的RSF标志是置位的，那么无论如何都向逆预测器104通知该预测残差(即，GCLI残差)为零。然后，使用基于先前GCLI106确定的预测器来作为当前的GCLI。逆预测器104输出确定的GCLI，并且多路复用器依据适用于当前GCLI的CSF标志来选择该预测输出或零替换：如果该CSF标志是置位的，那么无论如何在对应的SIG组内没有任何编码位平面，并且据此对GCLI进行设置，即设置为零、或者在考虑当前GTLI的情况下导致不重要的变换系数编码的某个值。解包器控制器110接收多路复用器108的输出(该多路复用器108的输出又作为先前GCLI反馈到逆预测器104)，进而控制解包器112，而解包器112依据当前GCLI从数据缓冲器90中检索用于当前系数组的编码位平面的系数位。在解包器112的输出处，得到相应的变换系数。
因而，图8示出了解码器的框图，并且特别示出了除了[1]之外的扩展，其使得能够支持两种重要性标志类型。为了完整起见，应当注意的是，与[1]相比，图8示出了附加的GCLI打包器102。
在用残差重要性标志对分区(或子带)进行编码的情况下，逆预测器简单地假设预测残差为零，而不是从GCLI打包器102读取它们。当使用系数重要性标志时，逆预测器104可以确切地执行相同的操作。但是，代替使用这种预测的结果，仅仅是将其替换为零值。因此，为了处置两种标志类型，图8的解码器简单地包括4位MUX2元件(即，108)，其由重要性标志缓冲器94的输出和所使用的重要性标志的类型来控制。因此，就解码器而言，逻辑上的增加可以忽略不计。
在已经描述了本申请的某些实施例作为对JPEG XS的当前设想版本的扩展或修改之后，将描述解码器和编码器以及数据流的进一步实施例以作为上述实施例的一种概括。图9图示了编码器100。图9的编码器是用于将变换系数16编码成数据流102。如上所述，变换系数16可以是图像变换的变换系数。变换系数16可以形成图像的频谱分解的多个子部分中的一个子部分，并且编码器100可以被配置为以每个子部分为基础执行编码。这种子部分可以是子带，诸如小波变换的子带，或者可以是变换系数的组，该变换系数与其中图像被细分为诸如与分区对应的区域32的空间区域中的对应空间区域相关。应当清楚的是，变换系数16也可以是不同变换的系数，例如DCT等。变换系数16被分组成系数组18。如上面所讨论的，每组18的系数16的数量可以是大于1的任何数量，不限于图9中所示的4。可以通过使得属于一个组18的系数16属于同一子带的方式，来完成将系数16分组成组18。在小波变换的情况下，属于一组18的系数16可以例如是一个子带的空间邻居，并且在变换系数16是DCT系数的情况下，组18可以由源自从图像的空间相邻区域获得的不同DCT变换块的系数16组成，一个组的系数对应于这些DCT变换块内的一个频率分量或系数。特别地，在DCT变换的情况下，可以以块为单位将图像变换为相同大小的DCT变换块，其每个系数位置将表示单独的子带。例如，这些DCT变换块的所有DC系数将表示DC子带，其右边的系数是另一个子带，依此类推。然后，组18可以收集从图像的相邻块获得的DCT变换块的一个子带的系数。
系数组16进而被分组为组集合40。这也可以通过不对不同子带的系数进行混合的方式来完成。而且，一个组集合40内的系数组18的系数16可以都源自同一子带。
图9的编码器100在数据流102中插入信息104，该信息104识别将不对其使用重要性编码模式的组集合40的第一子集，即，对其GCLI残差进行了编码的组集合40，以及识别将对其使用重要性编码模式的组集合的第二子集，即，未对其GCLI残差进行编码的组集合40。在以上提出的描述中，对于每个组集合40，一个CSF标志被插入到数据流102中，以便形成信息104。组集合40的第一子集是CSF为0或未置位的组集合40，而第二子集包括CSF为1的那些组集合40。为了为当前组集合40设置信息104，编码器100检查106组集合40内的所有变换系数16是否都是不重要的，即，量化为0的。编码器100可以将截断信息108插入数据流102中，截断信息108指示一个或多个截断的最低有效位平面的集合。以上讨论的GTLI值可以形成信息108的一部分。可以以上述子部分的粒度，例如即按每个分区，或者例如以某个其它级，诸如以子带或系数组排为单位，在数据流102中传输GTLI 108。顺便说一句，注意的是，除了在附图中示例性地描绘的之外，系数组18还可以收集沿着与系数排41倾斜的方向彼此相邻的系数16。信息118为其提供预测残差的GCLI值可以指示应作为与GTLI相关的索引而被编码到数据流102中的最高有效位平面，而该与GTLI相关的索引可以对最低有效位之中的最高有效的位施加索引，直到量值位24应被截断。如果当前组集合40内的所有组18的所有系数均为0，那么在110处对这个组集合40的CSF标志进行置位，否则，如在112处所示，不置位。如果未置位，那么编码器100通过以下方式在数据流102中用信号通知编码位平面的集合：例如在相邻系数组18的基础上在114处预测该集合，并将预测残差插入116到数据流102中，由此在数据流102中形成GCLI数据118。例如，可以通过施加索引，即通过对最大编码行施加索引，在数据流102中用信号通知编码位平面的集合。对于当前组集合40内的其GCLI 118大于GTLI的系数组18，编码器100将相应系数组18中的各系数16的对应系数位，即，位24，编码到数据流102中。可以以码速率1来完成这个位插入120，比如，更具体来讲，是通过将这些位作为原始位插入来完成的。而GCLI数据值可以作为变长码被编码到数据流102中，例如，如上面所讨论的一元码。在图9中的122处描绘了在120处插入的原始位。如上面已经讨论的，在数据流102内，原始位122、GCLI数据118和标志104可以是交织的或非交织的。如可以看出的，CSF＝1是表示组集合40的非常压缩的方式。在110或120中的任何一个之后，该处理可以以相同的方式对另一个组集合40进行。
图10示出了与图9的编码器对应的解码器。图10的解码器200操作以从数据流102重构变换系数16，并且为此，检查用于当前组集合40的CSF是否被置位，在这种情况下，解码器200将组集合40内的所有变换系数16归零(即，设置为零)，或者对该变换系数16中的噪声进行合成。为此，如果该检查206指示应对当前组集合40使用重要性编码模式，那么对当前组集合40执行某种不重要的处理210。但是，如果不是，那么解码器200正常地处理该组集合40。即，解码器200在214处预测当前组集合40内的每个系数组18的GCLI，并且使用从数据流102获取的预测残差来校正216该预测。如上面所提到的，可变长度解码可以用于导出预测残差118。可以使用垂直地与当前系数组或当前组40相邻的系数组18的GCLI进行预测，这意味着在本示例中，对于当前集合40内的所有组18，预测参考，即垂直相邻的组18，是在当前集合40的外部。可替代地，可以使用水平地与当前系数组或当前组40相邻的系数组18的GCLI来完成预测214，这意味着在本示例中，对于当前集合40内的除了最左侧组以外的大多数组18，例如，预测参考，即水平相邻的组18，是在当前集合40的内部。自然地，在数据流中用信号通知用于每个组18的预测源可能是可行的。甚至非预测也可能是可行的模式。自然地，关于预测214的细节也可以转移到预测114上。可以可替代地由编码器以不同于组18或集合40的某种其它粒度来用信号通知和选择模式切换，比如以系数排41或组18的排、子带或分区30的粒度。
如由解码器200在218处所检查的，对于GCLI大于GTLI的每个系数组18，即，对于其编码位平面的集合不低于量化阈值的每个系数组18，在220处从数据流102中读取相应系数组18内的系数16中的对应编码位平面中的位。这意味着，解码器200根据用于将来自位流102的位插入到位平面中的预定映射规则，即在122处，将数据流102中的位直接读取或解码到由GCLI和GTLI指示的那些位平面中，即，在它们之间。
在图9中，额外图示了：可选地，编码器100可以在数据流102内用信号通知信息104属于这种重要性指示的事实，即，属于CSF，而不是例如属于RSF。可选地，在250处，这个指示被示为由编码器100插入到数据流102中。
图11示出了被配置为使用RSF而不是CSF的编码器300。图11的编码器300以以下方式操作。特别地，以下描述集中于与图9的编码器100的操作的差异。
图11的编码器300通过在314处确定当前组集合40的所有系数组18的GCLI预测器，并且在316处确定所有预测是否完全合适，即预测残差是否对于组集合40内的所有系数组18而言都为0，来对所述组集合40进行操作。如果是这种情况，那么编码器300通过在318处在数据流102中的重要性信息104内设置RSF＝1来用信号通知。在此，指示250指示：RSF信令是在数据流102的信息字段104中传递的，而不是如图9中的指示250所指示的CSF信令。然而，如果所有GCLI预测残差都不为0，那么在220将用于这个组集合40的RSF标志设置为0，并在322处将用于当前组集合40的系数组18的GCLI值的预测残差插入数据流102中，即，插入字段118内。不管是否设置了RSF，都要检查每个系数组是否存在未截断的编码位平面，如果存在，那么在326处将其插入数据流102中。
应当注意的是，根据另一个实施例的编码器能够根据两种模式(即，根据图9或根据图11)进行操作，并从中选择，以便例如根据某种编码效率的意义来决定使用选项，RSF还是CSF，是优选的。
图12示出了解码器400，其能够处理包含指示250的数据流102，而不管指示250是指示使用了CSF编码还是RSF编码。图10的附图标记被再次利用，但是信息104被指示为“R/CSF”而不是“CSF”，以表示信息104的标志的含义取决于指示250。仅在设置了当前组集合40的对应标志、并且同时由指示250指示CSF模式的情况下，由解码器400执行不重要的处理210。如果不是，那么与图10相比操作模式的进一步差异是以下事实：如果检查402得出为当前组集合40设置R/CSF标志并且该指示250指示RSF模式，那么解码器400跳过预测校正216。如果不是，那么执行预测校正216。
关于图12，应注意，引人注目的是，图12的解码器400几乎与图10的解码器没有区别。几乎没有操作开销便实现了处理RSF和CSF编码两者的能力。另一方面，在使用指示250的情况下，寻求安装用于产生用于馈送解码器12的数据流102的编码器的每个人被提供了在图11的RSF选项或图9的CSF选项中进行选择的机会。在这方面，应当注意的是，CSF选项在并行处理能力方面可能具有优势，而图11的RSF选项在以顺序操作方式实现编码器(诸如例如以FPGA等形式)的情况下可能是有利的。特别地，虽然在步骤322中RSF设置取决于用于预测的预测参考基础，但是除了需要获知GTLI(即，量化)之外，可以独立于任何其它变换系数来完成CSF设置。
关于图9至12，应当注意的是，编码器可以向数据流102提供是否仍使用重要性模式的信息或标志，并且取决于此，信息104和可选地使用的信令250可以不存在于数据流102中，所有组集合40都以正常模式处理。
定义和缩写
这些是将在文档中使用的一些定义。
GCLI 最大编码行索引
GCLI系数组 用一个GCLI值表示的小波系数的组
转义GCLI 未用于普通编码的GCLI值，其可用于向解码器用信号通知特定条件
重要的GCLI 值大于零的GCLI
不重要的GCLI 值为零的GCLI
GCLI 最大的截断行索引
截断GCLI max(GCLI-GTLI，0)的结果
不重要的截断GCLI 对于系数组其值小于或等于GTLI的GCLI
GCLI残差 应用于GCLI值的预测的结果。这需要参考GCLI和对应的GTLI值。有两种变体，水平和垂直预测。
分区 对输入图像中给定空间区域作出贡献的不同子带的系数的组。
场景 在分区基础上定义的量化参数，可用于导出针对不同小波子带的GTLI值。
RSF 残差重要性标志，也称为非重要性标志[1]。
SIG组 GCLI系数组的组，为其指派了SIG标志。也称为重要性组
CSF 系数重要性标志
参考文献
[1]EP17162866.2,Decoder for decoding image data from a data stream,encoder for encoding image data into a data stream,and data stream comprisingimage data and data on greatest coded line index values
[2]intoPIX,“intoPIX Codec Submission for JPEG-XS CfP,DesignDescription”,wg1m73019
[3]AMBROISE RENAUD；BUYSSCHAERT CHARLES；PELLEGRIN PASCAL；ROUVROY GAEL,“Method and Device for display stream compression”,EP2773122 A1
[4]AMBROISE RENAUD；BUYSSCHAERT CHARLES；PELLEGRIN PASCAL；ROUVROY GAEL,“Method and Device for Display Stream Compression”,US9332258 BB
[5]Jean-Baptiste Lorent,“TICO Lightweight Codec Used in IP Networkedor in SDI Infrastructure”,SMPTE RDD 35:2016
[6]Toshiaki Kojima,“LLVC–Low Latency Video Codec for NetworkTransfer”,SMPTE RDD 34:2015
[7]J.Kim和C.M.Kyung,“A Lossless Embedded Compression UsingSignificant Bit Truncation for HD Video Coding”,IEEE Transactions on Circuitsand Systems for Video Technology,2010
图13示出了数据流102的伪代码的示例。在这个伪代码中，指示250是在称为“Rm”的参数内传递的。Rm＝1指示使用了CSF编码模式，并且通过在500处将预测残差Δm综合设置成如下值来促使跳过任何位导出：所述值使得在504处计算出的GCLI预测器的校正502在任何情况下都足够小以便不超过量化阈值T，如在506处测试的。在508处，通过依据重要性标志Z呈现任何预测残差(即，Δm)的读数，基于重要性标志信息来完成从数据流中跳过任何GCLI残差读数。Rm是0还是1不影响在510处的预测残差读数对于508处的重要性标志的依赖性。如果Rm为0，即，RSF模式处于活动状态，那么预测残差Δm在512处被设置为0。编码位平面的位导出未在图13中描绘，而仅针对M大于0的变换系数组来完成。
虽然已经在装置的上下文中描述了一些方面，但是显然这些方面也表示对应方法的描述，其中块或设备与方法步骤或方法步骤的特征对应。类似地，在方法步骤的上下文中描述的各方面还表示对应装置的对应块或项目或特征的描述。方法步骤中的一些或全部可以由硬件装置执行(或使用硬件装置)，例如微处理器可编程计算机或电子电路。在一些实施例中，最重要的方法步骤中的一个或多个可以由这样的装置执行。
本发明的编码的数据流可以存储在数字存储介质上，或者可以在诸如无线传输介质之类的传输介质或诸如互联网之类的有线传输介质上传输。
取决于某些实现要求，本发明的实施例可以用硬件或软件实现。可以使用其上存储有电子可读控制信号的数字存储介质来执行该实现，例如软盘、DVD、蓝光、CD、ROM、PROM、EPROM、EEPROM或FLASH存储器，所述信号与可编程计算机系统协作(或能够协作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，使得执行本文所述的方法之一。
一般而言，本发明的实施例可以被实现为具有程序代码的计算机程序产品，该程序代码可操作用于在计算机程序产品在计算机上运行时执行这些方法之一。程序代码可以例如存储在机器可读载体上。
其它实施例包括用于执行存储在机器可读载体上的本文所述方法之一的计算机程序。
换句话说，本发明性方法的实施例因此是具有程序代码的计算机程序，当计算机程序在计算机上运行时，该程序代码用于执行本文所述的方法之一。
因此，本发明性方法的另一个实施例是数据载体(或数字存储介质，或计算机可读介质)，其包括记录在其上的用于执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬态的。
因此，本发明性方法的另一个实施例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接，例如经由互联网，传送。
另一个实施例包括被配置为或适于执行本文描述的方法之一的处理手段，例如计算机或可编程逻辑设备。
另一个实施例包括计算机，其上安装有用于执行本文所述方法之一的计算机程序。
根据本发明的另一个实施例包括一种装置或系统，其被配置为将用于执行本文所述方法之一的计算机程序传送(例如，电子地或光学地)到接收器。接收器可以是例如计算机、移动设备、存储器设备等。该装置或系统可以例如包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中，可编程逻辑设备(例如现场可编程门阵列)可以用于执行本文所述方法的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作，以便执行本文描述的方法之一。一般而言，该方法优选地由任何硬件装置执行。
本文描述的装置可以使用硬件装置，或使用计算机，或使用硬件装置和计算机的组合来实现。
本文描述的装置或本文描述的装置的任何部件可以至少部分地以硬件和/或软件实现。
本文描述的方法可以使用硬件装置，或使用计算机，或使用硬件装置和计算机的组合来执行。
本文描述的方法或本文描述的装置的任何部件可以至少部分地由硬件和/或软件执行。
上述实施例仅用于说明本发明的原理。应理解，本文所述的布置和细节的修改和变化对于本领域技术人员而言将是显而易见的。因此，意图仅受到即将给出的专利权利要求的范围的限制，而不受通过本文实施例的描述和解释所呈现的具体细节的限制。

Claims (44)

1.一种解码器，用于从数据流(102)解码变换系数(16)，所述变换系数被分组为系数组(18)，所述系数组(18)被分组为组集合(40)，所述解码器包括微处理器或电子电路或计算机，所述微处理器或电子电路被配置为或者所述计算机通过存储于数字存储介质上的计算机程序被编程以
从所述数据流(102)中导出重要性编码模式的指示(250)；
从所述数据流(102)中导出信息(104)，所述信息识别将不对其使用重要性编码模式的组集合(40)的第一子集、和将对其使用所述重要性编码模式的组集合(40)的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前解码系数组，导出(214)对于所述编码位平面的第一集合的第一预测，
使用从所述数据流中导出的第一预测残差(118)来校正(216)所述第一预测，
以便获得对于所述编码位平面的第一集合的校正预测，
从所述数据流中导出(220)所述对于编码位平面的第一集合的校正预测内的相应系数组中的位；
如果所述重要性编码模式是第一模式，那么对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，
通过基于第二先前解码系数组导出(214)对于编码位平面的第二集合的第二预测，来识别所述编码位平面的第二集合，以及
从所述数据流中导出(220)对于所述编码位平面的第二集合的预测内的相应系数组中的位；以及
如果所述重要性编码模式是第二模式，那么对于所述第二子集中的每个组集合，
继承(210)以下：对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
2.如权利要求1所述的解码器，其中所述变换系数形成图像(12)的频谱分解的多个子部分中的一个子部分。
3.如权利要求2所述的解码器，其中所述解码器被配置为在每个子部分的基础上从所述数据流中导出所述重要性编码模式。
4.如权利要求3所述的解码器，其中所述子部分是与所述图像(12)细分而成的空间区域中的对应空间区域(32)相关的子带或变换系数组。
5.如权利要求2所述的解码器，被配置为从所述数据流中导出截断信息(108)，所述截断信息指示对于每个系数组的一个或多个截断的最低有效位平面的集合，并且所述第一预测、校正预测和第二预测指示与所述一个或多个截断的最低有效位平面的集合中的最高有效截断位平面相关的最高有效位平面索引。
6.如权利要求5所述的解码器，被配置为从所述数据流中导出所述截断信息(108)，所述截断信息以与所述图像(12)细分而成的空间区域中的对应空间区域(32)相关的系数组的行、子带或变换系数的组的粒度，指示所述一个或多个截断的最低有效位平面的集合。
7.如权利要求1所述的解码器，其中所述变换系数是图像(12)的频谱分解(10)的频谱系数。
8.如权利要求1所述的解码器，其中所述变换系数是DCT或小波系数。
9.如权利要求1所述的解码器，其中所述变换系数是分解成子带的图像(12)的频谱分解(10)的频谱系数，并且以使得一个系数组(18)内的变换系数(16)属于同一子带的方式将所述变换系数分组为所述系数组(18)。
10.如权利要求1所述的解码器，被配置为对于每个组集合(40)从所述数据流中导出所述信息(104)作为一个标志，其中所述标志采取第一状态的组集合(40)属于所述组集合的第一子集，而所述标志采取第二状态的组集合属于所述组集合的第二子集。
11.如权利要求1所述的解码器，被配置为以码速率1执行位的导出(220)。
12.如权利要求1所述的解码器，被配置为将不重要的系数设置为零或伪噪声。
13.一种编码器，用于将变换系数(16)编码为数据流(102)，所述变换系数被分组为系数组(18)，所述系数组被分组为组集合(40)，所述编码器包括微处理器或电子电路或计算机，所述微处理器或电子电路被配置为或者所述计算机通过存储于数字存储介质上的计算机程序被编程为
在所述数据流(102)中用信号通知重要性编码模式(250)为第一模式或者第二模式，
将信息(104)插入到所述数据流(102)中，所述信息识别将不对其使用重要性编码模式的组集合的第一子集、和将对其使用所述重要性编码模式的组集合的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别所述数据流中的编码位平面的第一集合：
基于第一先前编码系数组，导出(114)对于所述编码位平面的第一集合的第一预测，
将用于校正所述第一预测的第一预测残差(118)插入(116)到所述数据流(102)中，以获得对于所述编码位平面的第一集合的校正预测；
将所述对于编码位平面的第一集合的校正预测内的相应系数组中的位插入(120)到所述数据流中；
如果所述重要性编码模式是第一模式，那么对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第二集合：
基于第二先前编码系数组，导出(114)对于所述编码位平面的第二集合的第二预测，以及
将所述对于编码位平面的第二集合的预测内的位插入(120)到所述数据流中；以及其中为第二模式的所述重要性编码模式用信号通知：对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
14.如权利要求13所述的编码器，其中所述变换系数形成图像的频谱分解的多个子部分中的一个子部分。
15.如权利要求14所述的编码器，其中所述编码器被配置为通过在所述数据流中用信号通知，在每个子部分的基础上，在至少所述第一模式和第二模式之中选择和改变所述重要性编码模式。
16.如权利要求15所述的编码器，其中所述子部分是与所述图像细分而成的空间区域中的对应空间区域相关的子带或变换系数组。
17.如权利要求14所述的编码器，被配置为将截断信息插入到所述数据流中，所述截断信息指示对于每个系数组的一个或多个截断的最低有效位平面的集合，并且所述第一预测、校正预测和第二预测指示与所述一个或多个截断的最低有效位平面的集合中的最高有效截断位平面相关的最高有效位平面索引。
18.如权利要求17所述的编码器，被配置为将所述截断信息插入到所述数据流中，所述截断信息以与所述图像细分而成的空间区域中的对应空间区域相关的系数组的行、子带或变换系数的组的粒度，指示所述一个或多个截断的最低有效位平面的集合。
19.如权利要求13所述的编码器，其中
所述编码器被配置为默认在至少所述第一模式和第二模式之中选择所述重要性编码模式，或者
所述编码器被配置为通过测试包括所述第一模式和第二模式的编码模式集合并根据预定准则在所述编码模式集合之中选择最佳编码模式，在至少所述第一模式和所述第二模式之中选择所述重要性编码模式。
20.如权利要求19所述的编码器，其中所述预定准则取决于码速率和/或编码失真。
21.如权利要求13所述的编码器，其中所述变换系数是图像的频谱分解的频谱系数。
22.如权利要求13所述的编码器，其中所述变换系数是DCT或小波系数。
23.如权利要求13所述的编码器，其中所述变换系数是分解成子带的图像的频谱分解的频谱系数，并且以使得一个系数组内的变换系数属于同一子带的方式将所述变换系数分组为所述系数组。
24.如权利要求13所述的编码器，被配置为对于每个组集合将所述信息插入到所述数据流中作为一个标志，其中所述标志采取第一状态的组集合属于所述组集合的第一子集，而所述标志采取第二状态的组集合属于所述组集合的第二子集。
25.如权利要求13所述的编码器，被配置为以码速率1执行位的插入。
26.如权利要求13所述的编码器，用信号通知将不重要的系数设置为零或伪噪声。
27.一种解码器，用于从数据流(102)解码变换系数(16)，所述变换系数(16)被分组为系数组(18)，所述系数组被分组为组集合(40)，所述解码器包括微处理器或电子电路或计算机，所述微处理器或电子电路被配置为或者所述计算机通过存储于数字存储介质上的计算机程序被编程为
从所述数据流(102)中导出信息(104)，所述信息识别将不对其使用重要性编码模式的组集合(40)的第一子集、和将对其使用所述重要性编码模式的组集合(40)的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前解码系数组，导出(214)对于所述编码位平面的第一集合的第一预测，
使用从所述数据流中导出的第一预测残差(118)来校正(216)所述第一预测，
以便获得对于所述编码位平面的第一集合的校正预测，
以码速率1，从所述数据流中导出(220)所述对于编码位平面的第一集合的校正预测内的相应系数组中的位；
对于所述第二子集中的每个组集合，继承(210)以下：对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
28.如权利要求27所述的解码器，被配置为
从所述数据流(102)中导出是否应用了所述重要性编码模式；
如果未应用重要性编码模式，那么跳过从所述数据流中导出所述信息，并推断所述第二子集为空。
29.如权利要求28所述的解码器，其中所述变换系数形成图像的频谱分解的多个子部分中的一个子部分，并且所述解码器被配置为在每个子部分的基础上，从所述数据流中导出是否应用了所述重要性编码模式。
30.如权利要求29所述的解码器，其中所述子部分是与所述图像细分而成的空间区域中的对应空间区域相关的子带或变换系数组。
31.如权利要求29所述的解码器，被配置为从所述数据流中导出截断信息，所述截断信息指示对于每个系数组的一个或多个截断的最低有效位平面的集合，并且所述第一预测和校正预测指示与所述一个或多个截断的最低有效位平面的集合中的最高有效截断位平面相关的最高有效位平面索引。
32.如权利要求31所述的解码器，被配置为从所述数据流中导出所述截断信息，所述截断信息以与所述图像细分而成的空间区域中的对应空间区域相关的系数组的行、子带或变换系数的组的粒度，指示所述一个或多个截断的最低有效位平面的集合。
33.如权利要求27所述的解码器，其中所述变换系数是图像的频谱分解的频谱系数。
34.如权利要求27所述的解码器，其中所述变换系数是DCT或小波系数。
35.如权利要求27所述的解码器，其中所述变换系数是分解成子带的图像的频谱分解的频谱系数，并且以使得一个系数组内的变换系数属于同一子带的方式将所述变换系数分组为所述系数组。
36.如权利要求27所述的解码器，被配置为对于每个组集合从所述数据流中导出所述信息作为一个标志，其中所述标志采取第一状态的组集合属于所述组集合的第一子集，而所述标志采取第二状态的组集合属于所述组集合的第二子集。
37.如权利要求27所述的解码器，被配置为使用一元VLC码来执行所述第一预测残差的导出。
38.如权利要求27所述的解码器，被配置为将不重要的系数设置为零或伪噪声。
39.一种编码器，用于将变换系数编码为数据流，所述变换系数被分组为系数组，所述系数组被分组为组集合，所述编码器包括微处理器或电子电路或计算机，所述微处理器或电子电路被配置为或者所述计算机通过存储于数字存储介质上的计算机程序被编程为
将信息插入到所述数据流中，所述信息识别将不对其使用重要性编码模式的组集合的第一子集、和将对其使用所述重要性编码模式的组集合的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前编码系数组，导出对于所述编码位平面的第一集合的第一预测，
将用于校正所述第一预测的第一预测残差插入到所述数据流中，以获得对于所述编码位平面的第一集合的校正预测；
以码速率1，将所述对于编码位平面的第一集合的校正预测内的相应系数组中的位插入到所述数据流中；
其中，对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
40.一种用于从数据流(102)解码变换系数(16)的方法，所述变换系数被分组为系数组(18)，所述系数组(18)被分组为组集合(40)，所述方法包括：
从所述数据流(102)中导出重要性编码模式的指示(250)；
从所述数据流(102)中导出信息(104)，所述信息识别将不对其使用重要性编码模式的组集合(40)的第一子集、和将对其使用所述重要性编码模式的组集合(40)的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前解码系数组，导出(214)对于所述编码位平面的第一集合的第一预测，
使用从所述数据流中导出的第一预测残差(118)来校正(216)所述第一预测，
以便获得对于所述编码位平面的第一集合的校正预测，
从所述数据流中导出(220)所述对于编码位平面的第一集合的校正预测内的相应系数组中的位；
如果所述重要性编码模式是第一模式，那么对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，
通过基于第二先前解码系数组导出(214)对于编码位平面的第二集合的第二预测，来识别所述编码位平面的第二集合，以及
从所述数据流中导出(220)对于所述编码位平面的第二集合的预测内的相应系数组中的位；以及
如果所述重要性编码模式是第二模式，那么对于所述第二子集中的每个组集合，
继承(210)以下：对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
41.一种用于将变换系数(16)编码为数据流(102)的方法，所述变换系数被分组为系数组(18)，所述系数组被分组为组集合(40)，所述方法包括：
在所述数据流(102)中用信号通知重要性编码模式(250)为第一模式或者第二模式，
将信息(104)插入到所述数据流(102)中，所述信息识别将不对其使用重要性编码模式的组集合的第一子集、和将对其使用所述重要性编码模式的组集合的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别所述数据流中的编码位平面的第一集合：
基于第一先前编码系数组，导出(114)对于所述编码位平面的第一集合的第一预测，
将用于校正所述第一预测的第一预测残差(118)插入(116)到所述数据流(102)中，以获得对于所述编码位平面的第一集合的校正预测；
将所述对于编码位平面的第一集合的校正预测内的相应系数组中的位插入(120)到所述数据流中；
如果所述重要性编码模式是第一模式，那么对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第二集合：
基于第二先前编码系数组，导出(114)对于所述编码位平面的第二集合的第二预测，以及
将所述对于编码位平面的第二集合的预测内的位插入(120)到所述数据流中；以及其中为第二模式的所述重要性编码模式用信号通知：对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
42.一种用于从数据流(102)解码变换系数(16)的方法，所述变换系数(16)被分组为系数组(18)，所述系数组被分组为组集合(40)，所述方法包括：
从所述数据流(102)中导出信息(104)，该信息识别将不对其使用重要性编码模式的组集合(40)的第一子集、和将对其使用所述重要性编码模式的组集合(40)的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前解码系数组，导出(214)对于所述编码位平面的第一集合的第一预测，
使用从所述数据流中导出的第一预测残差(118)来校正(216)所述第一预测，
以便获得对于所述编码位平面的第一集合的校正预测，
以码速率1，从所述数据流中导出(220)所述对于编码位平面的第一集合的校正预测内的相应系数组中的位；
对于所述第二子集中的每个组集合，继承(210)以下：对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
43.一种用于将变换系数编码为数据流的方法，所述变换系数被分组为系数组，所述系数组被分组为组集合，该方法包括：
将信息插入到所述数据流中，所述信息识别将不对其使用重要性编码模式的组集合的第一子集、和将对其使用所述重要性编码模式的组集合的第二子集；
对于所述第一子集中的每个组集合，对于相应组集合中的每个系数组，
通过以下来识别编码位平面的第一集合：
基于第一先前编码系数组，导出对于所述编码位平面的第一集合的第一预测，
将用于校正所述第一预测的第一预测残差插入到所述数据流中，以获得对于所述编码位平面的第一集合的校正预测；
以码速率1，将所述对于编码位平面的第一集合的校正预测内的相应系数组中的位插入到所述数据流中；
其中，对于所述第二子集中的每个组集合，对于相应组集合中的每个系数组，相应系数组中的系数是不重要的。
44.一种存储具有程序代码的计算机程序的计算机可读存储介质，所述程序代码用于在计算机上运行时执行如权利要求40、或者权利要求41、或者权利要求42、或者权利要求43所述的方法。
CN201880046206.4A 2017-07-10 2018-03-12 对变换系数编码和解码的方法及用于其的编码器和解码器 Active CN110915218B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17180617.7 2017-07-10
EP17180617 2017-07-10
PCT/EP2018/056122 WO2019011484A1 (en) 2017-07-10 2018-03-12 BINARY PLAN CODING

Publications (2)

Publication Number Publication Date
CN110915218A CN110915218A (zh) 2020-03-24
CN110915218B true CN110915218B (zh) 2022-03-15

Family

ID=59366227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046206.4A Active CN110915218B (zh) 2017-07-10 2018-03-12 对变换系数编码和解码的方法及用于其的编码器和解码器

Country Status (6)

Country Link
US (3) US10743014B2 (zh)
EP (2) EP4114007A1 (zh)
JP (1) JP7128580B2 (zh)
KR (1) KR102364942B1 (zh)
CN (1) CN110915218B (zh)
WO (1) WO2019011484A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188709A1 (en) * 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
US10893297B2 (en) * 2018-03-22 2021-01-12 Apical Ltd. Processing image data using tiered bit-layers
WO2020153506A1 (ko) * 2019-01-21 2020-07-30 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
WO2020153512A1 (ko) * 2019-01-23 2020-07-30 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2773122A1 (en) * 2013-03-01 2014-09-03 intoPIX s.a. Method and device for display stream compression
CN105915913A (zh) * 2010-04-13 2016-08-31 Ge视频压缩有限责任公司 解码器及其方法、编码器及其方法与数字存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6674911B1 (en) * 1995-09-14 2004-01-06 William A. Pearlman N-dimensional data compression using set partitioning in hierarchical trees
KR100918377B1 (ko) 2006-05-30 2009-09-22 주식회사 메디슨 영상압축 방법
US8582652B2 (en) * 2007-10-30 2013-11-12 General Instrument Corporation Method and apparatus for selecting a coding mode
WO2010146496A1 (en) * 2009-06-16 2010-12-23 Koninklijke Philips Electronics N.V. Encoding a signal into a scalable bitstream and decoding such bitstream
HUE042510T2 (hu) * 2010-08-17 2019-07-29 M&K Holdings Inc Eljárás intra predikció mód kódolására
JP2012124837A (ja) * 2010-12-10 2012-06-28 Sony Corp 画像復号化装置および方法、画像符号化装置および方法、並びにプログラム
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
US9332258B2 (en) * 2013-03-01 2016-05-03 intoPIX SA Method and device for display stream compression
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
WO2018041840A1 (en) * 2016-08-29 2018-03-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Improvements for greatest common line index (gcli) video coding
EP3291559A1 (en) * 2016-08-29 2018-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder for encoding, and decoder for decoding, a 2-dimensional digital image representation into a data stream using further encoding of one or more remaining bits below the quantization factor
WO2018114813A1 (en) * 2016-12-19 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding using a subband dependent prediction adaption for gcli entropy coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915913A (zh) * 2010-04-13 2016-08-31 Ge视频压缩有限责任公司 解码器及其方法、编码器及其方法与数字存储介质
EP2773122A1 (en) * 2013-03-01 2014-09-03 intoPIX s.a. Method and device for display stream compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A Lossless Embedded Compression Using Significant Bit Truncation for HD Video Coding》;Jaemoon Kim ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHLONOGY》;20100630;全文 *

Also Published As

Publication number Publication date
KR20200024318A (ko) 2020-03-06
WO2019011484A1 (en) 2019-01-17
JP2020527303A (ja) 2020-09-03
EP3652944B1 (en) 2022-08-31
US11457232B2 (en) 2022-09-27
US10743014B2 (en) 2020-08-11
US11438617B2 (en) 2022-09-06
US20200404307A1 (en) 2020-12-24
EP3652944A1 (en) 2020-05-20
US20190045206A1 (en) 2019-02-07
US20200374539A1 (en) 2020-11-26
EP4114007A1 (en) 2023-01-04
JP7128580B2 (ja) 2022-08-31
CN110915218A (zh) 2020-03-24
KR102364942B1 (ko) 2022-02-18

Similar Documents

Publication Publication Date Title
CN110915218B (zh) 对变换系数编码和解码的方法及用于其的编码器和解码器
US10070150B2 (en) Adaptive coding of a prediction error in hybrid video coding
US8867614B2 (en) Image coding method and image decoding method
US8126053B2 (en) Image encoding/decoding method and apparatus
KR20210003125A (ko) 종속 양자화
CN107347155B (zh) 用于编码和解码图像的方法、编码和解码设备
EP3058730B1 (en) Multi-component picture or video coding concept
US11677959B2 (en) Method and apparatus for video coding
EP2624554B1 (en) Dynamic image encoding device, dynamic image encoding method, and computer program for dynamic image encoding
EP2561680B1 (en) Methods and devices for reordered parallel entropy coding
KR102361206B1 (ko) Gcli 엔트로피 코딩을 위한 부대역 의존 예측 적응을 사용하여 인코딩 또는 디코딩하기 위한 방법 및 장치
US10798397B2 (en) Method and apparatus for video coding
US20090116550A1 (en) Video compression system, method and computer program product using entropy prediction values
US11563978B2 (en) Method of reducing context models for entropy coding of transform coefficient significant flag
EP3379835A1 (en) Decoder for decoding image data from a data stream, encoder for encoding image data into a data stream, and data stream comprising image data and data on greatest coded line index values
Richter et al. On the JPEG 2000 ultrafast mode
KR20200128080A (ko) 선택적 양자화 파라미터 송신
US11736731B2 (en) Encoding and decoding a sequence of pictures
Richter et al. Towards high-speed, low-complexity image coding: variants and modification of JPEG 2000
CN116074530A (zh) 一种图像解码方法、编码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant