CN108781292B - 用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序 - Google Patents

用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序 Download PDF

Info

Publication number
CN108781292B
CN108781292B CN201680076689.3A CN201680076689A CN108781292B CN 108781292 B CN108781292 B CN 108781292B CN 201680076689 A CN201680076689 A CN 201680076689A CN 108781292 B CN108781292 B CN 108781292B
Authority
CN
China
Prior art keywords
sequence
current
description
elements
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680076689.3A
Other languages
English (en)
Other versions
CN108781292A (zh
Inventor
费利克斯·亨利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Com SAS
Original Assignee
B Com SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Com SAS filed Critical B Com SAS
Publication of CN108781292A publication Critical patent/CN108781292A/zh
Application granted granted Critical
Publication of CN108781292B publication Critical patent/CN108781292B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种用于对数字图像进行编码的方法,所述图像(Im)被划分成以设定顺序处理的多个像素块(C),所述方法包括针对当前块实施的以下步骤:‑处理(E1)所述当前块,旨在提供处理的所述块的描述元素的集合;‑从所提供的集合选择(E2)待预测的至少两个描述元素的子集;‑将所述子集的描述元素排序(E4)成有序序列;‑对所述序列的元素进行编码。根据本发明,对所述序列的元素进行编码的步骤包括遍历所述序列的元素,并且针对当前元素包括以下子步骤:‑基于预定成本准则从多个可能的组合选择所述当前序列的描述元素的预测值的组合,并且从第二元素选择所述初始序列的先前处理的描述元素的值;‑由选定的组合中的其值来预测所述序列的当前元素;以及‑对表示所述当前元素的实际值与其预测值之间的差的指示符进行编码。

Description

用于对数字图像进行编码的方法以及相关联的解码方法、设 备、用户终端和计算机程序
技术领域
本发明的领域是信号压缩领域,特别是数字图像或数字图像序列的信号压缩,其中从已编码信号的一部分进行待编码信号的一部分的预测。
数字图像的编码/解码特别应用于来自至少一个视频序列的图像,其包括以下内容:
-来自同一相机的并在时间上(temporally)彼此接续的图像(类型-2D编码/解码),
-来自根据不同视域(view)定向的不同相机的图像(3D-类型编码/解码),
-相应纹理和深度的分量(3D-类型编码/解码),
-等等。
本发明以类似的方式应用于图像的2D或3D类型编码/解码。
本发明可以特别地但不排他地应用于在当前AVC和HEVC视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中实施的视频编码以及相应的解码。
本发明还可以应用于例如在当前音频编码器(EVS、OPUS、MPEG-H等)及其扩展中实施的音频编码以及相应的解码。
背景技术
考虑数字图像的常规压缩方案,其中图像被划分成像素块。从先前编码的解码块来预测待编码的当前块。通过从预测值中减去原始值来获得残差块(residue block)。然后使用DCT(离散余弦变换)或小波变换对其进行变换。将经变换的系数量化(quantise),并且然后其幅度经受霍夫曼(Huffmann)或算术类型的熵编码。此类编码获得高效的性能,因为由于该变换,待编码的幅度的值大部分为零。
然而,它不适用于其值+和-通常与等同的发生概率相关联的系数的符号的值。因此,系数的符号由比特0或1编码。
我们从2012年5月“图片编码研讨会(PCS)”会刊中出版的Koyama,J.等人的题为“Coefficient sign bit compression in video coding(视频编码中的系数符号比特压缩)”的文章中知道一种用于选择待预测的残差块的系数符号的方法。所建议的选择是基于预定数量的系数(根据其幅度和从中导出其的块的大小)。通过测试针对块的这些符号的值的所有可能组合并选择使预定的似然准则最大化的那个来预测选定的符号。将所获得的预测与符号的原始值进行比较以确定预测指示符的值,也被称为所预测的符号的残差。此指示符可以取两个值,其是表示正确预测的第一值和表示不正确预测的第二值。符号中的其余被明确编码而不进行预测。
此类选择的优点是以大于50%的正确预测概率来预测符号的值,从而允许对预测指示符的值进行熵编码的应用。此熵编码以小于每符号一比特的平均比特率对符号信息进行编码,从而提高压缩率。
现有技术的缺点
此技术的缺点是,通过全局地预测所有选定的符号,每个符号都会受到其他符号值的影响,并且预测变差。
本发明的目的
本发明的目的特别是克服现有技术的这些缺点。
更确切地,本发明的目的是提出更有效地选择待预测的符号的方案。
本发明的另一目的是提出在压缩上更高效的方案。
本发明的又一目的是提出适用于被用于数字图像的编码的像素块的任何类型的描述元素的方案。
发明内容
这些目的以及将在下文中出现的其他目的通过用于数字图像的编码的方法来实现,所述图像被划分成以设定顺序处理的多个像素块,所述方法包括针对当前块实施的以下步骤:
-处理当前块以提供所处理的块的描述元素的集合;
-从提供的集合中选择待预测的至少两个描述元素的子集;
-将子集的描述元素排序成有序序列;
-对序列的元素进行编码。
根据本发明,对序列的元素进行编码的步骤包括遍历(scroll)该序列的元素,并且针对当前元素包括以下子步骤:
-根据预定成本准则从多个组合当中选择序列的描述元素的预测值的组合,并且从第二元素选择在该序列中先前遍历的描述元素的实际值;
-由选定的组合中的其值来预测序列的当前元素;以及
-对表示当前元素的实际值与其预测值之间的差的指示符进行编码。
本发明是基于全新的且创造性的方法,其包括根据关联的分值对待预测的描述元素进行排序、并且根据预定成本准则而基于预测有序序列的元素的值的最佳组合来预测序列的每个元素。因此,不同于现有技术,当前元素从利用已处理元素的实际值的知识的个体化处理中受益,这使得随着并且当序列正被处理时提高元素的预测质量成为可能,并且因此提高压缩效率。
根据本发明的另一方面,排序步骤生成初始序列,编码步骤取以初始序列初始化的当前序列的第一元素作为当前元素,并且包括一旦第一当前元素已被处理就通过删除第一元素来更新当前序列的子步骤。
这种实施方式的优点是随着预测元素的序列正被处理而释放存储器。
根据本发明的另一方面,该方法包括计算与初始序列值的多个组合相关联的成本的预备步骤、存储所述多个组合及其相关联的成本的步骤,并且选择步骤包括针对当前元素选择先前处理的元素具有实际值的初始序列的值的组合。
此方案的优点是在计算资源方面非常高效。组合及其关联的成本被一劳永逸地计算和存储。
根据本发明的另一方面,选择步骤包括用于根据成本准则计算与当前序列的值的可能组合相关联的成本的子步骤,该成本准则取决于先前遍历的元素的实际值。
此方案的优点是它在存储资源上是经济的,针对每个当前序列,组合及其关联的成本的计算高速地(on the fly)被实施。
根据本发明的另一方面,选择步骤包括基于预定分值来选择待预测的描述元素的子集,预定分值表示与其相关联的预测元素的可靠性水平,并且排序步骤根据所述分值对待预测的元素进行排序。
一个优点是,分值指示项目待被良好预测的可靠性或能力的水平,该子集只包括针对预测而言的最佳候选。
根据本发明的又一方面,预定成本准则属于包括至少以下内容的组:
-用于使沿当前块与先前处理的块的边界的失真最小化的准则;
-具有预定值的接近度准则;
-用于使当前块与当前块的预测之间的差的能量测量结果最小化的准则。
一个优点是本发明使得使用可替选地若干成本准则和可能地这些准则的组合成为可能。
在其不同实施例中刚刚描述的方法通过用于对数字图像进行编码的设备来有利地实施,所述图像被划分成以设定顺序处理的多个像素块,所述设备包括可再编程的计算机器或专用的计算机器,其能够并且被配置用于:
-处理当前块并提供所处理的块的描述元素的集合;
-从提供的当前块的描述元素的集合中选择待预测的至少两个描述元素的子集;
-将子集的描述元素排序成有序序列;
-对有序序列的元素进行编码。
根据本发明,序列的元素的编码包括遍历该序列的元素,并且针对当前元素,能够并被配置用于:
-根据预定成本准则从多个组合当中选择序列的描述元素的预测值的组
合,并且从第二元素选择在该序列中先前遍历的描述元素的实际值;
-由选定的组合中的其值来预测序列的当前元素;以及
-对表示当前元素的实际值与其预测值之间的差的指示符进行编码。
相关地,本发明还涉及一种用于对来自比特流的数字图像进行解码的方法,所述图像被划分成以设定顺序处理的多个块,比特流包括表示图像的块的元素描述的编码数据,所述方法包括针对块(所谓的当前块)实施的以下步骤:
-从比特流数据识别当前块的描述元素的集合;
-从识别出的集合中选择待预测的至少两个描述元素的子集;
-将子集的描述元素排序成有序序列;
-对有序序列的元素进行解码。
根据本发明,所述方法是特别的在于对序列的元素进行解码的步骤包括遍历所述元素,并且针对当前元素包括以下子步骤:
-根据预定成本准则从多个组合当中选择序列的描述元素的预测值的组
合,并且从第二元素选择在该序列中先前遍历的描述元素的解码值;
-由选定的组合中的其值来预测序列的第一元素;
-基于从比特流中提取的编码数据,对表示当前元素的解码值与预测值之间的差的指示符进行解码,以及
-从解码指示符和预测值中获得当前元素的解码值。
本发明的优点是它使得维持包含在比特流中的编码数据的读取/解析与这些数据的处理/利用以解码当前块之间独立性成为可能。
根据本发明的另一方面,排序步骤生成初始序列,解码步骤取以初始序列初始化的当前序列的第一元素作为当前元素,并且包括一旦第一当前元素已被解码就通过删除第一元素来更新当前序列的子步骤。
如与编码那样,此实施例具有限制所计算的数据的存储并随着处理进行而释放存储器的优点。
根据本发明的又一方面,解码方法包括计算与初始序列的值的多个组合相关联的成本的预备步骤、记录多个组合及其相关联的成本的步骤,以及包括从所记录的组合中选择以遍历顺序中的先前遍历的项目的解码值开始的组合的选择步骤。
如与编码那样,此实施例在计算资源上是有利经济的。组合及其关联的成本被一劳永逸地计算和存储。
根据本发明的又一方面,选择步骤包括用于根据成本准则计算与当前序列的值的可能组合相关联的成本的子步骤,该成本准则取决于先前遍历的元素的解码值。
如与编码那样,这种方案的优点是它在存储资源方面是经济的,针对每个当前序列,组合及其关联的成本的计算高速地被实施。
在其各种实施例中刚刚描述的方法通过用于从包括表示所述图像的编码数据的比特流中解码数字图像的设备来有利地实施,所述图像被划分成以设定顺序处理的多个块,比特流包括表示图像的块的描述元素的编码数据,所述设备包括可再编程的计算机器或专用的计算机器,其针对块(所谓的当前块)被配置用于并且能够:
-从比特流数据识别当前块的描述元素的集合;
-从识别出的集合中选择待预测的至少两个描述元素的子集;
-将子集的描述元素排序成有序序列;
-对有序序列的元素进行解码。
根据本发明,初始序列的元素的解码包括被配置用于并且能够被应用于以初始序列初始化的所谓当前序列的下面单元的至少两次迭代:
-基于预定的成本准则在多个可能的组合当中选择(SEL Cbk)当前序列的描述元素的预测值的组合,并且从第二元素选择初始序列的先前解码的描述元素的值;
-由选定的组合中的其值来预测(PRED)序列的第一元素;
-基于从比特流中提取的编码数据,对表示当前元素的解码值与预测值之间的差的指示符进行解码(DEC IP),以及
-从解码指示符和预测值中获得(GET)当前元素的解码值。
相关地,本发明还涉及携带比特流的信号,该比特流包括表示数字图像的像素块的描述元素的编码数据,所述像素块以设定顺序被处理。
根据本发明的信号是特别的在于在比特流中编码的所述数据根据本发明的用于对数字图像进行编码的方法来获得。
相关地,本发明还涉及一种包括根据本发明的用于对数字图像进行编码的设备和用于对数字图像进行解码的设备的用户终端。
本发明还涉及一种包括指令的计算机程序,当此程序由处理器执行时,所述指令用于实施如上面所描述的用于对数字图像进行编码的方法的步骤。
本发明还涉及一种包括指令的计算机程序,当此程序由处理器执行时,所述指令用于实施如上面所描述的用于对数字图像进行解码的方法的步骤。
这些程序可以使用任何编程语言。它们可以从通信网络下载和/或记录在计算机可读介质上。
最后,本发明涉及由处理器可读的、与根据本发明的用于对数字图像进行编码的设备以及与用于对数字图像进行解码的设备集成或不集成的记录介质,其是可选地可移除的,从而分别存储如上面所描述的实施用于对数字图像进行编码的方法的计算机程序以及实施用于对数字图像进行解码的方法的计算机程序。
附图说明
本发明的其他特征和优点在阅读仅作为说明性和非限制性示例给出的本发明的一个特定实施例的以下描述并结合附图时将变得显而易见,在附图中:
-图1示意性地示出了根据现有技术的待编码的数字图像的序列以及成为这些图像的块的划分;
-图2示意性地示出了根据本发明的用于编码数字图像的方法的步骤;
-图3详述了对以根据本发明的编码方法实施的块进行处理的步骤;
-图4示意性地示出了解码的数字图像的解码的当前块;
-图5示意性地示出了根据本发明的第一实施例的数字图像的解码方法的步骤;以及
-图6示出了根据本发明一个实施例的用于编码数字图像的设备和用于解码数字图像的设备的简化结构的示例。
具体实施方式
本发明的一般原理依赖于待预测的描述元素的有序序列的描述元素的单独且相继的处理。针对此序列的元素,本发明根据预定成本准则并且根据已经处理的元素的实际值/解码值以及根据由在此组合中的它的值对此序列的当前元素的预测来选择有序序列的值的最佳组合。
关于图1,考虑原始视频,其由M个图像I1、I2、...IM的序列组成,其中M是非零整数。图像由编码器编码,编码的数据例如被插入到经由通信网络传输到解码器的比特流TB中、或者压缩文件FC中(旨在被存储在硬盘上)。解码器提取被编码的数据、然后按从编码器和解码器中已知的预定义顺序由解码器接收和解码,例如按时间顺序I1、然后I2、...、然后IM,而此顺序可以根据该实施例而有所不同。
当编码图像Im时(其中,m是1和M之间的整数),其被细分成最大大小的块,其进而可以被细分成较小的块。每个块C将经历由一系列操作组成的编码或解码操作,所述一系列操作包括以非穷举方式进行的预测、计算当前块的残差、将当前块的像素变换为系数、对系数进行量化和对量化的系数进行熵编码。下面将详细描述这一系列的操作。
现在将参照图2描述根据本发明的用于编码图像Im的方法的步骤。
在E0中,待处理的第一块被选择为当前块C。例如,这是第一块(按字典顺序)。该块包括N×N个像素。
在步骤E1期间,通过实施例如在国际标准化组织于2013年11月出版的文件“ISO/IEC 23008-2:2013-High efficiency coding and media delivery in heterogeneousenvironments--Part 2:High efficiency video coding”中的HEVC标准中规定的编码方案,来处理当前块C。
此处理步骤旨在提供用于描述当前块C的待编码数据的元素E的集合。这些描述元素可以具有各种类型。非穷举性地,它们包括特别是:
-与当前块C的编码选择有关的信息,例如当前块的编码模式(诸如INTRA、INTER或SKIP模式)、当前块的预测模式(在INTRA块的预测模式当中)、针对当前块估计的运动矢量的预测模式、或进一步的HEVC中本身已知的系数的幅度的显著性;
-待编码的数据值,诸如运动矢量的分量、系数的幅度或符号;
-等。
假设在从1到L编号的可能块中存在L个分割(cut),并且在块C上使用的分割是分割编号1。例如,在大小4x4、8x8、16x16和32x32的块中可以存在4个可能的分割。
关于图4,解码的当前图片由ID指定。将要注意的是,在视频编码器中,ID图像在编码器中被(重新)构造,使得其可以被用于预测图像序列的其他像素。
关于图3,详述了通过根据HEVC标准的选定的当前块C的这种处理E1实施的子步骤的示例。
在步骤E11期间,确定原始块C的预测P。这是由已知手段构造的预测块,典型地由在所谓的INTER预测的情况下的运动补偿(源自先前解码的参考图像的块)或者由INTRA预测(从紧邻ID图像中的当前块的解码的像素构造的块)。与P有关的预测信息被编码在比特流TB或压缩文件FC中。这里假设存在具有K个可能的预测模式M1、M2、...、MK(其中K是非零整数),并且针对块C选定的预测模式是模式Mk
在步骤E12期间,原始残差R通过从当前块C中减去当前块C的预测P(R=C-P)来形成。
在步骤E13期间,残差R通过DCT类型的变换被转换成经变换的残差块(被称为RT)或者被转换成小波,这两者对本领域技术人员而言是已知的,并且特别是以针对DCT的JPEG标准和针对小波变换的JPEG2000来实施。
在E14处,通过常规量化手段(例如标量或矢量)将经变换的残差RT量化成量化的残差块RQ。此量化的块RQ包含N×N个系数。以现有技术中已知的方式,按预定的顺序扫描这些系数,以便构成一维矢量RQ[i],其中,索引i从0变化到N 2-1。索引i被称为系数RQ[i]的频率。常规地,例如根据从JPEG固定的图像编码标准已知的锯齿形(zigzag)路径以频率的升序扫描这些系数。
在步骤E15期间,通过熵编码(例如根据Huffman编码技术或算术编码技术)对残差块RQ的系数的幅度信息进行编码。在本文中通过幅度意味着系数的绝对值。例如在HEVC标准中以及出版在IEEE Transactions on Circuits and Systems for Video Technology(卷22,期:12,第1765-1777页,2012年12月)中的Sole等人的题为“Transform CodingCoefficient in HEVC”的文章中描述了幅度的编码手段。常规地,对表示系数为非零的事实的每个系数信息进行编码是可能的。然后,针对每个非零系数,编码与幅度有关的一条或多条信息。编码的幅度CA被获得。
因此,在步骤E1的结束时,针对当前块C存在待编码的数据的描述元素的集合E,在其当中是量化的经变换的残差系数RQ[i]、这些系数的符号、预测模式Mk等。
关于图2,在步骤E2期间,包括待预测的描述元素的此集合的子集SE被选定。针对块C的EP。
例如,预定数量的待预测元素根据其幅度和当前块的大小来选择。
在现在将被详述的本发明的实施例中,我们考虑特定类型的描述元素,例如当前RQ块的变换的并量化的系数的符号。当然,本发明并不局限于这种类型的元素并且适用于当前块的任何其他描述元素。下面将呈现其他示例。
在第一子步骤E2中,首先定义用于预测SEI的描述性元素的初始子集。例如,这些是当前块的非零量化的变换的残差系数RQ[i]的所有符号。
有利地,在J多个预定设置当中利用与每个系数相关联的环境(context)Cxj的知识,其中J是非零整数并且j是被包括在1和J之间的整数。此类环境由其从中被导出的系数或块的至少一个特性来定义。
有利地,考虑下面的特征:
-量化的残差块RQ的大小,
-量化的系数RQ[i]的幅度,
-块RQ中的频率系数或索引i,
-K个可能模式当中的当前块Mk的预测模式。
事实上,当幅度高时,对符号的预测更加可靠。类似地,已发现的是,当块较大时,系数的频率较低,预测更可靠。最后,已发现的是,在当前块与某一类型的帧内预测(intra-prediction)相关联时,预测更可靠。
可替选地,可以设想其他环境。因此,可以考虑以下类型的图像:其中从HEVC标准已知的例如帧内或帧间类型的当前块基于预测器P的能量或者根据当前块中非零系数的总数。
然后,我们根据针对与所考虑的系数RQ[i]相关联的环境Cxj的预定分值Sj来选择初始集合的块RQ的系数的符号。
这样的分值Sj表示系数RQ[i]的符号的可靠性水平。
例如,分值Sj取预定集合中的值,例如从0到10。
根据实施例变化,分值是简单的二进制指示,其两个值中的一个指示符号能被预测,并且另一个指示符号不能被预测。
根据本发明的另一实施例,取决于与系数RQ[i]相关联的环境Cxj,分值Sj对应于先验已知的概率。在编码器中提供了系数RQ的符号的正确检测的概率的集合。例如,此概率的集合被存储在存储器中。
在编码和解码之前,这些概率或通过对表示待编码的信号的信号的集合的统计积累、或通过基于对系数的符号的分布的假设的数学计算来构造。针对与环境Cxj相关联的系数RQ[i],人们可以因此通过计算系数RQ[i]的符号的预测的正确概率p[l][mk][i][|RQ[i]|]来获得分值Sj[i]。
有利地,待预测的符号通过对与它们相关联的分值设阈值(thresholding)来选择。因此,针对具有符号(也就是说,其不是零)并且与分值Sj的环境Cxj相关联的每个系数RQ[i],当且如果且仅当Sj>Th时符号被预测,其中,Th是预定的阈值,例如等于0.7。例如,阈值Th对于编码器和解码器来说是已知的。
根据实施例变化,可以在编码期间选择阈值Th并将其写在压缩文件中或包括表示数字图像Im的编码数据的比特流中。例如,如果执行编码的单元在给定时间没有足够的计算资源,则可以增大此阈值Th以便预测较少的符号从而实施较少的计算。
也将可以根据待编码图像的内容来改变阈值Th:具有诸如高亮度变化或许多移动的许多内容的图像将使用高阈值,并且具有诸如低亮度变化或很少移动的很少内容的图像将使用较低的Th阈值,以平滑编码每幅图像所需的复杂度或内存。
在此选择结束时,选定的系数RQ[i]的符号全部与环境Cxj和大于预定阈值Th的分值Sj相关联,并且形成待预测的描述元素EP的集合SE。
在步骤E3期间,不属于选定的子集SE的描述元素ENP被常规地编码。此步骤实施本领域技术人员已知的编码技术。例如针对系数RQ[i]的符号,尤其从HEVC标准、特别是已经提到的Sole等人的文章已知:以一个约定将每个字符作为比特0或1传输的事实,借此约定将一个与正(plus)符号相关联并且另一个与负(minus)符号相关联。
在E4中,描述元素EP被排序。此顺序可以被预定义,并且例如对应于如HEVC标准中定义的符号的扫描顺序。优选地,符号根据其关联的分值来排序。例如,如果使用的分值表示正确预测的概率,则通过降低分值来对元素排序。我们获得待预测的描述元素的序列Seqi(所谓的初始序列)。假设我们在此阶段具有M个有序的待预测的符号Seqi={EP0=s0,EP1=s1,...,EPM-1=sM-1}。
在E5中,对有序序列Seqi的描述元素进行编码。
根据本发明的第一实施例,此步骤T5包括下面的子步骤:
在E51中,我们考虑当前序列Seqc,其被初始化为初始序列Seqi。
下面的步骤形成迭代循环,其取决于在序列Seqc中选定的待预测的描述元素的数量M而被重复若干次。
描述元素有可能取至少两个值。例如,符号可以是+或-。
在步骤E52期间,使用评估函数FE或预定的成本的准则来评估待预测的元素的序列Seqc的值的组合的不同可能性或假设。我们假设我们有K个假设或可能的组合,其中K是非零整数。在其中要预测的描述元素是序列的M个符号的情况下,符号可以取值+或值-,可能组合的数目是K=2M
例如,针对给定的假设,此函数生成成本,例如:
FE({s0=-,s1=+,s2=-,s3=-,...,sM-1=+)=CT=4240
这里,假设是{-、+、-、-、...、+}并且得到的成本是4240。当然,该评估函数必须确保在符号假设最有可能时生成最少的成本。存在根据现有技术已知的并呈现在早先引用的Koyama等人的文章中的若干成本函数。
有利地,使用评估函数,其在于使用先前处理的块测量沿当前块的左边界FG和上FS的失真。结合图4,以其成本要被测量的符号的假设组合示出了解码图像ID和该图像的N×N像素大小的虚拟解码块DV,其中,DV(lin,col)是位于块的第lin行和第col列的块DV的像素的值。
我们考虑算子(operator)“边缘匹配(Side Matching)”
Figure BDA0001710667080000141
其中
Figure BDA0001710667080000142
是当前图像并且C是当前块,其如下定义:
Figure BDA0001710667080000143
其中C(i,j)是虚拟解码块DV中系数的值,其中i、j是0和N-1之间的整数。
在图4中,我们沿左边界FG表示了其值从下到上为y1到y4的像素和其值从左到右为y4到y7的位于沿着虚拟解码块DV的上边界FS的像素、以及分别位于边界FG和FS另一侧的像素x1到x4和x4至x8
应用此算子总计为形成总和(x1-y1)2+(x2-y2)2+(x3-y3)2+(x4-y4)2+(x5-y4)2+(x6-y5)2+(x7-y6)2+(x8-y7)2
我们将确定使此测量最小化的最佳虚拟解码块DVopt:
Figure BDA0001710667080000144
其中,ID表示解码后重构的图像。
可替选地,所使用的似然准则在于使与预测器P的误差最小化,即,在于选择使与预测器P的误差最小化的虚拟解码块。
因此识别与最优虚拟解码块相关联的虚拟残差。
当然,可以使用其他成本准则,诸如,例如,用于使距离/接近度测量结果最小化为预定值的准则,例如平均值或使残差块的能量最小化。
为了生成对应于符号Cbk的假设的解码当前块,步骤如下:
-当前残差块的每个系数被赋予其实际符号(如果是其符号没有被预测的系数)或者假设的符号(如果是其符号待被预测的系数)。
-使用常规的去量化和逆变换手段,我们获得解码的残差块,其相邻于先前解码块的样本{r1,r2,...,r7}被添加到预测块P的相应元素以形成虚拟解码块DV的重构元素y1=r1+p1、y2=p2+r2、y7=p7+r7,如图4中所示。
获得的虚拟解码块DV被用于计算与所评估的组合CBk相关联的成本CTk
下面,我们考虑初始序列Seqi={s0,s1,s2}有3个待预测的符号。假设初始序列的实际值是s0=-、s1=+以及s2=-。
评估下面的8个组合的成本CTk:
CT0=FE({+,+,+})
CT1=FE({+,+,-})
CT2=FE({+,-,+})
CT3=FE({+,-,-})
CT4=FE({-,+,+})
CT5=FE({-,+,-})
CT6=FE({-,-,+})
CT7=FE({-,-,-})
识别与最低成本相关联的组合。让我们假设其是CT2
在步骤E53期间,当前序列Seqc的第一元素通过它在组合Ck2中所取的值来预测。在此示例中,这个值是+。
在E54中,计算相应的IP预测指示符。为做到这一点,我们将s0的预测值与其实际值进行比较。IP指示符指示预测的符号等于还是不同于实际符号。例如,如果预测符号和实际符号相等,则其为0,否则为1。在这种情况下,预测值是+,实际值是-,因此第一符号ED0的IP指示符被设为1。
获得的IP指示符在E55中被编码。例如,使用已知的熵编码技术,诸如,例如,在HEVC标准中所使用的霍夫曼编码、算术编码或CABAC编码。结果是预测指示符的编码值。
根据本发明,因为只有与表示足够可靠性水平的分值相关联的符号被预测,所以预测指示符相比设为值0更通常设为1。这由熵编码来利用以减小压缩信号的大小。
有利地,熵编码考虑与预测的符号相关联的分值Sj以对指示符IP编码。例如,在其中分值具有0(预测的低可靠性)和10(预测的高可靠性)之间的值的本发明的实施例中,在考虑分值的同时设置指示符的熵编码,以便利用指示符的或多或少的均匀分布。例如,通过基于预定分值将在CABAC中使用的概率初始化,我们使用从HEVC标准中已知的CABAC型熵编码。
在E56中,测试第一符号ED0是否是序列的最后一个。如果是这种情况,则步骤E5的处理是有限的,因为该序列仅包括一个元素。否则,通过删除刚刚处理了的第一元素ED0,在E57中更新当前序列Seqc。初始序列的第二元素ED1因此变为最初的,并且第一迭代完成。
在第二迭代期间,处理已经变成当前序列的第一的元素ED1。步骤E52至E56被重复如下:
在此阶段,设想步骤E52的两个实施例:
根据第一选项,已经用于第一迭代的针对初始序列计算的组合被再使用。因此假设它们已被记录在存储器中。在第一迭代的K个组合当中,我们消除了s0不具有其实际值的那些组合。我们只保留s0为-的4个组合CT4到CT7并且其关联的成本:
CT4=FE({-,+,+})
CT5=FE({-,+,-})
CT6=FE({-,-,+})
CT7=FE({-,-,-})
再次地,我们识别出得到最小成本的一个。例如,假设它是具有成本CT6的Cb6。
根据第二选项,重新计算与新的当前序列的组合相关联的成本。当前序列Seqc包括M=2个元素。存在K=22个可能的组合。使用评估函数来评估四个可能的组合,该评估函数可以不同于在第一迭代实施的评估函数。例如,我们使用解码的虚拟残差块DV的系数的能量的测量并且我们选择使此测量最小化的组合。此评估函数更加精确,但计算也更加复杂,并且因此更适合于较短的序列。
应该理解的是,针对先前迭代计算的组合和成本不被保留用于下一迭代。
在E53中,符号s1被预测为与选定的组合中的其值相对应。
在E54中,计算相应的IP预测指示符。由于s的实际值等于+,所以IP指示符为1。
在E55中,针对s1获得的IP预测指示符被编码;
在E56中,测试第一符号s1是否是当前序列的最后一个。
情况并非如此,因此我们通过删除s1来更新当前序列。新的当前序列仅包含符号s2
以类似方式执行第三和最后迭代。
在E52中,知道s0是-且s1是+,剩余的可能值的组合是CT4和CT5。假设最小成本是CT5。我们因此选择组合Cb4
在E53中,我们针对s3在组合Cb4中所取的值来预测s3,即+。
在E54中,计算相应的IP预测指示符。由于s2的实际值等于+,所以IP指示符指示正确的预测并且等于0。
在E55中,计算出的预测指示符被编码。
在E56中,我们测试序列中是否存在待处理的描述元素。s2是最后,编码步骤E5的处理完成。
在刚刚呈现的实施例中,步骤E5的迭代应用于序列的第一元素,该序列通过一旦被处理了就删除第一元素进行更新。此实施例具有在每次迭代处减少待处理的当前序列的长度的优点。
然而,本发明并不局限于这种实施方式的选择。可替选地,可以保持初始序列,并且可以利用步骤E5的每次新迭代来递增当前元素的索引。在这种情况下,先前计算与初始序列的值的所有可能组合相关联的成本并存储它们的选项是最合适的。
在E6中,通过对量化的残差RQ应用去量化和逆变换步骤(本身已知)来构造解码块。结果是解码的残差块RD。块预测器P被添加到RD以获得解码块BD。在此步骤期间,解码块D也被添加到重构的图像ID。这允许在编码器中具有当前图像的解码版本。此解码版本特别是在构造待预测的选定符号的预测的步骤期间被使用。
继续至在表示针对当前块C的IP预测指示符和未预测的描述元素的编码数据的比特流TB中或压缩文件中的插入步骤E7。
在步骤E8期间,鉴于先前定义的路线顺序,我们测试当前块C是否是由编码单元待处理的最后块。如果是,则编码单元已经完成其处理。如果不是,下一步是选择下一块的步骤E0。
在另一实施例中,选择描述元素来预测除符号以外的类型。特别地,考虑了指示INTRA/INTER预测模式的描述元素M(在HEVC标准中,此类描述元素带有“pred_mode_flag”的名字)、指示针对当前块的第一量化的残差系数的幅度的描述元素A(在HEVC标准中,此类描述元素被指定为“coeff_abs_level_remaining”)并且描述元素T指示逆变换的或不使用(在HEVC标准中,此类描述元素被指定为“transform_skip_flag”)。
例如,在HEVC标准中,元素M可以取0到34之间的值。元素A可以取0到216-1之间的值。
针对当前块,起始集合由描述元素{M,A,T}组成。在此示例中考虑的是,针对当前块C并且取决于环境信息,在步骤E2中发现T的分值小于必要阈值Th,而M和A具有较高分值。子集SE因此是{M,A}。
比特流TB旨在呈现在本地或远程解码器的输入处。例如,携带比特流的信号经由通信网络被传输到解码器。
关于图5,现在示出根据本发明的示例性实施例的用于对编码的数字图像进行解码的方法的步骤。假设比特流TB被实施根据本发明的解码方法的解码设备接收。在变型中,解码设备获得压缩文件FC。
在D0中,待处理的第一块被选为当前块C'。例如,这是第一块(按字典顺序)。此块包括N×N个像素。
在D1中,通过实施解码方案(对应于由编码器使用的编码方案,例如如在HEVC标准中规定的)来处理当前块C'。特别地,在此步骤期间,其识别针对当前块C'的待解码数据ED的描述元素的集合。
此外,提供待解码的块C'的预测P'。与P'相关的预测信息被编码在比特流或压缩文件中并且被解码。因此,预测模式信息被解码。
待解码的残差RQ'的幅度信息也被解码到比特流或压缩文件中并且被解码。我们现在知道RQ'[i]的幅度,但还不知道符号。
在D2中,根据本发明的解码方法实施在确定的描述元素当中选择待预测的描述元素的步骤。针对关于图2和3的编码方法已经详细描述了此步骤。根据预定分值有利地选择待预测的描述元素。SE集合被获得。
在该步骤的结束时,我们知道块的描述元素的解码值尚未被预测,这是因为它们与小于预定阈值Th的分值Sj相关联。
在步骤D3期间,该方法在比特流TB中读取与未预测的当前块的描述元素相关的编码数据并对它们进行解码。
在D4中,它通过减小分值来对在初始序列Seqi中获得的集合SE的元素排序,如针对根据本发明的编码方法已描述的那样。
现在将在特定实施例中详述对待预测的描述元素进行解码的步骤D5。注意,它与通过刚才已描述的根据本发明的编码方法实施的步骤E5非常类似。
在D51中,我们考虑当前序列Seqc,其以初始序列Seqi被初始化。
下面的步骤(D52至D56)形成迭代循环,其取决于在序列Seqc中选定的待预测的描述元素的数量M而被重复若干次。
在D52中,在与由生成待解码的比特流的编码方法所使用的相同的评估函数FE的意义上,在当前序列Seqc的值的可能组合当中选择最佳组合。如针对编码方法已经提到的,存在若干可能的评价函数。在下面,我们考虑沿与先前处理的块的边界的失真读数并且选择使此读数最小化的值的组合。
在第一迭代期间,序列Seqc的第一描述元素被解码。在下面,假设描述元素是符号。
使用成本函数,针对待预测的所有符号生成对应于每个可能的假设或组合的成本。因此,让我们假设M=3,并且Seqc={s0,s1,s2}。下面的成本将被生成:
CT0=FE({+,+,+})
CT1=FE({+,+,-})
CT2=FE({+,-,+})
CT3=FE({+,-,-})
CT4=FE({-,+,+})
CT5=FE({-,+,-})
CT6=FE({-,-,+})
CT7=FE({-,-,-})
这些是对应于关于待预测符号的8个可能假设的8个成本。假设最小成本是CT2
在D53中,第一符号s0的值通过组合Cb2中的其值来预测。这是+。
在D54中,根据从比特流或压缩文件中提取的编码数据对与此第一符号s0对应的预测指示符IP进行解码。此指示符示出了预测的符号是否已被正确预测。例如,我们假设解码值为1,并且它与不正确的预测相关联。
在D55中,我们推断符号s0的解码值是-。
在D56中,测试第一符号ED0是否是当前序列的最后一个。如果是这种情况,则处理结束。否则,通过删除刚刚已经处理的第一元素ED0=s0而在D57中更新当前序列。
在第二迭代期间,处理已变成为当前序列的第一个的第二元素s2。
在D52中,我们考虑组合Cbk,针对其对值s0进行解码,其他的被消除。
在所考虑的示例中,s0的实际值为-,并且因此下面的成本被比较:
CT4=FE({-,+,+})
CT5=FE({-,+,-})
CT6=FE({-,-,+})
CT7=FE({-,-,-})
在知道已经被处理的其解码值下,这些4个成本对应于关于保持待预测的符号的4个可能假设。
CT6被识别为最小成本。
在D53中,s1通过在组合Cb6中的其值来预测,也就是说-。
在D54中,根据从比特流或压缩文件中提取的编码数据对与此第一符号D2对应的IP指示符进行解码。指示符被解码,这指明预测的符号是否等于或不同于实际符号。在我们的示例中,让我们假设IP的解码值是0,这意味着此符号的预测是正确的。
在D55中,我们推断s1是-。
在D56中,我们测试s1是否是最后的元素。由于情况并非如此,我们通过删除s1来在D57中更新当前序列。新的序列Seqc被减少至元素s2
在第三和最后的迭代期间,最后的符号s2被解码。
在D52中,我们考虑初始序列Seqi的值的组合,针对其已经被处理的描述元素s0并且s1取它们的解码值。
因此比较下面的成本:
CT6=FE({-,-,+})
CT7=FE({-,-,-})
CT6被识别为最小成本。
然后,按预定义顺序的最后符号s2通过在组合Cb6中的其值而在D53中被预测:它是+。
然后,在D54处对与符号s2相关联的IP指示符进行解码。它指示符号s2是否已被正确地预测。在我们的示例中,让我们假设解码值是0,这意味着此符号的预测是正确的。
在D55中,我们推断s2的解码值是符号+。
在D56中,我们看到s2是待处理的最后元素。
对于编码,将要注意的是,本发明并不局限于刚才所呈现的实施例。可以做出其他实施方式选择,诸如如下的一个选择:将序列保持在其初始长度,更新当前元素的索引,其被初始化为第一描述元素ED0,并且一旦最后EDM-1元素被处理则终止迭代。
向前行进至从解码的描述元素、预测的EP(D5)和未预测的ENP(D3)、在D1中获得的预测P'和残差块系数RQ'的幅度信息来重构当前块C'的步骤D6。
为做到这一点,我们首先对块RQ'进行去量化以获得去量化的块。这通过本领域技术人员已知的适合于在编码期间所使用的量化的手段(标量去量化、矢量去量化...)来实现。
然后,将来自编码中所使用的变换的逆变换应用于去量化的残差。然后获得解码的残差。
最后,通过将解码的残差添加到预测P'来重构解码块BD'。
这块与被解码的图像集成在一起。
在步骤D7期间,鉴于先前定义的扫描顺序,我们测试当前块是否是待处理的最后块。如果是,则解码完成。如果不是,则下一步是选择下一循环的步骤D0,并且解码方法的步骤被重复。
根据本发明,由于根据预定分值所选择的初始序列的所有元素都被预测,因此只要步骤D2的结果就知道将从比特流或压缩文件中提取多少个IP预测指示符。应该理解的是,这使得可以执行本发明的实施方式,其根据所实施的编码/解码方案使被包含在当前块的处理操作的比特流或压缩文件中的编码数据的读取和解析操作去相关(decorrelate)。例如,解码可以使用用于解析/读取比特流中的编码数据的特定分量和用于解码块的重构操作的另一分量来组织。这种独立的解析过程的优点是使能解码操作的并行化。
将要注意的是,刚描述的本发明可以使用软件和/或硬件部件部件来实施。在此环境下,在此文档中使用的术语“模块”和“实体”可以能够实施针对涉及的模块或实体所概述的(一个或多个)功能的软件部件或硬件部件、或者甚至是硬件和/或软件部件的集合。
关于图6,我们现在呈现根据本发明的用于编码数字图像的设备100和用于解码比特流的设备200的简化结构的示例。设备100实施根据刚结合图2描述的本发明的编码方法。仅示出了与根据本发明的技术的实施方式有关的主要元素。
例如,设备100包括处理单元110,其配备有处理器μ1并且由存储在存储器130中且实施根据本发明的编码方法的计算机程序Pg1 120驱动。
在初始化时,计算机程序Pg1 120的代码指令例如在由处理单元110的处理器执行之前被加载到RAM中。处理单元110的处理器根据计算机程序120的指令实施上述方法的步骤。
在本发明的此实施例中,处理器110能够并被配置用于:
-处理(PROC)当前块并获得此块的描述元素的集合;
-根据与所述元素相关联的分值从该块的描述元素的集合来选择(SEL)要预测的描述元素的子集;
-根据所述分值对序列(所谓的初始序列)中的子集的描述元素进行排序(ORDER);
-对有序序列的元素进行编码(COD)。
设备100还被配置为对非预测的元素(ENC ENP)编码并且重构解码块BD和解码图像(RECONST)。
根据本发明,初始序列的元素的编码包括被配置并且能够被应用于序列(所谓的当前序列,其以初始序列初始化)的下面单元的至少两次迭代:
-基于预定成本准则在多个可能组合当中并且基于初始序列的先前处理的描述元素的值从第二元素来选择(SEL Cbk)当前序列的描述元素的预测值的组合;
-根据选定组合中的其值来预测(PRED)该序列的第一元素;
-对表示在当前元素的值与预测值之间的差的指示符进行编码(COD IP),以及
-通过删除第一元素来更新(UPD Seqc)当前序列。
根据本发明的一个实施例,设备100此外包括用于存储系数的编码环境的单元M1、与这些环境中的每个相关联的预定的分值、针对选定的描述元素的预测值以及待预测的描述元素的选定的序列的值的多个组合。
这些单元由处理单元110的处理器μ1控制。
有利地,此类设备100可以与用户终端设备TU(诸如编码器、个人计算机、平板电脑、数字相机、智能电话等)集成。然后设备100被配置为至少与终端TU的下一模块配合:
-用于发送和接收数据的E/R模块,经由该模块在电信网络(例如有线、无线电或Hertzian网络)中传输比特流TB或压缩文件FC。
解码设备200实施根据刚才结合图5描述的本发明的解码方法。
例如,设备200包括处理单元210,其配备有处理器μ2并且由存储在存储器230中且实施根据本发明的方法的计算机程序Pg2 220驱动。
在初始化时,计算机程序Pg2 220的代码指令例如在由处理单元210的处理器执行之前被加载到RAM中。处理单元210的处理器根据计算机程序220的指令实施上述方法的步骤。在本发明的此实施例中,处理器200能够并被配置用于:
-从比特流数据识别(IDENT)当前块的描述元素的集合;
-根据与所述元素相关联的分值,在识别出的集合中选择(SEL)待预测的描述元素的子集;
-根据所述分值对序列(所谓的初始序列)中的子集的描述元素进行排序(ORDER);
-对有序序列的元素进行解码(DEC)。
根据本发明,初始序列的元素的解码包括被配置并且适于被应用于序列(所谓的当前序列,其以初始序列初始化)的下面单元的至少两次迭代:
-基于预定成本准则和初始序列的先前处理的描述元素的值,从多个可能的组合中选择(SEL Cbk)当前序列的描述元素的预测值的组合;
-通过选定的组合中的第一元素的值来预测(PRED)该序列的第一元素;
-基于从比特流中提取的编码数据,对表示当前元素的解码值与预测值之间的差的指示符进行解码(DEC IP),
-从解码指示符和预测值中获得(GET DED0)当前元素的解码值;以及
-通过删除第一解码元素来更新(UPD Seqc)当前序列。
设备200还被配置为对非预测的元素解码(DEC ENP)并且重构解码块BD和解码图像(RECONST)。
设备200此外包括用于存储系数的编码环境的单元M2、与这些环境中的每个相关联的预定分值、为针对块C'所选择的选定描述元素预测的值以及待预测的序列的选定描述元素的值的组合Cbk
这些单元由处理单元210的处理器μ2控制。
有利地,此类设备200可以与用户终端设备TU(诸如编码器、机顶盒、数字电视机、个人计算机、平板电脑、数字相机、智能电话等)集成。然后设备200被配置为至少与终端TU的下一模块配合:
-用于发送和接收数据的E/R模块,经由该模块从电信网络接收比特流TB或压缩文件FC;
-用于显示解码的数字图像的DISP模块。
刚才所呈现的本发明可以找到许多应用,特别是在视频信号压缩、音频(语音、声音)、静态图像、由成像模块医疗获得的图像的环境下。它适用于例如二维(2D)、三维(3D)内容(包括深度图)或多光谱图像(其颜色强度不同于三红绿-蓝带)或最终适用于全图像。
不言而喻的是,以上所描述的实施例经由仅仅指示性而非限制性的示例给出,并且在不背离本发明的范围的情况下,本领域技术人员可以容易地做出许多修改。

Claims (13)

1.一种用于对数字图像进行编码的方法,所述图像(Im)被划分为以设定顺序处理的多个像素块(C),所述方法包括针对当前块实施的以下步骤:
-处理步骤(E1):处理所述当前块,旨在提供所处理的块的描述元素的集合,其中每个描述元素具有实际值;
-第一选择步骤(E2):从提供的集合选择待预测的至少两个描述元素的子集;
-排序步骤(E4):将所述子集的描述元素排序成有序序列;
-第一编码步骤(E5):对所述序列的描述元素进行编码;
所述方法特征在于,第一编码步骤包括用于连续处理所述序列的每个描述元素的连续的子步骤,并且其中每个子步骤针对被处理的所述序列的当前描述元素包括以下步骤:
-第二选择步骤(E52):根据预定的成本准则在多个组合当中选择所述序列的描述元素的预测值的组合,并且从处理所述序列的第二元素的第二子步骤选择在所述序列中先前处理的描述元素的实际值;
-预测步骤(E53):由选定的组合中的其值来预测所述序列的当前描述元素;以及
-第二编码步骤(E55):对表示所述当前描述元素的实际值与其预测值之间的差的指示符进行编码。
2.根据权利要求1所述的用于对数字图像进行编码的方法,特征在于,排序步骤(E4)生成初始序列(Seqi),第一编码步骤(E5)取以所述初始序列初始化的当前序列的第一描述元素(ED0)作为当前描述元素,并且包括一旦第一描述元素已被处理就通过删除第一描述元素来更新当前序列的子步骤(E57)。
3.根据前述权利要求中的任一项所述的用于对数字图像进行编码的方法,特征在于,第一编码步骤包括:先计算与所述有序序列的值的多个组合相关联的成本的预备步骤、以及存储所述多个组合及其相关联的成本的步骤,并且其中,第二选择步骤(E52)包括针对所述当前描述元素选择先前处理的描述元素具有其实际值的有序序列的值的组合。
4.根据权利要求1或2所述的用于对数字图像进行编码的方法,特征在于,当处理所述当前描述元素时,第二选择步骤包括根据成本准则计算与所述序列的值的可能组合相关联的成本的子步骤,所述成本准则取决于先前处理的描述元素的实际值。
5.根据权利要求1或2所述的用于对数字图像进行编码的方法,特征在于,第二选择步骤包括基于预定分值来选择待预测的描述元素的子集,预定分值表示与其相关联的预测元素的可靠性水平,并且其中,排序步骤包括根据所述预定分值对待预测的描述元素进行排序。
6.根据权利要求1或2所述的用于对数字图像进行编码的方法,特征在于,所述预定的成本准则属于包括至少以下内容的组:
-用于使沿所述当前块与先前处理的块的边界的失真最小化的准则;
-用于使距离/接近度测量结果最小化为预定值的准则;
-用于使所述当前块与所述当前块的预测之间的差的能量测量结果最小化的准则。
7.一种用于对数字图像进行编码的设备(100),所述图像(Im)被划分为以设定顺序处理的多个像素块,所述设备包括可再编程的计算机器或专用的计算机器,其能够并被配置用于:
-处理(PROC)当前块并且提供所处理的块的描述元素的集合,其中每个描述元素具有实际值;
-从所提供的集合选择(SEL)待预测的至少两个描述元素的子集;
-将所述子集的描述元素排序(ORDER)成有序序列;
-对所述有序序列的描述元素进行编码(COD);
所述设备特征在于,所述序列的描述元素的编码包括用于连续处理所述序列的每个描述元素的连续子步骤,并且其中每个子步骤针对被处理的所述序列的当前描述元素包括以下步骤:
-根据预定的成本准则在多个组合当中选择(SEL Cbk)所述序列的描述元素的预测值的组合,并且从处理所述序列的第二元素的第二子步骤选择在所述序列中先前处理的描述元素的实际值;
-由选定的组合中的其值来预测(PRED)所述序列的当前描述元素;以及
-对表示所述当前描述元素的实际值与其预测值之间的差的指示符进行编码(CODIP)。
8.一种用于对来自比特流(TB)的数字图像(ID)进行解码的方法,所述图像被划分成以设定顺序处理的多个块,所述比特流包括表示所述图像的块的描述元素的编码数据,所述方法包括针对所谓的当前块(C’)实施的以下步骤:
-识别步骤(D1):从比特流数据中识别所述当前块的描述元素的集合;
-第一选择步骤(D2):从识别出的集合选择待预测的至少两个描述元素的子集;
-排序步骤(D4):将所述子集的描述元素排序成有序序列;
-第一解码步骤(D5):对所述有序序列的描述元素进行解码;
所述方法特征在于,第一解码步骤(D5)包括用于连续处理序列的每个描述元素的连续的子步骤,并且其中每个子步骤针对被处理的所述序列的当前描述元素包括以下子步骤:
-第二选择步骤(D52):根据预定的成本准则从多个组合当中选择所述序列的描述元素的预测值的组合,并且从处理所述序列的第二元素的第二子步骤选择在所述序列中先前处理的描述元素的解码值;
-预测步骤(D53):由选定的组合中的其值来预测(D53)所述序列的当前描述元素;
-第二解码步骤(D54):基于从所述比特流中提取的编码数据,对表示所述当前描述元素的解码值与所述预测值之间的差的指示符进行解码,以及
-获得步骤(D55):从解码指示符和所述预测值中获得所述当前描述元素的解码值。
9.根据权利要求8所述的用于对来自比特流(TB)的数字图像(ID)进行解码的方法,特征在于,排序步骤生成初始序列(Seqi),第二解码步骤(D54)取以所述初始序列初始化的当前序列的第一元素(ED0)作为当前描述元素,并且包括一旦第一元素已被处理就通过删除第一元素来更新当前序列的子步骤(E5)。
10.根据权利要求8所述的用于对来自比特流(TB)的数字图像(ID)进行解码的方法,特征在于,排序步骤生成初始序列,其中第一解码步骤包括:先计算与所述初始序列的值的多个组合相关联的成本的预备步骤、记录所述多个组合及其相关联的成本的步骤,并且其中,第二选择步骤包括从所记录的组合中选择以处理顺序中的先前处理的项目的解码值开始的组合。
11.根据权利要求8或9所述的用于对来自比特流(TB)的数字图像(ID)进行解码的方法,特征在于,第二选择步骤包括:针对所述当前描述元素,根据成本准则来计算与所述序列的值的可能组合相关联的成本,所述成本准则取决于先前处理的描述元素的解码值。
12.一种用于对来自比特流(TB)的数字图像(ID)进行解码的设备(200),所述图像被划分成以设定顺序处理的多个块,所述比特流包括表示图像的块的描述元素的编码数据,所述设备包括可再编程的计算机器或专用的计算机器,其针对所谓的当前块的块(C')被配置用于并且能够:
-从比特流数据识别(IDENT)当前块的描述元素的集合;
-从识别出的集合选择(SEL)待预测的至少两个描述元素的子集;
-将子集的描述元素排序(ORDER)成有序序列;
-对有序序列的描述元素进行解码(DEC);
所述设备特征在于,初始序列的描述元素的解码包括:被配置为并且能够被应用于以所述初始序列初始化的当前序列以处理当前描述元素的以下单元的至少两次迭代:
-基于预定的成本准则在多个可能的组合当中选择(SEL Cbk)所述当前序列的描述元素的预测值的组合,并且从处理第二描述元素的第二迭代选择所述初始序列的先前解码的描述元素的值;
-根据选定的组合中的其值来预测(PRED)序列的当前描述元素;
-基于从比特流中提取的编码数据,对表示当前描述元素的解码值与预测值之间的差的指示符进行解码(DEC IP),以及
-从解码指示符和所述预测值中获得(GET)所述当前描述元素的解码值。
13.一种用户终端(TU),特征在于,包括根据权利要求7所述的用于对数字图像进行编码的设备(100)和根据权利要求12所述的用于对来自比特流(TB)的数字图像(ID)进行解码的设备(200)。
CN201680076689.3A 2015-12-29 2016-12-16 用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序 Expired - Fee Related CN108781292B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1502721A FR3046321B1 (fr) 2015-12-29 2015-12-29 Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes
FR1502721 2015-12-29
PCT/FR2016/053540 WO2017115028A1 (fr) 2015-12-29 2016-12-16 Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés

Publications (2)

Publication Number Publication Date
CN108781292A CN108781292A (zh) 2018-11-09
CN108781292B true CN108781292B (zh) 2022-07-12

Family

ID=55411444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076689.3A Expired - Fee Related CN108781292B (zh) 2015-12-29 2016-12-16 用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序

Country Status (7)

Country Link
US (1) US10687082B2 (zh)
EP (1) EP3398330A1 (zh)
JP (2) JP2019507521A (zh)
KR (1) KR20180133378A (zh)
CN (1) CN108781292B (zh)
FR (1) FR3046321B1 (zh)
WO (1) WO2017115028A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848763B2 (en) 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
FR3092719A1 (fr) * 2019-02-07 2020-08-14 Orange Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image.
FR3098073B1 (fr) * 2019-06-25 2021-09-24 Fond B Com Procédé de codage et de décodage d’une image d’une séquence vidéo et dispositif associé
WO2022109337A1 (en) * 2020-11-19 2022-05-27 The Research Foundation For The State University Of New York Atomically dispersed platinum-group metal-free catalysts and method for synthesis of the same

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101553850B1 (ko) * 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
KR101625058B1 (ko) * 2008-11-10 2016-05-27 엘지전자 주식회사 시점간 예측을 이용한 비디오 신호 처리 방법 및 장치
JP5533886B2 (ja) * 2010-02-12 2014-06-25 富士通株式会社 画像符号化装置及び画像復号装置
JP5590133B2 (ja) * 2010-09-30 2014-09-17 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
FR2977111A1 (fr) * 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
EP2742688A1 (en) * 2011-08-12 2014-06-18 Telefonaktiebolaget LM Ericsson (PUBL) Signaling of camera and/or depth parameters
GB2496197A (en) * 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
WO2013068647A1 (en) * 2011-11-08 2013-05-16 Nokia Corporation Reference picture handling
CN104380750B (zh) * 2012-04-16 2018-07-27 三星电子株式会社 用于确定图像的参考画面集的方法和设备
WO2014115283A1 (ja) * 2013-01-24 2014-07-31 シャープ株式会社 画像復号装置、および画像符号化装置
JP6505026B2 (ja) * 2013-07-10 2019-04-24 シャープ株式会社 符号化方法
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
JP6268989B2 (ja) * 2013-11-29 2018-01-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
EP3107298A4 (en) * 2014-03-14 2017-10-11 Samsung Electronics Co., Ltd. Image encoding method for sample value compensation and apparatus therefor, and image decoding method for sample value compensation and apparatus therefor
JP6417815B2 (ja) * 2014-09-19 2018-11-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
WO2016056550A1 (ja) * 2014-10-08 2016-04-14 シャープ株式会社 画像復号装置
US10142626B2 (en) * 2014-10-31 2018-11-27 Ecole De Technologie Superieure Method and system for fast mode decision for high efficiency video coding
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework

Also Published As

Publication number Publication date
FR3046321A1 (fr) 2017-06-30
US20190007706A1 (en) 2019-01-03
KR20180133378A (ko) 2018-12-14
JP2022043029A (ja) 2022-03-15
JP2019507521A (ja) 2019-03-14
FR3046321B1 (fr) 2018-01-26
US10687082B2 (en) 2020-06-16
CN108781292A (zh) 2018-11-09
EP3398330A1 (fr) 2018-11-07
WO2017115028A1 (fr) 2017-07-06

Similar Documents

Publication Publication Date Title
CN112585966B (zh) 以基于历史的运动向量为基础的帧间预测方法及其装置
KR101798280B1 (ko) 오류 내성을 향상시킨 비디오 인코딩 및 디코딩
CN112335241B (zh) 对视频样本的变换块编码和解码的方法、设备和系统
KR20170026536A (ko) 디지털 이미지를 인코딩하기 위한 방법 및 연관된 디코딩 방법, 디바이스들 및 컴퓨터 프로그램들
CN108781292B (zh) 用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序
CN107710763B (zh) 用于对数字图像进行编码的方法、解码方法、装置
CN107318026A (zh) 视频编码器以及视频编码方法
US11350106B2 (en) Method for encoding and decoding images, device for encoding and decoding images and corresponding computer programs
CN105723709A (zh) 用于编码和解码图像的方法、用于编码和解码图像的装置及对应计算机程序
US10965938B2 (en) Method and apparatus for encoding a video
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
US11323715B2 (en) Method for decoding an image, encoding method, devices, terminal equipment and associated computer programs
KR102306631B1 (ko) 이미지 파라미터를 코딩 및 디코딩하기 위한 방법, 이미지 파라미터를 코딩 및 디코딩하기 위한 장치 및 이에 상응하는 컴퓨터 프로그램
US10805638B2 (en) Method for coding a digital image, decoding method, devices, terminal equipment and related computer programs
CN108432254B (zh) 图像编码和解码方法、装置以及计算机存储介质
GB2580106A (en) Image data encoding and decoding
GB2577350A (en) Image data encoding and decoding
KR20170120634A (ko) 벡터 양자화에 의한 이미지들의 인코딩
GB2580108A (en) Image data encoding and decoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220712

CF01 Termination of patent right due to non-payment of annual fee