CN112804529A - 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序 - Google Patents

用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序 Download PDF

Info

Publication number
CN112804529A
CN112804529A CN202110068378.5A CN202110068378A CN112804529A CN 112804529 A CN112804529 A CN 112804529A CN 202110068378 A CN202110068378 A CN 202110068378A CN 112804529 A CN112804529 A CN 112804529A
Authority
CN
China
Prior art keywords
transform
list
decoding
sub
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110068378.5A
Other languages
English (en)
Other versions
CN112804529B (zh
Inventor
皮埃里克·菲力浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Com SAS
Original Assignee
B Com SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Com SAS filed Critical B Com SAS
Priority to CN202110068378.5A priority Critical patent/CN112804529B/zh
Publication of CN112804529A publication Critical patent/CN112804529A/zh
Application granted granted Critical
Publication of CN112804529B publication Critical patent/CN112804529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种用于对数字图像进行编码的方法，所述图像(Ik)被划分为以所定义的顺序处理的多个像素块，所述方法包括针对具有预定尺寸的当前块执行的如下步骤：根据从多个预定模式当中选择的预测模式从先前处理的至少一个块来预测(T1)当前块的值；通过从当前块的原始值减去所预测的值来计算(T2)残留块(R)；通过将变换应用于所述残留块的像素来得到(T3)变换后的残留块(RT)，所述变换后的残留块包括系数，所述变换属于预定的变换列表；对变换后的残留块进行编码(T9)；根据本发明，所述方法包括：计算至少一个特征的步骤(T6)，所述至少一个特征表示了当前块的至少一个变换后的残留系数；确定初始识别数据片的步骤(T7)，所述初始识别数据片表示了与所计算的所述至少一个特征相关联的至少一个变换的子列表；以及验证所应用的变换属于由初始数据片识别的子列表。

Description

用于对数字图像进行编码的方法、解码方法、装置和相关计算 机程序
1.技术领域
本发明的领域是信号的压缩，尤其是被划分成像素块的数字图像或数字图像的序列。
本发明更具体地涉及在变换的竞争的背景中的应用于像素块的变换的报告。
数字图像的编码/解码尤其应用于来自至少一个视频序列的图像，其包括：
-来自相同相机并且彼此在时间上续接的图像(2D型编码/解码)，
-来自根据不同视点而被定向的不同相机的图像(3D型编码/解码)，
-相应纹理和深度的部件(3D型编码/解码)，
-及其他。
本发明以类似方式应用于图像的2D或3D型编码/解码。
本发明可以特别地但非排他地应用于在当前AVC和HEVC视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中实现的视频编码以及相应的解码。
2.背景技术
考虑了数字图像的传统压缩方案，其中图像被划分为像素块。构成初始编码单元的待编码的当前块通常根据预设切割模式被划分为各种数量的子块。
关于图1，我们考虑数字图像I1、I2、Ik的序列，其中k为非零整数。图像Ik被切割为按以下文献中所指明的HEVC标准的术语的初始编码单元或CTU(“编码树单元”)：国际标准化组织2013年11月公布的"ISO/IEC 23008-2:2013-High efficiency coding and mediadelivery in heterogeneous environments--Part 2:High efficiency video coding》。标准编码器通常基于具有固定尺寸的被称为CU(“编码单元”)的方形或矩形块来提供规则的分割。分割总是从初始的未被分割的编码单元实行，并且从该中性基数来计算和报告最终分割。
每个CU受到由操作序列构成的编码或解码操作，所述操作序列以非排他的方式包括预测、残留计算、变换、量化和熵编码。该操作序列从现有技术可得知并且呈现在图2中。
待处理的第一块CTU被选为当前块c。例如，这是第一块(按字母顺序)。该块具有NxN个像素，N为非零整数，例如根据HEVC标准等于64。
在步骤E1期间，确定原始块b的预测Pr。其为由已知手段构造的预测块，通常由运动补偿(来源于先前解码的参考图像的块)或由帧内预测(从紧邻ID图像中的当前块的已解码像素构造的块)来构造。有关Pr的预测信息被编码在比特流TB或压缩文件CF中。这里假设存在P个可能的预测模式m1、m2、...、mP，其中P为非零整数。例如，用于当前块c的所选预测模式为模式mP。一些预测模式与帧内型预测相关联，其他模式与帧间型预测相关联。
在步骤E2期间，原始残留R通过在当前块c中减去当前块c的预测Pr的减法R＝c-Pr来形成。
在E3中，识别被应用于所得到的残留R的变换。
变换步骤在这样的视频编码方案中扮演了至关重要的角色：事实上，其集中了量化操作之前的信息。该结果是编码之前的残留像素的集合，其表示在表示了相同信息的很少的非零频率系数上。因此，代替传送大量的因数，仅需要很少的数量来如实地重构像素块。
在图像和视频编码中，通常使用正交或准正交(4x4、8x8等)块变换。最长使用的变换基于余弦基数。因此在针对图像和视频的大多数标准中出现DCT。近来，HEVC标准还已经引入了DST(即“离散正弦变换”)以用于在4x4块的情况下的特定残留的编码。
实际上，使用了这些变换的近似法，对整数实行计算。一般而言，在给定的精度上(通常为8个位)，变换的基数近似于最接近的整数。
作为一个示例，在图3A和图3B中呈现了由HEVC标准对4x4尺寸的块使用的变换：这些是DCT和DST变换。在该表格中呈现的值将被除以128以找到准正交变换。
最近，已引入了变换竞争的概念。对于给定的块尺寸和给定的预测模式，编码器可以在T个变换之间进行选择，T为非零整数，通常大于或等于2。以与分割块相同的方式，其转而将它们应用于当前块，随后根据率失真判据来评价它们。所选的变换是得到最佳性能的变换：
HEVC标准针对4x4块提供了在DST型变换或变换跳过(即，残留系数不经历变换)之间的选择。
在2014年12月在马耳他的瓦莱特举行的IEEE图像处理视觉通信会议的会议论文集第73页上由A.Arrufat等人发表的题为“Rate-distortion optimized transformcompetition for intra coding in HEVC”的公布中，编码器具有多个变换的选择。例如，针对4x4尺寸的块建议了5个变换，并且针对8x8尺寸的块建议了17个变换。因此，步骤E3根据当前块的尺寸来识别可用的变换之一。
在步骤E4期间，残留R被所识别的变换转化为已变换的残留块，被称为TR。这是本领域公知的这种类型的块变换(DCT或DST或普遍适用的变换)或小波变换，并且具体地针对DCT/DST以JPEG/MPEG标准实施并且针对小波变换以JPEG2000实施。
在E5中，以本领域中公知的方式，按预设顺序对这些系数进行扫描以构造单维矢量RQ[j]，其中索引j从0变化到Nb-1，Nb为等于块c的像素的数量的整数。索引j被称为系数RQ[j]的频率。传统上，这些系数以频率的升序或降序来被扫描，例如根据从JPEG固定图像编码标准所知的锯齿形路径来扫描。
在E6中，已变换的残留TR通过传统量化手段(例如标量或矢量)被量化为包括与残留块RQ所含的像素一样多(例如Nb个，Nb为非零整数)的系数的量化残留块RQ。
在步骤E7期间，关于残留块RQ的系数的信息通过熵编码(例如根据哈夫曼编码技术或算术编码技术)被编码。该信息至少包括系数的幅度、它们的符号和由编码器应用到块的变换的报告。本文的幅度意思是系数的绝对值。传统上，可以针对每个系数信息编码，表示系数为非零的事实。随后，对于每个非零系数关于幅度的一条或多条信息被编码。得到编码后的幅度CA。非零系数的符号也被编码。通常，它们被简单地编码为位0或1，每个值对应于给定极性。这样的编码得到有效的性能，这是因为，待编码的幅度的值由于变换而大部分是零。
关于所应用的变换，在HEVC标准的情况下，两个替代选项DST或变换跳过中要被应用的反变换通过一个位(其被称为transform_skip_flag)而被指示给解码器。
在A.Arrufat等人的公布的情况下，通过指示符和明确的报告方法来对解码器进行告知：编码器通过指示符(在位置0处的指示符)报告所述变换是HEVC型变换(取决于尺寸，其为DCT或DST)还是特定的变换(在位置1处的指示符)。如果指示符指示特定的变换，则使用特定的变换的索引来以固定长度代码(对于4x4块是2，针对8x8块是4，从而分别报告4和16个可能的特定变换)对解码器进行报告。
通过增大变换的数量，因为每个变换在统计上适于给定类型的残留信号，所以编码性能提高。通过A.Arrufat的公布中公开的技术，通过变换跳过技术并且在任何类型的信号(包含文本、图形合成或表示所拍摄的自然场景的图像)上对关于文本和图形信号的增益进行报告。
在E8中，编码器在率失真判据的控制下从编码后的残留来对所应用的变换进行评价。
对可用于编码器的T变换重复上文的应用于当前块c的步骤E1至E8。
在E9中，一旦已经应用了所有可用的变换，它们全部根据率失真判据而被投入竞争中，并且最终保留根据该判据获得了最佳结果的变换。
在E10中，关于当前块的编码后的数据被插入到比特流TB中。
类似地针对序列的后续图像以相同方式处理图像I1的其他块。
3.现有技术的缺点
现有技术的缺点如下：
·增加变换的数量导致增加了向解码器报告编码器所选的变换。
·在变换之间的竞争中所考虑的这一增大的报告成本影响到压缩性能。
4.本发明的目的
本发明改善了该状况。
本发明的目的尤其在于克服现有技术的这些缺点。
更准确地说，本发明的一个目的是提出一种通过减小所传送的数据的体积来提高数字图像编码器的压缩性能而无需显著增大计算和存储资源的方案。
5.发明内容
借助于用于对数字图像进行编码的方法来实现这些目的以及下文将会出现的其他目的，所述图像被划分为以所定义的顺序处理的多个像素块，所述方法包括针对具有预定尺寸的当前块实施的以下步骤：
-在从多个预设模式中选择的预测模式下从先前处理的至少一个块预测当前块值，
-通过从当前块的原始值减去所预测的值来计算残留块，
-通过将变换应用于残留块的像素来得到变换后的残留块，所述变换后的残留块包括系数，所述变换是预设的变换列表的一部分；以及
-对变换后的残留块进行编码。
根据本发明，该方法包括：计算至少一个特征的步骤，所述至少一个特征表示了当前块的至少一个变换后的残留系数；以及确定初始识别数据的步骤，所述初始识别数据表示了与所计算的所述至少一个特征相关联的至少一个变换的子列表。
通过本发明，在编码器处从处理后的残留信号的至少一个特征来确定用于当前块的可能变换的子列表。这样的子列表是可用于编码器的变换列表的子集，并且呈现出比所述列表的元素数量更少的元素数量。
本发明已经观察到当前块的变换后的残留信号的某些特征的值与已被应用于该块的变换之间的关系。换句话说，块的残留信号携带了关于其被应用的变换的信息。发明人已经建立了从残留信号的一个或多个特征来识别出具有高概率被编码器选来处理该块的一个或若干个变换的可能性。
该确定依赖于解码器从比特流提取的值。例如，这些是被编码器编码并插入到比特流中的变换后的系数的值。它们可以已经或者尚未经历量化步骤。假设解码器具有手段来按照与编码器类似的方式根据其在二进制队列中读取的数据和表示变换子列表的初始数据的确定来对残留信号的(多个)特征的计算进行再现。
将会理解，在变换竞争(其中编码器对当前块应用了从率失真视点看提供了更好性能的变换)的背景下，对具有被编码器选中的高概率的变换的子列表进行预测的事实减小了比特流中要被报告的信息量，以使得解码器能够识别所应用的变换。
因此，本发明基于一种全新的和有创造性的针对变换竞争的方法，其首先包括针对当前块来确定编码器和解码器共同已知的可能变换的子列表，并且其次包括基于在比特流中传送的、并因此可用于解码器的当前块的转化后残留信号所固有的信息来实行该确定。
与现有技术不同，现有技术通过(HEVC或其他类型的)变换的指示符、随后在其不是HEVC类型的一部分时通过明确报告所使用的变换的标识符来报告所使用的变换，而本发明由于其提出基于原始识别数据(解码器具有手段来确定编码器的身份)来报告被应用于当前块的变换因而允许避免系统化的报告。
如果所应用的变换对应于预测的子列表的单个变换，则编码器潜在地没有要传送给解码器的报告。因此，本发明减小了与变换的选择相关联的报告成本，并且因此针对给定比特率提高了所编码的图像序列的质量，或者针对由报告率中的增益所提供的质量而降低了编码率。
当初始数据表示单个变换时，其可以将报告限制到一个标志，例如等于零以指示所应用的变换对应于所设置的初始数据，或者等于1以报告其他情况。在不涉及与所确定的初始数据不匹配的变换的简化解码器的情况下，可以决定根本不报告任何内容。
根据本发明的一个方面，所述方法包括对与变换的初始识别数据互补的数据进行编码的步骤。
当变换的子列表包括多于一个元素时，互补数据被编码并被插入比特流中以便向解码器指明如何开发针对当前块确定的子列表。
根据本发明的另一方面，互补数据包括在指明的子列表中的变换的位置索引。
当应用于当前块的变换是特定子列表的一部分时，位置索引允许解码器识别已被编码器应用于当前块的子列表的变换。将会理解，如果子列表很短，则可以在很少的位上对位置索引编码。
该指示优选地由值为0的位来携带。在相反情况中，互补标识符将由值为1的位来携带，由所应用的变换的明确报告进行补充。鉴于表示子列表SL的初始数据已经正确地预测了变换，因此互补报告仅包含一个位。根据本发明的另一方面，当所应用的变换不是特定子列表的一部分时，位置索引取逸出值，并且互补数据还包括所应用的变换的标识符。
当在预测的子列表中未选择所应用的变换时，必须报告由编码器实际应用的变换的完整标识符。
本发明的一个优点在于，如果子列表被相关地详尽阐述并且包括很可能提供最佳性能的变换，那么该情况保持例外。
还要注意，当编码器实施变换竞争时，其通常根据优越地考虑了每个变换竞争的报告成本的率失真判据来选择最佳变换。通过这种方式，仅当其性能偏离了报告的附加成本时，才将选择子列表之外的变换。
根据本发明的另一方面，表示变换残留块的至少一个系数值的所述至少一个特征是至少包括下面各项的组的一部分：
-最后一个有效的量化的残留系数的位置；
-有效的残留系数的位置的列表；
-量化的残留系数的平方和；
-量化的残留系数的绝对值之和；
-表示量化的残留系数的平方的演进的值；
-表示量化的残留系数的绝对值的演进的值；
-表示量化的残留系数的概率密度的值。
这些特征可以单独地考虑或组合起来考虑。本发明的原理是关联当前块的量化的残留信号的一个或多个特征的值或值范围，这与挑选出最可能用于该块的一个或多个变换充分地不同。
根据本发明的又一方面，确定步骤包括将所确定的初始识别数据读入存储器中，所述数据与当前块的量化残留系数的至少一个值的所述至少一个特征相关联。预设了可能的变换的子列表。本实施例的优点在于其简单并且在计算资源方面很低廉。
根据本发明的又一方面，先前对用于当前块的量化的残留系数的至少一个值的至少一个特征的变换指派评分，确定步骤根据评分大于预设阈值的列表的变换来形成子列表。
有利的是，基于块的量化的残留信号的至少一个特征的至少一个值来对给定变换指派评分，并且针对当前块，动态地构造其评分高于预设阈值的变换的子列表。
例如，从针对测试序列集合计算的变换的性能的统计数据导出评分。根据这样的统计数据，可以确定如下特定变换的概率值：所述特定变换对于其中量化的残留信号的至少一个特定特征取得了特定值的块而言最有效。
一个优点是形成最适合于当前块的子列表。
替代地，按照评分值的降序来排列变换，并且根据预设数量的具有最高评分的变换来形成子列表。一个优点是所形成的子列表具有固定尺寸。
根据本发明的又一方面，变换的初始识别数据的确定步骤在子列表中插入被应用于之前处理的至少一个相邻块的变换。
除了量化的残留信号的特征之外，还可以考虑其他判据，以形成用于当前块的可能变换的子列表。一个选项是考虑应用于已被处理的当前块的相邻块的变换。我们于是可以选择将相邻者使用的变换添加到子列表中，或者仅保持共同的变换。
在其各种实施例刚刚已描述的方法优越地由根据本发明的用于编码数字图像的装置来实施。这样的装置至少包括适于针对具有预设尺寸的当前块实施的以下单元：
-在从多个预设模式中选择的预测模式下从先前处理的至少一个块预测当前块值，
-通过从当前块的原始值减去所预测的值来计算残留块，
-通过将变换应用于残留块的像素来得到变换后的残留块，所述变换后的残留块包括系数，所述变换是预设的变换列表的一部分；以及
-对变换后的残留块进行编码。
根据本发明，这样的装置另外还包括：至少一个特征的计算单元，所述至少一个特征表示了当前块的至少一个变换后的残留系数；以及初始识别数据的确定单元，所述初始识别数据表示了与所计算的所述至少一个特征相关联的至少一个变换的子列表。
当然，根据本发明的编码装置可以布置为独立地或相结合地实施刚刚已针对编码方法描述的所有实施例。
具体地，根据本发明的一个方面，其包括对所设置的初始数据互补的数据的编码单元。
相关地，公开了一种用于对来自包括表示所述图像的编码后的数据在内的比特流的数字图像进行解码的方法，所述图像被划分为按定义的顺序处理的多个像素块，所述方法包括针对块(所谓的当前块)实施的以下步骤：
-从至少一个先前处理的块来预测当前块；
-对从比特流提取的变换后的残留块的系数的编码后的值进行解码；
-通过对变换后的残留块应用识别出的反变换来得到残留块，所述反变换是预设的反变换的列表的一部分；
-从残留块并且从当前块的预测来重构解码后的块；
根据本发明，所述方法包括：计算至少一个特征的步骤，所述至少一个特征表示当前块的至少一个变换后的残留系数；确定与所计算的所述至少一个特征相关联的变换的识别的初始数据的步骤；以及至少根据所设置的初始数据来重构要被应用的反变换的标识符的步骤。
这样的方法再现了对变换后的残留信号的特征进行计算以及对刚刚已针对编码器描述的变换的识别的初始数据进行确定的步骤。为此，其使用其可用的信息，即其从比特流提取的那些信息，诸如例如变换后的被量化或未被量化的残留信号、当前块、其先前已存储在存储器中的信息和规则，这使得其能够确定与用于当前块的编码器相同的子列表。
随后，其至少根据该子列表的知识来重建被编码器应用于当前块的变换的标识符。当子列表最多具有一个元素时，初始识别数据可以足以重构所应用的变换的标识符。可以考虑被布置为系统化地应用由数据DI表示的变换的解码器类型。
根据本发明的一个方面，所述方法包括对与所设置的初始识别互补的数据进行解码的步骤。
还可以考虑被布置为开发这样的互补报告的另一类型的解码器。有利的是，该互补数据的解码指明了在变换的子列表中包含的信息。具体地，其可以对解码器指示所应用的变换是否是由数据DI表示的子列表。
根据本发明的另一方面，互补数据包括变换在所指明的子列表中的位置索引。
当编码器所应用的变换被包括在子列表中时，如果该子列表包括多于一个元素，则报告归根结底指示了变换的位置。根据又一方面，互补数据包括逸出码和所应用的变换的标识符。
当编码器对当前块应用的变换未包括在子列表中时，必须完全报告该变换。
在其各种实施例中刚刚已描述的所述方法优越地通过根据本发明的用于解码数字图像的装置来实施。这样的装置至少包括适于针对所谓的当前块实施的如下单元：
-从至少一个先前处理的块来预测当前块；
-对从比特流提取的变换后的残留块的系数的编码后的值进行解码；
-通过对变换后的残留块应用反变换来得到残留块，所述反变换是预设的反变换的列表的一部分；
-从残留块并且从当前块的预测来重构解码后的块；
根据本发明，这样的装置包括：用于计算至少一个特征的单元，所述至少一个特征表示当前块的至少一个变换后的残留系数；确定与所计算的所述至少一个特征相关联的变换的识别的初始数据的步骤；并且其包括至少根据所设置的初始数据来重构要被应用的反变换的标识符的步骤。
当然，根据本发明的解码装置可以被布置为独立地或相结合地实施刚刚已针对解码方法描述的所有实施例。
具体地，根据本发明的一个方面，其包括对与所设置的初始数据互补的数据进行解码的单元、以及能够根据初始数据以及根据所述互补数据来重构要被应用于当前块的反变换的标识符的重构单元。
本发明还涉及携带比特流并且包括表示数字图像的编码后的数据在内的信号，所述数字图像被划分为按所设置的顺序处理的像素块，根据从预设的多个模式中选择的预测模式来从先前处理的至少一个块的值预测当前块的值，通过从当前块的原始值中减去预测值来计算残留块的值，通过将变换应用于残留块的像素来得到变换后的残留块，所述变换后的残留块包括系数，所述变换是预设的变换列表的一部分。
根据本发明，这样的信号包括表示所应用的变换的编码后的互补数据。所述编码后的互补数据意在用于被开发以便根据变换的初始识别数据来重构要被应用于当前残留块的值的反变换的标识符，所述初始数据表示所述列表的至少一个变换的子列表并且与当前变换后的残留块的至少一个值的至少一个特征相关联。
本发明还涉及一种用户终端，所述用户终端包括刚刚已在其不同实施例中描述了的根据本发明的用于编码数字图像的装置和根据本发明的用于解码数字图像的装置。
本发明还涉及这样一种计算机程序，所述计算机程序包括当该程序被处理器执行时用于实施如上所述的用于编码数字图像的方法的步骤的指令。
本发明还涉及这样一种计算机程序，所述计算机程序包括当该程序被处理器执行时用于实施如上所述的用于解码数字图像的方法的步骤的指令。
这些程序可以使用任何编程语言。它们可以从通信网络下载和/或记录在计算机可读介质上。
最后，本发明涉及处理器可读取的记录介质，其与根据本发明的数字图像编码装置和用于解码数字图像的装置集成或不集成，其可选地为可移除的，由此相应地存储了如上所述的实施编码方法的计算机程序和实施解码方法的计算机程序。
6.附图说明
当阅读了仅以例示和非限制性示例方式给出的本发明一个特定实施例的以下描述以及附图时，本发明的其他特征和优点将变得明显，附图中：
-图1(已描述)示意性示出被划分为像素块的数字图像的序列；
-图2(已描述)示意性示出根据现有技术的用于对数字图像的像素块进行编码的方法的步骤；
-图3A和图3B(已描述)示出了通过HVC标准的编码器实施的DCT和DST变换；
-图4示意性示出根据本发明的用于编码数字图像的方法的步骤；
-图5示出根据块的残留信号的测量特征的三个变换的概率密度的第一示例；
-图6示出根据本发明实施例的来自当前块的变换后的残留信号的两个不同特征的组合的可能变换的子列表的构造的示例
-图7示出根据本发明实施例的用于确定针对当前块的可能变换的子列表的已被处理和操作的相邻块的示例；
-图8A图和8B示意性呈现了通过根据本发明的编码方法对当前块应用的变换进行报告的示例；
-图9示意性示出根据本发明的用于解码数字图像的方法的步骤；
-图10示意性示出根据本发明的用于编码数字图像的装置的硬件结构；以及
-图11示意性示出根据本发明的用于解码数字图像的装置的硬件结构。
7.具体实施方式
本发明的一般原理依赖于基于当前块的变换后的残留信号固有特征的、并且具有优选变换的子列表的形式的被应用于当前块的变换的预测，并且依赖于从所预测的子列表应用的变换的最小报告。
考虑了原始视频，其由K个图像I1、I2、...IK的序列构成，其中K为非零整数，如已经关于图1所呈现的那样。所述图像被编码器编码，编码后的数据被插入到经由通信网络传送到解码器的比特流TB中或者压缩文件FC中，意在被存储在例如硬盘上。解码器提取被编码的数据，随后按照编码器和解码器已知的预定义顺序(例如按照I1、随后I2、...、随后IK的时间顺序)通过解码器对其进行接收和解码，其中该顺序可以根据实施例而不同。
关于图4，现在示出根据本发明示例实施例的用于编码数字图像的方法的步骤。步骤T0至T6类似于已关于图2描述了的步骤E0至E6。
图像Ik被切割为CTU尺寸的块，例如等于64x64像素。
在步骤T0期间，选择了待处理的块，所述当前块c。例如，这是CU块(即“编码单元”)，尺寸为MxN的方形或矩形，其中M和N是非零整数，通过分割CTU块(即“编码树单元”)而得到。
在步骤T1期间，在一个步骤中预测块c。根据现有技术，该操作根据从对编码当前图片(帧内编码)导出的像素或者基于已被编码操作(帧间编码)处理后的图像来被实行。结果为所预测的块Pr。
在步骤T2期间，从先前操作中的所预测的块起，逐像素地减去像素块。结果为残留像素R的块。
在步骤T3期间，针对考虑的预测模式识别块尺寸和可能的变换。按照预设方式，从编码器的存储器中可用的多个(T个)变换来指定可能的变换，T为非零整数，例如T等于32。例如，所述多个被存储在存储器中作为预设的、按顺序或不按顺序的变换的列表L。注意，这些变换可以是预设的或是适应性的。
在步骤T4期间，针对识别的变换Tri，对残留信号进行变换，其中i为非零整数，范围在0与T-1之间。结果为变换后的残留信号RTi。
在T5中，以本领域中公知的方式，以预设顺序来扫描这些系数，以构造单单维矢量RQ[j]，其中索引j从0变化到Nb-1，Nb为等于块c的像素数量的整数。索引j被称为系数RQ[j]的频率。传统上，这些系统以频率的升序或降序被来扫描，例如根据从JPEG固定图像编码标准所知的锯齿形路径来扫描。该扫描方法还可以取决于所应用的变换。由于扫描模式必定影响矢量RQ中的变换后的系数的最终顺序，因此下文中假设列表L中的所识别的变换Tri与特定扫描模式相关联。换句话说，与另一扫描模式相关联的相同变换将会被指派给列表L中的另一变换标识符，并且因此将被认为是不同的变换。
在步骤T6期间，根据给定的量化方法、本领域技术人员所知的标量或矢量，对变换后的数据进行量化，其中量化参数QP对该步骤中执行的近似值的准确性进行调节。
在步骤T7期间，计算变换后的被量化的残留信号的至少一个特征。
在T8中，确定表示了与计算的一个或多个特征相关联的至少一个变换的初始数据变换。该初始数据DI有利地表示列表L的变换的子列表SL。其包括一个或多个变换。
考虑并且现在将详细说明步骤T7和T8的若干实施例。
根据本发明的第一实施例，确定了量化残留数据的最后非零系数的位置。随后，将计算的特征例如与最后一个有效的系数(变换的初始识别数据DI)的位置相匹配。使用的该初始识别数据能够识别与所计算的特征的值或包括所计算的值的值范围相关联的变换的子列表。有利的是，子列表被存储在存储器中的表格中。子列表可以包括一个或多个变换。
根据本发明的第二实施例，确定了量化的残留数据中的有效系数的位置。为此，建立了包含针对每个有效残留系数(也就是说，不同的非零数)的“1”和针对零系数的“0”的字。例如，由值[19,12,-4,0,18,3,0,-1,0,0]组成的残留系数将会被分配字“1110110100”。使用存储在存储器中的表格，确定了变换的初始识别数据ID。对于给定的代码字，结果为最可能可用的变换的子列表。
根据第三实施例，计算了量化的残留值的平方和或绝对值之和的数据特征。使用表格或功能匹配关系，从该特征数据来确定变换的初始识别数据DI。例如，携带了超过所考虑的阈值的能量的残留识别一个或多个变换。
根据第四实施例，计算了量化的残留值的绝对值或平方的演进的数据特征。可以通过将(绝对或平方)相继值当中绝对值中的差异求和或者通过将生长指示符(如果两个相继值的绝对值增大，则为1；否则为0)求和来得到该特征值。从该特征值得到变换的初始识别数据。该表格将显示取决于所计算的生长指示符的值的一个或多个变换。
根据第五实施例，估计了量化的残留值的概率密度的特征。如由Florin Ghido在2005年5月的题为《Near Optimal,Low Complexity Arithmetic Coding for GeneralizedGaussian Sources》的公布AES中呈现的那样，可以通过使用绝对值之和与量化的残留值的平方和之间的比率来实现该概率密度。一旦已经估计了概率密度，则查找表格允许关联变换的初始识别数据DI。例如，给定概率密度将会关联一个或多个给定变换。
因此，变换的初始识别数据DI可以包括一个或多个标识符或索引，它们中的每一个指向特定变换。有利的是，这些变换标识符形成了可用于编码器和解码器的变换的初始列表L的子列表SL。
例如，在用于对图像进行编码的方法之前的学习阶段中得到用于导出变换的子列表的表格。例如，使用测试序列的集合以通过编码器基于图像的块的变换后的残留信号的特征的值来计算来自可用于编码器的列表的变换中的每一个的选择统计数据。从这些结果中，评定了基于块的量化的残留信号的一个或多个特征来选择变换的概率。
传统上，如果变换是已知的，则针对每个变换测量给定特征的概率。在数学上，这由条件概率来表达。结合图5，通过示例方式呈现针对8x8尺寸的三个不同变换而变换的第一系数的能量的概率的估计。已经绘制了与针对块的每个系数的能量相关联的联合概率密度。从该估计并且使用贝叶斯定理，我们可以容易地从能量值确定已从每个变换计算出了系数的概率。因此，如果系数的能量等于9，则很大可能使用变换T2，有点不太可能使用变换T1，并且很不可能使用变换T0。因此，在编码器处，通过示例方式可以通过定义了三个区间的两个阈值来归纳出该概率函数：如果能量小于11.4，则T2和T1最有可能；如果其在11.40和18.10之间的范围，则T1很可能；如果其大于18.10，则T1和T0是最可能的变换。将会理解，通过该方式，对残留信号计算的特征告知了变换的概率，并且允许构成比完整变换列表更短的可能变换的子列表。因此，根据相对于先前三个区间的块的能量值，我们定义了包括变换(T2,T1)、(T1)、(T1,T0)的三个子列表SL1、SL2和SL3。在编码系统的设计之前的阶段中建立的包括子列表、特征和区间的关联对于编码器和解码器是已知的。
结合图6，示出了来自当前块的残留信号的两个不同特征与三个变换的列表L的组合的变换子列表的构造的示例。在之前的学习过程中，测量了通过编码器根据变换后的残留信号的能量特征以及根据最后一个有效的系数的位置而选择的变换的值。该学习对残留视频信号的大集合执行。在图6中，示出了沿着第一轴的第一特征和沿着第二轴的第二特征，并且与块的变换后的残留信号的特征的一对值相对应的、并且表示了针对该块选择的变换的点已被放置在这两个轴的平面中。看来，这些点可以粗略地被分组到以椭圆形式实体化的粗略区域中。这些椭圆包括用于变换的大多数所选的点，例如，它们可以涵盖这些点的90％。
在该基础上确定两个阈值s1、s2，其允许形成包括变换元素的列表。
所指明的这些阈值在该学习过程结束时被知道，并且被存储在编码器和解码器两者中。并且元素的子列表被准备如下：
-从残留信号计算能量特征，称为C1；
-从残留信号确定最后一个有效的系数的位置，称为C2；
-如果C1>s1且C2>s2，则子列表包含元素T0；
-如果C1>s1且C2<s2，则子列表包含元素T2；
-如果C1<s1，则子列表包含边缘T1。
因此，通过使用解码器和编码器已知的这两个判据和两个阈值，可以将三个变换的列表减小为单个变换的子列表。
替代地，还可以针对列表L的给定变换在先前就设置基于块的变换后的残留信号的一个或多个特征值的评分。有利的是从如上所述的联合概率密度的估计来准备该评分。在该情况下，对与该或这些特征值相关联的变换的初始数据DI进行确定的步骤T7基于所建立的评分来动态地构造了用于当前块的变换的子列表SL。
例如，子列表SL由具有针对当前块建立的比预设阈值大的评分的变换来构成。替代地，子列表由与具有最高评分的变换NB-SL相对应的预设的、非零整数NB-SL的变换来组成。
有利的是按照评分值的降序来排列被选择用于包括在列表SL中的变换。将会理解，解码器必须与编码器共享这些评分、用于选择的要被应用的阈值或变换的数量NB-SL、以及在子列表中如何对所述变换排序的知识。通过该方式，其将会是与编码器相同的子列表SL。
根据本发明的另一实施例，所述方法首先获得被应用于先前处理的至少一个块的变换的标识符TR-V。例如，根据当前块的预测模式来选择已被处理的块。它们可以是在当前图像中的或者位于不同的时刻的其他图像的一部分中的当前块的相邻者。在当前图像中，这些相邻块可以是恰位于当前块的上、左、或左上的那些块。结合图7，通过示例方式示出了当前块C的相邻块Ba、Bb和Bc。
帧间编码例如涉及在一个运动矢量之内与当前块位于相同空间位置处的(或者“共同定位”的)块。当这些已被处理的块与当前块共享相同预测模式时，有利地选择它们。如果当前块处于帧内模式下，则已被处理且被选择的块将是共享相同帧内预测模式的最接近的块。
有利的是，考虑了预设数量NB-DT，其中，NB-DT为已被处理的块的非零整数。例如NB-DT等于3。因此，根据先前描述的实施例中的一个，所得到的已被处理的块的变换的一个或多个标识符被操作来形成从已与当前块的系数的值的(多个)特征相关联的子列表SL中优选的变换的子列表SL’。
设想出建立该新子列表SL’的若干方式。
可以通过将被应用于已被处理和考虑的块的变换的标识符进行串接来完成初始子列表SL’。
可以决定操作从已被处理的块中导出的变换的预设数量(例如等于3个)的标识符。
结合图7，如果已被处理和考虑的块Ba、Bb、Bc共享相同变换(TR-v＝TR-va＝tr-vb＝tr-vc)，则在其尚未包含在该列表中的情况下，将该共同的变换的标识符(TR-v)添加到子列表SL。其例如可以适合于将其插在子列表的末尾处。
替代地，可以决定在子列表SL’中包括从已被处理的块导出的预设数量NB-DT的变换。在该情况下，例如可以通过在变换的初始列表中恰在其之前和之后的变换的标识符来完成所选的单个标识符(TR-v)。这些是恰位于上方(TR-v1＝TR-v+1)和下方(TR-v2＝TR-v-1)的值。将会理解，在该情况下，我们考虑可用于编码器和解码器的变换的列表L被根据变换的近似性或相似性判据来排序，以使得如果编号为TR-v的变换非常适合于一个块，那么其相邻者TR-v-1和TR-v+1也将相对非常适合。
如果已被处理的NB-DT块已经应用了不同变换，则可以诉诸于多数票决并在子列表SL’中插入在已被处理的块中最具表示性的变换的标识符。为了完成并达到预设数量的要被添加的变换的标识符，将有利地插入如上计算的在列表L中被选举的变换的相邻值TR-v1和TR-v2。
一个替代选项是将被应用于已被处理和考虑的块的所有变换的标识符插在例如子列表SL的末尾处(鉴于它们还不是列表的一部分)，作为已被处理并且被编码器和解码器共享的块的扫描顺序。
例如，让我们考虑已被处理的三个相邻块，其已应用了两个不同的变换。例如，在子列表SL的末尾处，这些变换的标识符v0和v1被插在子列表SL的末尾处的第一和第二位置处，并且从最接近的块计算出的变换的标识符的值v2例如被添加到当前块(恰在比更高的块或不同图像的一部分优先的左边)。根据一种变型，提供了初始子列表SL与应用于已被处理的相邻块的变换的子列表的交叉。该交叉可以减小最终子列表的尺寸，并因此减小应用于当前块的变换的报告。可以考虑到被插入子列表中的变换的发生概率来实行该交叉。
在T9中，通过已知的熵编码技术(例如哈夫曼编码、算术编码、或仍是在HEVC标准中使用的CABAC编码)来对量化的数据编码。
在步骤T10期间，必要时对与变换的初始识别数据DI互补的数据进行编码。
在本发明的特定实施例中，该步骤未实施。当初始变换数据仅包括一个标识符变换和/或其已经决定不向解码器报告当前块已被添加了与所预测的不同的变换时是这种情况。将会理解，该情况是简单的，其中解码器被布置为排他地应用由初始数据识别的变换。
该模式的优点在于，其实施起来简单，并且不需要报告。
对于其他实施例，根据这些实施例，与当前块的某些特征有关的变换的子列表包括多于一个元素，或者根据这些实施例，应当对解码器报告所应用的变换不是所预测的子列表的一部分，事实上实施了步骤T10。
在T10中，因此，我们首先检查应用于当前块的变换Tri是否是子列表SL的一部分。如果是这样并且如果子列表SL包含单个元素，则所应用的变换对应于所预测的变换。有利的是，例如借助于标志类型的方法向解码器报告初始数据是所应用的变换器的正确预测。其在于传统地通过熵或直接二进制代码来编码出互补数据DC，其指示由初始数据DI指示的变换是(标志＝0)或不是(标志＝1)所考虑的变换。
如果标志被设置为值1，则使用代码(熵代码或不是熵代码)来对互补信息添加例如通过索引的形式指示了初始列表L中的所考虑的变换的标识符的代码。
一个优点是，如果事实上预测了应用于当前块的变换，则与现有技术中明确传送变换的标识符不同，将使用单个位来报告它。
如果列表SL包括若干元素，则变换的初始识别数据DI不足以允许解码器确定由编码器应用的变换。
根据本发明的另一实施例，在T10中编码了包括被应用于当前块的变换在子列表SL、SL’中的位置索引POS在内的互补数据DC。因此，假设子列表被排序以使得编码器和解码器共享进入子列表中的变换的位置的知识。
通过示例的方式，考虑了在T8中确定的子列表包含变换{1,4,7}：如果所应用的变换是变换4，则位置指示符POS＝1，传送二进制代码“01”。
一个优点是，如果应用于当前块的变换被很好地预测，则与现有技术中明确传送其完整标识符不同，将在比特流中使用少量的位来报告它。
当所应用的变换不是子列表SL、SL’的一部分时，互补数据DC包括逸出码，跟在其后的是所应用的变换的完整标识符。将会理解，该报告必然比子列表中的位置索引POS更昂贵。然而，尽管有额外成本，但通过竞争选择变换的方法确保了所应用的变换是提供最佳率失真折衷的变换。
例如，如果所考虑的变换是变换6，其不是特定子列表的一部分，则其发送例如等于“11”的逸出码，并且对变换6进行识别的代码被附接在初始列表L中，例如0110，其以二进制形式表示6。位置索引的代码的未使用组合可以被指派给逸出码。例如，可以使用以二进制代码表示4的代码0100。这旨在减小特定代码的长度，因此减小了流量。
有利的是，随后通过本领域技术人员公知的二进制编码方案(固定长度、算法或哈夫曼代码)对互补数据DC编码，以使得要传送给解码器的比特流的尺寸最小化。
在步骤T11期间，例如在通过量化算子引入的传统本身的平方误差测量中估计失真的当前变换Tri。
有利的是，该评价步骤还包括：
-传送变换后的和量化的残留所需的位数的评定；
-评价的是根据编码T10的结果报告变换的索引所需的位数。
在T12中，测试了当前变换Tri是否为列表L的最后一个。如果其不是最后一个，则索引i被增加1，并且重复步骤T3至T11。
如果变换Tri是列表中的最后一个，则下一阶段是步骤T13，选择要被传送的配置。配置意思是按照熵的方式的量化后和编码后的残留组合，从而通过互补代码来报告变换的索引。为了实现该选择，根据已知技术针对每个变换来构造拉格朗日量，其衡量由残留/互补报告携带的对应的失真和率组合。该选择保留了具有最小拉格朗日量的变换。
在步骤T14中，与被应用于当前块的变换相关联的所选的残留和编码后的互补数据被插入到比特流中。
比特流TB随后可以被传送到解码器中作为信号。
结合图8A和图8B，呈现了根据本发明一个实施例的应用于块c的变换报告的示例。关于图8A，考虑第一示例，其中应用于块c的变换Tri被包括在特定子列表SL、SL’中。其中变换Tri占据了用于块c的特定子列表SL、SL’中的第一位置。根据本发明，报告被限制于表示了TR1在子列表中的位置索引POS的互补数据DC。例如，对于三个元素的该子列表，该索引可以通过值01被编码在2个位上。当前，如已经提及的那样，还可以选择本领域普通技术人员所知的诸如哈夫曼代码或其他熵代码之类的可变长度代码。
关于图8B，考虑第二示例，其中应用于块c的变换Tri没有被包括在特定子列表SL、SL’中。换句话说，变换的预测不正确。例如，所应用的变换是Tr6。在该情况下，所报告的互补数据包括逸出码，其采取值11以及跟在其后的变换Tr6的完整标识符的代码作为示例。
如前所述，根据特定子列表SL、SL’报告所应用的变换的标识符可以受到熵类型的编码以提高压缩性能。
通过根据本发明的编码方法产生的比特流TB例如作为信号经由电信网络被传送到解码器。该信号由解码器接收。
假设比特流TB被实施根据本发明的解码方法的解码装置接收。现在将结合图9描述该解码方法。
在D0中，待处理的第一块被选作当前块C’。例如，这是第一块(按字母顺序)。该块包括MxN个像素，其中M和N是非零整数。
如针对编码过程所描述的那样，所考虑的块C’可以是CTU块、或通过切割CTU块或残留块而得到的CU子块、或通过从当前块减去当前块的预测块而得到的子块。
在步骤D1期间，关于当前块C’的编码后的数据被读取并解码。编码后的数据包括编码参数，比如，例如所使用的预测模式、或者应用于当前块的变换的标识符的报告、以及当前块的量化的残留系数的幅度和符号的值。
当所确定的预测模式指示已通过编码器进行了预测时，在D2中根据从已被处理的块确定的预测模式来预测当前块。得到所预测的块Pr’。
在步骤D3中，表示了作为当前块的残留值(系数的值和符号)的量化的值的数据读取以矢量值RQ’的形式被解码。将会理解，这是上文结合编码方法描述的熵编码的反向操作。
在步骤D4期间，计算了解码后的量化的值的至少一个特征。按照编码器中执行的操作进行的该计算考虑了用于基于所传送的量化的残留的计算的判据。
在D5中，确定变换的子列表SL、SL’，该变换与所计算的(多个)特征值相关联。
考虑了步骤D4和D5的若干实施例。它们对应于已结合针对编码方法的步骤T6和T7的图4描述的那些实施例。它们可以相互组合。
·根据本发明的第一实施例，确定了当前块的量化的数据的最后非零系数的位置。从该位置，使用存储在存储器M1中的表格来对包括一个或多个变换的变换的初始识别数据DI进行匹配。替代地，所计算的特征是有效系数的数量。通过示例方式，有效系数的给定阈值数量可以在该情况下使用该表格来与一个或多个预设变换相关联。
·根据本发明的第二实施例，确定了当前块的量化的数据中的有效系数的位置。为此，建立了包含针对每个有效系数(即不同的且非零的)的“1”和针对零系数的“0”的字。例如，由值[19,12,-4,0,18,3,0,-1,0,0]组成的信号将被分配字“1110110100”。使用存储在存储器中的表格，确定变换的初始识别数据ID。给定代码字识别了最可能的可用变换的子列表SL。
·根据第三实施例，计算了系数的量化的值的平方或绝对值之和的特征数据。使用表格或者例如预设变换的特征的值的区间与初始识别数据DI的区间之间的功能匹配关系，从该特征数据来确定与非常适合该特征的值的变换的子列表SL相对应的变换的初始识别数据DI。应当注意，所讨论的特征表示当前块的系数C’所携带的能量。例如，携带了超过所考虑的阈值的能量的残留将识别子列表SL1，而那些能量低于该阈值的残留将识别另一SL2。
·根据第四实施例，计算了量化的值的绝对值或平方的演进的数据特征。该特征值可以通过将(绝对或平方)相继值当中绝对值中的差异求和或者通过将生长指示符(如果两个相继值的绝对值增大，则为1；否则为0)求和来得到该特征值。使用表格从该特征值得到与非常适合的变换的子列表相对应的变换的初始识别数据。
·根据第五实施例，估计了量化的值的概率密度的特征。如由Florin Ghido在2005年5月的题为《Near Optimal,Low Complexity Arithmetic Coding for GeneralizedGaussian Sources》的公布AES中呈现的那样，可以通过使用绝对值之和与量化的值的平方和之间的比率来实现该概率密度。一旦已经估计了概率密度，则查找表格允许关联表示特定子列表的变换的初始识别数据。例如，给定概率密度将会关联给定变换。
这些实施例提供了在变换的识别准确性/识别的计算复杂性之间的各种折衷。
有利的是，在之前的步骤中对解码器提供用于访问子列表的(多个)变换的表格。
根据本发明的另一实施例，以与上文针对编码方法描述的方式相同的方式，根据先前与针对块的残留数据的一些特征值而可用于编码器和解码器的变换的列表L的每个变换相关联的评分，动态地实施用于确定初始变换数据DI或子列表SL的步骤D5。它们被存储在解码器的存储器中，例如存储在将评分与用于待处理的块的残留信号的一个或多个特征的值或值范围的变换相关联的表格中。
在又一实施例中，步骤D5还包括将来自已被处理的块的预设数量NB-DT的变换插入子列表SL’中。随后与编码的操作类似地继续进行，以使得最终子列表SL对于解码器和编码器相同。
在该阶段中可能有两种情况：
在第一情况中，在D5中确定的子列表每一个包括变换的单个标识符，并且解码器不期望任何附加报告。在步骤D7期间，其从由D5中确定的初始数据DI所给出的单个信息来重建要被应用的反变换的标识符。
根据第二种情况，解码器被配置为取得比特流中的要被应用的变换的补充报告。在步骤D6期间，其解码了与所确定的初始数据DI互补的数据DC。
特定子列表SL可以包括一个或多个元素。
如果其包括单个元素，则互补数据DC指示变换的预测是否正确，也就是说，是否将特定子列表的变换应用于当前块。
如果用于当前块的变换的子列表包括多个元素，则解码器知道其包括的变换的顺序和数量以及编码器是如何对比特流中的互补数据进行报告的。
其在D6中解码了从比特流TB读取的互补数据DC，并且确定其是包括子列表中的要被应用的变换的位置索引还是逸出码，逸出码意在指示由编码器应用的变换不是特定子列表的一部分。
如果互补数据DC包括逸出码，其还包括放置在逸出码之后的所应用的变换的完整标识符。
如果变换的初始标识符DI仅与单个值相关联，则互补数据DC指示由初始DI作出的选择是否正确。
如果初始变换标识符具有若干个值，则互补标识符将指示可能值当中的要被使用的变换。标识符将指示由编码器作出的选择不是由初始变换标识符指示的值的一部分。这样，互补标识符将包括指明了由编码器所选的变换的索引的二进制代码(被编码为熵或未被编码为熵)。
通过示例方式，让我们考虑包括值(1,3,9)的初始变换标识符，认为所讨论的预测模式的变换(1,3,9)是可信的。互补标识符被编码为2个位，以值“00”指示变换1，以值“01”指示变换3，并且以“10”指示变换9。如果互补标识符具有值“11”，则互补标识符将由互补代码补充，互补代码通过排除由初始标识符指出的这三个变换，将在针对所考虑的预测模式提供的那些变换当中指明所选的变换。
在D8中，当前块C’的数据被反量化。
在D9中，根据对在图4的步骤T5中描述的当前块的扫描的相反过程，在当前块中重组残留单维矢量的数据。
在步骤D10中，与D6中重构的变换的索引相对应的变换被应用于量化的数据。该变换对应于在编码器中执行的反变换。于是，该结果为在空间域中得到的残留信号r’。
在步骤D11中，从得到的块r’重构解码后的图像的像素块c’，并且其被并入正被解码的图像ID。由于块c’是残留块，因此其被添加了从先前处理的参考图像得到的当前块的预测PD’。
在步骤D12期间，假若先前定义了扫描顺序，测试了当前块是否为解码器要处理的最后一个块。如果是，则解码过程已完成其处理。如果不是，则下一步骤是选择下一块D13的步骤，并且针对所选的下一块来重复上述的解码步骤D1至D12。
将会注意，刚刚描述的本发明可以使用软件和/或硬件部件来实施。在该上下文中，本文件中使用的术语“模块”和“实体”可以是能够实现针对有关模块或实体略述的功能的软件部件、或硬件部件、或甚至硬件和/或软件的集合。
关于图10，现在示出根据本发明的用于编码数字图像的装置100的简化材料结构的示例。装置100实施了根据本发明的刚刚结合图4在其不同实施例中描述的编码方法。
例如，装置100包括处理单元110，其配备有处理器μ1，并且通过存储在存储器130中的并且实施根据本发明的方法的计算机程序Pg1 120来驱动。
在初始，计算机程序Pg1 120的代码指令在被处理单元110的处理器执行之前例如被加载到RAM中。处理单元110的处理器根据计算机程序120的指令来实施上文所述的方法步骤。
在本发明的该实施例中，装置100包括当前块的至少一个PRED单元、用于通过从当前块减去预测来得到当前块的残留的RES单元。
其此外还包括被布置用于对相同块实施若干次的多个单元，使得可用于编码器的多个变换能够竞争。这些包括：对从可用于编码器的并且例如在存储器(例如存储器130)中被存储为表格的变换的列表L来应用于当前块c的变换进行识别的单元ID-TRANS、在使用了所识别的变换的变换块C中的当前块的频率变换单元TRANS、变换后的块的量化的单元QUANT、具有预设顺序来构造单维矢量RQ’[j]的SCAN单元、对量化的单维矢量编码的单元ENC RQ、和根据率失真判据对变换Tri进行评价的单元EVAL。根据本发明的编码装置还包括根据由用于所评价的变换的单元EVAL得到的结果来得到最佳变换的选择单元SEL。随后来自所选的变换的编码后的数据被插入比特流TB中。
根据本发明，所述装置还包括用于计算当前块的残留信号的至少一个特征的单元CALC、用于确定与计算的所述至少一个特征相关联的变换的子列表的初始识别数据的DET单元、以及用于验证被应用于特定子列表的变换的归属的单元。可选地，该装置包括用于对所选的变换的标识符进行编码的单元ENC TR-ID，包括对初始识别数据的互补数据进行编码。该单元被设计为在必要时(至少当应用的变换为变换的特定子列表的一部分时)被实施。例如，包括变换的子列表SL的变换的初始识别数据在存储器(例如存储器130)中被存储为表格，或者存储为到该子列表的链接。
这些单元由处理单元110的处理器μ1控制。
有利的是，装置100可以被并入用户终端TU。装置100随后可以被布置为至少与用于发送/接收终端TU的数据的模块E/R进行协作，通过模块E/R，比特流TB或压缩文件FC经由通信网络被传送到解码装置。
关于图11，我们现在呈现了根据本发明的解码装置的简化材料结构的示例。例如，解码装置200包括处理单元210，其配备有处理器μ2并由存储在存储器130中的并且实施根据本发明的解码方法的计算机程序Pg2 220来驱动，该解码方法已经结合图9在其不同的实施例中进行了描述。
在初始，计算机程序Pg2 220的代码指令例如在由处理单元210的处理器执行之前被加载到RAM中。处理单元210的处理器根据计算机程序220的指令来实施上文所述的方法步骤。
在本发明的该实施例中，装置200包括用于针对当前块读取比特流中的编码后的数据(包括编码参数和量化残留系数的值)的至少一个单元GET、用于对从所得到的数据被变换和量化的当前块的系数进行解码的单元DEC RES、用于对解码后的系数进行反量化的单元DEQUANT、用于对当前块中的残留单维矢量的数据进行重构的单元SCAN-1、对变换后的当前残留块进行反变换的单元TRANS-1、用于从残留并从块的预测来对当前块进行重构的单元RECONST。
有利的是，所述装置另外还包括用于计算当前块的量化的残留信号的至少一个特征的单元CALC、以及用于对表示了与计算的所述至少一个特征相关联的至少一个变换DI的子列表的初始识别数据进行确定的单元DET。例如，变换的初始识别数据包括变换的子列表SL，其作为表格被存储在存储器(例如存储器230)中，或者其包括到该子列表的链接。
这两个单元类似于根据本发明的编码装置中的单元。根据本发明的解码装置200还包括单元REC TR-ID，其用于至少从初始数据ID来对应用于当前块的变换的标识符进行重构。根据本发明的实施例，装置200还包括单元DEC DC，其用于对比特流中的读取的互补数据DC进行解码。该互补数据由重构单元REC TR-ID进行操作，以从先前结合图9描述的变换的子列表的知识来确定要被应用于当前块的反变换的标识符。
这些单元由处理单元210的处理器μ2来控制。
有利的是，装置200可以并入用户终端TU。装置200于是被布置为至少与终端TU’的下一模块协作：
-用于发送和接收数据的E/R模块，通过该模块，从电信网络接收比特流TB或压缩文件FC；
-用于再现图像的装置DISP，例如终端监视器，通过其，为用户再现解码后的数字图像或一系列解码后的图像。
有利的是，用户终端TU、TU’可以包括根据本发明的用于编码的设备100和用于解码的设备200两者。
不言而喻，已经以纯示意性且非限制性的示例来给出了上文已描述的实施例，并且本领域技术人员在不脱离本发明范围的情况下可以容易地作出许多修改。

Claims (4)

1.一种用于从比特流中解码图片的方法，所述比特流包括表示所述图片的变换后的残留块的系数的编码值，所述方法包括通过用于当前变换后的残留块的解码装置所实施的以下步骤：
-解码当前变换后的残留块的系数的编码值；
-计算当前变换后的残留块的最后一个有效的解码系数值的位置值；
-确定表示与所述位置的所述计算值相关联的至少一个子列表中的一个或多个变换的数据；
-从所述解码数据表示的至少一个子列表中解码变换的标识符；
-使用标识符标识的变换对当前变换后的残留块进行解码。
2.一种用于从比特流中解码图片的装置，所述比特流包括表示所述图片的变换后的残留块的系数的编码值，其中，所述装置包括：
处理器；以及
非暂时性计算机可读介质，包括存储在其上的指令，当由处理器执行时，所述指令会将用于解码的装置配置为执行用于当前转换后的残留块执行的以下操作：
解码当前变换后的残留块的系数的编码值；
计算当前变换后的残留块的最后一个有效的解码系数值的位置值；
确定表示与所述位置的所述计算值相关联的至少一个子列表中的一个或多个变换的数据；
从所述解码数据表示的至少一个子列表中解码变换的标识符；
使用所述标识符标识的变换对当前变换后的残留块进行解码。
3.一种非暂时性计算机可读介质，包括存储在其上的计算机程序，所述计算机程序包括用于实施用于在由解码装置的处理器执行时从比特流解码图片的方法的指令，所述比特流包括表示所述图片的变换后的残留块的系数的编码值，所述方法包括针对当前变换后的残留块所实施的以下步骤：
解码当前变换后的残留块的系数的编码值；
计算当前变换后的残留块的最后一个有效的解码系数值的位置值；
确定表示与所述位置的所述计算值相关联的至少一个子列表中的一个或多个变换的数据；
从所述解码数据表示的至少一个子列表中解码变换的标识符；
使用所述标识符标识的变换对当前变换后的残留块进行解码。
4.一种用户终端，包括根据权利要求2所述的用于解码数字图像的装置。
CN202110068378.5A 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序 Active CN112804529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110068378.5A CN112804529B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
FR1556016 2015-06-29
FR1556016A FR3038196A1 (fr) 2015-06-29 2015-06-29 Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
CN201680038399.XA CN107710763B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置
PCT/FR2016/051456 WO2017001741A1 (fr) 2015-06-29 2016-06-16 Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés
CN202110068378.5A CN112804529B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680038399.XA Division CN107710763B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置

Publications (2)

Publication Number Publication Date
CN112804529A true CN112804529A (zh) 2021-05-14
CN112804529B CN112804529B (zh) 2024-02-23

Family

ID=55178029

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680038399.XA Active CN107710763B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置
CN202110068378.5A Active CN112804529B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置和相关计算机程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680038399.XA Active CN107710763B (zh) 2015-06-29 2016-06-16 用于对数字图像进行编码的方法、解码方法、装置

Country Status (9)

Country Link
US (2) US10924737B2 (zh)
EP (2) EP4102840A1 (zh)
JP (2) JP6873930B2 (zh)
KR (1) KR20180021879A (zh)
CN (2) CN107710763B (zh)
ES (1) ES2930636T3 (zh)
FR (1) FR3038196A1 (zh)
PL (1) PL3314897T3 (zh)
WO (1) WO2017001741A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3407607A1 (en) * 2017-05-24 2018-11-28 Thomson Licensing Method and device for encoding and reconstructing a point cloud
CN112106373A (zh) * 2018-03-28 2020-12-18 韩国电子通信研究院 用于图像编/解码的方法和装置及存储比特流的记录介质
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
CN110072113B (zh) * 2019-05-17 2023-03-10 华侨大学 一种基于贝叶斯决策的3d-hevc深度图帧间快速算法
CN114079772B (zh) * 2020-08-21 2023-04-07 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
US11683490B2 (en) * 2020-09-10 2023-06-20 Tencent America LLC Context adaptive transform set
CN112543337B (zh) * 2020-09-27 2023-05-02 腾讯科技（深圳）有限公司 视频解码方法、装置、计算机可读介质及电子设备
CN113592966B (zh) * 2021-08-04 2024-04-30 上海哔哩哔哩科技有限公司 图像处理方法及装置、电子设备和存储介质
US11856227B2 (en) * 2022-05-26 2023-12-26 Mediatek Inc. Transform architecture in video encoding systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120147955A1 (en) * 2010-12-10 2012-06-14 Madhukar Budagavi Mode Adaptive Intra Prediction Smoothing in Video Coding
CN103370939A (zh) * 2011-06-30 2013-10-23 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
WO2015079179A1 (fr) * 2013-11-29 2015-06-04 Orange Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
US8644382B2 (en) * 2007-06-29 2014-02-04 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image decoding device, image decoding method, program, and storage medium
JP5215165B2 (ja) * 2008-12-24 2013-06-19 株式会社情報システム総合研究所 画像圧縮装置、および画像圧縮方法
KR20110106403A (ko) * 2009-01-27 2011-09-28 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
BRPI1014257B1 (pt) * 2009-04-08 2021-03-09 Sharp Kabushiki Kaisha aparelho de codificação de vídeo e aparelho de decodificação de vídeo
US8451903B2 (en) * 2009-05-14 2013-05-28 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
KR20110071231A (ko) * 2009-12-21 2011-06-29 엠텍비젼 주식회사 부호화 방법, 복호화 방법 및 장치
CN103096053B (zh) * 2011-11-04 2015-10-07 华为技术有限公司 一种变换模式的编解码方法和装置
AU2012200319B2 (en) * 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
US9602826B2 (en) * 2014-06-27 2017-03-21 Massachusetts Institute Of Technology Managing transforms for compressing and decompressing visual data
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120147955A1 (en) * 2010-12-10 2012-06-14 Madhukar Budagavi Mode Adaptive Intra Prediction Smoothing in Video Coding
CN103370939A (zh) * 2011-06-30 2013-10-23 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
WO2015079179A1 (fr) * 2013-11-29 2015-06-04 Orange Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ADRIA ARRUFAT ET AL: "《Rate-distortion optimized transform competition for intra coding in HEVC》", 2014 IEEE VISUAL COMMUNICATIONS AND IMAGE PROCESSING CONFERENCE, pages 73 - 76 *
ANGBYUNG KANG ET AL: "《Fast transform unit decision for HEVC》", 2013 6TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING(CISP ), pages 26 - 30 *

Also Published As

Publication number Publication date
JP2018524923A (ja) 2018-08-30
FR3038196A1 (fr) 2016-12-30
KR20180021879A (ko) 2018-03-05
EP4102840A1 (fr) 2022-12-14
WO2017001741A1 (fr) 2017-01-05
PL3314897T3 (pl) 2023-01-16
ES2930636T3 (es) 2022-12-20
CN107710763B (zh) 2021-02-02
CN112804529B (zh) 2024-02-23
JP7110441B2 (ja) 2022-08-01
EP3314897B1 (fr) 2022-09-07
US11451777B2 (en) 2022-09-20
US20210136382A1 (en) 2021-05-06
US10924737B2 (en) 2021-02-16
CN107710763A (zh) 2018-02-16
JP2021114786A (ja) 2021-08-05
EP3314897A1 (fr) 2018-05-02
JP6873930B2 (ja) 2021-05-19
US20180199037A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN107710763B (zh) 用于对数字图像进行编码的方法、解码方法、装置
US20230283799A1 (en) Method for generating prediction block in amvp mode
CN111819853B (zh) 图像块编码装置和图像块编码方法
EP3439304A1 (en) Method and apparatus for processing video signal
KR101772459B1 (ko) 신규한 인트라 예측 모드
CN108777793B (zh) 解码显著性图的装置
KR20170026536A (ko) 디지털 이미지를 인코딩하기 위한 방법 및 연관된 디코딩 방법, 디바이스들 및 컴퓨터 프로그램들
KR101981905B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
EP2168382B1 (en) Method for processing images and the corresponding electronic device
US10602155B2 (en) Intra prediction method and apparatus
CN104662908A (zh) 深度图译码
EP2611156A1 (en) Apparatus and method for encoding depth image by skipping discrete cosine transform (dct), and apparatus and method for decoding depth image by skipping dct
KR20190039562A (ko) 레이어드 기븐스 변환을 이용하여 변환을 수행하는 방법 및 장치
EP3306928A1 (en) Method and apparatus for encoding a video
US20180020216A1 (en) Method for encoding a digital image, decoding method, devices, and associated computer programmes
CN108781292B (zh) 用于对数字图像进行编码的方法以及相关联的解码方法、设备、用户终端和计算机程序
KR20160091392A (ko) 이미지를 인코딩하고 디코딩하기 위한 방법, 이미지를 인코딩하고 디코딩하기 위한 디바이스 및 상응하는 컴퓨터 프로그램
KR101626450B1 (ko) 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US20170353722A1 (en) A method for encoding a digital image, decoding method, devices, and associated computer programs
KR101927970B1 (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US20200195969A1 (en) Method for coding a digital image, decoding method, devices, terminal equipment and related computer programs
KR20170120634A (ko) 벡터 양자화에 의한 이미지들의 인코딩
KR20220121747A (ko) 비디오 신호 부호화/복호화 방법 및 상기 부호화 방법에 의해 생성된 데이터 스트림을 저장하는 기록 매체
KR101626449B1 (ko) 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
KR101603693B1 (ko) 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: French cesson Sevigne

Applicant after: Fondarcy umbikam

Address before: French cesson Sevigne

Applicant before: B-COM

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant