CN107925757A - 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序 - Google Patents

对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序 Download PDF

Info

Publication number
CN107925757A
CN107925757A CN201680049338.3A CN201680049338A CN107925757A CN 107925757 A CN107925757 A CN 107925757A CN 201680049338 A CN201680049338 A CN 201680049338A CN 107925757 A CN107925757 A CN 107925757A
Authority
CN
China
Prior art keywords
prediction mode
transform operation
prediction
group
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680049338.3A
Other languages
English (en)
Other versions
CN107925757B (zh
Inventor
皮埃瑞克·菲利普
阿德里亚·阿鲁法特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ao Lanzhi
Original Assignee
Ao Lanzhi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ao Lanzhi filed Critical Ao Lanzhi
Priority to CN202211418498.4A priority Critical patent/CN115802030A/zh
Publication of CN107925757A publication Critical patent/CN107925757A/zh
Application granted granted Critical
Publication of CN107925757B publication Critical patent/CN107925757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种对被切分成多个块的至少一个图像(ICj)进行编码的方法,所述方法针对所述图像的有待编码的当前块(Bi)实现以下各项:‑根据从多个预定预测模式当中选择的预测模式(MPs)对所述当前块进行预测(C3),‑计算(C4)表示在完成所述预测后所获得的预测子块(BP最优)与所述当前块之差的残差数据块,‑对所述残差块的数据应用(C6)变换运算,所述变换运算属于之前与所选择的预测模式相关联地存储(C0)的一组变换运算,‑对在完成所述变换运算后所获得的数据进行编码(C8),所述编码方法的特征在于,在存储(C0)与所述选择的预测模式相关联的这组变换运算的过程中,所述组中所包含的变换运算的数量不同于与所述多个预定预测模式当中的至少一个其他预定的预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。

Description

对图像进行编码和解码的方法、用于对图像进行编码和解码 的设备及其相应的计算机程序
发明领域
本发明总体上涉及图像处理领域,并且更确切地,涉及对数字图像以及数字图像序列的编码和解码。
对数字图像的编码/解码具体地适用于由至少一个视频序列所产生的图像,这些图像包括以下各项:
-由同一个照相机所产生的并且在时间上彼此相接的图像(2D类型的编码/解码),
-由根据不同视图定向的各个照相机所产生的图像(3D类型的编码/解码),
-相应的纹理分量和深度分量(3D类型的编码/解码),
-等。
本发明以类似的方式适用于对2D类型或3D类型的图像的编码/解码。
本发明可以具体但不排他地应用于在AVC和HEVC当前视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中所实现的视频编码,并且应用于相应的解码。
现有技术
当前视频编码器(MPEG、H.264、HEVC等)使用视频序列的分块表示。所述图像被分割成多个块,所述块容易以递归的方式再次被分割。接下来,通过图像内或图像间预测对每个块进行编码。因此,借助于本领域技术人员已知的运动补偿,通过空间预测(帧内预测)对某些图像进行编码,还通过时间预测(帧间预测)关于一个或多个经编解码的参考图像对其他图像进行编码。
针对每个块对与通过预测而减少的原始块相对应的残差块(也称为预测残差)进行编码。注意,在具体情况下,可以省略所述预测,残差块则然后与原始块等效。借助于数学变换运算对残差块进行变换,并且然后借助于例如标量类型的数学量化运算对其进行量化。为了简化,所述数学变换运算在下文将被称为“变换”并且数学量化运算在下文将被称为“量化”。
在完成量化步骤后获得系数。之后按照读取顺序对所述系数进行遍历,所述读取顺序取决于已经选择的编码模式。例如,在HEVC标准中,读取顺序取决于所执行的预测并且可以按照“水平”、“竖直”或“对角”顺序执行。
在完成前述遍历后,获得一维系数列表。然后通过熵编码以位的形式对这个列表中的系数加以编码,其目的在于对所述系数进行无损耗编码。
在熵编码之后获得的位被写入旨在被传输至解码器的数据信号或流中。
按照本身已知的方式,这种信号包括:
-包含在前述列表中的量化系数,
-表示所使用的编码模式的信息,具体地:
·预测模式(帧内预测、帧间预测、执行不向解码器传输信息的预测的默认预测(被称为“跳过(skip)”));
·指定预测类型的信息(定向、参考图像等);
·块的切割类型;
·运动信息(需要的话);
·等。
一旦所述流已经被解码器接收,那么通过逐图像地并且针对每个图像逐块地完成解码。针对每个块,读取所述流中的相应元素。执行块的系数的逆量化和逆变换以产生经解码的预测残差。接下来,计算对块的预测并且通过将预测添加到经解码的预测残差中来重构所述块。
公认地,刚刚已经描述的常规编码/解码技术允许改进编码性能。根据视频上下文,尤其允许:
-针对用于传输图像的网络的给定比特率改进图像质量,
-针对事先设置的图像质量标准降低图像的传输比特率。
然而,这种编码性能目前未优化并且可能得到进一步改善,尤其是从获得最佳存储器资源/编码性能折中的角度来看。
具体地,这种优化可能涉及前述变换。这常规地是线性变换,所述线性变换当应用于包含确定数量K(K≥1)个像素的残差块时使得可以获得具有K个系数的集合。在当前视频编码器/解码器(MPEG、H.264、HEVC等)中,与给定预测模式相关联地存储单一变换。
在视频编码的领域,离散余弦变换(DCT)或离散正弦变换(DST)通常是被偏爱的,具体由于以下原因:
-这些是块变换,并因此易于彼此独立地操纵这些块,
-它们对于在频域中压缩信息是高效的,其中,进行比特率降低运算。
按照常规的方式,这种变换可以是可分离类型或不可分离类型的。
对待可分离类型的变换,根据第一种情况,将第一变换Al应用于具有以M×N矩阵形式组织的K个像素的残差块x,其中,Al是尺寸为M×M的数据矩阵并且M、N是大于或等于1的自然整数。在完成应用这个第一变换后,获得了第一经变换块Al.x。
之后对所述经变换块Al.x应用转置运算t。在完成此转置后获得经转置的块(Al.x)t
最后,对经转置的块(Al.x)t应用第二变换Ac,其中,Ac是尺寸为N×N的数据矩阵。在完成应用这个第二变换后,获得了具有K=N×M个像素的第二经变换块X,从而使得:
X=Ac·(Al·x)t
根据第二种情况,将应用变换Al和Ac的顺序颠倒。然后可以按照以下方式来写具有K=N×M个像素的第二经变换块X:
X=Al·(Ac·xt)t
根据这个第二种情况获得的经变换块X与根据第一种情况获得的经变换块X类似,从而在转置内。
在残差块x为正方形即M=N的具体情况下,矩阵Al和Ac具有相同的尺寸。
在解码后,按照本身已知的方式,应用与上文所述那些变换相逆的变换。
因而,如果根据第一种情况已经应用了变换,则相应的逆变换使得可以借助于以下计算获得残差块x:
x=Al-1·(Ac-1·X)t
因而,如果根据第二种情况已经应用了变换,相应的逆变换使得可以借助于以下计算获得残差块x:
x=(Ac-1·(Al-1·X)t)t
Al-1和Ac-1表示变换Al和Ac的对应逆变换。它们使得可以基于经变换块X的值获得残差块x的值。矩阵Al-1和Ac-1一般分别被称为Al和Ac的逆矩阵,在所述矩阵被选择为正交的情况下,它们分别对应于Al和Ac的转置矩阵。
对待不可分离类型的变换,在编码后可以将其写为以具有维度1×K的向量形式计算的残差块x与尺寸为K×K的矩阵A相乘。然后可以按照以下方式来写在完成应用此变换后所获得的经变换块X:
X=A·x
在解码后,逆变换在于:将经变换块X乘以A的逆矩阵A-1,当A正交时,所述逆矩阵是A的转置。这种逆变换使得可以获得以下残差块x:
x=A-1·X
在视频编码领域,已经提出了(具体在公开“针对HEVC帧内编码的取决于不可分离模式的变换(Non-separable mode dependent transforms for Intra coding in HEVC),Adrià Arrufat等人,VCIP 2014”中)提高每个所提出的预测模式的变换数量。因而,在可以根据三十五种不同空间预测模式实现的根据HEVC标准的空间预测框架中,提出了与这35种预测模式中的每一种分别相关联地存储16种变换。在选择了预测模式时,根据预定的编码性能标准,比如本领域技术人员熟知的比特率失真标准,从针对这种预测模式而存储的16种变换当中选择变换。
因而,针对所考虑的每种预测,变换应用步骤与预测残差信号的本质最好地适配,并且根据本领域技术人员熟知的针对给定比特率的失真标准来改善编码性能。
然而,借助这种方式,有待添加从而能够实现这种适配的变换的量对存储器资源有影响,所述存储器资源有待在必须存储针对所考虑预测中的每种预测的变换的编码器处、以及在必须同样已知所述变换从而应用在编码后所应用的变换的逆变换的解码器处同一时间使用。
因而,如果考虑可分离变换的情况(这是视频编码的一般框架),则可以根据变换的总数(NT)估计存储需求,从而使得NT=n*NMP,其中,n是每种预测模式有待提供的变换数量并且NMP是所提出的预测模式的数量。更具体地,在使用例如尺寸为8×8的变换(将其系数存储在一个字节上)的HEVC编码的情况下,必须存储2种变换(竖直和水平),由此需要至少(2*8*8*n*NMP)/1024=4.375千字节,其中,n=1且NMP=35。
在下文表格的第一行中表示这种配置。针对这种配置,还表示了所获得的编码性能。这种性能对应于比特率增益,即对应于在不影响编码性能(以恒定的失真)的情况下获得的百分比比特率减小。接下来的行表示在与35种空间预测模式中的每一种相关联地分别存储两种、四种、八种、十六种8×8变换时所需的存储器资源的演进,以及相应的编码性能。
应该注意的是,根据上述表格,存储器的量随着每种预测模式的有待提供的变换的数量而线性地提高,并且与当前编码器所需的存储量相比变得大量,比如像HEVC编码器,针对此编码器,专用于存储变换的存储器的量为约1kb。
此外,观察到的是,相对于HEVC中所需的1kb的最大存储器量,最高的编码性能(2.48%的比特率增益)需要560kb的不可忽视的存储器量。
即使2.48%的比特率增益被证明是有益的,考虑到,就经处理数据量而论,用于视频编码/解码系统的硬件实施的存储器必须较快,用于存储560种变换以便获得这种增益的具有70kb容量的存储器被证明太昂贵。
发明主题和发明内容
本发明的目的之一是补救上述现有技术的缺点。
出于此目的,本发明的主题涉及一种对被分割成多个块的至少一个图像进行编码的方法,所述方法针对所述图像的有待编码的当前块实现以下各项:
-根据从多个预定预测模式当中选择的预测模式对所述当前块进行预测,
-计算表示在完成所述预测后所获得的预测子块与所述当前块之差的残差数据块,
-对所述残差块的数据应用变换运算,所述变换运算属于事先与所选择的预测模式相关联地存储的一组变换运算,
-对继完成所述变换运算后所获得的数据进行编码。
这种编码方法值得注意之处在于,在存储与所述选择的预测模式相关联的所述一组变换运算的过程中,这个组中所包含的变换运算的数量不同于:与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
这种安排使得当每种预测模式存在若干种变换运算时可以:
-或者,相对于现有技术的编码器的存储器资源,着眼于变换矩阵的存储而显著地减少编码器的存储器资源,而不由此损害关于当前块的编码性能,
-或者,相对于现有技术的编码器的存储器资源,着眼于变换矩阵的存储,提高关于当前块的编码性能,而不由此要求增加编码器的存储器资源。
根据具体实施例,对于分别与所述多个预定预测模式中的两个预测模式相关联地存储的至少两组变换运算,所述两组中的每一组中变换运算的数量共同地包含至少一个完全相同的变换运算。
这种安排使得可以着眼于变换矩阵的存储而进一步减少编码器的存储器资源。
因而,例如,在HEVC标准的框架内,至少两组变换运算可以共同包含:
-单一变换运算,例如DCT类型的变换,
-两种变换运算,例如DCT类型的变换和DST类型的变换,
-等。
根据另一具体实施例,与所述选择的预测模式相关联的所述一组变换运算是与所述多种预定预测模式中的至少一种其他预测模式相关联地存储的。
这种安排使得可以着眼于变换矩阵的存储仍进一步减少编码器的存储器资源。
本发明提出了各种根据预测模式确定变换运算的数量的方式,从而优化“存储器资源/编码性能”折中。
根据具体实施例,在与同竖直或水平预测方向相关联的预测模式的情况下所确定的变换运算的数量大于在与同倾斜预测方向相关联的预测模式的情况下所确定的变换运算的数量。
根据另一具体实施例,预测模式情况下(针对所述预测模式,通过对所述当前块的边缘的两个以上像素取平均来计算所述预测)所确定的变换运算的数量大于或等于针对任何其他预测模式所确定的变换运算的数量。
根据又另一具体实施例,所述多个预定预测模式中已经事先被选择为最可能预测模式的预测模式的情况下所确定的变换运算的数量大于未事先被选择为最可能预测模式的预测模式的情况下所确定的变换运算的数量。
根据又另一具体实施例,根据表示所选择的预测模式的信息量来确定与所选择的预测模式相关联地存储的所述一组变换运算中所包含的变换运算的数量。
后者安排还使得可以简单地并以在“存储器资源/编码性能”折中方面最优的方式计算有待用于给定的预定预测模式的变换运算的数量。
前述各种模式或实施例的特性可以被独立地或者彼此组合地添加到在上文定义的编码方法的步骤中。
本发明还涉及一种用于对被分割成多个块的至少一个图像进行编码的设备,所述设备包括处理电路,所述处理电路针对所述图像的有待编码的当前块被设计成:
-根据从多个预定预测模式当中选择的预测模式对所述当前块进行预测,
-计算表示在完成所述预测后所获得的预测子块与所述当前块之差的残差数据块,
-对所述残差块的数据应用变换运算,所述变换运算属于事先与所述选择的预测模式相关联地存储的一组变换运算,
-对继完成所述变换运算后所获得的数据进行编码,
根据本发明的编码设备的值得注意之处在于,所述处理电路被设计成存储与所述选择的预测模式相关联的所述一组变换运算,所述组中所包含的变换运算的数量不同于:与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
这种编码设备具体能够实现上述编码方法。
本发明还涉及一种对表示被分割成多个块的至少一个图像的数据信号进行解码的方法,所述方法针对有待解码的当前块实现以下各项:
-在所述数据信号中确定:
·表示与所述有待解码的当前块相关联的当前残差块的数据,
·所述有待解码的当前块的预测模式,这种预测模式属于多个预定预测模式,
-根据所述已确定预测模式预测所述当前块,
-对代表所述残差块的数据应用变换运算,所述变换运算属于事先与所述已确定预测模式相关联地存储的一组变换运算,
-借助在完成所述预测后所获得的预测子块并借助继所述变换运算后所获得的数据来重构所述当前块。
这种解码方法的值得注意之处在于,在与所述确定预测模式相关联地存储的所述一组变换运算的过程中,这个组中所包含的变换运算的数量不同于:与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
按照与编码器类似的方式,这种安排对解码器是有利的,解码器必须也已知所述变换从而应用在编码时应用的变换的逆变换。具体地,这种安排使得当每种预测模式存在若干种变换运算时可以:
-或者,相对于现有技术的解码器的存储器资源,着眼于变换矩阵的存储而显著地减少解码器的存储器资源,而不由此损害当前块的重构质量,
-或者,相对于现有技术的解码器的存储器资源,着眼于变换矩阵的存储,提高当前块的重构质量,而不由此要求增加解码器的存储器资源。
根据具体实施例,对于分别与所述多个预定预测模式中的两个预测模式相关联地存储的至少两组变换运算,所述两组中的每一组中变换运算的数量共同地包含至少一个完全相同的变换运算。
根据另一具体实施例,与所述已确定预测模式相关联的所述一组变换运算是与所述多种预定预测模式中的至少一种其他预测模式相关联地存储的。
根据又另一具体实施例,在与同竖直或水平预测方向相关联的预测模式的情况下所确定的变换运算的数量大于在与同倾斜预测方向相关联的预测模式的情况下所确定的变换运算的数量。
根据又另一具体实施例,预测模式情况下(针对所述预测模式,通过对所述当前块的边缘的两个以上像素取平均来计算所述预测)所确定的变换运算的数量大于或等于针对任何其他预测模式所确定的变换运算的数量。
根据又另一具体实施例,所述多个预定预测模式中已经事先被选择为最可能预测模式的已确定预测模式的情况下所确定的变换运算的数量大于未事先被选择为最可能预测模式的已确定预测模式的情况下所确定的变换运算的数量。
根据又另一具体实施例,根据表示已确定预测模式的信息量来确定与已确定预测模式相关联地存储的所述一组变换运算中所包含的变换运算的数量。
上述各种模式或实施例的特性可以被独立地或者彼此组合地添加到在上文定义的解码方法的步骤中。
本发明还涉及一种用于对表示被分割成多个块的至少一个图像的数据信号进行解码的设备,所述设备包括处理电路,所述处理电路针对有待解码的当前块被设计成:
-在所述数据信号中确定:
·表示与所述有待解码的当前块相关联的当前残差块的数据,
·所述有待解码的当前块的预测模式,这种预测模式属于多个预定预测模式,
-根据所述已确定预测模式预测所述当前块,
-对代表所述残差块的数据应用变换运算,所述变换运算属于事先与所述已确定预测模式相关联地存储的一组变换运算,
-借助在完成所述预测后所获得的预测子块并借助继所述变换运算后所获得的数据来重构所述当前块。
根据本发明的解码设备的值得注意之处在于,所述处理电路被设计成存储与所述已确定预测模式相关联的所述一组变换运算,所述组中所包含的变换运算的数量不同于:与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
这种解码设备具体能够实现上述解码方法。
本发明进一步涉及一种计算机程序,所述计算机程序包括指令,当所述计算机程序在计算机上执行时,所述指令用于实现根据本发明的编码和解码方法之一。
本程序可以使用任何编程语言并且可以是源代码、目标代码或者是介于源代码与目标代码之间的代码的形式,如是部分编译形式,或是任何其他令人期望的形式。
本发明还设想了一种可由计算机读取的记录介质,在所述记录介质上记录有计算机程序,这种程序包括适用于实现比如上文所述的根据本发明的编码方法或解码方法之一的指令。
本发明还设想了一种可由计算机读取的记录介质,在所述记录介质上记录有计算机程序,这种程序包括适用于实现如上文所述的根据本发明的编码方法或解码方法的指令。
所述记录介质可以是能够存储程序的任何实体或设备。例如,所述介质可以包括存储装置,如ROM(例如CD ROM或微电子电路ROM)、或其他磁记录装置(例如USB密匙或硬盘)。
另外,所述记录介质可以是可经由电缆或光缆、通过无线电或通过其他手段输送的可传输介质(如电信号或光信号)。根据本发明的程序可以具体地从互联网类型的网络进行下载。
替代性地,所述存储介质可以是所述程序所并入的集成电路,所述电路被适配为用于执行或用于执行上述编码方法或解码方法。
附图说明
其他特性和优点将在阅读参照附图所描述的优选实施例后变得明显,在附图中:
-图1表示根据本发明的编码方法的步骤,
-图2表示根据本发明的编码设备的实施例,
-图3表示根据本发明的一个实施例的用于确定每种预测模式的可变数量的变换的方法的步骤,
-图4表示一表格,所述表格展示了:根据图3的确定方法连续添加十六种变换之后,每种预测模式确定的变换数量,
-图5表示了比较图表,所述比较图表比较了比如继实现图3的迭代法后获得的存储器资源/编码性能折中、以及借助每种预测模式的完全相同数量的变换而获得的存储器资源/编码性能折中,
-图6A表示根据其相应角度的对称性对各种帧内预测模式的第一示例性分组,
-图6B表示根据其相应角度的对称性对各种帧内预测模式的第二示例性分组,
-图7表示一图形,所述图形展示了三十三种HEVC帧内预测模式与其相应的角度方向之间的关系,
-图8表示根据其相应角度的对称性对各种帧间预测模式的示例性分组,
-图9表示一表格,所述表格展示了根据图3的确定方法的变体连续添加十六种变换之后每组预测模式确定的变换数量,
-图10表示根据本发明的解码设备的实施例,
-图11表示根据本发明的解码方法的主要步骤。
编码部分的具体实施方式
现在将对本发明的实施例进行描述,在所述实施例中,根据本发明的编码方法用于根据二进制流对图像或图像序列进行编码,所述二进制流与通过在符合当前或未来视频编码标准中的任何一项的编码而获得的二进制流相近。
在本实施例中,例如采用软件或硬件方式通过对初始符合当前或未来视频编码标准中任一项的编码器进行修改来实现根据本发明的编码方法。采用包括如图1中所表示的步骤C0至步骤C9的算法的形式来表示根据本发明的编码方法。
根据本发明的实施例,根据本发明的编码方法在图2中所表示的编码设备CO中实现。
如图2中所展示的,这种编码器设备包括:
-用于接收有待编码的当前图像的输入端ENT_C,
-用于实现根据本发明的编码方法的处理电路CT_C,所述处理电路CT_C包含:
·包括缓冲存储器MT_C的存储器MEM_C,
·由计算机程序PG_C驱动的处理器PROC_C,
-用于传递已编码流的输出端SOR_C,所述已编码流包含在完成对当前图像的编码后所获得的数据。
在初始化时,计算机程序PG_C的代码指令在被处理电路CT_C执行之前,被例如加载至RAM存储器MR_C中。
图1中所表示的编码方法适用于任何当前图像ICj,所述当前图像是固定的或者形成待编码的L个图像IC1、……、ICj、……、ICL(1≤j≤L)的序列的一部分。
在图1中所表示的步骤C1的过程中,按照本身已知的方式,将当前图像ICj分区成例如尺寸为M×M个像素的多个块B1、B2、……、Bi、……、BS(1≤i≤S),其中,M是大于或等于1的自然整数。这种分区步骤由图2中所表示的分区软件模块MP_C来实现,所述模块由处理器PROC_C驱动。
应注意的是,在本发明的含义内,术语“块”表示编码单元。在HEVC标准“ISO/IEC/23008-2推荐ITU-T H.265高效视频编码(HEVC)”中具体使用后一个术语。
具体地,这种编码单元将矩形或正方形形状(也被称为块、宏块)的像素集合或其他呈其他几何形状的像素集合分组在一起。
所述块B1,B2,…,Bi,…,BS旨在根据预先确定的遍历顺序被编码,所述预先确定的遍历顺序例如是词典编辑类型的。这表示这些块一个接一个、从左到右地被编码。
其他类型的遍历当然也是可能的。由此,有可能将图像ICj分割成若干个被称为切片的子图像并单独地针对每个子图像而应用这种类型的分割。如以上所解释的,还可以不是逐行地而是逐列地进行编码。还可以在任一方向上遍历行或列。
而且,每个块本身可以被划分为本身可再分的子块。
在图1中所表示的步骤C2的过程中,编码器CO将图像ICj的有待编码的第一块Bi(比如像第一块B1)选择为当前块。
在图1中所表示的步骤C3的过程中,通过已知的帧内和/或帧间预测技术对当前块Bi进行预测。出于此目的,根据从多个预定预测模式MP0、MP1、……、MPv、……、MPR中选择的预测模式MPs关于至少一个预测子块对块Bi进行预测,其中,0≤v≤R+1且0≤s≤R+1。
按照本身已知的方式,关于多个候选预测子块对块Bi进行预测。候选预测子块中的每个候选预测子块为已经被编码或者实际被编码并且然后被解码的像素块。将此类预测子块事先存储在编码器CO的缓冲存储器MT_C中,比如图2中所表示的。
在完成预测步骤C3后,在将所述预定预测模式置于竞争状态之后,例如通过将本领域技术人员众所周知的失真比特率标准最小化而获得最优预测子块BP最优。块BP最优被认为是近似当前块Bi。与此预测有关的信息旨在被写入有待传输至解码器的数据信号或流中。这类信息具体包括预测类型(帧间或帧内)以及所选的预测模式MPs(如果相关的话)、当前块的分区类型(如果当前块已经被再分的话)、参考图像索引以及在已经选择帧间预测模式的情况下使用的位移矢量。编码器CO对此信息进行压缩。
在图1中所表示的步骤C4的过程中,将与当前块Bi相关的数据与预测子块BP最优的数据进行比较。更确切地,在此步骤的过程中,常规地对获得的预测子块BP最优与当前块Bi之间的差异进行计算。
然后,在完成步骤C4后获得被称为残差块Bri的数据集。
步骤C3和C4由图2中所表示的预测编码软件模块PRED_C来实现,所述模块由处理器PROC_C驱动。
在图1中所表示的步骤C5的过程中,图2的编码器CO确定对残差块Bri的变换。这种变换可以是例如:
-比如像DCT类型的离散余弦变换等直接变换,
-比如像DST类型的离散正弦变换等直接变换,
-如公开“针对HEVC帧内编码的率失真经优化的变换竞争(Rate-distortionoptimised transform competition for intra coding in HEVC),AdriàArrufat、Pierrick Philippe、Olivier Déforges,IEEE VCIP,2014年12月”中所提出的在失真比特率方面经优化的块变换,
-DWT类型的小波变换,
-包括以下类型重叠的变换:比如公开“借助重叠的正交变换减少图像编码的阻挡效应(Reduction of blocking effects in image coding with a lapped orthogonaltransform),H.Malvar”中所提出的重叠变换类型,
-或任何其他类型的可利用变换。
所述变换属于一组变换,在图1中所表示的在先存储步骤C0的过程中,与所选择的预测模式MPs相关联地将这组变换存储在图2的缓冲存储器MT_C中。在这个存储步骤的过程中:
-与包含数量NB0个变换的一组变换相关联地存储预定预测模式MP0
-与包含数量NB1个变换的一组变换相关联地存储预定预测模式MP1
-…
-与包含数量NBv个变换的一组变换相关联地存储预定预测模式MPv
-…
-与包含数量NBR个变换的一组变换相关联地存储预定预测模式MPR
根据本发明,针对属于所述多种预定预测模式MP0,MP1,…,MPv,…,MPR(其中,0≤a≤R+1且0≤b≤R+1)的至少两种不同预测模式MPa、MPb,与预测模式MPa相关联的所述一组变换中所包含的变换的数量(表示为NBa)不同于与预测模式MPb相关联地存储的一组变换中所包含的变换的数量(表示为NBb)。
根据第一示例性实施例,对于分别与所述多种预定预测模式MP0,MP1,…,MPv,…,MPR中的两种预测模式相关联地存储的至少两组变换,所述两组中的每一组中的变换的数量共同地包含至少一个完全相同的变换运算。
例如,在根据HEVC标准的编码的情况下,所述两组中的每一组中的变换的数量可以例如共同包含:
-DST类型的变换或另外DCT类型的变换,
-两种变换,一种是DCT类型,另一种是DST类型,
-共有的两种以上变换。
而且,两组以上变换可以共同包含至少一种完全相同的变换运算。仍然在根据HEVC标准的编码情况下,并且更具体地在符合提出了三十五种可能的预测方向DPI0,DPI1,…,DPI34的这个标准的帧内预测的情况下,分别与这三十五个预测方向中的每一个相关联的变换组可以共同包含至少一种完全相同的变换运算。
根据图2中所表示的第二示例性实施例,与所述多种预定预测模式MP0,MP1,…,MPv,…,MPR(其中,0≤u≤R+1)中表示为MPu的至少一种其他预测模式相关联地存储与所述选择的预测模式MPs相关联并包含数量NBs种变换的所述一组变换。
因而,根据与步骤C4中所选择的预测模式MPs相关联的所述一组变换中所包含的数量NBs种变换,前述确定步骤C5在于:
-或者,读取表示为Ts,k的单一变换,如果与预测模式MPs相关联的所述一组变换仅包含一种变换,即在NBs=1的情况下,
-或者,从若干种变换当中选择表示为例如Ts,k*(其中,0≤k*≤N-1)的一种变换,如果与预测模式MPs相关联的所述一组变换包含不止一种变换,即在NBs>1的情况下,根据预定的编码性能标准实现这种选择,例如:
·通过将本领域技术人员众所周知的比特率/失真标准最小化,
·或通过仅将比特率最小化,
·或通过仅将失真最小化,
·或通过将本领域技术人员众所周知的比特率失真/复杂度折中最小化,
·或通过仅将效率最小化,
·或通过仅将复杂度最小化。
要想到的是,在视频编码背景下,例如由残差块的系数的变换的计算中所涉及的数学运算(加、乘、二进制移位)的数量的计数限定复杂度。
在图1中所表示的步骤C6的过程中,借助于变换Ts,k或Ts,k*来进行对残差块Bri的变换。由比如图2中所表示的变换软件模块MTR_C执行这种操作,所述模块由处理器PROC_C驱动。在完成步骤C6后,获得经变换块Bti
在图1中所表示的步骤C7的过程中,根据常规量化运算(比如像,标量或矢量量化)来量化经变换块Bti的数据。然后获得具有量化系数的块Bqi。步骤C7由比如图2中所表示的量化软件模块MQ_C来执行,所述模块由处理器PROC_C驱动。
在图1中,继变换应用步骤C6后,对量化步骤C7加以表示。然而,可以将步骤C7整合到步骤C6中,然后借助包括量化因子的整数来实现步骤C6。
按照本身已知的方式,在图1中所表示的步骤C8的过程中,对块Bqi的数据进行编码。这种编码例如为CABAC类型的熵编码(“上下文自适应二进制算术编码器”)或者算术或哈夫曼类型的熵编码。在完成步骤C8后获得与当前块Bi相关联的经编码数据d1,d2,…,dw,…,dV(1≤w≤V,其中,V是自然整数)。
步骤C8由图2中所表示的编码软件模块MC_C来实现,所述模块由处理器PROC_C驱动。
在图1中所表示的步骤C9的过程中,构造包含以下各项的数据信号或流F:
-在完成前述步骤C8后获得的经编码数据d1,d2,…,dw,…,dV
-步骤C5中所确定的变换Ts,k或Ts,k*的索引IDX。
可以例如以二进制码的形式将索引IDX写入所述流中。如果变换Ts,k或Ts,k*是与R+1个预定预测模式MP0,MP1,…,MPv,…,MPR分别相关联的R+1组变换公共的变换,则例如实现这种安排。索引IDX然后将被设为1或0,例如1。如果另一方面变换Ts,k或Ts,k*是与R+1个预定预测模式MP0,MP1,…,MPv,…,MPR分别相关联的R+1组变换的非公共变换,则索引IDX将包含具有值0的第一位,接着是表示变换Ts,k或Ts,k*的附加码字,此变换选自:与所选择的预测模式MPs相关联的所述一组变换中所包含的数量NBs种变换。借助CABAC编码器例如对具有值0的所述第一位进行编码如果变换的数量NBs是2的幂,则可以在固定长度上对附加码字进行编码。如果变换的数量NBs是2的幂或者不是,还可以在可变长度码上对附加码字进行编码。
步骤C9由比如图2中所表示的数据信号构造软件模块MCF来实现,所述模块由处理器PROC_C驱动。
之后,数据信号F被通过图2的编码器CO的输出端SOR_C传递,并且然后由通信网络(未表示)传输至远程终端。所述远程终端包括图10中所表示的解码器DO。
按照本身已知的方式,数据信号F进一步包括由编码器CO编码的某些信息,如在步骤C3中应用的预测类型(帧间预测或帧内预测)以及所选择的预测模式(如果相关的话)、在完成步骤C3后获得的已获得预测子块BP最优的索引(被指示为IBP最优)、当前块Bi的分割类型(如果所述当前块已经被分割的话)、参考图像索引以及在帧间预测模式中使用的运动向量。
之后,进行对残差块Bri的解码。然后获得经解码的残差块BDri。然后,通过将经解码的残差块BDri添加至最优预测子块BP最优,重构经解码的块BDi
应当注意的是,经解码块BDi与在完成解码图像ICj的方法后获得的经解码块是相同的,这将在说明书中稍后描述。因此,将使经解码块BDi可供图2的编码器CO使用。
之后,对于所考虑的当前图像ICj的待编码的块B1、B2、……,Bi、……、BS中的每个块,按预定顺序(所述预定顺序例如为词典编辑顺序)来实现上文刚刚已经描述的编码步骤C1至C9。
在帧内类型的HEVC编码的情况下,现在将根据本发明的第一实施例参照图3至图8对用于针对每种预定预测模式确定变换的数量的方法进行描述。
在实现图1的编码方法的步骤之前,进行以下步骤:
在图3中所表示的步骤ST1的过程中,确定了容易与给定的帧内预测模式相关联的最大数量nmax的变换。
在所表示的实施例中,nmax=16,这个数字能够包括或不包括HEVC标准的35种帧内预测模式ipm中的每一种所共有的至少一种HEVC变换。
在图3中所表示的步骤ST2的过程中,针对HEVC标准的三十五种帧内预测模式ipm中的每一种,将变换的数量初始化为零。在此步骤中,每种预测模式仅具有HEVC的预测类型(DCT或DST)的单一公共变换以及零附加变换。在图4的表格TB1中总结了这种步骤,其第一列列出了35种帧内预测模式ipm0至ipm34,并且其第一行列出了前十五次迭代(iter),在所述迭代中的每一次迭代的过程中添加变换。
针对所述前十五次迭代(iter)中的每一次迭代,下面还列出了表格TB1的第一列:
-继添加给定的变换后,根据最佳存储器资源/编码性能折中而选择的预测模式(ipm),
-自从第一次迭代(iter)后添加的完整数量(Nb)个变换,
-在编码器处用来存储所有所添加的变换的存储容量(ROM),
-所获得的编码性能(BDRate),即相对于HEVC编码器所获得的百分比比特率减少。
在表格TB1中,用iter=0表示初始化为零。
在图3中所表示的步骤ST3的过程中,进行第一次迭代iter=1,在这个过程中,添加第一种变换。
在图3中所表示的步骤ST4的过程中,针对这三十五种帧内预测模式中的每一种,计算编码性能并计算有待用于所添加变换的存储容量。
针对给定的帧内预测模式ipmx(其中,0≤x≤34)以及给定的迭代it(其中,it≥0),将所获得的编码性能即比特率增益表示为Rit,x,并且将用于存储所添加变换的相应存储容量表示为Mit,x
在图3中所表示的步骤ST5的过程中,针对这三十五种帧内预测模式中的每一种,计算所获得的比特率差异与所添加存储器差异之比a_x,从而使得:
a_x=(Rit,x-R0)/(Mit,x-M0),其中,R0和M0分别呈现了相对于HEVC标准(即在迭代it=0处)所保存的比特率和所添加的存储器。(R0=0,M0=0)。
在图3中所表示的步骤ST6的过程中,选择帧内预测模式ipmx,比例a_x针对此帧内预测模式表现最有利的值,即最大比特率针对最不可能添加的存储器资源而降低。
如图4的表格TB1的第三列中所表示的,针对第一次迭代it=1,比例a_0的值最有利且与帧内预测模式0相对应。与以下各项相关联地在表格的第三列底部指示这种模式的索引:
-相对于HEVC标准保存的比特率R1,即R1=0.2%,
-相对于HEVC标准添加的存储器M1,即M1=0.1kb。
在图3中所表示的步骤ST7的过程中,借助在这个第一次迭代过程中添加的变换来更新图2的编码器CO。
之后,针对每次迭代再次应用步骤ST3至ST7。
如图4中所展示的,表格TB1呈现了:当存储器资源(ROM)增加时,在进行的前十五次迭代期间如何根据迭代改善比特率增益(BDRate)。
因而,例如,在迭代iter=15,如表格TB1的最后一列中所表示的,比例a_28的值最有利且对应于帧内预测模式28。与以下各项相关联地在表格的最后一列底部指示这种模式的索引:
-相对于HEVC标准保存的比特率R15,即R15=1.01%,
-相对于HEVC标准添加的存储器M15,即M15=2kb。
而且,在迭代iter=15,表示了每种预测模式已经添加的变换的数量。因而:
-针对帧内预测模式0,已经添加了四种变换,
-针对帧内预测模式10和16,已经分别添加了两种变换,
-针对帧内预测模式1、8、9、11、14、25、27和28,已经分别添加了一种变换。
针对迭代iter=15,已经因此添加了共十六种变换。
现在参照图5介绍了:
-继实现图3的迭代方法后,直接结合图4的表格TB1,介绍了虚线曲线CB1,表示编码性能相对于所使用存储器资源的演进,
-实线曲线CB2,表示编码性能相对于所使用存储器资源的演进,比如借助现有技术状态的每种预测模式使用完全相同数量的变换的编码器所获得的。
通过比较两条曲线CB1和CB2,注意到的是,在实现用于确定每种预测模式的变换数量的迭代方法(比如图3中所表示的)时,显著地改善了针对给定内存占用的编码性能。相应地,比如图3中所表示的用于确定每种预测模式的变换数量的所述迭代方法使得可以获得存储所确定的变换所需的存储器资源的显著减少,以得到设想的编码性能。
为了评估所提供的增益,根据本发明,在存储容量方面,为了得到所设想的编码性能,下文中介绍了给出对以下各项的比较性概述的表格:固定和可变存储容量,以及借助根据本发明所使用的可变存储容量而获得的存储容量减少。
因而,为了得到设想的2.8%的比特率增益,现有技术的每种预测模式使用固定数量的变换的编码器的存储容量是140kb,同时,根据本发明的每种预测模式使用可变数量的变换的编码器的存储容量是60.4kb。根据本发明的编码器相对于现有技术状态的编码器的存储容量减少因而可以被估计为57%,以得到设想的2.8%的比特率增益。
所以,根据本发明的编码方法有利地使得可以获得高编码性能,相对于现有技术编码方法中所使用的存储容量,对于相对于变换的存储容量有有限的影响。
现在将参照图1至图3、图6A、图6B、图7至图9描述帧内类型的HEVC编码情况下实现的本发明的实施例,并且其中,事先与所述多种预定预测模式中的至少一种其他预测模式相关联地存储与在图1的步骤C3的过程中所选择的帧内预测模式相关联的所述一组变换。
在本示例中,在完成图1的步骤C3后,所获得的最优预测子块BP最优与最优帧内预测方向相关联,所述最优帧内预测方向是例如方向DPI22
根据本实施例,在这个其他帧内预测方向相对于帧内预测方向DPI22对称的条件下,在图1的步骤C0的过程中,与帧内预测方向DPI22相关联的所述变换(如果是唯一的)或所述一组变换事先与另一帧内预测方向相关联。以这种方式,将一半那么多的变换存储在编码器CO级别,并相应地存储在解码器级别,稍后在说明书中将对此加以描述,优点是编码器侧和解码器侧的存储器减少。
根据第一变体,表现出对称性的两个帧内预测方向与同一变换相关联或与同一组变换相关联。
根据第二变体,相对于竖直(或水平)方向各自呈完全相同的角度差异的两个帧内预测角方向与同一变换相关联或与同一组变换相关联。
因而,如图6A中所表示的,相对于水平轴线AH呈30°角的帧内预测角方向与相对于这条水平轴线对称地呈-30°角的帧内预测角方向相关联。参照图7,这两个帧内预测方向分别对应于方向DPI4和DPI16
类似地,如图6A中所表示的,相对于水平轴线呈-60°角的帧内预测角方向与相对于竖直轴线AV对称地呈-120°角的帧内预测角方向相关联。参照图7,这两个帧内预测方向分别对应于方向DPI20和DPI32
仍根据刚刚已经描述的示例并根据又另一实施例,在三种其他帧内预测方向相对于帧内预测方向DPI22对称的条件下,事先将与步骤C3中所选择的帧内预测方向DPI22相关联的所述一种变换或所述多种变换与这些其他帧内预测方向进行关联。以这种方式,将四分之一那么多的变换存储在编码器CO级别,并相应地存储在解码器级别,稍后在说明书将对此加以描述,优点是编码器侧和解码器侧的存储器减少。
根据第一变体,表现出对称性的四个帧内预测方向与同一变换相关联或与同一组变换相关联。
根据第二变体,相对于竖直轴线、水平轴线和对角轴线各自呈完全相同的角度的四个帧内预测角方向与同一变换相关联或与同一组变换相关联。
因而,如图6A中所表示的,相对于水平轴线AH呈30°角的帧内预测角方向与以下各项相关联:
-通过相对于这条水平轴线对称,与具有-30°角的帧内预测角方向相关联,
-通过相对于这条水平轴线并且然后相对于对角轴线AD对称,与呈-60°角的帧内预测角方向相关联,
-通过相对于对角轴线AD对称,与呈-120°角的帧内预测角方向相关联。
参照图7,这四个帧内预测方向分别对应于方向DPI4、DPI16、DPI20和DPI32
下文中的表格表示了九组HEVC帧内预测方向G1至G9,在图2的编码器CO的缓冲存储器MT_C中,这些组可以与比如根据本发明所确定的同一变换(如果唯一)或者一组变换相关联。
分别与如图7中所展示的预测方向DPI2、DPI18和DPI34相对应的比如图6B中所表示的以45°倍数(45°、-45°和-135°)的角方向被三个三个地分组在一起并且与同一变换或与同一组变换相关联。
根据上述分组的预测模式的获得,参照图1,会必须在确定变换的步骤C5之前进行步骤C40:对比如在完成图1的步骤C4后获得的残差块Bri的数据进行至少一次移位。在步骤C40的过程中,在残差块内部对所考虑的每条数据进行移位,同时保留其最近的邻居。
步骤C40由比如图2中所表示的计算软件模块CAL_C来实现,所述模块由处理器PROC_C驱动。
根据第一实施例,数据移位的类型是转置,即当前残差块的数据的行坐标和列坐标的交换。
根据第二实施例,数据移位的类型是镜像,即当前残差块的列或行的交换。因而在残差块内部对当前残差块Bri中所考虑的每条数据进行移位,同时保留其最近的邻居。
根据第三实施例,数据移位的类型是转置与镜像的组合,即:
-或者是,对当前残差块的数据应用转置类型的移位,紧接着应用镜像类型的移位,
-或者是,对当前残差块的数据应用镜像类型的移位,紧接着应用转置类型的移位。
此外,根据本发明的另一实施例,残差块Bri中数据移位的类型取决于所选择的预测模式MPs
参照图8,存在编号为从0至7的八种不同可能类型的移位,这允许残差块Bri的给定像素保留其相邻像素。例如,针对像素p7,后者总是被像素p2、p3、p4、p6、p8、p10、p11和p12包围。以具体的方式,应用于残差块Bri的类型0的镜像旋转使得可以获得经更改的残差块Bmri,所述经更改的残差块在目前情况下与残差块Bri相同。
另外,根据本发明,帧内预测方向根据其分组模式而与八类移位中的一类相关联。例如:
-与同一变换或与同一组变换相关联的帧内预测方向DPI22和DPI6本身分别与比如图8中所表示的类型0和类型5的镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI4和DPI16本身分别与比如图8中所表示的类型0和类型2的镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI20和DPI32本身分别与比如图8中所表示的类型0和类型1的镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI4、DPI16、DPI20和DPI32本身分别与比如图8中所表示的类型6、类型4、类型0和类型1的镜像旋转相关联。
现在参照图9展示一表格TB2,此表格呈现了:当至少两种预测模式与同一组变换相关联时,随着存储器资源(ROM)增加,在所执行的前十五次迭代期间如何根据迭代改善比特率增益(BDRate)。
因而,例如,在迭代iter=15,如表格TB2的最后一列中所表示的,比例a_28的值最有利且对应于帧内预测28。与以下各项相关联地在表格的第三列底部指示这种模式:
-相对于现有技术的编码方法保存的比特率R15,即R15=1.21%,
-相对于现有技术的编码方法添加的存储器M15,即M15=2.1kb。
而且,在迭代iter=15,表示了每种预测模式或每组预测模式已经添加的变换的数量。因而:
-针对帧内预测模式1和前述的帧内预测方向的分组G3和G5,已经分别添加了单一变换,
-针对前述的帧内预测方向的分组G6、G7和G9,已经分别添加了两种变换,
-针对帧内预测模式0和前述帧内预测方向的分组G8,已经分别添加了四种变换。
针对迭代iter=15,已经因此添加了共十七种变换。
表格TB2使得可以注意到:相对于不使用预测模式的这种分组的编码方法,专用于存储变换的存储器资源的约20%的显著减少。
为了根据本发明来评估伴随预测模式的这种分组的增益,在以下表格中呈现了在针对设想的编码性能的存储容量方面评估的增益,此表格给出了以下各项的比较性概述:现有技术的每种预测模式使用同一数量的变换的编码器中存在的固定存储容量以及根据本发明的编码器中存在的可变存储容量,以及借助可变存储容量而获得的存储容量减少。
因而,为了得到设想的1.7%的比特率增益,每种预测模式使用固定数量的变换的编码器的存储容量是17.5kb,同时,根据本发明的每种预测模式或每组预测模式使用可变数量的变换的编码器的存储容量仅为5.3kb。根据本发明的编码器相对于现有技术状态的编码器的存储容量减少因而可以被估计为70%,以得到设想的1.7%的比特率增益。
根据本发明的另一实施例,可以将用于确定每种预测模式或每组预测模式的变换数量的迭代方法替代为用于确定所述变换数量的自动方法。
当在某些编码背景下将图2的编码器CO限制为运行于给定的复杂度点时,所述自动确定方法可证明是必需的。在编码的过程中,则必须减少竞争中的变换的数量,从而限制具有最优变换的编码器在图1的步骤C5的过程中对选择的调查。
根据第一示例性实施例,使得在与同竖直或水平预测方向相关联的预测模式的情况下所确定的变换的数量大于在与同倾斜预测方向相关联的预测模式的情况下所确定的变换的数量。
在例如HEVC标准的情况下,本领域技术人员意识到,从这三十五种可用的帧内预测模式当中,模式0(平面的)和1(DC)是最平滑的模式,因为根据这两种模式的预测是通过对当前块的边缘的两个以上像素取平均而计算的。所以,在图1的步骤C0的过程中,与其他HEVC帧内预测模式相比,平面模式和DC模式与更大数量的变换相关联。
而且,按照本身已知的方式,模式10(水平)和26(竖直)用来预测图像的图案,所述图案是水平的或竖直的。在大自然中经常发现此类图案(例如:竖直的树、杆、水平线等),相比于与同倾斜的帧内预测模式相关联的变换数量,它们一定与更高数量的变换相关联。
根据第二示例性实施例,所述多个预定预测模式MP0,MP1,…,MPv,…,MPR中已经事先被选择为最可能预测模式的预测模式的情况下所确定的变换的数量大于未事先被选择为最可能预测模式的预测模式的情况下所确定的变换的数量。
在例如HEVC标准的情况下,在编码之前对被称为MPM(“Most Probable Mode”)的最可能预测模式的列表进行编译。具体地,模式0(平面)、1(DC)和26(竖直)是在编译所述列表时默认指定的预测模式。根据本发明,相比于与其他HEVC帧内预测模式相关联的变换的数量,在图1的存储步骤C0的过程中,这三种帧内预测模式因此事先与更高数量的变换相关联。
根据第三示例性实施例,与预定预测模式MP0,MP1,…,MPv,…,MPR中的每一种相关联地存储的所述一组变换中所包含的变换的数量是根据表示这些预测模式中的每一种预测模式的信息量而确定的。
在例如HEVC标准的情况下,与其他模式相比,将在更少的位上用信号通知最可能的帧内预测模式,比如0(平面)、1(DC)和26(竖直)。根据本发明,与其他帧内预测模式相比,其与更高数量的变换相关联因此是恰当的,因为这三种模式将比其他模式更加频繁地被选择,并且所以将存在有待以这三种模式测试的更加多样的预测子块。
因而,根据本发明,如果在更少的位上携带了具有预测模式的信令,则在图1的步骤C0的过程中与这种预测模式相关联地存储的变换的数量大于在所述一组三十五种帧内预测模式期间变换的平均数。
解码部分的具体实施方式
现在将对本发明的实施例进行描述,在所述实施例中,根据本发明的解码方法用于对数据信号或流进行解码,所述数据信号或流表示能够由符合当前或未来视频解码标准中的任何一项的解码器来解码的图像或图像序列。
在此实施例中,例如采用软件或硬件方式通过对这种解码器进行修改来实现根据本发明的解码方法。
采用包括如图11中所表示的步骤D0至步骤D9的算法的形式来表示根据本发明的解码方法。
根据此实施列,在图10中所表示的解码设备或解码器DO中实现根据本发明的解码方法。
如图10中所展示的,这种解码器设备包括:
-用于接收有待解码的当前数据信号或流F的输入端ENT_D,
-用于实现根据本发明的解码方法的处理电路CT_D,所述处理电路CT_D包含:
·包括缓冲存储器MT_D的存储器MEM_D,
·由计算机程序PG_D驱动的处理器PROC_D,
-用于传递所重构的当前图像的输出端SOR_D,所述重构的当前图像包含在完成根据本发明的方法的解码后所获得的数据。
在初始化时,在由处理电路CT_D执行计算机程序PG_D的代码指令之前,所述代码指令被加载至例如RAM存储器MR_D中。
将图11中所表示的解码方法应用于表示固定的或者属于待解码的图像序列的待解码当前图像ICj的数据信号或流F。
出于此目的,在解码器DO的输入端ENT_D处接收的并且如在完成图1的编码方法后传递的数据信号F中标识表示待解码的当前图像ICj的信息。
参照图11,在步骤D1的过程中,在信号F中确定与之前根据前述词典编辑顺序而编码的块B1,B2,…,Bi,…,BS中的每一个相关联的经编码残差块。
这种确定步骤D1由比如图10中所表示的流分析标识软件模块MI_D来实现,所述模块由处理器PROC_D驱动。
除了上文所述的遍历类型之外的其他遍历类型当然也是可能的并且取决于在编码时所选择的遍历顺序。
在所表示的示例中,有待解码的块B1,B2,…,Bi,…,BS具有例如正方形形状,并且例如尺寸为M×M个像素,其中,M是大于或等于1的自然整数。
而且,待解码的每个块本身可以被划分为本身可再分的子块。
在图11中所表示的步骤D2的过程中,图10的解码器DO将在完成图1的编码方法后已被编码的第一块选择为有待解码的当前块Bi
在图11中所表示的步骤D3的过程中,例如通过解码,确定与有待解码的当前块Bi相关联的残差数据d1,d2,…,dw,…,dV,在图1的步骤C8的过程中已经对所述残差数据加以编码。在完成这种确定后,获得了:
-或者,与在完成步骤C7后所获得的经量化块Bqi相关联的一组数字信息,
-或者,在编码时已经实现了对残差块Bri的数据加以移位的步骤C40的情况下,与在完成步骤C7后所获得的经量化的已更改块Bmqi相关联的一组数字信息。
同样在步骤D3的过程中,确定与当前块Bi的预测类型(比如在图1的步骤C3的过程中在编码时实现的)有关并且已经被写入数据信号F的信息。
为此目的,在步骤D3的过程中,确定了:
-在图1的步骤C3中所选择的预测模式MPs
-预测子块BP最优的索引(被指示为IBP最优),以及当前块Bi的分区类型(如果所述当前块已经被分区的话)。
这种解码步骤D3由图10中所表示的解码模块MD_D来实现,所述模块由处理器PROC_D驱动。
在图11中所表示的步骤D4的过程中,借助于在前述步骤D3的过程中已经被解码的预测子块的索引IBP最优对有待解码的当前块进行预测性解码。出于此原因,按照本身已知的方式,与索引IBP最优相关联地在图10的解码器DO的缓冲存储器MT_D中选择相应的预测子块BP最优,所述相应的预测子块出现在预先存储在缓冲存储器MT_D中的多个候选预测子块当中。候选预测子块中的每个候选预测子块为已经被解码的像素块。
步骤D4由如图10中所表示的逆预测软件模块PRED-1_D来实现,所述模块由处理器PROC_D驱动。
在图11中所表示的步骤D5(在数据集与在完成前述步骤D3后已经获得的经编码块Bqi或Bmqi相关联的情况下实现此步骤)的过程中,根据常规去量化运算对此数据集去量化,所述常规去量化运算是与在图1的量化步骤C7过程中实现的量化相逆的运算。然后,在完成步骤D5后获得具有经去量化系数BDqi的当前组或具有经去量化的已更改系数BDmqi的当前组。这种去量化步骤例如为标量或向量类型。
步骤D5借助于如图10中所表示的逆量化软件模块MQ-1_D来执行,所述模块由处理器PROC_D驱动。
在图11中所表示的步骤D6的过程中,图10的解码器DO确定:所述具有经去量化系数BDqi的当前组的变换或所述具有经去量化的已更改系数BDmqi的当前组的变换,如在前述步骤D5中获得的。按照本身已知的方式,这种变换是与在完成图1的步骤C5后在编码后所确定的变换相逆的变换,比如像:
-比如像DCT类型的离散余弦变换等直接变换,
-比如像DST类型的离散正弦变换等直接变换,
-如公开“针对HEVC帧内编码的率失真经优化的变换竞争(Rate-distortionoptimised transform competition for intra coding in HEVC),Adrià Arrufat、Pierrick Philippe、Olivier Déforges,IEEE VCIP,2014年12月”中所提出的在失真比特率方面经优化的块变换,
-DWT类型的小波变换,
-包括以下类型重叠的变换:比如公开“借助重叠的正交变换减少图像编码的阻挡效应(Reduction of blocking effects in image coding with a lapped orthogonaltransform),H.Malvar”中所提出的重叠变换类型,
-或任何其他类型的可利用变换。
所述变换属于一组变换,在图11中所表示的在先存储步骤D0的过程中,与预测模式MPs相关联地将这组变换存储在图10的缓冲存储器MT_D中。在这个存储步骤的过程中:
-与包含数量NB0个变换的一组变换相关联地存储预定预测模式MP0
-与包含数量NB1个变换的一组变换相关联地存储预定预测模式MP1
-…
-与包含数量NBv个变换的一组变换相关联地存储预定预测模式MPv
-…
-与包含数量NBR个变换的一组变换相关联地存储预定预测模式MPR
根据本发明,针对属于所述多种预定预测模式MP0,MP1,…,MPv,…,MPR(其中,0≤a≤R+1且0≤b≤R+1)的至少两种不同预测模式MPa、MPb,与预测模式MPa相关联的所述一组变换中所包含的变换的数量(表示为NBa)不同于与预测模式MPb相关联地存储的一组变换中所包含的变换的数量(表示为NBb)。
根据第一示例性实施例,对于分别与所述多种预定预测模式MP0,MP1,…,MPv,…,MPR中的两种预测模式相关联地存储的至少两组变换,所述两组中的每一组中的变换的数量共同地包含至少一个完全相同的变换。
例如,在根据HEVC标准的解码的情况下,所述两组中的每一组中的变换的数量可以例如共同包含:
-与DST类型的变换相逆的变换,或另外与DCT类型的变换相逆的变换,
-与DST类型的变换相逆的变换,以及与DCT类型的变换相逆的变换,
-共有的两种以上变换。
而且,两组以上变换可以共同包含至少一种完全相同的变换运算。仍然在根据HEVC标准的解码情况下,并且更具体地在符合提出了三十五种可能的预测方向DPI0,DPI1,…,DPI34的这个标准的逆帧内预测的情况下,分别与这三十五个预测方向中的每一个相关联的变换组可以共同包含至少一种完全相同的变换运算。
根据图10中所表示的第二示例性实施例,与上述步骤D3中所确定的所述预测模式MPs相关联并包含数量NBs种变换的所述一组变换被与所述多种预定预测模式MP0,MP1,…,MPv,…,MPR(其中,0≤u≤R+1)中表示为MPu的至少一种其他预测模式相关联地存储在图10的缓冲存储器MT_D中。
更具体地,前述确定步骤D6在于:在数据信号F中读取在完成前述步骤C5(图1)后在编码后已经选择的变换Ts,k(NBs=1)或Ts,k*(NBs>1)的索引IDX,在前述步骤C8(图1)的过程中已经将所述索引写入数据信号F中。
在图11中所表示的步骤D7的过程中,对所述具有经去量化系数BDqi的当前组或对所述具有经去量化的已更改系数BDmqi的当前组应用与变换Ts,k或Ts,k*相逆的变换,比如在前述步骤D5中获得的。在完成步骤D7后,获得或者当前经解码残差块BDri或当前经解码的已更改残差块BDmri
由比如图10中所表示的逆变换软件模块MTR-1_D执行这种操作,所述模块由处理器PROC_D驱动。
在图11中,在逆变换应用步骤D7之前,对去量化步骤D5加以表示。然而,可以将步骤D5整合到步骤D7中,然后借助包括去量化因子的整数来实现步骤D7。
在图11中所表示的步骤D8的过程中,通过把在完成前述步骤D4后已经获得的预测子块BP最优添加至在完成前述步骤D7后获得的经解码残差块BDri来重构当前块Bi。在完成步骤D8后,获得当前经解码块BDi
步骤D8由图10中所表示的软件模块CAL1_D来实现,所述模块由处理器PROC_D驱动。
在图11中所表示的步骤D9的过程中,所述当前经解码块BDi被写到经解码的图像IDj中。
这种步骤由比如在图10中所表示的图像重构软件模块URI实现,所述模块由处理器PROC_D驱动。
对于所考虑的当前图像ICj的所有待解码的块B1、B2、……,Bi、……、BS,按预定顺序(所述预定顺序例如为词典编辑顺序)来实现上文刚刚已经描述的解码步骤。
按照与编码时一样的方式,参照图3至图8,在帧内类型的HEVC解码的情况下,所述解码方法根据本发明的第一实施例实现一种用于确定每种预定预测模式的变换的数量的方法。
现在将参照图3、图6A、图6B、图7至图11描述帧内类型的HEVC解码情况下实现的本发明的实施例,并且其中,事先与所述多种预定预测模式中的至少一种其他预测模式相关联地存储与在图11的步骤D3的过程中所确定的帧内预测模式相关联的所述一组变换。
在本示例中,在完成图11的步骤D3后,所获得的最优预测子块BP最优与最优帧内预测方向相关联,所述最优帧内预测方向是例如方向DPI22
根据本实施例,在这个其他帧内预测方向相对于帧内预测方向DPI22对称的条件下,在图11的步骤D0的过程中,与帧内预测方向DPI22相关联的所述变换(如果是唯一的)或所述一组变换事先与另一帧内预测方向相关联。以这种方式,将一半那么多的变换存储在解码器DO级别,优点是解码器侧的存储器减少。
根据第一变体,表现出对称性的两个帧内预测方向与同一变换相关联或与同一组变换相关联。
根据第二变体,相对于竖直(或水平)方向各自呈完全相同角度的两个帧内预测角方向与同一变换相关联或与同一组变换相关联。
因而,如图6A中所表示的,相对于水平轴线AH呈30°角的帧内预测角方向与相对于这条水平轴线对称地呈-30°角的帧内预测角方向相关联。参照图7,这两个帧内预测方向分别对应于方向DPI4和DPI16
类似地,如图6A中所表示的,相对于水平轴线呈-60°角的帧内预测角方向与相对于竖直轴线AV对称地呈-120°角的帧内预测角方向相关联。参照图7,这两个帧内预测方向分别对应于方向DPI20和DPI32
仍根据刚刚已经描述的示例并根据又另一实施例,在三种其他帧内预测方向相对于帧内预测方向DPI22对称的条件下,事先将与步骤D3中所确定的帧内预测方向DPI22相关联的所述一种变换或所述多种变换与这些其他帧内预测方向进行关联。以这种方式,将四分之一那么多的变换存储在解码器DO级别,优点是解码器侧的存储器减少。
根据第一变体,表现出对称性的四个帧内预测方向与同一变换相关联或与同一组变换相关联。
根据第二变体,相对于竖直轴线、水平轴线和对角轴线各自呈完全相同的角度的四个帧内预测角方向与同一变换相关联或与同一组变换相关联。
因而,如图6A中所表示的,相对于水平轴线AH呈30°角的帧内预测角方向与以下各项相关联:
-通过相对于这条水平轴线对称,与具有-30°角的帧内预测角方向相关联,
-通过相对于这条水平轴线并且然后相对于对角轴线AD对称,与呈-60°角的帧内预测角方向相关联,
-通过相对于对角轴线AD对称,与呈-120°角的帧内预测角方向相关联。
参照图7,这四个帧内预测方向分别对应于方向DPI4、DPI16、DPI20和DPI32
下文中的表格表示了九组HEVC帧内预测方向G1至G9,这些组可以与比如根据本发明所确定的同一变换(如果唯一)或另外一组变换相关联。
分别与如图7中所展示的预测方向DPI2、DPI18和DPI34相对应的比如图6B中所表示的以45°倍数(45°、-45°和-135°)的角方向被三个三个地分组在一起,并且在图10的解码器DO的缓冲存储器MT_D中与同一变换或与同一组变换相关联。
根据上述分组的预测模式的获得,参照图11,在完成步骤D7后已经获得当前经解码的已更改残差块BDmri的情况下,从这个步骤开始继续下去,进行步骤D70:对当前经解码的已更改残差块BDmri进行至少一次移位,在这个块内对所考虑的每条数据进行移位,同时保留其最近的邻居。
步骤D70由比如图10中所表示的计算软件模块CAL2_D来实现,所述模块由处理器PROC_D驱动。
根据第一实施例,数据移位的类型是与在编码时执行的转置相逆的转置,即当前经解码的已更改残差块BDmri的数据的行坐标和列坐标的交换。
根据第二实施例,数据移位的类型是与在编码时执行的镜像相逆的镜像,即当前经解码的已更改残差块BDmri的列或行的交换。因而在当前经解码的已更改残差块BDmri内部对其中所考虑的每条数据进行移位,同时保留其最近的邻居。
根据第三实施例,数据移位的类型是逆转置与逆镜像的组合,即:
-或者是,对当前经解码的已更改残差块BDmri的数据应用逆转置类型的移位,紧接着应用逆镜像类型的移位,
-或者是,对当前经解码的已更改残差块BDmri的数据应用逆镜像类型的移位,紧接着应用逆转置类型的移位。
此外,根据本发明的另一实施例,当前经解码的已更改残差块BDmri中数据移位的类型取决于前述步骤D3中所确定的预测模式MPs
按照与在编码时所实现的各种类型的移位相对应的方式,比如图8中所表示的,在解码时也存在编号为从0至7的八种不同可能类型的移位,这八种移位允许当前经解码的已更改残差块BDmri的给定像素保留其相邻像素。例如,针对像素p7,后者总是被像素p2、p3、p4、p6、p8、p10、p11和p12包围。以具体的方式,与类型0的镜像旋转相逆的镜像旋转不造成数据的移位,因为当前经解码的已更改残差块BDmri的数据与当前残差块Bri的数据是以同样的顺序安排的。
另外,根据本发明,在完成图11的步骤D3后所确定的帧内预测方向根据其所属分组模式而与八类逆移位中的一类相关联。例如:
-与同一变换或与同一组变换相关联的帧内预测方向DPI22和DPI6本身分别与比如图8中所表示的类型0和类型5的镜像旋转各自的逆镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI4和DPI16本身分别与比如图8中所表示的类型0和类型2的镜像旋转各自的逆镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI20和DPI32本身分别与比如图8中所表示的类型0和类型1的镜像旋转各自的逆镜像旋转相关联,
-与同一变换或与同一组变换相关联的帧内预测方向DPI4、DPI16、DPI20和DPI32本身分别与比如图8中所表示的类型6、类型4、类型0和类型1的镜像旋转各自的逆镜像旋转相关联。
根据本发明的另一实施例,按照与编码时相同的方式,可以将用于确定每种预测模式或每组预测模式的变换数量的迭代方法替代为用于确定所述变换数量的自动方法。
当在某些解码背景下将图10的解码器DO限制为运行于给定的复杂度点时,可以证明所述自动确定方法是必需的。可以由图2的编码器CO,通过针对图像部分、整个图像、或针对图像序列给定的配置信息项,用信号通知这个给定的复杂度点。所述配置信息项可以包括最大变换数量的标识符或变换数量相对于解码器处可用变换数量之比。因而,在图11的步骤D6的过程中,解码器DO在图10的缓冲存储器MT_D中(单独地在与所述用信号通知的配置信息项相关联的变换的数量中)搜索在编码时所选择的并与步骤D3中所确定的索引IDX相对应的变换。
根据第一示例性实施例,使得在与同竖直或水平预测方向相关联的预测模式的情况下所确定的变换的数量大于在与同倾斜预测方向相关联的预测模式的情况下所确定的变换的数量。
在例如HEVC标准的情况下,本领域技术人员意识到,从这三十五种可用的帧内预测模式当中,模式0(平面的)和1(DC)是最平滑的模式,因为根据这两种模式的预测是通过对当前块的边缘的更多像素取平均而计算的。所以,在图11的步骤D0的过程中,与其他HEVC帧内预测模式的相比,平面模式和DC模式与更大数量的变换相关联。
而且,按照本身已知的方式,模式10和26用来预测图像的图案,所述图案是水平的或竖直的。在大自然中经常发现此类图案(例如:竖直的树、杆、水平线等),相比于与同倾斜的帧内预测模式相关联的变换数量,它们一定与更高数量的变换相关联。
根据第二示例性实施例,所述多个预定预测模式MP0,MP1,…,MPv,…,MPR中已经事先被选择为最可能预测模式的预测模式的情况下所确定的变换的数量大于未事先被选择为最可能预测模式的预测模式的情况下所确定的变换的数量。
在例如HEVC标准的情况下,在编码之前对被称为MPM(“最可能模式(MostProbable Mode)”)的最可能预测模式列表进行编译。具体地,模式0(平面)、1(DC)和26(竖直)是在编译所述列表时默认指定的预测模式。根据本发明,相比于与其他HEVC帧内预测模式相关联的变换的数量,在图1A的存储步骤D0的过程中,这三种帧内预测模式因此事先与更高数量的变换相关联。
根据第三示例性实施例,与预定预测模式MP0,MP1,…,MPv,…,MPR中的每一种相关联地存储的所述一组变换中所包含的变换的数量是根据表示这些预测模式中的每一种预测模式的信息量而确定的。
在例如HEVC标准的情况下,与其他模式相比,将在更少的位上用信号通知最可能的帧内预测模式,比如0(平面)、1(DC)和26(竖直)。根据本发明,与其他帧内预测模式相比,其与更高数量的变换相关联因此是恰当的,因为这三种模式将比其他模式更加频繁地被选择,并且所以将存在有待以这三种模式测试的更加多样的预测子块。
因而,根据本发明,如果在更少的位上携带了具有预测模式的信令,则在图11的步骤D0的过程中与这种预测模式相关联地存储的变换的数量大于在所述一组三十五种帧内预测模式期间变换的平均数。
不言而喻,仅以完全非限制性指示的方式给出了上文中已经描述的实施例,并且本领域的技术人员可以容易地进行许多修改,而不由此脱离本发明的范围。

Claims (15)

1.一种对被分割成多个块的至少一个图像(ICj)进行编码的方法,所述方法针对所述图像的有待编码的当前块(Bi)实施以下各项:
-根据从多个预定预测模式当中选择的预测模式(MPs)对所述当前块进行预测(C3),
-计算(C4)表示在完成所述预测后所获得的预测子块(BP最优)与所述当前块之差的残差数据块,
-对所述残差块的数据应用(C6)变换运算,所述变换运算属于事先与所选择的预测模式相关联地存储(C0)的一组变换运算,
-对继完成所述变换运算后所获得的数据进行编码(C8),
所述编码方法的特征在于,在与所述选择的预测模式相关联地存储(C0)的所述一组变换运算的过程中,所述组中所包含的变换运算的数量不同于与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
2.如权利要求1所述的编码方法,其中,对于分别与所述多个预定预测模式中的两个预测模式相关联地存储的至少两组变换运算,所述两组中的每一组中变换运算的数量共同地包含至少一个完全相同的变换运算。
3.如权利要求1或权利要求2所述的编码方法,其中,与所述选择的预测模式相关联的所述一组变换运算是与所述多种预定预测模式中的至少一种其他预测模式相关联地存储的。
4.如权利要求1至3中任一项所述的编码方法,其中,与同竖直或水平预测方向相关联的预测模式相关联地存储的组中所包含的变换运算的数量大于与同倾斜预测方向相关联的预测模式相关联地存储的组中所包含的变换运算的数量。
5.如权利要求1至3中任一项所述的编码方法,其中,与预测模式相关联地存储的组中所包含的变换运算的数量大于或等于与任何其他预测模式相关联地存储的组中所包含的变换运算的数量,针对所述预测模式,通过对所述当前块的边缘的两个以上像素取平均来计算所述预测。
6.如权利要求1至3中任一项所述的编码方法,其中,与所述多个预定预测模式中已经事先被选择为最可能预测模式的预测模式相关联地存储的组中所包含的变换运算的数量大于与未事先被选择为最可能预测模式的预测模式相关联地存储的组中所包含的变换运算的数量。
7.一种用于对被分割成多个块的至少一个图像(ICj)进行编码的设备(CO),所述设备包括处理电路(CT_C),所述处理电路针对所述图像的有待编码的当前块(Bi)被设计成:
-根据从多个预定预测模式当中选择的预测模式对所述当前块进行预测,
-计算表示在完成所述预测后所获得的预测子块与所述当前块之差的残差数据块,
-对所述残差块的数据应用变换运算,所述变换运算属于事先与所述选择的预测模式相关联地存储的一组变换运算,
-对继完成所述变换运算后所获得的数据进行编码,
所述编码设备的特征在于,所述处理电路被设计成存储与所述选择的预测模式相关联的所述一组变换运算,所述组中所包含的变换运算的数量不同于与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
8.一种对表示被分割成多个块的至少一个图像(ICj)的数据信号(F)进行解码的方法,所述方法针对有待解码的当前块(Bi)实现以下各项:
-在所述数据信号中确定(D3):
·表示与所述有待解码的当前块相关联的当前残差块的数据,
·所述有待解码的当前块的预测模式(MPs),所述预测模式属于多个预定预测模式,
-根据所述已确定预测模式(MPs)预测(D4)所述当前块,
-对代表所述残差块的数据应用(D7)变换运算,所述变换运算属于事先与所述已确定预测模式(MPs)相关联地存储(D0)的一组变换运算,
-借助在完成所述预测后所获得的预测子块并借助继所述变换运算后所获得的数据来重构(D8)所述当前块,
所述解码方法的特征在于,在与所述已确定预测模式相关联地存储(D0)的所述一组变换运算的过程中,所述组中所包含的变换运算的数量不同于与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
9.如权利要求8所述的解码方法,其中,对于分别与所述多个预定预测模式中的两个预测模式相关联地存储的至少两组变换运算,所述两组中的每一组中变换运算的数量共同地包含至少一个完全相同的变换运算。
10.如权利要求8或权利要求9所述的解码方法,其中,与所述已确定预测模式相关联的所述一组变换运算是与所述多种预定预测模式中的至少一种其他预测模式相关联地存储的。
11.如权利要求8至10中任一项所述的解码方法,其中,与同竖直或水平预测方向相关联的预测模式相关联地存储的组中所包含的变换运算的数量大于与同倾斜预测方向相关联的预测模式相关联地存储的组中所包含的变换运算的数量。
12.如权利要求8至10中任一项所述的解码方法,其中,与预测模式相关联的组中所包含的变换运算的数量大于或等于与任何其他预测模式相关联地存储的组中所包含的变换运算的数量,针对所述预测模式,通过对所述当前块的边缘的两个以上像素取平均来计算所述预测。
13.如权利要求8至10中任一项所述的解码方法,其中,与所述多个预定预测模式中已经事先被选择为最可能预测模式的预测模式相关联地存储的组中所包含的变换运算的数量大于与未事先被选择为最可能预测模式的预测模式相关联地存储的组中所包含的变换运算的数量。
14.一种用于对表示被分割成多个块的至少一个图像(ICj)的数据信号(F)进行解码的设备,所述设备包括处理电路(CT_D),所述处理电路针对有待解码的当前块(Bi)被设计成:
-在所述数据信号中确定:
·表示与所述有待解码的当前块相关联的当前残差块的数据,
·所述有待解码的当前块的预测模式,所述预测模式属于多个预定预测模式,
-根据所述已确定预测模式预测所述当前块,
-对代表所述残差块的数据应用变换运算,所述变换运算属于事先与所述已确定预测模式(MPs)相关联地存储的一组变换运算,
-借助在完成所述预测后所获得的预测子块并借助继所述变换运算后所获得的数据来重构所述当前块,
所述解码设备的特征在于,所述处理电路被设计成存储与所述已确定预测模式相关联的所述一组变换运算,所述组中所包含的变换运算的数量不同于与所述多个预定预测模式当中的至少一个其他预定预测模式相关联地存储的一组变换运算中所包含的变换运算的数量。
15.一种计算机程序,包括程序代码指令,当所述程序在计算机上执行时,所述程序代码指令用于执行如权利要求8至13中任一项所述的解码方法的步骤。
CN201680049338.3A 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序 Active CN107925757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211418498.4A CN115802030A (zh) 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1558066A FR3040578A1 (fr) 2015-08-31 2015-08-31 Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR1558066 2015-08-31
PCT/FR2016/052128 WO2017037368A2 (fr) 2015-08-31 2016-08-26 Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211418498.4A Division CN115802030A (zh) 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序

Publications (2)

Publication Number Publication Date
CN107925757A true CN107925757A (zh) 2018-04-17
CN107925757B CN107925757B (zh) 2022-12-02

Family

ID=54329793

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680049338.3A Active CN107925757B (zh) 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序
CN202211418498.4A Pending CN115802030A (zh) 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211418498.4A Pending CN115802030A (zh) 2015-08-31 2016-08-26 对图像进行编码和解码的方法、用于对图像进行编码和解码的设备及其相应的计算机程序

Country Status (8)

Country Link
US (2) US10523969B2 (zh)
EP (1) EP3345391A2 (zh)
JP (2) JP6951324B2 (zh)
KR (1) KR20180048719A (zh)
CN (2) CN107925757B (zh)
BR (1) BR112018003492B1 (zh)
FR (1) FR3040578A1 (zh)
WO (1) WO2017037368A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915784A (zh) * 2018-09-02 2022-08-16 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US10880564B2 (en) * 2016-10-01 2020-12-29 Qualcomm Incorporated Transform selection for video coding
US11785254B2 (en) * 2020-05-29 2023-10-10 Tencent America LLC Implicit mode dependent primary transforms

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013058473A1 (ko) * 2011-10-17 2013-04-25 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
CN103096053A (zh) * 2011-11-04 2013-05-08 华为技术有限公司 一种变换模式的编解码方法和装置
WO2015079179A1 (fr) * 2013-11-29 2015-06-04 Orange Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
CN104796708A (zh) * 2009-10-28 2015-07-22 三星电子株式会社 对残差块编码的方法和设备、对残差块解码的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1833259A4 (en) * 2004-12-28 2011-01-19 Nec Corp PICTURE CODING DEVICE, PICTURE CODING METHOD AND PROGRAM THEREFOR
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US20130177077A1 (en) * 2010-07-15 2013-07-11 Agency For Science, Technology And Research Method, Apparatus and Computer Program Product for Encoding Video Data
CA2823503C (en) * 2011-01-12 2019-03-19 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
KR20130040414A (ko) * 2011-10-14 2013-04-24 주식회사 팬택 인트라 예측 모드에 따른 변환 및 역변환 방법과 이를 이용한 부호화 및 복호화 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796708A (zh) * 2009-10-28 2015-07-22 三星电子株式会社 对残差块编码的方法和设备、对残差块解码的方法和设备
WO2013058473A1 (ko) * 2011-10-17 2013-04-25 주식회사 케이티 화면 내 예측 모드에 기초한 적응적인 변환 방법 및 이러한 방법을 사용하는 장치
CN103096053A (zh) * 2011-11-04 2013-05-08 华为技术有限公司 一种变换模式的编解码方法和装置
WO2015079179A1 (fr) * 2013-11-29 2015-06-04 Orange Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHUOHAO YEO等: "Choice of transforms in MDDT for Unified Intra Prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915784A (zh) * 2018-09-02 2022-08-16 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法
CN114928745A (zh) * 2018-09-02 2022-08-19 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法
CN114915784B (zh) * 2018-09-02 2024-04-19 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法
CN114928745B (zh) * 2018-09-02 2024-04-19 Lg电子株式会社 信号编解码方法、计算机可读存储介质和数据传输方法

Also Published As

Publication number Publication date
JP2020205609A (ja) 2020-12-24
BR112018003492A2 (pt) 2018-09-25
US10911784B2 (en) 2021-02-02
CN115802030A (zh) 2023-03-14
JP7130708B2 (ja) 2022-09-05
FR3040578A1 (fr) 2017-03-03
US10523969B2 (en) 2019-12-31
KR20180048719A (ko) 2018-05-10
CN107925757B (zh) 2022-12-02
WO2017037368A2 (fr) 2017-03-09
EP3345391A2 (fr) 2018-07-11
US20200137419A1 (en) 2020-04-30
JP6951324B2 (ja) 2021-10-20
WO2017037368A3 (fr) 2017-05-04
JP2018529279A (ja) 2018-10-04
US20190028738A1 (en) 2019-01-24
BR112018003492B1 (pt) 2023-11-28

Similar Documents

Publication Publication Date Title
KR101775936B1 (ko) 비디오 코딩 방법 및 장치
CN108293113B (zh) 图像编码系统中的基于建模的图像解码方法和设备
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
EP3534608B1 (en) Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
CN101212685B (zh) 对图像进行编码/解码的方法和设备
CN101779463B (zh) 用于处理图像的方法以及相应的电子设备
JP7130708B2 (ja) 画像の符号化及び復号方法、画像の符号化及び復号デバイス、及びこれに対応するコンピュータプログラム
CN101690234A (zh) 视频图像编码方法及解码方法、其装置、其程序以及记录有程序的记录介质
JP5400133B2 (ja) 線形形状の画素区画にスライスされた画像または画像シーケンスの符号化および復号
CN103188494A (zh) 跳过离散余弦变换对深度图像编码/解码的设备和方法
CN105794208B (zh) 编码解码图像方法、编码解码图像设备及相应计算机可读介质
CN109196861B (zh) 解码数字图像的方法、编码方法、设备
CN105025298A (zh) 对图像进行编码/解码的方法和设备
CN107005719A (zh) 分割方法以及用于对编码树单元进行信令分割的方法
CN106576166A (zh) 图像编码和解码方法、图像编码和解码设备以及相应的计算机程序
US10869030B2 (en) Method of coding and decoding images, a coding and decoding device, and corresponding computer programs
CN108605131B (zh) 用于编码和解码数据的方法和设备、以及对应记录介质
CN109845259A (zh) 编码和解码图像参数的方法、编码和解码图像参数的设备及其相应的计算机程序
CN108432254B (zh) 图像编码和解码方法、装置以及计算机存储介质
CN107409216A (zh) 图像编码和解码方法、编码和解码设备以及相应的计算机程序
CN107343391A (zh) 通过向量量化对图像进行编码
CN105025299A (zh) 对图像进行编码/解码的方法和设备
Peel et al. COMPLEXITY TRADE-OFFS FOR VIDEO CODING USING TREE-STRUCTURED VECTOR QUANTIZATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant