CN107950025A - 用于确定增强层的当前块的预测的方法和装置 - Google Patents

用于确定增强层的当前块的预测的方法和装置 Download PDF

Info

Publication number
CN107950025A
CN107950025A CN201680050362.9A CN201680050362A CN107950025A CN 107950025 A CN107950025 A CN 107950025A CN 201680050362 A CN201680050362 A CN 201680050362A CN 107950025 A CN107950025 A CN 107950025A
Authority
CN
China
Prior art keywords
block
prediction
enhancement layer
layer
basal layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680050362.9A
Other languages
English (en)
Inventor
多米尼克·托罗
迈克尔·勒·庞迪
罗南·伯特德
马丁·阿兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107950025A publication Critical patent/CN107950025A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种方法包括：建立(S715)低动态范围的第一中间片；建立(S725)高动态范围的第二中间片；通过在变换域中对基础层的变换后的初始片应用转移函数，并且随后对所得到的片应用逆变换以返回至像素域，来建立(S735)片；通过从片中提取块，来预测(S740)增强层的当前块的预测；以及对增强层的当前块与增强层的当前块的预测之间的残差进行编码。

Description

用于确定增强层的当前块的预测的方法和装置
技术领域
本公开涉及一种用于确定增强层的当前块的预测的方法和装置。
背景技术
在图像处理领域中，色调映射算子(在下文中可以称为“TMO”)是已知的。在对自然环境中的实际对象进行成像时，实际对象的动态范围远高于成像设备(比如，相机)可以成像的或显示器可以显示的动态范围。为了以自然的方式在这样的显示器上显示实际对象，TMO用于将高动态范围(在下文中可以称为“HDR”)图像转换为低动态范围(在下文中可以称为“LDR”)图像，同时保持良好的可见状况。
一般而言，TMO被直接应用于HDR信号以获得LDR图像，并且该图像可以显示在经典的LDR显示器上。存在各种各样的TMO，并且许多TMO是非线性算子。
关于与LDR/HDR视频压缩相关的技术，作为一种可能方案提出了使用全局TMO/iTMO(逆色调映射操作)，如Z.Mai，H.Mansour，R.Mantiuk，P.Nasiopoulos，R.Ward和W.Heidrich的文章“On-the-fly tone mapping for backward-compatible high dynamicrange image/video compression，”ISCAS，2010中所说明的。
在这篇文章中，为了最小化总量化误差，考虑了浮点数据的分布。该算法通过以下步骤来描述(这里使用的变量在图1中示出)。
步骤1：计算亮度值的对数。因此，对于亮度为L的每个像素，以下步骤基于值1＝log10(L)。(l仍然是浮点数格式)。
步骤2：通过将元阵(bin)大小固定为δ＝0，1来计算l值的直方图。例如，图像序列中的所有像素均可用于建立直方图。因此，对于每个元阵k(k＝1..N)，像素属于该元阵的概率pk是已知的。将值1k＝δ.k指派给元阵。
步骤3：根据下述公式(1)描述的模型来为每个元阵K计算斜率值：
其中，vmax是所考虑的整数表示的最大值(如果数据被量化为n比特整数，则vmax＝2n-1)。
为了避免在逆方程(5中的逆色调映射)中出现除零的风险，如果sk＝0，则sk可被代替地设置为非零最小值ε。
步骤4：已知N个斜率值，可以定义全局色调映射曲线。对于[1，N]中的每个k，将满足lk＜1＜＝1k+1的浮点数7映射到由下述公式(2)定义的整数值v：
v＝(l-lk).sk+vk (2)
其中，值vk是通过vk+1＝δ.sk+vk(并且v1＝0)根据sk来定义的。
然后，对值v进行四舍五入，以获得在区间[0，2n-1]中的整数。
步骤5：为了执行逆色调映射，必须向解码器发送参数sk(k＝1..N)。对于色调映射图像中的具有值v的给定像素，首先，必须找到满足vk＜＝v＜vk+1的值k。
于是，逆方程被表示为下述公式(3)：
这里，解码后的像素值被实现为
此外，为了应用逆色调映射(iTMO)，解码器必须知道图1中的曲线。
这里的术语“解码”对应于解量化操作，其不同于视频编码器/解码器中的术语“解码”不同。
另一种可能方案是使用局部色调映射算子，如M.Grundland等人的文章“Nonlinear multiresolution blending”，Machine Graphis&vision International JournalVolume 15 Issue 3 Feb 2006和Zhe Wendy Wang；Jiefu Zhai；Tao Zhang；Llach，Joan的文章“Interactive tone mapping for High Dynamic Range video”.ICASSP 2010中所公开的。例如，可以基于如下参考文献的公开内容来使用TMO拉普拉斯金字塔：Peter J.BurtEdward H.Adelson的文章“The Laplacian Pyramid as a compact image code，”IEEETransactions on Communications，vol.COM-31，no.4，April 1983；Burt P.J.的文章“ThePyramid as Structure for Efficient Computation.Multiresolution ImageProcessing and Analysis”Springer-Verlag，6-35；以及，Zhai jiedu，Joan Llach的专利申请“Zone-based tone mapping”WO 2011/002505 A1。TMO的效率在于从HDR图像中提取不同的中间LDR图像，其中各中间LDR图像与不同的曝光相对应。因此，当(原始HDR图像的)亮区域饱和时，过度曝光的LDR图像在暗区域中包含精细细节。相反，当将暗区域裁剪掉时，曝光不足的LDR图像在亮区域中包含精细细节。
之后，将每个LDR图像分解成n个层级的拉普拉斯金字塔，同时最高层级专用于最低分辨率，而其它层级提供(梯度的)不同谱带。因此，在这个阶段，每个LDR图像对应于一个拉普拉斯金字塔，并且此外，还可以注意到，只有在没有四舍五入误算的情况下，每个LDR图像才能通过使用逆分解或逆“瓦解”根据其拉普拉斯金字塔来重建。
最后，在融合中间LDR图像集的不同金字塔层级的情况下实现色调映射，并且瓦解所得到的混合金字塔以给出最终的LDR图像。
事实上，对不同谱带(或金字塔层级)的梯度(gradient)进行融合是非线性处理。这种算法类型的优点在于色调映射的有效结果，但是有时会导致很多众所周知的渲染错误(例如，光晕伪影)。以上参考资料提供了关于该技术的更多细节。
事实上，因为这种色调映射是非线性的，因此难以实现LDR的逆色调映射使得在SNR(信噪比)或空间视频可伸缩性方面给出针对HDR层的当前块的可接受预测。
此外，WO2010/018137公开了一种用于修改参考图像的参考块的方法、一种用于在参考块帮助下对图像的块进行编码或解码的方法及对应设备以及携带在修改的参考B的帮助下编码而成的块的存储介质或信号。在现有技术中，根据相邻平均值来估计转移函数，并且该函数用于校正图像间预测。然而，在WO2010/018137中，该方法限于平均值，从而给出当前块和同位置(collocated)块的第一近似值。
发明内容
根据本公开的实施例，提供了这样一种方法，包括：利用基础层的同位置块的相邻像素和第一预测块来建立低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；利用增强层的当前块的相邻像素和第二预测块来建立高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；通过在变换域中对所述基础层的变换后的初始片应用转移函数并且随后对所得到的片应用逆变换以返回至像素域，来建立片，其中，确定所述转移函数以在所述变换域中将所述第一中间片变换成所述第二中间片；通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及对所述增强层的当前块与所述增强层的当前块的预测之间的残差进行编码。
根据本公开的实施例，提供了一种装置，包括：第一中间片创建单元，被配置为：利用基础层的编码模式根据所述基础层的同位置块的相邻像素来预测第一预测块；以及，利用所述基础层的所述同位置块的所述相邻像素和所述第一预测块来建立低动态范围的第一中间片；第二中间片创建单元，被配置为：利用所述编码模式根据增强层的当前块的相邻像素来预测第二预测块；以及，利用所述增强层的当前块的所述相邻像素和所述第二预测块来建立高动态范围的第二中间片；用于执行以下操作的单元：确定转移函数，以在变换域中将第一中间片变换为第二中间片；通过在所述变换域中对所述基础层的变换后的初始片应用所述转移函数并且随后对所得到的片应用逆变换来返回至像素域，来建立片；以及，通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及编码器，用于对所述增强层的当前块与所述增强层的当前块的预测之间的残差进行编码。
根据本公开的另一实施例，提供了一种方法，包括：对残留预测误差进行解码；利用基础层的同位置块的相邻像素和第一预测块来建立低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；利用增强层的当前块的相邻像素和第二预测块来建立高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；通过在变换域中对所述基础层的变换后的初始片应用转移函数并且随后对所得到的片应用逆变换以返回至像素域，来建立片，其中，所述转移函数用于在所述变换域中将所述第一中间片变换成所述第二中间片；通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及通过将所述预测误差添加到所述增强层的当前块的预测来重构所述增强层的块。
根据本公开的又一实施例，提供了一种装置，包括：解码器，用于对残留预测误差进行解码；第一中间片创建单元，被配置为利用基础层的同位置块的相邻像素和第一预测块来建立低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；第二中间片创建单元，被配置为利用增强层的当前块的相邻像素和第二预测块来建立(S725)高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；以及用于执行以下操作的单元：通过在变换域中对所述基础层的变换后的初始片应用转移函数并且随后对所得到的片应用逆变换来返回至像素域，来建立片，其中，所述转移函数用于在所述变换域中将所述第一中间片变换为所述第二中间片，以及通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及用于执行以下操作的单元：将所述预测误差添加到所述增强层的当前块的预测，以重构所述增强层的块。
当结合附图来阅读以下详细描述，本公开的其它目的、特征和优点将变得更加清楚。
附图说明
图1是浮点值1＝log10(L)的直方图及其关联的基于斜率sk的色调映射曲线；
图2A和图2B是重构的基础层的图像和要被编码的增强层的当前块的图像；
图3A至图3J是示出了在H.264标准中规定的帧内4×4预测的示例的图；
图4A和图4B是示出了第一实施例的用于确定增强层的当前块的预测的装置的框图，其中图4A是编码器侧，而图4B是解码器侧；
图5A和图5B是示出了本公开实施例的第二实施例的用于确定增强层的当前块的预测的装置的配置的框图，其中图5A是编码器侧，而图5B是解码器侧；
图6是示出了本公开第四实施例的用于确定增强层的当前块的预测的装置的配置的框图；以及
图7是示出了根据本公开实施例的用于确定增强层的当前块的预测的示例性方法的流程图。
具体实施方式
下文参考附图给出了对本公开的实施例的描述。
本公开的实施例旨在改进逆色调映射操作(在下文中可以称为“iTMO”)的处理以及以全局或局部(非线性)方式使用的先前的TMO，显然是在基础层信号仍然可用的话的情况下。
该思想例如涉及编码有专用于LDR视频编码的且使用给定TMO的第一色调映射基础层lb和专用于HDR视频编码的第二增强层le的HDRSNR可伸缩视频。在这种情况(SNR可伸缩)下，对于增强层的(要被编码的)当前块be，应该找到从基础层bb(同位置块)提取的预测块，并且该块必须通过逆色调映射来处理。
为了实现块bb的逆色调映射，应当估计变换Tbe函数，以允许将片(patch)p′b(由虚拟块b′b(bb的同源)及其相邻物组成)的像素变换到当前片p′e(由虚拟块b′e(be的同源)及其相邻物组成)。
一旦确定了Tbe，变换Tbe函数可被应用于片pb(由块bb及其相邻物组成)从而给出片最终，最后步骤属于在片中提取与当前块位置相同的的块这里，块与块be的预测相对应。
这里，应该注意的是，在估计变换Tbe之前，需要基础层的同位置块bb的编码模式，或者需要基于基础层、根据(lb的)重构图像在(增强层的编码器的)可用编码模式集合中提取预测模式。
还应重点注意，以上说明的全部处理步骤也在解码器侧以及编码器侧实现。
[原理]
为了说明在本公开实施例中提出的方法，下文给出基于SNR可伸缩性的示例。在这种情况(SNR可伸缩性)下，应当针对增强层的(要被编码的)当前块be找到从基础层bb(同位置块)提取的预测块，并且该预测块必须通过逆色调映射进行处理。
图2A和图2B分开示出了重构的基础层的图像和要被编码的当前块的图像。
图2B中所示的与增强层le的当前图像相关的标记如下：
·要预测的增强层的当前块(未知)是：
·当前块的已知重构(或解码)的相邻物(或模板)：
·当前片是：
·索引k和u分别指示“已知”和“未知”。
图2A中所示的与基础层lb的图像相关的标记如下：
·基础层的同位置块(已知)(其与要预测的增强层的当前块实质是同位置的)是：
·当前块的已知重构(或解码)的相邻物(或模板)是：
·同位置片(X的同位置的)是：
目标是根据块来确定针对当前块的预测块。实际上，将估计在片Y和X之间的变换，这种变换与一种逆色调映射相对应。
显然，在视频压缩的上下文下，块是不可得的(记住：解码器将实现相同的处理)，但是存在可以提供当前块的第一近似值(更精确的预测)的很多可能的预测模式。这里，当前块及其相邻物的第一近似值构成片X的中间片X’。
之后，使用块的第一近似值，以便找到变换函数Trf(lb→le)，该变换函数允许将X的中间片变换为Y的中间片(分别被标记为X’和Y’)，并且该变换最终应用于初始片Y，从而允许提供确定性的预测块。
[第一实施例]
参考图3A至图3J和图4来给出用于确定增强层的当前块的预测的方法和装置的第一实施例的描述。
更具体地，本公开的第一实施例是关于SNR可伸缩性，也就是说，LDR基础层和HDR增强层之间的相同空间分辨率。此外，在第一实施例中，已经用增强层的编码器的帧内编码模式之一(例如，MPEG-4AVC/H.264中定义的并且在文件ISO/IEC 14496-10中描述的H.264标准的帧内模式)对当前块的同位置块进行了编码。
利用块的索引m的编码模式并且利用相邻像素可以重构预测块
图3A至图3J是示出了在H.264标准中规定的帧内4×4预测的图。如图3A至图3J所示，H.264标准中提供了N个(这里，在H264的情况下，N＝9)不同的帧内模式预测。
在H.264中，帧内4×4和帧内8×8预测与要基于相邻重构像素而被编码的当前块的像素的空间估计相对应。H.264标准规定了不同的方向预测模式，以便详细说明像素预测。在宏块(MB)的4×4和8×8块大小上定义了九(9)个帧内预测模式。如图3所示，这些模式中的八(8)个模式由对要预测的当前块周围(从左列和顶行开始)的像素的一维方向外推组成。帧内预测模式2(DC模式)将预测块像素定义为可用周围像素的平均值。
在帧内4×4的示例中，如图3A至图3J所示那样来建立预测。
例如，如图3C所示，在模式1(水平)中，利用(左列的)重构像素J来预测像素e、f、g和h。
此外，如图3G所示，在模式5中，作为第一示例，通过(Q+A+1)/2来预测“a”。类似地，作为第二示例，通过(A+2B+C+2)/4来预测“g”和“p”。
这里，返回到上面讨论的问题，优选地建立当前块的预测，以实现利用与在基础层中使用的相同的索引为m的预测模式和当前相邻物提供预测块的目的。
这里，两个中间片X’和Y’可以如下面的公式(6)和(7)那样构成。
当前中间片X’：
基础层的中间片Y’：
在变换域(TF)中计算Y’和X’之间的期望变换Trf，并且该变换可以是阿达玛(Hadamard)、离散余弦变换(DCT)、离散正弦变换(DST)、或傅里叶变换等。提供以下公式(8)和(9)。
TX′＝TF(X’) (8)
TY′＝TF(Y’) (9)
公式TF(Y’)与片Y’的2D变换“TF”(例如，DCT)相对应。
下一步是计算转移函数Trf，该转移函数允许将TY′变换为TX′，其中，将以下公式(10)和(11)应用于每对系数。
If
(abs(TX′(u，v))＞th and abs(TY′(u，v)＞th))
then
Trf(u，v)＝TX′(u，v)/TY，(u，v) (10)
else
Trf(u，v)＝0 (11)
end jf
这里，u和v是TX′TY′和Trf的系数的转移变换坐标，并且th是给定值的阈值，其避免了Trf转移函数中的奇点。例如，在H.264或HEVC标准压缩的上下文下，th可以等于1。在B.Bross，W.J.Han，G.J.Sullivan，J.R.Ohm，T.Wiegand JCTVC-K1003，“High EfficiencyVideo Coding(HEVC)text specification draft 9，”Oct 2012中描述了HEVC(高效率视频编码)。
将函数Trf应用于基础层Y的初始片的变换(TF)，所得结果在逆变换(TF-1)之后给出片Y”。如公式(12)至(14)所示，片Y”由模板Y″T和块组成。
其中Y″＝TF-1(TY″) (13)
并且TY″＝TF(Y).Trf (14)
公式TF(Y).Trf对应于将转移函数Trf应用于基础层的初始片Y的变换片TY的分量，并且该应用是针对(坐标u和v的)每个变换分量来执行的，如公式(15)所示。
TY″(u，v)＝TY(u，v).Trf(u，v) (15)
最后，当前块的预测属于在从片Y″提取块并且标记m指示预测块是在基础层的帧内模式索引m的帮助下建立的。
图4A和图4B是示出了第一实施例的用于确定增强层的当前块的预测的装置的框图。图4A和图4B中也示出了帧内SNR可伸缩性的这种描述的原理。
参考图4A和图4B，描述局部层间LDR HDR预测。
为了使描述清楚，特别是对于解码器，我们描述了SNR可伸缩视频编码(SVC)方案：
(1)首先是基础层
(2)其次是增强层
在图4A所示的编码器(或编码装置)侧，以及在图4B所示的解码器侧，已知：所提方案关注于层间(bl-＞el)预测。
在编码器侧和解码器侧，由于我们的层间预测模式使用帧内模式(m)，因此仅描述了使用帧内模式(m)的帧内图像预测模式。因此众所周知，预测单元(使用给定的RDO(速率失真优化)准则)的功能在于根据以下方面来确定最佳预测模式：
(1)在基础层层级处的帧内和帧间图像预测
(2)在增强层层级处的帧内、帧间图像和层间预测(我们的新预测模式)
索引的含义
k：已知
u：未知
B：块
T：块的相邻物(在视频压缩域中通常称为“模板”)
Pred：预测
m：来自N个可用模式的帧内编码模式的索引
参考图2A和图2B，Y、X、Y’、X’和Y”是由块和模板组成的片。
图4A中的编码器侧(单元400)：
使用TMO 406来对原始块401be进行色调映射，其给出原始色调映射块bbc。
基础层(bl)
我们考虑编码原始基础层块bbc。
a)利用参考帧缓冲器426中存储的原始块bbc和(先前解码的)图像，运动估计器(运动估计单元)429利用给定的运动矢量(时间预测单元)找到最佳帧间图像预测块，并且时间预测(Temp Pred Pred)单元430给出时间预测块。根据可用帧内预测模式(在图3中示出，在H264的情况下)和相邻重构(或解码)的像素，空间预测(Sp Pred)单元428给出帧内预测块。
b)如果模式决定处理(单元425)选择帧内图像预测模式(从N个帧内可用模式中选择索引为m的帧内图像预测模式)，则利用原始块bbc和预测块之间的差(通过组合器421)来计算残差预测rb。
c)之后，通过T Q单元422将残差预测rb变换和量化为rbq，并且最终由熵编码器单元423进行熵编码并在比特流基础层中发送。
d)通过下述方式局部重建解码的块：(利用组合器427)将由T-1Q-1单元424逆变换和解量化后的预测误差块rbdq添加到预测块给出重构(基础层)块。
e)将重构(或解码)的帧存储在(bl)参考帧缓冲器426中。
增强层(el)
我们可以注意到，增强层的编码器的结构与基础层的编码器相似，例如，就编码模式决定、时间预测和参考帧缓冲器方面而言，单元407、408、409和413具有与基础层的编码器的相应单元425、426、429和430相同的功能。
现在考虑编码原始增强层块be。
f)对于增强层的块，如果基础层的同位置块是以帧内图像模式被编码的，则我们考虑该同位置块的(索引为m的)帧内模式(图7所示的方法700的S705)。
g)利用基础层的(索引为m的)这种帧内模式，我们确定：
ο利用bl空间预测(Sp pred)单元428，确定或重用基础层层级的帧内预测块(S710，图7)，
ο然后，根据公式(7)利用同位置块的相邻物和预测块来建立第一中间片Y’(S715，图7)
h)类似地，利用基础层的(索引为m的)这种帧内模式，我们确定：
ο(利用el空间预测(Sp pred)单元412；S720，图7)确定在增强层层级处的中间帧内预测块
ο并且，然后根据公式(6)利用当前块(be)的相邻物和中间预测块来建立第二中间片X’(S725，图7)
i)在变换域(例如，DCT)中，我们使用公式(8)至(11)来确定从片Y’片到X’的转移函数Trf(S730，图7)。
j)现在，我们考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片(图7中的S735-S740)
1.我们对片Y应用变换(例如，DCT)：TF(Y)
2.现在，将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
3.对TY″计算逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如公式(12)那样组成的。
4.最后，从片Y”提取与块相对应的预测。
从f到j的所有步骤是在图4A中的“预测el/bl(Trf)”单元411中实现的。
k)(T Q单元403)将(使用组合器402)计算的增强层块be和在步骤f到j处计算的层间预测之间的误差残量re变换和量化为req，并且req由熵编码器单元404进行熵编码并且在增强层比特流中发送
1)最后，通过(用组合器410)将由T-1Q-1单元405逆变换和解量化的预测误差块redq添加到预测来局部地重建解码的块，并且将重构(解码)的图像存储在(el)参考帧缓冲器408中。
图4B中的解码器侧(单元450)：
基础层(bl)
a)根据bl比特流，对于给定块，熵解码器(熵解码器单元)471对量化误差预测rbq和相关联的索引为m的编码帧内模式进行解码
b)通过T-1Q-1单元472将残差预测rbq解量化和逆变换为rbdq，
c)在帧内模式m的帮助下，“空间预测(Sp Pred)”单元475和“预测”单元474利用解码的相邻像素来给出图像内预测块或
d)通过下述方式布局重建解码的块：(利用组合器473)将解码和解量化后的预测错误块rbdq添加到预测块(或)，给出基础层的重构块。
e)将重构(或解码)的帧存储在参考帧缓冲器476中，(使用运动补偿单元477)将解码的帧用于下一个(b1)帧内图像预测和帧间预测。
增强层(el)
f)来自el比特流，对于给定块，熵解码器451对量化的误差预测req进行解码。
g)由T-1Q-1单元452对残差预测req进行解量化和逆变换，并且输出redq。
h)如果用于待解码的块的编码模式与我们的层间模式相对应，则我们考虑基础层的同位置块的(索引为m的)帧内模式。
i)利用基础层的(索引为m的)这种帧内模式，我们确定：
ο(利用bl空间预测(Sp pred)单元475)确定或重用基础层层级的帧内预测块
ο然后，根据公式(7)利用同位置块的相邻物和预测块建立第一中间片Y’
h)类似地，利用基础层的(索引为m的)这种帧内模式，我们确定：
ο利用el空间预测(Sp pred)单元455，确定增强层层级的中间帧内预测块
ο并且，然后根据公式(6)利用当前块(be)的相邻物和中间预测块来建立第二中间片X’。
k)在变换域(例如，DCT)中，我们使用公式(8)至(11)来确定从片Y’到片X’的转移函数Trf。
1)现在，我们考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片。
1.我们对片Y应用变换(例如，DCT)：TF(Y)
2.现在，将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
3.对TY″计算逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如下组成的。
4.最后，从片Y”提取与块相对应的预测。
从h到l的所有步骤是在“预测el/bl(Trf)”单元457中实现的，我们可以注意到，步骤h到l与(第一实施例的)编码器的步骤f到j严格相同；显然，如果el编码器通过el编码器407的模式决定选择该层间预测模式的话。
m)通过下述方式来建立el解码块：(利用组合器453)将解码和解量化的预测误差块redq添加到(经由预测块454)的预测块给出重构的(el)块。
n)将重构(或解码)的图像存储在(el)参考帧缓冲器456中，(使用运动补偿单元458)将解码的帧用于下一个(el)帧内图像预测和帧间预测。
如上所述，第一实施例的装置可以配置为如图4A和图4B所示的那样，可以通过该装置来执行第一实施例的方法。
根据该用于确定增强层的当前块的预测的方法和装置，通过利用基础层的同位置块的编码模式，可以容易且精确地获得增强层的当前块的预测。
[第二实施例]
在第一实施例中，基础层的帧内预测模式可以用于目标以具有当前块和同位置块的第一近似值，并且接下来的步骤与利用公式(8)至(14)详述的算法相对应。
在第二实施例中，下面给出了更复杂的情况的描述，在该情况中，用于对基础层和增强层进行编码的编码器算法彼此不同，使得预测模式不兼容。简单的示例可以与利用JPEG2000(例如，其在如下文献中描述：The JPEG-2000 Still Image CompressionStandard，ISO/IEC JTC Standard，1/SC29/WG1，2005；以及Jasper Software ReferenceManual(Version 1.900.0)，ISO/IEC JTC，Standard 1/SC29/WG1，2005)编码的基础层和利用H.264编码的增强层相对应。在这种情况下，第一实施例不适用，因为帧内模式m在(例如，JPEG2000)基础层中不可用。
为了解决这个问题，对基础层的像素测试(在增强层的编码器中可用的)预测模式，以检查那些解码的像素明显是可用的，并且最终根据给定的准则来选择最佳帧内模式。
通过以下公式(16)和(17)示出增强层和基础层的当前片和同位置片。
当前片是：
同位置片(X的同位置的)是：
(索引为m的)最佳帧内模式的选择是根据n个可能的帧内模式(例如，它们与图3所示的模式相对应)的集合S＝{m0，…，mn-1}来实现的。为此，根据索引为j的给定模式利用(同位置块的)虚拟预测来计算虚拟预测误差，并且在块和虚拟预测之间的虚拟预测误差ERj如公式(18)所示。
这里，p与预测块和虚拟预测块中的像素的坐标相对应；是预测块的像素值；并且是根据索引为j的帧内模式的虚拟预测块的像素值。
通过如以下公式(19)所示的那样将来自n个可用帧内模式预测的虚拟预测误差最小化来给出最佳虚拟预测模式。
这里，需要注意的是，用于通过公式(18)计算虚拟预测误差的度量不限于平方差之和(SSE)，其它度量也是可能的：绝对差之和(SAD)、绝对阿达玛变换差之和(SATD)。
获得适用于同位置块的虚拟预测然后使用相同模式(Jmode)来计算专用于增强层的当前块的虚拟预测
如以下公式(20)和(21)那样来提供新的中间片。
当前中间片X’：
基础层的中间片Y’：
现在，当获得了中间虚拟预测块和时，使用转移函数Trf从基础层找到当前块的(确定的)预测的处理与通过先前的公式(8)和(9)给出的处理类似。
具有转移函数Trf，将该函数应用于片Y，在逆变换之后，给出从其中提取期望预测的片Y”，如公式(22)所示。
在公式(22)中，当前块的预测是这里，该处理与通过使用公式(13)、(14)和(15)以及此处的虚拟模式Jmode而用于公式(12)的处理类似。
图5A和图5B示出了对帧内SNR可伸缩性的这种描述的原理。图5是示出了本公开第二实施例的用于确定增强层的当前块的预测的装置的配置的框图。
图5A中的编码器侧(单元500)：
使用TMO 506对由块be 501组成的原始HDR图像imel进行色调映射，其给出原始色调映射图像imbl。
基础层(bl)
我们考虑编码原始基础层图像imbl。利用给定的视频编码器531，图像由编码器531编码，并由局部在环(in loop)解码器532局部解码。将局部解码的图像存储在“重构图像缓冲器”533中。在基础层比特流中发送所得到的编码图像。
增强层(el)
我们现在考虑编码原始增强层块be。
a)对于增强层的当前块，我们考虑(索引为m的)增强层编码器帧内模式的所有可用的帧内编码模式，
ο我们(利用公式(19)和“Jmode＝Argminj{FRj}”单元542)(根据给定的准则(公式(19)，以及增强层解码器的解码模式))从该同位置块的相邻像素中找到专用于(基础层)的同位置块的(索引为Jmode的)最佳预测模式。
b)利用增强层的(索引为Jmode的)这种帧内模式，我们确定：
ο(利用bl空间预测(Sp pred)单元541)确定基础层层级的帧内预测块
ο然后，根据公式(21)利用同位置块的相邻物和预测块建立第一中间片Y’。
c)类似地，利用基础层的(Jmode索引的)这种帧内模式，我们确定：
ο(利用el空间预测(Sp Pred)单元512)确定增强层层级的中间帧内预测块
ο并且，然后根据公式(20)利用当前块(be)的相邻物和中间预测块来建立第二中间片X’。
d)在变换域(例如，DCT)中，我们使用公式(8)至(11)来确定从片Y’到片X’的转移函数Trf。
e)现在，我们考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片。
1.我们对片Y应用变换(例如，DCT)：TF(Y)
2.现在，将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
3.对TY″计算逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如公式(22)那样组成的。
4.最后，从片Y”提取与块相对应的预测。
从b到e的所有步骤是在“预测el/bl(Trf)”单元511中实现的。
f)通过T，Q单元503将(使用组合器502计算出的)在增强层块be和在步骤a到e处计算的层间预测之间的误差残量rs变换和量化为req，并且req由熵编码器504进行熵编码，并且在增强层比特流中发送。
g)最后，通过(用组合器514)将由T-1Q-1单元505逆变换和解量化的预测误差块redq添加到预测来局部地重建解码的块，并且将重构(解码)的图像存储在(el)参考帧缓冲器508中。
关于其它单元507和509，该功能分别专用于经典编码模式决定和用于图像间预测的运动估计。
图5B中的解码器侧(单元550)：
基础层(bl)
根据bl比特流，利用解码器584对基础层序列进行解码。重构图像缓冲器582存储用于层间预测的解码帧。
增强层(el)
a)根据el比特流，对于给定块，熵解码器551对量化的误差预测req进行解码。
b)通过T-1Q-1单元552将残差预测req解量化和逆变换以产生redq。
c)如果用于解码的块的编码模式与我们的层间模式相对应，则我们需要基础层的同位置块的(索引为Jmode的)帧内模式。
ο对于HDR层的当前块，我们考虑(索引为Jmode的)增强层编码器帧内模式的所有可用的帧内编码模式，
ο(利用公式(19)和“Jmode＝Argminj{ERj}”单元581)(根据给定的准则(公式(19)，以及增强层解码器的解码模式))从该同位置块的相邻像素中找到专用于(基础层)的同位置块的(索引为Jmode的)最佳预测模式。
d)利用增强层的(索引为Jmode的)这种帧内模式，我们确定：
ο利用bl空间预测(bl Sp Pred)单元583，确定基础层层级的帧内预测块
ο然后，根据公式(21)利用同位置块的相邻物和预测块建立第一中间片Y’
e)类似地，利用基础层的(索引为Jmode的)这种帧内模式，我们确定：
ο利用el空间预测(Sp Pred)单元555，确定增强层层级的中间帧内预测块
ο并且，然后根据公式(20)利用当前块(be)的相邻物和中间预测块来建立第二中间片X’。
f)在变换域(例如，DCT)中，我们使用公式(8)至(11)来确定从片Y’到片X’的转移函数Trf。
g)现在，我们考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片。
1.我们对片Y应用变换(例如，DCT)：TF(Y)
2.现在，将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
3.对TY″计算逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如公式(22)那样组成的。
4.最后，从片Y”提取与块相对应的预测。
从c到g的所有步骤是在“预测el/bl(Trf)”单元557中实现的，我们可以注意到，步骤d到h与(第而实施例的)编码器的步骤b到e严格相同；显然，如果el编码器通过el编码器(单元507)的模式决定选择该层间预测模式的话。
h)通过下述方式来建立el解码块：(使用组合器553)将(经由单元552)解码和解量化的预测误差块redq添加到(经由预测单元554和单元557)的预测块给出重构的(el)块。
i)将重构(或解码)的图像存储在(el)参考帧缓冲器556中，使用运动补偿单元558将解码的帧用于下一个(e1)帧内图像预测和帧间预测。
根据该用于确定增强层的当前块的预测的方法和装置，即使当基础层的编码模式不同于增强层的编码模式时，也选择适当的层间编码模式，然后可以获得当前块的预测。
[第三实施例]
下面给出了本公开第三实施例的用于确定增强层的当前块的预测的方法和装置的描述。
在空间可伸缩性方面，基础层(le)和增强层(lb)的空间分辨率彼此不同，但是关于基础层的预测模式的可用性，却存在不同的可能性。
更具体地，下面给出了其中空间可伸缩性处于相同视频编码标准(与第一实施例类似)的情况的描述。
如果当前块的大小与基础层的块的同位置上采样(up-sampled)相同，则可以利用基础层的预测模式m，并且在第一实施例中说明的处理可以应用于这种情况。例如(在空间可伸缩性N×N→2N×2N的情况下)，给定的8×8当前块在基础层中具有4×4同位置块。于是，帧内模式m与用于编码(lb层的)该4×4块的帧内编码模式相对应，并且8×8预测块可以是基础层的上采样预测(4×4→8×8)，或者可以利用相同的编码模式m对基础层的上采样图像计算预测作为第一实施例，当获得基础层和增强层中间预测块时，就建立基础层和增强层中间组块。之后，根据两个中间片，使用公式8至11来估算转移函数。最后，将转移函数应用于基础层的上采样和变换(ex DCT)的片，如第一实施例那样提取层间预测。
相反，如果当前块的大小与基础层的块的上采样不同，则编码模式m事实上不可用。在这种情况下，可以使用在第二实施例中说明的原理。换言之，必须估计上采样的基础层中的最佳编码模式m，(专用于层间预测的)其余处理与第二实施例相同；已知：所估计出的转移函数(Trf)应用于上采样和变换(ex DCT)的基础层片。
[第四实施例]
下面给出了本公开第四实施例的用于确定增强层的当前块的预测的方法和装置的描述。
基于LDR/HDR可伸缩视频编码，本公开的第四实施例为基础层的块提供了编码模式选择算法，以便重用所选择的模式，以利用第一实施例中提供的技术来建立预测(lb→le)。在基础层层级处选择编码模式可能导致两层层级处的固有失真。
这里，RDO(速率失真优化)技术用于解决LDR和HDR的失真以及当前HDR和同位置的LDR块的编码成本，并且RDO准则给出了在重构误差以及基础层和增强层的编码成本之间提供了最佳折中的预测模式。为此，用于这两层的经典RDO准则如以下公式(23)和(24)那样提供。
术语和分别由基础层和增强层的预测的误差残量的DCT系数的编码成本以及块(和)(其允许在解码器侧重构预测)的头部中包含的语法元素(块大小、编码模式等等)组成。
考虑基础层的块(作为原始块)的示例，对在逆量化和逆变换(例如，DCT-1)之后的预测的误差残量的系数进行量化，将该残差添加到预测提供了重构(或解码)的块利用原始块和解码的块与该块相关联的基础层失真如以下公式(25)那样被提供。
在RDO准则中，使用众所周知的参数λbl以便给出最佳的折中速率失真。在该示例中，如以下公式(26)那样来提供N个可能模式中的最佳模式。
可以将公式(23)和(24)重新书写成其它形式，如公式(27)和(28)所示。
公式(27)和(28)可以利用混合参数α进行混合，这允许基础层和增强层之间的全局折中，如以下公式(29)所示。
其中
0≤α≤1
(根据公式(29)的)最佳模式给出了基础层的模式，其经由基础层的N个编码模式中的一个来产生最小全局成本Cst′，如以下公式(30)所示。
根据该公式(30)，注意到以下事项。
如果α＝0，则情况与在第一实施例中提出的算法相对应，其中，可以使用基础层的(索引为m的)编码模式，来经由转移函数Trf建立层间预测(bl→el)，并且最终利用来提供层间预测
相反，如果α＝1，则编码模式的选择主要集中在增强层，并且存在基础层包含大量视觉伪影的风险。
如果α＝0.5，则两个层之间的折中是必要的。在这种情况下，重要的是要注意：基础层的编码模式的选择实际上不仅基于在基础层层级处的影响还基于在增强层层级处的影响，更确切地基于：
·基础层编码模式的选择对基础层的影响；以及
·基于先前的基础层编码模式使用在第一实施例中说明的整个处理对增强层(即层间预测)的影响。
图6示出了第四实施例的用于确定增强层的当前块的预测的装置的框图。
参考图6，描述了局部层间预测。因此，为了描述，仅描述使用帧内模式(m)的帧内图像预测模式，因为我们的层间预测模式使用帧内模式(m)。
注意，因为在第四实施例中的相关联的解码器与第一实施例中的相同并且与图4b所示的解码器相对应，因此仅描述编码器侧。
图6中的编码器侧(单元600)：
使用TMO 606来色调映射原始块601bbc，其给出原始色调映射块be。
注意，在第四实施例的层间预测的特定情况下，不使用单元625和607(与基础层和增强层的编码模式决定单元相对应)。在该情况下，单元642替代单元625和607，事实上，单元642使用公式30选择最佳帧内模式并且向单元625和607发送该模式
单元642中的基础层帧内编码模式选择
对于给定的混合参数α(其允许基础层和增强层之间的全局折中如下面的公式(29)所示)，并且对于每N个可用的帧内预测模式(图3所示，在H264的情况下)，我们对编码模式操作N次迭代：
关于索引m的N个帧内模式的循环{
a)利用基础层的相邻重构(或解码)像素、空间预测和帧内编码模式m(m是索引)，(Sp Pred)单元658给出帧内基础层预测块
b)利用增强层的相邻重构(或解码)像素、空间预测和相同的m帧内编码模式，(SpPred)单元612给出中间帧内增强层预测块
ο单元611建立由帧内基础层相邻物和步骤(a)的预测块组成的基础层的片
ο单元611建立由帧内增强层相邻物和步骤(b)的预测块组成的增强层的片
ο在变换域(例如，DCT)中，(在单元611中)使用公式(8)至(11)来确定从片Y’到片X’的转移函数Trf。
ο仍然在单元611中，
考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片
对片Y应用变换(例如，DCT)：TF(Y)
将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
对TY″应用逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如公式(12)那样组成的。
从片Y”中提取与块相对应的预测
c)在单元642中，选择(根据公式(29)的)最佳模式，该最佳模式经由N个编码模式中的一个来产生最小全局成本Cst′(公式(30))
}关于索引m的N个帧内模式的循环结束
最后，将最佳帧内发送给基础层空间预测单元658和决定单元607，并且发送给增强层单元611。
当找到时，处理的其余部分与第一实施例的编码器的描述类似，其中已知基础层帧内模式索引
基础层(bl)
我们考虑编码原始基础层块bbc
d)利用参考帧缓冲器626中存储的原始块bbc和(先前解码的)图像，运动估计器(运动估计单元)629利用给定的运动矢量(时间预测单元)找到最佳帧间图像预测块，并且时间预测(Temp Pred Pred)单元630给出时间预测块。
e)如果模式决定处理(单元625)选择(索引为的)帧内图像预测模式，则利用原始块bbc和预测块之间的差(通过组合器621)来计算残差预测rb。
f)之后，通过TQ单元622将残差预测rb变换和量化为rbq，并且最终由熵编码器单元623进行熵编码并在比特流基础层中发送。
g)通过(利用组合器657)将由T-1Q-1单元624逆变换和解量化后的预测误差块rbdq添加到预测块给出重构(基础层)块，来局部重建解码的块
h)将重构(或解码)的帧存储在(b1)参考帧缓冲器626中。
增强层(el)
我们可以注意到，增强层的编码器的结构与基础层的编码器相似，例如，就编码模式决定、时间预测和参考帧缓冲器方面而言，单元607、608、609和613具有与基础层的编码器的各个单元625、626、629和630相同的功能。
我们现在考虑编码原始增强层块be。
i)对于增强层的块，如果基础层的同位置块是以帧内图像模式被编码的，则我们考虑该同位置块的(索引为m的，其中)帧内模式。
j)利用基础层的(索引为m的)这个帧内模式，我们确定：
ο利用bl空间预测(Sp pred)单元658，确定或重用基础层层级的帧内预测块
ο然后，根据公式(7)利用同位置块的相邻物和预测块建立第一中间片Y’
k)类似地，利用基础层的(索引为m的)这种帧内模式，我们确定：
ο(利用el空间预测(Sp Pred)单元612)确定增强层层级的中间帧内预测块
ο并且，然后根据公式(6)利用当前块(be)的相邻物和中间预测块来建立第二中间片X’
1)在变换域(例如，DCT)中，我们使用公式(8)至(11)来确定从片Y’到片X’的转移函数Trf。
m)现在，我们考虑根据公式(5)由同位置块及其相邻物组成的基础层Y的初始(解码)片。
5.我们对片Y应用变换(例如，DCT)：TF(Y)
6.现在，将Trf函数应用于变换域，比如：TY″＝TF(Y).Trf
7.对TY″计算逆变换(例如，DCT-1)，给出Y″＝TF-1(TY″)，其中所得到的片是如公式(12)那样组成的。
8.最后，从片Y”提取与块相对应的预测。
从j到m的所有步骤是在“预测el/bl(Trf)”单元611中实现的。
n)(T Q单元603)将(使用组合器602)计算的在增强层块be和在步骤j到m处计算的层间预测之间的误差残量rs变换和量化为req，并且req由熵编码器单元604进行熵编码并且在增强层比特流中发送
ο)最后，通过(用组合器610)将由T-1Q-1单元605逆变换和解量化的预测误差块redq添加到预测来局部地重建解码的块，并且将重构(解码)的图像存储在(el)参考帧缓冲器608中。
如上所述，本公开的实施例涉及对于两层使用相同或不同的编码器来进行编码的SNR和空间可伸缩LDR/HDR视频编码。可以利用任何色调映射算子根据HDR视频来实现LDR视频，所述色调算子为：全局或局部的、线性或非线性的。在实施例的可伸缩解决方案中，层间预测是实时实现的，而无需附加的特定元数据。
本公开的实施例涉及编码器和解码器两者。本公开的实施例应用于总体公开的解码处理，并且根据本公开的实施例，所述解码是可检测的。
本公开的实施例可以应用于图像和视频压缩。特别地，本公开的实施例可以被提交给ITU-T或MPEG标准化组，来作为专用于LDR/HDR视频内容的存档和分发的新一代编码器的开发的一部分。
这里记载的所有示例和条件语言旨在用于教导目的，以帮助读者理解本发明人为改进现有技术而贡献的公开内容和构思，并且应被解释为不限于这些具体记载的示例和条件，说明书中这些示例的组织也不涉及示出本公开的优势或劣势。

Claims (16)

1.一种方法，包括：
利用基础层的同位置块的相邻像素和第一预测块来建立(S715)低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；
利用增强层的当前块的相邻像素和第二预测块来建立(S725)高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；
通过在变换域中对所述基础层的变换后的初始片应用转移函数，并且随后对所得到的片应用逆变换以返回至像素域，来建立(S735)片，其中，所述转移函数被确定(S730)为在所述变换域中将所述第一中间片变换到所述第二中间片；
通过从所述片中提取块来预测(S740)所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及
对所述增强层的当前块与所述增强层的当前块的预测之间的残差进行编码。
2.根据权利要求1所述的方法，其中，所述基础层是使用专用于低动态范围视频的色调映射算子来进行色调映射的。
3.根据权利要求1所述的方法，其中，当所述基础层的所述同位置块的第一编码模式可用于所述增强层的当前块时，将所述第一编码模式用作所述编码模式。
4.根据权利要求1所述的方法，其中，当所述基础层的所述同位置块的第一编码模式不可用于所述增强层的当前块时，通过从可能的编码模式中选择最适当的编码模式来获得所述编码模式。
5.根据权利要求4所述的方法，其中，选择最适当的编码模式是通过以下操作来执行的：利用所述增强层的可能的编码模式中的每一个，选择使得所述基础层的所述同位置块与所述基础层的所述同位置块的虚拟预测之间的差最小化的编码模式。
6.根据权利要求1所述的方法，其中，如果所述增强层的当前块的大小与所述基础层的上采样同位置块的大小相同，则将所述基础层的所述同位置块的第一编码模式用作所述编码模式。
7.根据权利要求1所述的方法，其中，通过考虑所述基础层和所述增强层中的重构误差与所述基础层和所述增强层的编码成本之间的折中，来选择所述基础层的所述同位置块的第一编码模式。
8.一种装置(400)，包括：
第一中间片创建单元(428)，被配置为：利用基础层的编码模式根据所述基础层的同位置块的相邻像素来预测第一预测块；以及，利用所述基础层的所述同位置块的所述相邻像素和所述第一预测块来建立低动态范围的第一中间片；
第二中间片创建单元(412)，被配置为：利用所述编码模式根据增强层的当前块的相邻像素来预测第二预测块；以及，利用所述增强层的当前块的所述相邻像素和所述第二预测块来建立高动态范围的第二中间片；
单元(411)，用于：确定转移函数，以在变换域中将第一中间片变换为第二中间片；通过在所述变换域中对所述基础层的变换后的初始片应用所述转移函数，并且随后对所得到的片应用逆变换来返回至像素域，来建立片；以及，通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及
编码器(404)，用于对所述增强层的当前块与所述增强层的当前块的预测之间的残差进行编码。
9.根据权利要求8所述的装置，其中，使用专用于低动态范围视频的色调映射算子来对所述基础层进行色调映射。
10.根据权利要求8所述的装置(400)，其中，当所述基础层的所述同位置块的第一编码模式可用于所述增强层的当前块时，将所述第一编码模式用作所述编码模式。
11.根据权利要求8所述的装置(500)，其中，当所述基础层的所述同位置块的第一编码模式不可用于所述增强层的当前块时，从可能的编码模式中选择最适当的编码模式。
12.根据权利要求11所述的装置(500)，其中，通过以下操作来选择最适当的编码模式：利用所述增强层的可能的编码模式中的每一个，选择使得所述基础层的所述同位置块与所述基础层的所述同位置块的虚拟预测之间的差最小化的编码模式。
13.根据权利要求8所述的装置(400)，其中，如果所述增强层的当前块的大小与所述基础层的上采样同位置块的大小相同，则将所述基础层的所述同位置块的第一编码模式用作所述编码模式。
14.根据权利要求8所述的装置(600)，其中，通过考虑所述基础层和所述增强层中的重构误差与所述基础层和所述增强层的编码成本之间的折中，来选择所述基础层的所述同位置块的第一编码模式。
15.一种方法，包括：
对残留预测误差进行解码；
利用基础层的同位置块的相邻像素和第一预测块来建立(S715)低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；
利用增强层的当前块的相邻像素和第二预测块来建立(S725)高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；
通过在变换域中对所述基础层的变换后的初始片应用转移函数，并且随后对所得到的片应用逆变换以返回至像素域，来建立(S735)片，其中，所述转移函数用于在所述变换域中将所述第一中间片变换到所述第二中间片；
通过从所述片中提取块来预测(S740)所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及
通过将所述预测误差添加到所述增强层的当前块的预测来重构所述增强层的块。
16.一种装置(450)，包括：
解码器(451)，用于对残留预测误差进行解码；
第一中间片创建单元(475)，被配置为利用基础层的同位置块的相邻像素和第一预测块来建立低动态范围的第一中间片，所述第一预测块是利用所述基础层的编码模式根据所述基础层的所述同位置块的所述相邻像素而预测的；
第二中间片创建单元(455)，被配置为利用增强层的当前块的相邻像素和第二预测块来建立(S725)高动态范围的第二中间片，所述第二预测块是利用所述编码模式根据所述增强层的当前块的所述相邻像素而预测的；以及
单元(457)，用于通过在变换域中对所述基础层的变换后的初始片应用转移函数，并且随后对所得到的片应用逆变换来返回至像素域，来建立片，其中，所述转移函数用于在所述变换域中将所述第一中间片变换为所述第二中间片；以及通过从所述片中提取块来预测所述增强层的当前块的预测，在所述片中提取的块与所述第二中间片中的所述增强层的当前块是同位置的；以及
单元(453)，用于将所述预测误差添加到所述增强层的当前块的预测，以重构所述增强层的块。
CN201680050362.9A 2015-06-30 2016-06-27 用于确定增强层的当前块的预测的方法和装置 Pending CN107950025A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15306049.6 2015-06-30
EP15306049.6A EP3113492A1 (en) 2015-06-30 2015-06-30 Method and apparatus for determining prediction of current block of enhancement layer
PCT/EP2016/064868 WO2017001344A1 (en) 2015-06-30 2016-06-27 Method and apparatus for determining prediction of current block of enhancement layer

Publications (1)

Publication Number Publication Date
CN107950025A true CN107950025A (zh) 2018-04-20

Family

ID=53724154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680050362.9A Pending CN107950025A (zh) 2015-06-30 2016-06-27 用于确定增强层的当前块的预测的方法和装置

Country Status (6)

Country Link
US (1) US20180199032A1 (zh)
EP (2) EP3113492A1 (zh)
JP (1) JP2018524916A (zh)
KR (1) KR20180021733A (zh)
CN (1) CN107950025A (zh)
WO (1) WO2017001344A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891888A (zh) * 2016-09-30 2019-06-14 交互数字Vc控股公司 基于内部的局部层间预测方法
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570479B2 (en) * 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090262798A1 (en) * 2008-04-16 2009-10-22 Yi-Jen Chiu Tone mapping for bit-depth scalable video codec
CN101601300A (zh) * 2006-12-14 2009-12-09 汤姆逊许可公司 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US20140140392A1 (en) * 2012-11-16 2014-05-22 Sony Corporation Video processing system with prediction mechanism and method of operation thereof
WO2014082982A1 (en) * 2012-11-29 2014-06-05 Thomson Licensing Method for predicting a block of pixels from at least one patch

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7809200B2 (en) * 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
JP5295233B2 (ja) * 2007-06-29 2013-09-18 フラウンホファー・ゲゼルシャフト・ツール・フォルデルング・デル・アンゲバンテン・フォルシュング・アインゲトラーゲネル・フェライン ビデオエンコーダ、ビデオデコーダ、エンコードするための方法、デコードするための方法、コンピュータプログラム、およびスケーラブルなビットストリーム
HUE024173T2 (en) * 2008-04-16 2016-05-30 Ge Video Compression Llc Bit depth scalability
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
EP2154893A1 (en) 2008-08-13 2010-02-17 Thomson Licensing Method for modifying a reference block of a reference image, method for encoding or decoding a block of an image by help of a reference block and device therefor and storage medium or signal carrying a block encoded by help of a modified reference block
EP2449526A1 (en) 2009-06-29 2012-05-09 Thomson Licensing Zone-based tone mapping
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US20140003527A1 (en) * 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
GB2509901A (en) * 2013-01-04 2014-07-23 Canon Kk Image coding methods based on suitability of base layer (BL) prediction data, and most probable prediction modes (MPMs)
WO2015034188A1 (ko) * 2013-09-06 2015-03-12 엘지전자 주식회사 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
EP3070934A4 (en) * 2013-11-13 2017-03-29 LG Electronics Inc. Broadcast signal transmission method and apparatus for providing hdr broadcast service
US10536731B2 (en) * 2014-05-12 2020-01-14 Apple Inc. Techniques for HDR/WCR video coding
US20160286226A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101601300A (zh) * 2006-12-14 2009-12-09 汤姆逊许可公司 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US20090262798A1 (en) * 2008-04-16 2009-10-22 Yi-Jen Chiu Tone mapping for bit-depth scalable video codec
US20140140392A1 (en) * 2012-11-16 2014-05-22 Sony Corporation Video processing system with prediction mechanism and method of operation thereof
WO2014082982A1 (en) * 2012-11-29 2014-06-05 Thomson Licensing Method for predicting a block of pixels from at least one patch

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN WINKEN ET AL.: ""CE2: SVC bit-depth scalable coding"", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 24TH MEETING: GENEVA, CH, 29 JUNE – 5 JULY, 2007》 *
YUWEN WU: ""Study on Inter-layer Prediction for CE1: SVC Bit-depth Scalability"", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q.6) 25TH MEETING: SHENZHEN, CN, 21–26 OCTOBER, 2007》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891888A (zh) * 2016-09-30 2019-06-14 交互数字Vc控股公司 基于内部的局部层间预测方法
CN111491168A (zh) * 2019-01-29 2020-08-04 华为软件技术有限公司 视频编解码方法、解码器、编码器和相关设备

Also Published As

Publication number Publication date
JP2018524916A (ja) 2018-08-30
WO2017001344A1 (en) 2017-01-05
KR20180021733A (ko) 2018-03-05
EP3113492A1 (en) 2017-01-04
US20180199032A1 (en) 2018-07-12
EP3318062A1 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
CN105245877B (zh) 用于对图像编码的设备和方法
CN104811714B (zh) 使用平面表达的增强帧内预测编码
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
CN103458241B (zh) 用于多层视频编码的速率控制方法和设备
CN103650496B (zh) 用于在hevc中编码的基于像素的帧内预测
CN103957409B (zh) 编码方法和解码方法、编码器和解码器
CN103348677B (zh) 像素层级自适应帧内平滑化
CN102835106B (zh) 用于视频的数据压缩
CN105657419B (zh) 图像编码装置及其方法和图像解码装置及其方法
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
JP2013229906A (ja) ハイブリッドビデオ符号化のための量子化
CN103782598A (zh) 用于无损编码的快速编码方法
CN108055537A (zh) 视频解码方法
CN101558650A (zh) 使用针对空间和位深预测的自适应预测顺序来编码和/或解码视频数据的方法及设备
CN107295341A (zh) 视频编码方法
JPWO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN107950025A (zh) 用于确定增强层的当前块的预测的方法和装置
KR101529903B1 (ko) 블록기반 깊이정보 맵의 코딩 방법과 장치, 및 이를 이용한 3차원 비디오 코딩 방법
CN109891888A (zh) 基于内部的局部层间预测方法
KR20140005260A (ko) 이미지들의 시퀀스의 코딩 방법 및 대응하는 재구성 방법
CN105144712A (zh) 用于编码数字图像序列的方法
Arrivukannamma et al. A study on CODEC quality metric in video compression techniques
CN102792687B (zh) 用于视频的数据压缩
Do et al. An early block type decision method for intra prediction in H. 264/AVC
KR20120008321A (ko) 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20191106

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180420

WD01 Invention patent application deemed withdrawn after publication