CN103313057A - 用于比特深度可分级的视频编解码器的色调映射 - Google Patents

Abstract

本发明公开了用于比特深度可分级的视频编解码器的色调映射。可分级的视频编解码器可以使用经解码的较低比特深度的视频来进行色调映射和色调映射推导，从而将较低比特深度的视频转换为较高比特深度的视频。该转换还可以使用经滤波的较低比特深度的视频来进行色调映射和色调映射推导。

Description

用于比特深度可分级的视频编解码器的色调映射

本申请是2009年4月16日提交的、发明名称为“用于比特深度可分级的视频编解码器的色调映射”、申请号为200910132752.2的专利申请的分案申请。

技术领域

本发明总体上涉及可分级的视频编解码器。

背景技术

可分级的视频编解码器能够根据用户喜欢的服务类型而将不同的图像质量级别传递给不同的用户。与较高质量的视频服务相比，较低质量的视频服务便宜。

在可分级的视频编解码器中，将较低的比特深度称为基线层，而将较高的比特深度称为增强层。比特深度越大，视频质量就越好。

在可分级的视频编解码器中，可以将编码器和解码器作为一个单元来提供。在一些情况下，仅提供了编码器，而在另一些情况下，仅提供了解码器。可分级的视频编解码器使得系统能够至少对基线层进行操作。因此，在低成本的系统中，可以仅采用基线层，而在较高成本的更为高级的系统中，可以采用增强层。

从基线层推导出增强层是有利的。为了实现该目的，可以利用逆色调映射（inverse tone mapping）来将基线层的比特深度增加到增强层的比特深度。在一些情况下，例如，基线层可以是每像素8比特，而增强层可以是每像素10、12或更多比特。

附图说明

图1是根据本发明一个实施例的编码器和解码器系统的示意性图示；

图2是根据本发明另一实施例的编码器和解码器系统的图示；以及

图3是本发明另一实施例的系统图示。

具体实施方式

参考图1，可分级的视频编解码器包括编码器10，编码器10可以通过视频传输或视频存储14而与解码器12进行通信。图1示出了一个编解码器的编码器、以及另一个编解码器的解码器。

举例而言，网络计算机可以通过网络与另一计算机进行通信。每个计算机可以具有包括编码器和解码器两者的编解码器，从而可以在一个节点上对信息进行编码，通过网络将编码后的信息传输到另一节点，然后所述另一节点对编码后的信息进行解码。

图1中所示的编解码器是可分级的视频编解码器（SVC）。这意味着它能够使用不同的比特深度来对信息进行编码和/或解码。视频源16和26可以连接到编码器10。视频源16可以使用N-比特的视频数据，而视频源26可以提供M-比特的视频数据，这里，比特深度M大于比特深度N。在其它实施例中，可以提供具有两个以上比特深度的两个以上的源。

在每种情况下，将来自视频源的信息提供给编码器。在具有较低比特深度的视频源16的情况下，将该信息提供给基线编码器18。在具有较高比特深度的视频源26的情况下，采用增强层编码器28。

然而，为了在增强层编码中使用，对在B处的来自基线编码器18的经过基线解码的信息进行逆色调映射，以将它的比特深度增加到M个比特。这样，在一个实施例中，将解码后的N-比特视频提供给逆色调映射单元20。逆色调映射20增加比特深度，并产生了到增强层编码器28的M-比特输出。解码后的流B还被提供给色调映射推导24。色调映射推导24还从M-比特的视频源26接收信息。色调映射推导24的输出用于逆色调映射20。

同时，在A处的来自编码器18的经过编码的输出被输出至视频传输或视频存储14。

作为将解码后的流B用于色调映射推导器24的结果，可以减小在增强层编码器28中的编码残差，因为编码器28中的更好的预测，在一些情况下这提高了编码效率。

图1的编码器例如符合H.264（先进视频编解码器（AVC）和MPEG-4第10部分）压缩标准。H.264标准已经由联合视频工作组（JVT）制定，该联合视频工作组包括ITU-T SG16Q.6（也称为VCEG（视频编码专家组））和ISO-IEC JTC/SC29/WG11（2003）（也称为MPEG（运动图像专家组））。举几个例子，H.264被设计为应用在数字TV广播、直播卫星视频、数字用户线视频、交换式存储媒体、多媒体消息、数字地面TV广播以及远程视频监控等领域中。

尽管一个实施例可以符合H.264视频编码，但是本发明并不局限于此。相反，这些实施例可以用于各种视频压缩系统，包括MPEG-2（ISO/IEC13818-1（2000）MPEG-2，可从瑞士日内瓦的国际标准化组织获得该ISO/IEC13818-1（2000）MPEG-2）以及VC1（SMPTE421M（2006），可从SMPTEWhite Plains,NY,10601获得该SMPTE421M（2006））。

编码器通过视频传输或视频存储14提供信息，以供解码器使用。可提供的信息可以包括基线（BL）层视频流、逆色调映射（ITM）信息、来自自适应滤波24的滤波器抽头（filter tap）以及增强层（EL）视频流。该信息中的一些可以包含在分组报头中。例如，逆色调映射（ITM）信息和滤波器抽头信息可以在分组化数据传输中在合适的报头中提供。

一旦在解码器12中接收到合适的信息，基线解码器30就解码该信息，以便由显示器32显示N-比特视频。然而，如果作为替代提供了增强层装置，则可以提供较高比特深度的显示器40。（通常，不会包括两个显示器）。使用逆色调映射单元34将N-比特的基线解码器输出转换为M-比特视频，还向逆色调映射单元34提供与在编码器10中进行的逆色调映射相关的ITM信息。

视频解码器是自推导式（self-deriving）的，这是因为使用解码器可获得的信息来进行编码。解码器可以访问该相同的信息来对编码后的信息进行解码，而无需从编码器搜索该信息。

通常，可以采用任何类型的色调映射来增加基线层视频的比特密度，包括基于块的逆缩放以及分段的逆线性映射。

图1中的色调映射推导24寻找在较高/较低比特深度视频之间的关系。通常，通过编码器端的原始高比特深度视频和原始较低比特深度视频的统计特征，推导该映射关系。

使用较低比特深度N输入的像素x以及较高比特深度M输入的相同位置的像素y来建立查询表（LUT）。借助于“相同位置”，旨在查询在来自源16和26的两个图像中的相同位置处的像素。

对于在较低比特深度输入中的每个像素x_i以及在较高比特深度输入中的相同位置的像素y_i，令：

${\mathrm{sum}}_k-=\underset{i}{\mathrm{\Σ}}{y}_i{|}_{(x_i=k)}$

${\mathrm{num}}_k+=\underset{i}{\mathrm{\Σ}}1{|}_{(x_i=k)}$

那么，第j项LUT[j]=sum_j/num_j。

如果（num_j==0），则LUT[j]是LUT[j_-]和LUT[j₊]的加权平均，其中如果可以获得j_-和j_＋，则j_-和j₊是第j项的最接近的非零邻居。

不使用较低比特深度的源16的输入像素，而是将来自基层编码器18的经解码的输出像素与较高比特深度的源26的输入一起使用来得到映射LUT。像素z是解码后的较低比特深度N输出，而相同位置的输入像素y是较高比特深度M输入。对于在较低比特深度的解码后输出中的每个像素z_i以及在较高比特深度输入中的相同位置的像素y_i，令：

${\mathrm{sum}}_k-=\underset{i}{\mathrm{\Σ}}{y}_i{|}_{(z_i=k)}$

${\mathrm{num}}_k+=\underset{i}{\mathrm{\Σ}}1{|}_{(z_i=k)}$

那么，第j项LUT[j]=sum_j/num_j。

如果（num_j==0），则LUT[j]是LUT[j_-]和LUT[j₊]的加权平均，其中如果可以获得j_-和j_＋，则j_-和j₊是第j项的最接近的非零邻居。

在图2中，内容自适应技术推导出色调映射LUT，该内容自适应技术使用内容分析和滤波42。像素z是解码后的较低比特深度N输出，而相同位置的输入像素y来自于较高比特深度M。如果在目标像素z的周围邻域中不存在边缘像素，则可以用滤波后的像素f来替代该目标像素z，以推导出色调映射LUT。

对于在较低比特深度的解码后的输出中的每个像素x_i以及在较高比特深度输入中的相同位置的像素y_i，如果在x_i的邻域中不存在边缘像素，则：

设置f_i=filter(x_i)

${\mathrm{sum}}_k-=\underset{i}{\mathrm{\Σ}}{y}_i{|}_{(f_i=k)}$

${\mathrm{num}}_k+=\underset{i}{\mathrm{\Σ}}1{|}_{(f_i=k)}$

第j项LUT[j]=sum_j/num_j。

如果（num_j==0），则LUT[j]是LUT[j_-]和LUT[j₊]的加权平均，其中如果可以获得j_-和j_＋，则j_-和j₊是第j项的最接近的非零邻居。

在一个实施例中，将Sobel边缘算子用于内容分析和滤波42。假定目标像素z：

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]E\_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]E\_P45=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right]E\_N45=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right]$

目标像素z的边缘度量（EM）用公式表示为以下等式中的加权与其3×3邻域NH9(z)的卷积，如：EM(z)=|NH9(z)*E_h|+|NH9(z)*E_v|+|NH9(z)*E_P45|+|NH9(z)*E_N45|。

对于很多应用而言，使用两个方向E_v和E_h就足够了。在45度上的检测进一步改善了边缘检测，但是带来了更大的计算复杂度。

对于边缘检测，可以使用其它内容分析技术，例如Canny算法和基于导数的算法。

在图2中，使用来自邻域像素的滤波器支持（filter support）来对目标像素进行滤波。在一些实施例中，可以将线性滤波器或平均滤波器与边缘检测器一起使用。

邻域的定义可以与在诸如SVC和H.264等通用视频编码标准中的指定的块大小的定义自然对齐。举例而言，所述块大小可以是4×4、8×4、4×8和8×8。利用该对齐，色调映射推导24是内容自适应的并且是基于块的。尽管可以使用3×3邻域，但也可以使用其它邻域像素。

可以分别基于亮度通道和色度通道来推导色调映射表。亮度LUT可以用于亮度像素的映射，色度LUT可以用于色度像素的映射。在一些方案中，Cb通道和Cr通道两者共享一个色度表，或者可以分别使用Cb和Cr各自的表。

在一些实施例中，使用色调映射关系，以便借助于使用较低比特深度的解码后像素和较高比特深度的相同位置的输入像素来预测较高比特深度的像素。通过使用较低比特深度的解码后像素取代较低比特深度的输入像素，在一些实施例中可以减小编码残差并且实现更好的编码效率。

内容自适应技术利用相邻像素产生滤波后的像素，作为未经滤波的解码后像素的替代，以推导出色调映射关系。借助于邻域分析，消除了另一边界上的像素，以便在一些实施例中产生更为平滑的像素并且更好地预测较高比特深度的像素。这样，在一些情况下实现了更加有效的编码效率。由于在视频解码器端获得的自推导，因此在一些实施例中不需要将额外的开销从视频编码器端发送到视频解码器端。

参考图3，在一个实施例中，图1和图2中所示的编码器和解码器可以是图形处理器112的一部分。在一些实施例中，图1和图2中所示的编码器和解码器可以用硬件实现，而在其它实施例中，它们可以用软件或固件来实现。在软件实现的情况下，相关代码可以存储在任何合适的半导体、磁存储器或光存储器中，包括主存储器132。因此，在一个实施例中，源代码139可以存储在机器可读介质中，例如存储在主存储器132中，以便由诸如处理器100或图形处理器112等处理器执行。

计算机系统130可以包括硬盘驱动器134和可移动介质136，它们通过总线104耦合到芯片组内核逻辑110。在一个实施例中，该内核逻辑可以耦合到图形处理器112（经由总线105）和主处理器100。图形处理器112还可以通过总线106耦合到帧缓冲器114。帧缓冲器114可以通过总线107耦合到显示器屏幕118，显示器屏幕118进而通过总线108耦合到诸如键盘或鼠标120之类的常规组件。

图1和图2中所示的块可以构成硬件或软件组件。在软件组件的情况下，该图可以表示可存储在诸如半导体集成电路存储器、光存储设备或磁存储设备之类的机器可读介质中的指令序列。在此情况下，所述指令可由计算机或基于处理器的系统执行，所述计算机或基于处理器的系统从存储器中得到所述指令并执行所述指令。在一些情况下，所述指令可以是固件，其可以存储在合适的存储介质中。上述指令的执行结果是最终显示在显示器屏幕上的图像质量得到了改善。

本说明书通篇引用的“一个实施例”或“实施例”意思是结合该实施例所述的特定特征、结构或特性可以包括在本发明范围内包含的至少一种实现方式中。这样，出现的短语“一个实施例”或“在实施例中”并非一定指的是同一实施例。此外，所述特定特征、结构或特性可以用除所述的特定实施例之外的其它合适形式来替代，并且所有这些形式都包含在本申请权利要求的范围内。

虽然已经针对有限数量的实施例描述了本发明，但是本领域技术人员应该意识到从中得到的各种修改和变型。目的在于使所附的权利要求覆盖落入本发明的真实精神和范围之内的所有这些修改和变型。

Claims (31)

1.一种方法，包括：

使用解码后的较低比特深度的视频来进行逆色调映射，以便用于较高比特深度的编码。

2.如权利要求1所述的方法，包括：增加编码后的基线层视频信息的比特深度。

3.如权利要求2所述的方法，包括：将所述比特深度增加的视频信息提供给增强层编码器。

4.如权利要求1所述的方法，包括：使用自推导式解码。

5.如权利要求1所述的方法，包括：使用解码后的较低比特深度的视频来进行色调映射推导。

6.如权利要求1所述的方法，包括：使用基线层编码器的解码后的输出来进行逆色调映射。

7.如权利要求1所述的方法，包括：使用在较低比特深度的视频和较高比特深度的视频中相同位置的像素来进行色调映射推导。

8.如权利要求1所述的方法，包括：使用在较低比特深度的视频中的经滤波的像素来进行色调映射推导。

9.如权利要求1所述的方法，包括：在逆色调映射之前，对所述解码后的较低比特深度的视频进行滤波。

10.如权利要求9所述的方法，包括：使用对相邻像素的分析来进行逆色调映射。

11.如权利要求10所述的方法，包括：使用所述相邻像素以及在所述较低比特深度的视频和较高比特深度的视频中相同位置的像素来建立色调映射查询表。

12.一种装置，包括：

较低比特深度的编码器，其具有编码后的视频输出和解码后的视频输出；以及

设备，其使用来自所述解码后的视频输出的视频来增加编码后的视频信息的比特深度。

13.如权利要求12所述的装置，其中，所述设备包括逆色调映射。

14.如权利要求12所述的装置，其中，所述装置是编码器。

15.如权利要求12所述的装置，其中，所述装置包括解码器。

16.如权利要求15所述的装置，其中，所述解码器是自推导式的。

17.如权利要求12所述的装置，包括：耦合到所述设备的基线编码器。

18.如权利要求13所述的装置，包括：耦合到所述滤波器的增强层编码器。

19.如权利要求12所述的装置，包括：用于对所述解码后的视频输出进行滤波的滤波器。

20.如权利要求19所述的装置，包括：逆色调映射和色调映射推导，其中，所述滤波器的输出耦合到所述逆色调映射和所述色调映射推导。

21.一种视频编码器，包括：

基线层编码器，其具有解码后的输出；

逆色调映射，其耦合到所述解码后的输出；以及

增强层编码器，其耦合到所述逆色调映射。

22.如权利要求21所述的编码器，包括：耦合到所述基线层编码器的色调映射推导，所述色调映射推导耦合到所述逆色调映射并且耦合到增强层视频源。

23.如权利要求22所述的编码器，其中，所述逆色调映射推导使用在基线层视频和增强层视频中的像素来建立色调映射查询表。

24.如权利要求22所述的编码器，所述逆色调映射使用在所述基线层视频和所述增强层视频中的相同位置的像素。

25.如权利要求23所述的编码器，所述逆色调映射推导使用在所述基线层视频和所述增强层视频中的相邻像素来建立色调映射查询表。

26.如权利要求21所述的编码器，包括：耦合到所述解码后的输出的滤波器。

27.如权利要求26所述的编码器，其中，所述逆色调映射耦合到所述滤波器的输出。

28.如权利要求27所述的编码器，包括：耦合到所述滤波器的所述输出的色调映射推导。

29.一种视频解码器，包括：

基线层解码器；以及

自推导式增强层解码器，其耦合到所述基线层解码器。

30.如权利要求29所述的解码器，包括：耦合到所述基线层解码器的增强层解码器。

31.如权利要求30所述的解码器，包括：位于所述增强层解码器与所述基线解码器之间的内容分析和滤波。

Images