CN102082953A - 用于可伸缩视频编码的位深度增强 - Google Patents

Abstract

本发明名称为“用于可伸缩视频编码的位深度增强”。视频系统包括分析器和位深度预测器。分析器接收第一编码视频信号，其指示关于像素的第一值。第一值与第一位深度相关。分析器对于每个像素分析关于位于邻域中的像素的第一值，所述邻域包含所述每个像素。位深度预测器，至少部分地基于所述分析，生成指示关于像素的第二值的第二编码视频信号。第二值与不同于第一位深度的第二位深度相关。

Description

用于可伸缩视频编码的位深度增强

本发明申请是本发明申请人于2008年10月15日提交的申请号为200810179954.8的发明申请的分案申请。

技术领域

本发明涉及用于可伸缩视频编码的位深度增强。

背景技术

本发明概要地涉及用于可伸缩视频编码(scalable video coding)的位深度增强。

多个不同的观众可利用多种不同的设备和连接收看特定的视频。例如，特定的互联网址可广播视频流，可通过多种有线和无线网络、在具有不同能力并连接到该网址的移动设备、台式计算机以及电视机等上面观看该视频流。为了适应这种不同的环境，可采用称为可伸缩视频编码的概念。

在可伸缩视频编码中，提供多层压缩视频流，其允许每个终端设备提取与该设备能力匹配的信息并忽略其余信息。可编码该压缩视频流以容纳多个不同的可伸缩特征，例如可伸缩分辨率、可伸缩帧速率或可伸缩信噪比(SNR)。

为了生成可伸缩视频流，编码器处理原始视频流，其生成包含基线层(baseline layer)和至少一个增强层的压缩视频流。正如其名字所示，基线层组成关于该视频的最小信息。终端设备可利用增强层的特征，以达到伸缩接收到的视频流以匹配终端设备能力的目的。

可伸缩视频编码的过程一般涉及将基线层的位深度转换到用于增强层的更高的位深度。在此处的上下文中，“位深度”是指用于表示每个特定像素值的位的数量。例如，与基线层相关的压缩视频流可具有八的位深度，因为该流的每个像素值是由八个位表示的。增强层流可具有每个由十个位表示的像素值。因此，位深度转换涉及将基线层流的八位像素值转换成增强层流对应的十位像素值。常规的位深度伸缩技术涉及分块映射或色调映射。但是，这些技术从编码的角度来说可能是相对低效的。

发明内容

本发明提供一种方法，包括：接收第一编码视频信号，所述第一编码视频信号指示关于像素的第一值，所述第一值与第一位深度相关；对于每个像素，分析关于位于邻域中的像素的第一值，所述邻域包含所述每个像素；以及至少部分地基于所述分析，生成指示关于所述像素的第二值的第二编码视频信号，所述第二值与不同于所述第一位深度的第二位深度相关。

本发明还提供一种物品，包括计算机可访问的存储介质以存储指令，当执行所述指令时使基于处理器的系统：接收第一编码视频信号，所述第一编码视频信号指示关于像素的第一值，所述第一值与第一位深度相关；对于每个像素，分析关于位于邻域中的像素的第一值，所述邻域包含所述每个像素；以及至少部分地基于所述分析，生成指示关于所述像素的第二值的第二编码视频信号，所述第二值与高于所述第一位深度的第二位深度相关。

本发明还提供一种视频系统，包括：分析器，所述分析器接收第一编码视频信号，所述第一编码视频信号指示关于像素的第一值，所述第一值与第一位深度相关，以及对于每个像素，分析关于位于邻域中的像素的第一值，所述邻域包含所述每个像素；以及位深度预测器，至少部分地基于所述分析，生成指示关于所述像素的第二值的第二编码视频信号，所述第二值与不同于所述第一位深度的第二位深度相关。

附图说明

图1和4是现有技术的可伸缩视频编解码器(SVC)系统的框图。

图2是根据本发明的实施例的内容自适应的位深度增强器的框图。

图3和5是根据本发明的不同实施例的可伸缩视频编解码器(SVC)系统的框图。

图6是根据本发明的实施例的局部像素邻域的图示。

具体实施方式

参照图1，常规的可伸缩视频编解码器(SVC)系统10包括视频源20，其捕捉图像数据的连续帧以产生视频信号21，其像素值具有M的位深度(十的位深度，作为非限制性的示例)。也就是说，由视频源20捕捉的视频图像具有每个由具有M位的像素值定义的像素(即对于每个像素而言，每个色彩空间分量一个M位像素值)。

SVC系统10处理M位视频信号21以产生编码的基线层和增强层视频流。更具体地，为了产生编码的基线视频流(在本文中称为“BL视频流30”)，SVC系统10包含色调映射单元22和基线层编码器24。从M位视频信号21，色调映射单元22产生更低的位深度信号(称为“N位视频信号23”)，其具有位深度小于M的N(八的位深度，作为非限制性的示例)的位深度。基线层编码器24压缩N位视频信号23以生成BL视频流30。

为了生成编码的增强层视频流(在本文中称为“EL视频流32”)，SVC系统10包含反向色调映射单元26和增强层编码器28。反向色调映射单元26将由基线层编码器24提供的压缩的N位视频流转换成压缩的M位视频流27。增强层编码器28处理压缩的M位视频流27和M位视频信号21以生成EL视频流32。

BL30和EL32视频流可被传送到视频传输网络(无线网络、蜂窝网络、互联网、广播网络等等)和/或视频存储设备，如参考标号40所示。存储设备可以是磁盘、硬盘、CD-ROM、存储区域网络(SAN)、网页服务器、服务器场等等。不考虑特定的传输网络或存储设备，终端设备最终可从传输网络/存储设备40处接收/重新获得BL38和EL39视频流，并将其解码(例如，解压缩)以产生用于较低的位深度显示44的N位视频信号43或用于较高的位深度显示49的M位视频信号48。

更具体地，基线层解码器42可解码BL视频流38，其产生用于较低的位深度显示44的N位视频信号43。增强层解码器47可解码EL视频流39，其接收EL视频流39以及由反向色调映射单元46供给的M位视频流47。反向色调映射单元46响应由基线层解码器42提供的N位解压缩视频流而产生M位视频流47。增强层解码器47接着提供M位视频信号48给较高的位深度显示49。

色调映射是经常被用于将较高的位深度视频转换成较低的位深度视频的技术。这种技术包括线性伸缩，分段插值，并涉及生成和使用查询表。色调映射基于的原则是提供从高位深度像素值到低位深度像素值的像素到像素的映射。通过视频编码器提供的映射的信息，视频解码器能够从解码的低位深度视频构建高位深度视频。

但是，如同前面所讲的，在编码的上下文中色调映射可能是相对低效的，因为色调映射没有考虑位于正被映射的每个像素值的局部邻域的像素值。更具体地，在本文中描述的位深度转换技术在较低的N位深度信号中对被转换的每个像素值考虑了局部像素邻域。

像素邻域可由当前图像中的像素形成，所述像素最接近于其像素值正被转换成较高的位深度的像素。像素邻域可以备选地是在早先时间图像中的目标像素的同位置的邻域，或者是在未来时间图像中的目标像素的同位置的邻域。根据本发明的一些实施例，像素邻域的边界可由用户定义。参照图6，作为非限制性的特定示例，像素邻域可以是三乘三的邻域100，该邻域包括位于其中心的目标像素110(其值正被转换成较高的位深度的像素)和八个邻近的像素120(将在下面描述的特定邻近像素120a-h)。对于本例，目标像素110是三乘三邻域100的中心，具有四个邻近像素120a、120c、120f和120h，位于目标像素110的对角，两个邻近像素位于目标像素110的左边(像素120d)和右边(像素120e)，以及两个邻近像素位于目标像素110的上面(像素120b)和下面(像素120g)。如前面所描述的，邻域100可以是当前图像(即当前正由N位深度信号所表示的图像)中的目标像素的邻域，可以是早先时间的图像中的目标像素的同位置的邻域或是未来时间的图像中的目标像素的同位置的邻域。

为了提高可伸缩视频编解码器系统中位深度可伸缩性的编码效率，根据本发明的实施例可使用图2中描述的内容自适应的位深度增强器50。如下面所描述的，位深度增强器50逐步经过压缩的N位信号流的像素值，并以收集到的有关每个像素的邻域的信息作为每个位深度转换的基础。如上面所讨论的，邻域可以与现在的、早先时间的和/或未来时间的图像相关。

参照图2，通常，位深度增强器50接收压缩的N位视频流52，该N位视频流被增强器50的内容分析器54以及局部邻域统计量分析器分析。对于每个局部邻域，内容分析器54检测邻域中边缘的存在(即水平的、垂直的和/或对角的边缘)。如下面进一步描述的，如果内容分析器54在邻域中检测到边缘，则位深度增强器50将特定的邻域认定为异类的；并且在这种情况下，位深度增强器50可默认由系统的另一个部件提供位深度转换，正如下面进一步描述的。

否则，如果在邻域中没有检测到边缘，位深度增强器50基于邻域内容的分析确定位深度转换的偏移和伸缩因子值。

局部邻域统计量分析器58确定邻域的多种统计量。基于分析器54和58的处理结果，位深度增强器50的局部内容自适应的位深度预测器64将压缩的N位视频流52转换成压缩的更高位深度M位视频流65。

根据本发明的一些实施例，内容分析器54可应用边缘检测度量以便检测邻域中垂直的、水平的或对角的边缘的存在。在邻域中检测到边缘的存在可作为认定邻域对于基于局部邻域像素值的位深度的预测不是充分同类的依据，正如下面进一步描述的。相反地，在邻域中没有检测到边缘可用来认定邻域对于基于局部邻域像素值的位深度预测是充分同类的。

作为更具体的示例，对于使用三乘三的邻域的示例，内容分析器54可将索贝尔(Sobel)边缘算子应用于三乘三邻域。索贝尔边缘算子可如下面等式1、2、3和4中所描述：

$E\_h=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right],$ 等式1

$E\_v=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ 等式2

$E\_P45=\left[\begin{array}{ccc}-2& -1& 0\\ -1& 0& 1\\ 0& 1& 2\end{array}\right],$ 以及    等式3

$E\_N45=\left[\begin{array}{ccc}0& -1& -2\\ 1& 0& -1\\ 2& 1& 0\end{array}\right].$ 等式4

等式1是用于检测水平边缘的边缘算子的分量；等式2是用于检测垂直边缘的边缘算子的分量；等式3是用于检测正四十五度边缘的边缘算子的分量；以及等式4是用于检测负四十五度边缘的边缘算子的分量。

假定上面定义的边缘算子，边缘度量，称为“EM(x)”，在三乘三邻域中(在下面称为“NH9(x)”)可用公式表示为等式1、2、3和4中的加权的卷积，如下所示：

EM(x)＝|NH9(x)*E_h|+|NH9(x)*E_v|+|NH9(x)*E_P45|+|NH9(x)*E_N45|。

等式5

在等式5中，在N位信号中目标像素值用“x”表示。

根据本发明的一些实施例，内容分析器54确定边缘度量EM(x)，并且局部内容自适应的位深度预测器64将边缘度量EM(x)与预定阈值比较以确定在邻域中是否检测到边缘。因此，如果边缘度量EM(x)高于预定阈值，位深度预测器64假定检测到边缘。否则，位深度预测器64假定没有检测到边缘。

需要注意的是，根据本发明的其它实施例，除了索贝尔边缘算子，还可使用其它边缘算子。此外，根据本发明的其它实施例，使用水平的(等式1)和垂直的(等式2)边缘算子分量，而不使用对角的(等式3和4)边缘分量，对于边缘检测可以是足够的。因此，预期多种变化，并且这些变化在所附权利要求的范围中。

邻域包含k个像素，并且k的值取决于使用的邻域。例如，以图6的三乘三邻域100为例，k等于九。另一个例子，对于五乘五的邻域，邻近像素的数量k可以是二十五。但是另一个例子，对于其中考虑有两个像素在目标像素的上面和下面，又有两个像素在目标像素的左边和右边的邻域的情况，邻近像素的数量k可以是五。因此，预期多种变化，并且这些变化在所附权利要求的范围中。

根据本发明的实施例，局部邻域统计量分析器58收集下列邻域统计量：k个邻近像素的总和，称为“sum_k”，以及k个邻近像素的方差，称为“var_k”。定义为距离的参数，或“dist_x”，被位深度预测器64使用(正如下面进一步论述的)，可如下描述：

dist_x＝(k*x-sum_k)/(var_k+C)        等式6

其中“C”代表预定的常量值。

通常，位深度预测器64根据以下关系将特定的N位目标像素值x从N位信号转换成M位目标像素值(称为“y”)：

y＝a*xΘb，    等式7

其中“a”代表伸缩因子值，“b”代表偏移值，而“Θ”代表符号运算符。如下所述，伸缩因子值和b偏移值是在对应的邻域中的像素值的函数。通常，a伸缩因子值遵循非线性函数，因为如果没有检测到边缘(即，边缘度量EM(x)小于预定阈值)，则位深度预测器64将伸缩因子值设置成等于M减去N(作为一个非限制性的示例)，如果检测到边缘则位深度预测器修改伸缩因子值。

更具体地，作为一个示例，M可等于十(对应十位每像素值)，并且N可等于八(对应八位每像素值)。因此，M的范围为1024(2¹⁰)，是N的范围的四倍，N的范围为256(2⁸)。当检测到边缘时，位深度预测器64可忽略局部像素邻域(由于邻域的异类性质)，并且将伸缩因子值设置为四(由于范围的相对伸缩)，并将b偏移值设置为零。然而，当没有检测到边缘时，位深度预测器64基于局部邻域调节位深度转换，将伸缩因子a设置为M-N(或其它缺省值)并将b偏移值设置为由局部邻域像素内容确定的值，正如下面进一步论述的。在本发明的其它实施例中，当检测到边缘时，位深度预测器64允许其他的位深度技术(例如色调映射或分块位深度伸缩技术，作为示例)来确定被转换的像素值，如下面进一步描述的。

根据本发明的一些实施例，当没有检测到边缘时(也就是，当边缘度量EM(x)低于预定阈值时)位深度预测器54将偏移值b设置成如下所述：

b＝d*dist_x，    等式8

其中“dist_x”在等式6中定义，并且“d”代表预定的常量值。根据本发明的一些实施例，如果边缘度量EM(x)高于预定阈值，则假定异类像素环境，因此，偏移值b可被设置。

符号运算符Θ可以是加或减运算符，它可基于视频编码器提供的信号。备选地，该符号运算符可在解码器端导出或可以根据用户定义来指定。因此，预期多种变化，并且这些变化在所附加权利要求的范围中。

参照图3，根据本发明的实施例，内容自适应的位深度增强器50可并入到可伸缩视频编解码器(SVC)系统100的编码器端和解码器端。在这点上，SVC系统100与SVC系统10相似(参见图1)，同样的参考标号用于表示同样的部件。但是，不同于SVC系统10，SVC系统100在反向色调映射单元26和增强层编码器28之间包括位深度增强器50a(与图2的位深度增强器50具有相同的设计)。在这点上，根据本发明的一些实施例，位深度增强器50a从反向色调映射单元26处接收M位视频流27。位深度增强器50a也接收由基线层编码器24提供的N位视频流。

当在像素邻域中检测到边缘时，位深度增强器50a使用由反向色调映射单元26产生的位深度转换。否则，位深度增强器50a处理由基线层编码器24提供的N位信号，并为像素执行位深度转换。因此，位深度增强器50a补充了反向色调映射单元26的操作。

在解码端，系统100包含内容自适应的位深度增强器50b(具有与图2的位深度增强器50相同的设计)，其与编码端相似，在反向色调映射单元46和增强层解码器47之间耦合以补充由单元46提供的位深度转换。

参照图4，作为图1中描绘的常规SVC系统10的替换，可使用另一个常规SVC系统200。SVC系统200具有与SVC系统10相似的设计，除了反向色调映射单元26和46分别被反向分块伸缩单元206和208代替。与色调映射中使用的像素到像素的映射相比，分块位深度伸缩方法将图像划分成像素块，并为块中的像素采用相同的伸缩和偏移值。即视频编码器为每个块确定一组伸缩因子和偏移值，并且视频解码器利用已确定的该组伸缩因子和偏移值以及BL视频中的低位深度的解码像素来重建EL视频中的高位深度的像素。块的大小可被调整成宏块大小，16×16像素块大小，或亚微块大小，例如八乘八，16×8，8×16，8×4，4×8或4×4，其与当前的可伸缩视频编解码器(SVC)标准兼容。

参照图5，为了提高编码效率，根据本发明的实施例可使用SVC系统250。SVC系统250具有与系统200相似的设计，具有用于表示相同部件的相同参考标号，除了SVC系统250包括内容自适应的位深度增强器50a和50b，两者都具有与内容自适应的位深度增强器50(参见图2)相同的设计。在这点上，如图5中所描绘的，位深度增强器50a位于反向分块伸缩单元206和增强层编码器28之间。位深度增强器50a使用邻域分析的信息以出色细节补充高位深度像素的预测，从而实现更好的编码效率。如还在图5中所描绘的，位深度增强器50b可位于反向块伸缩单元208和增强层解码器47之间。当检测到边缘时，使用由分块单元206和208提供的位深度转换结果。否则，位深度增强器50a和50b基于像素邻域的内容提供位深度转换。

需要注意的是，根据本发明的其它实施例，内容自适应的位深度增强器50可在没有(系统100的)反向色调映射单元26和46或在没有(系统250的)反向分块伸缩单元206和208的情况下使用。因此，预期多种变化，并且这些变化在所附权利要求的范围中。

依据本发明的特定实施例，本文中描述的位深度解码技术的优点可包括以下的一个或多个。内容自适应的位深度增强器通过利用低位深度中的目标像素的局部内容的特性为位深度可伸缩视频实现高效的编码效率。内容自适应的位深度增强器通过利用低位深度中的目标像素的局部内容的特性为组合的BL视频和EL视频实现高效的编码效率。通过从较低的位深度的信号推导出的特征，内容自适应的位深度增强器从较低的位深度的信号预测较高的位深度的信号，并且由于在位流中没有额外开销需要传送，内容自适应的位深度增强器继承自我建构的良好特性。通过从BL视频中的较低的位深度信号推导出的特征，内容自适应的位深度增强器从BL视频中的较低的位深度的信号预测EL视频中的较高的位深度的信号。通过邻域统计量和局部内容的特性，内容自适应的位深度增强器从BL视频中的较低的位深度的信号预测EL视频中的较高的位深度的信号。通过利用低位深度信号的局部边缘检测以适应高位深度信号的构建，内容自适应的位深度增强器提高了转换高/低位深度视频的像素到像素的色调映射的编码效率。通过利用低位深度信号的局部边缘检测以适应高位深度信号的构建，内容自适应的位深度增强器提高了转换高/低位深度视频的分块伸缩的编码效率。

虽然本发明是参照有限数量的实施例描述的，但是从本公开受益的本领域技术人员将因此领会到多种修改和变化。所附权利要求旨在覆盖属于本发明的实质和范围的所有此类修改和变化。

Claims (15)

1.一种用于位深度转换的方法，包括：

接收指示像素的位深度的信号；以及

使用与所述像素的邻域有关的信息来增加所述像素的位深度。

2.如权利要求1所述的方法，还包括：

使用基线层编码器或基线层解码器来生成所述信号。

3.如权利要求1所述的方法，还包括：

还使用由所述信号的反向分块伸缩获得的结果来增加所述像素的位深度。

4.如权利要求1所述的方法，还包括：

还使用由所述信号的反向色调映射获得的结果来增加所述像素的位深度。

5.如权利要求1所述的方法，其中所述邻域包括与早先时间的图像相关的同位置的邻域，与未来时间的图像相关的同位置的邻域和与当前图像相关的邻域中的至少一个。

6.如权利要求1所述的方法，还包括：

处理位于所述邻域中的像素，以检测所述邻域中边缘的存在。

7.如权利要求6所述的方法，包括基于是否检测到边缘调整伸缩因子和偏移中的至少一个。

8.如权利要求1所述的方法，包括处理位于所述邻域中的像素，以确定统计量。

9.如权利要求8所述的方法，其中所述处理包括确定所处理的第一值的方差与和中的至少一个。

10.一种视频系统，包括：

接收指示像素的位深度的信号的部件；以及

使用与所述像素的邻域有关的信息来增加所述像素的位深度的部件。

11.如权利要求10所述的视频系统，还包括：

基线层编码器，用于提供所述信号。

12.如权利要求11所述的视频系统，还包括：

增强层编码器，用于接收增加了位深度的所述像素。

13.如权利要求10所述的视频系统，还包括：

反向色调映射单元，用于至少部分地增加所述像素的位深度。

14.如权利要求10所述的视频系统，还包括：

反向分块伸缩单元，用于至少部分地增加所述像素的位深度。

15.如权利要求10所述的视频系统，其中还包括：

用于处理位于所述邻域中的像素以检测所述邻域中边缘的存在的部件；以及

用于处理位于所述邻域中的像素以确定统计量的部件。

Images