CN101557522A - 用于位深度可伸缩视频编解码器的自适应滤波 - Google Patents

Abstract

本发明的名称为“用于位深度可伸缩视频编解码器的自适应滤波”。自适应滤波可用于提高色调映射的基线层编码信息的质量。因此，在一些实施例中，可伸缩视频编解码器可通过改进的图像质量来实现。

Description

用于位深度可伸缩视频编解码器的自适应滤波

技术领域

本发明主要涉及可伸缩视频编解码器。

背景技术

可伸缩视频编解码器使得能够根据客户偏好的服务类型将不同图像质量等级输送给不同客户。较低质量视频服务可以比较高质量视频服务价格更低。

在可伸缩视频编码器中，较低位深度可称作基线层，而较高位深度可称作增强层。位深度越大，则视频质量越好。

在可伸缩视频编解码器中，编码器和解码器可作为一个单元提供。在一些情况下，可以仅提供编码器，而在其它情况下，可以仅提供解码器。可伸缩视频编码器使系统能够至少与基线层配合操作。因此，在低成本系统中，可以仅使用基线层，而在较高成本的更高级系统中，可使用增强层。

由基线层推导增强层是有利的。为此，反向色调映射可用于将基线层的位深度增加到增强层的位深度。在一些情况下，例如，基线层可以是每像素8位，而增强层可以是每像素10、12或更高位。

发明内容

本发明提供一种方法，包括：增加编码的视频信息的位深度；以及对所增加的位深度编码的视频信息进行自适应滤波。

本发明还提供一种设备，包括：增加编码的视频信息的位深度的装置；以及对所增加的位深度编码的视频信息进行滤波的自适应滤波器。

本发明还提供一种编码器，包括：基线层编码器；耦合到所述基线层编码器的反向色调映射；耦合到所述反向色调映射的自适应滤波器；以及耦合到所述自适应滤波器的增强层编码器。

附图说明

图1是根据本发明的一个实施例的编码器和解码器系统的示意图示；

图2是根据本发明的另一个实施例的编码器和解码器系统的图示；

图3是根据本发明的又一个实施例的编码器和解码器系统的图示；以及

图4是关于本发明的又一个实施例的系统图示。

具体实施方式

参照图1，可伸缩视频编解码器包括编码器10，它通过视频传输或视频存储装置14与解码器12进行通信。图1示出来自一个编解码器的编码器与来自另一个编解码器的解码器。

作为一个示例，网络计算机可通过网络与另一个计算机通信。各计算机可具有编解码器，它包括编码器与解码器，使得信息可在一个节点被编码，通过网络传送给另一个节点，随后所述另一个节点对编码信息进行解码。

图1所示的编解码器是可伸缩视频编解码器(SVC)。这表示它能够以不同位深度对信息进行编码和/或解码。视频源16和26可与编码器10连接。视频源16可使用N位视频数据，而视频源26可提供M位视频数据，其中位深度M大于位深度N。在其它实施例中，可提供具有多于两个位深度的两个以上的源。

在每种情况下，把来自视频源的信息提供给编码器。在较低位深度的视频源16的情况下，将信息提供给基线编码器18。在较高位深度的视频源26的情况下，使用增强层编码器28。

但是，来自基线编码器18的基线编码信息经过反向色调映射，以将其位深度增加到M位以用于增强层编码。因此，在一个实施例中，将N位视频提供给反向色调映射单元20。反向色调映射20增加位深度，并且产生对自适应滤波24的M位输出。自适应滤波24对增加的位深度视频自适应地滤波。把来自滤波24的改进质量的M位视频输出提供给增强层编码器28。

例如，图1的编码器可符合H.264(高级视频编解码器(AVC)和MPEG-4第10部分)压缩标准。由联合视频组(JVT)制定了H.264标准，它包括又称作VCEG(视频编码专家组)的ITU-T SG16 Q.6以及称作MPEG(运动图像专家组)的ISO-IEC JTC1/SC29/WG11(2003)。H.264设计用于例如数字电视广播、直播广播卫星视频、数字用户线视频、交互式存储媒体、多媒体消息输送、数字地面电视广播和远程视频监视等领域中的应用。

虽然一个实施例可符合H.264视频编码，但是本发明并不局限于此。相反，实施例可用于各种视频压缩系统，包括MPEG-2(从国际标准化组织(瑞士，日内瓦)可得到的ISO/IEC 13818-1(2000)MPEG-2)和VC1(从SMPTE(NY，怀特普莱恩斯，10601)可得到的SMPTE 421M(2006))。

在一个实施例中，自适应滤波24可通过维纳滤波器来实现。维纳滤波器是实现在通过随机噪声建模的预测信号和源信号之间的最小均方误差的滤波器。“自适应滤波”表示滤波是内容相关的或者基于图像的一部分、图像整体或者多个连续图像的像素强度的分析。例如，无论是图形还是流视图视频，所接收的视频信息的类型均在维纳滤波器中对于不同类型的视频产生不同的抽头(tap)。因此，自适应滤波器抽头是给定图像部分、图像或图像系列中的各像素的强度的检查的结果。

自适应滤波24接收来自统计特征收集器22的输入。在一个实施例中，统计特征收集器22接收来自视频源26和反向色调映射20的输入。统计特征收集器22计算加权c_i，将它应用于重构映射像素y_i。加权c_i用于计算自适应滤波24的滤波器抽头。统计特征收集器22分析M位深度图像的各像素，并且确定图像的某个区域或者多个图像的图像组的强度如何改变，以便确定正接收什么类型的视频以及应当进行什么自适应滤波。根据这个信息，它设置自适应滤波22的滤波器抽头。

根据信息的性质，它能确定如何设置自适应滤波24的抽头。

编码器通过视频传输或视频存储装置14提供信息供解码器使用。可提供的信息可包括基线(BL)层视频流、反向色调映射(ITM)信息、来自自适应滤波24的滤波器抽头以及增强层(EL)视频流。这个信息的一部分可包含在分组报头中。例如，可在分组化的数据传输中，在适当的报头中提供反向色调映射(ITM)信息和滤波器抽头信息。

在解码器12中接收到适当的信息时，基线解码器30对信息进行解码，以便由显示器32进行N位视频显示。但是，如果相反是提供增强层设备，则可提供较高位深度显示器40。(一般来说，不会包含两种显示器)。使用反向色调映射单元34将N位的基线解码器输出转换成M位视频，反向色调映射单元34还被馈送与编码器10中进行的反向色调映射有关的ITM信息。同样，在一些实施例中，通过从报头提取与编码器10中的自适应滤波24所使用的滤波器抽头有关的信息，来进行自适应滤波36。自适应滤波36提高从色调映射单元34所接收的M位视频信息的质量。然后，自适应滤波36将信息提供给增强层解码器38。

图2与图1对应，差别在于不是使用反向色调映射，而是在单元42中实现称作反向基于块的伸缩的特定类型的反向色调映射。对应单元44用于解码器中的反向基于块的伸缩。解码器中的反向基于块的伸缩单元接收来自编码器中的伸缩单元42的伸缩信息。在其它方面，操作与图1基本相同。

类似地，在图3中，反向色调映射由反向分段线性映射单元46进行，反向分段线性映射单元46通过视频传输或视频存储装置14将信息提供给解码器中的反向视频分段线性映射单元48。在其它方面，操作与以上所述相同。

一般来说，任何类型的色调映射可用于增加基线层视频的位密度。然后，在将那个信息提供给增强层编码器之前，那个信息经过自适应滤波以提高其质量。

在一些实施例中，使用维纳滤波器的自适应滤波改进增强层视频的质量。特征收集器22可将自适应滤波24的滤波器抽头设置成基于当前与预测图像之间的差的误差。维纳滤波器是众所周知的最佳线性滤波器，它处理由高斯噪声、模糊和失真而降级的图像。然后，在一些实施例中，与维纳滤波器抽头有关的信息可作为图像级的全局信息来应用，并且这是不基于块的，并且没有来自重构相邻像素的连续相关性。

由收集器22进行的滤波器抽头的推导如下所述。

考虑由具有加权c_i、大小为L+1的滤波器支持(filter support){S}中的重构像素y_i组成的维纳滤波器的输出z_k和输入像素x_k。自适应(维纳)滤波器函数为

$z_k=\underset{i\∈\left\{S\right\}}{\mathrm{\Σ}}{y}_i\·c_i---\left[1\right]$

输入像素x_k与维纳滤波像素z_k之间的残留信号C定义为

error_k＝z_k-x_k                        [2]

维纳滤波器通过使具有滤波器抽头{c_i}的均方误差为最小来进行优化

c_i＝arg min E[error_k ²]                [3]

其中，E[]是受关注像素的残留信号的平方的期望，受关注像素可能是来自图像序列、一个图像或者图像中的某个区域的像素。

$E\left[{{\mathrm{error}}_k}^2\right]=E\left[{(z_k-x_k)}^2\right]=E\left[{(\underset{i\∈\left\{S\right\}}{\mathrm{\Σ}}{y}_i\·c_i)}^2\right]+E\left[{\left(x_k\right)}^2\right]-2E\left[(\underset{i\∈\left\{S\right\}}{\mathrm{\Σ}}{y}_i\·c_i)\left(x_k\right)\right]---\left[4\right]$

为了查找E[error_k ²]的最小值，取对于c_i的导数。滤波器抽头可通过令导数等于零来推导，

$\frac{\∂}{{\∂c}_i}E\left[{{\mathrm{error}}_k}^2\right]=2\left(\underset{j\∈\left\{S\right\}}{\mathrm{\Σ}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,i=0,.......,L---\left[5\right]$

下式[6]中的{y}的自相关函数以及下式[7]中的{y}与{x}之间的互相关函数表示为：

r_yy(i)＝E[y_ky_k+i]                        [6]

r_xy(i)＝E[x_ky_k+i]                        [7]

等式[5]可按照矩阵形式改写为：

因此，维纳滤波器抽头集合{C}能以矩阵格式推导为：

$R_{\mathrm{yy}}\·C=R_{\mathrm{xy}}\⇒C=R_{\mathrm{yy}}^{-1}\·R_{\mathrm{xy}}---\left[9\right]$

其中R^-1 _yy是等式[9]中的自相关矩阵的反向矩阵。

统计特征选择器34确定加权c_i，使用等式[6和7]以便填入等式[8]的矩阵，然后进行等式[9]的计算以确定加权c_i。等式[9]是指明维纳滤波器的抽头的值c_i的最终答案。在一些实施例中，对于整个图像使用相同的滤波器抽头，但是，抽头可逐帧或逐个图像改变。

对于大小为L+1＝(21+1)*(21+1)的不可分滤波器，等式[6-7]能通过下式[10-11]中的二维格式来表示地索引：

$r_{\mathrm{yy}}(m,n)=\underset{j=0}{\overset{j=\mathrm{height}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{width}-1}{\mathrm{\Σ}}}{y}_{i,j}\·y_{i+m,j+n}\≈\underset{j=l}{\overset{j=\mathrm{height}-l-1}{\mathrm{\Σ}}}\underset{i=l}{\overset{i=\mathrm{width}-l-1}{\mathrm{\Σ}}}{y}_{i,j}\·y_{i+m,j+n}---\left[10\right]$

$r_{\mathrm{xy}}(m,n)=\underset{j=0}{\overset{j=\mathrm{height}-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{i=\mathrm{width}-1}{\mathrm{\Σ}}}{x}_{i,j}\·y_{i+m,j+n}\≈\underset{j=l}{\overset{j=\mathrm{height}-l-1}{\mathrm{\Σ}}}\underset{i=l}{\overset{i=\mathrm{width}-l-1}{\mathrm{\Σ}}}{x}_{i,j}\·y_{i+m,j+n}---\left[11\right]$

其中，m、n的范围为(-1，1)。

等式[6]和[10]中的自相关函数的收集能在视频解码器侧得到，但是等式[7]和[11]中的互相关由于较高位深度输入数据{x}仅在视频编码器侧可用而在视频编码器侧推导。因此，等式[9]中推导的滤波器抽头从视频编码器传送给视频解码器。

传送互相关函数而不是推导的滤波器抽头在一些情况下是充分的，因为视频解码器能通过接收互相关函数加上解码的反向色调映射数据{y}来自行推导滤波器抽头。

滤波器抽头还可分别以每亮度和每色度通道来推导。根据仅采用色度像素推导的滤波器抽头对于色度图像实现更好的编码效率。在一些情况下，一个色度表可由Cb和Cr通道共享，或者两个单独的表可分别用于Cb和Cr。

在一个实施例中，提高编码效率的更精确统计信息还可通过忽略接近图像边界的像素来实现。等式[10-11]的右手边表示这种忽略。

等式[10和11]的右边是等式[6和7]的二维近似，排除了像素边界附近的边缘像素。这可提高图像质量，因为在图像边界处，没有相邻元素产生有因次值数据(dimensioned value data)。

参照图4，在一个实施例中，图1-3所示的编码器和解码器可以是图形处理器112的组成部分。在一些实施例中，图1-3所示的编码器和解码器可通过硬件来实现，而在其它实施例中，它们可通过软件或固件来实现。在软件实现的情况下，有关代码可存储在包括主存储器132的任何适当半导体、磁或光存储器中。因此，在一个实施例中，源代码139可存储在例如主存储器132等的机器可读介质中，以用于由例如处理器100或图形处理器112等处理器运行。

计算机系统130可包括通过总线104与芯片组核心逻辑110耦合的硬盘驱动器134和可移动介质136。在一个实施例中，核心逻辑可与图形处理器112(经由总线105)和主处理器100耦合。图形处理器112还可通过总线106与帧缓冲器114耦合。帧缓冲器114可通过总线107与显示屏幕118耦合，显示屏幕118又通过总线108与常规组件、如键盘或鼠标120耦合。

图1至3所示的块可构成硬件或软件组件。在软件组件的情况下，附图可表示可存储在例如半导体集成电路存储器、光存储装置或磁存储装置等的计算机可读介质中的指令序列。在这种情况下，指令可由从存储装置检索并运行指令的计算机或基于处理器的系统运行。在一些情况下，指令可以是可存储在适当存储介质中的固件。这类指令的运行的一个结果是改进最终在显示屏幕上显示的图像的质量。

本说明中提到“一个实施例”或“实施例”表示结合该实施例所述的具体特征、结构或特性包含在本发明所包含的至少一个实现中。因此，词语“一个实施例”或“在一个实施例中”的出现不一定都表示相同的实施例。此外，具体特征、结构或特性可通过与所述具体实施例不同的其它适当形式来创立，并且所有这类形式均可包含在本申请的权利要求中。

虽然结合有限的实施例对本发明进行了说明，但本领域的技术人员从其中知道大量修改和变更。所附权利要求旨在涵盖落入本发明的真实精神和范围中的所有这类修改和变更。

Claims (30)

1.一种方法，包括：

增加编码的视频信息的位深度；以及

对所增加的位深度编码的视频信息进行自适应滤波。

2.如权利要求1所述的方法，包括：使用反向色调映射来增加所述编码的视频信息的位深度。

3.如权利要求2所述的方法，包括：使用反向基于块的伸缩来增加所述位深度。

4.如权利要求2所述的方法，包括：使用反向分段线性映射来增加所述位深度。

5.如权利要求1所述的方法，包括：在编码器中增加所述位深度。

6.如权利要求1所述的方法，包括：在解码器中增加所述位深度。

7.如权利要求1所述的方法，包括：使用维纳滤波器进行自适应滤波。

8.如权利要求1所述的方法，包括：增加编码的基线层视频信息的位深度。

9.如权利要求1所述的方法，包括：向增强层编码器提供所述经滤波的增加的位深度视频信息。

10.如权利要求1所述的方法，其中，自适应滤波包括根据图像中的像素的分析来设置滤波器的抽头。

11.如权利要求10所述的方法，包括：根据图像中的像素强度来计算校正重新映射的像素的系数。

12.如权利要求11所述的方法，包括：调整用于自适应滤波的滤波器的抽头，以便使基于当前图像与预测图像之间的差的误差为最小。

13.如权利要求1所述的方法，其中，自适应滤波包括根据输入图像与重构映射图像之间的像素的分析来为滤波器设置互相关信息。

14.一种设备，包括：

增加编码的视频信息的位深度的装置；以及

对所增加的位深度编码的视频信息进行滤波的自适应滤波器。

15.如权利要求14所述的设备，其中，所述装置包括反向色调映射。

16.如权利要求15所述的设备，所述装置包括反向基于块的伸缩。

17.如权利要求15所述的设备，所述装置包括反向分段线性映射。

18.如权利要求14所述的设备，其中，所述设备是编码器。

19.如权利要求14所述的设备，其中，所述设备包括解码器。

20.如权利要求14所述的设备，其中，所述滤波器包括维纳滤波器。

21.如权利要求14所述的设备，包括：与所述装置耦合的基线编码器。

22.如权利要求14所述的设备，包括：与所述滤波器耦合的增强层编码器。

23.如权利要求14所述的设备，包括：统计特征收集器，根据图像中的像素的分析来设置所述滤波器的抽头。

24.如权利要求23所述的设备，所述收集器根据图像中的像素强度来计算校正重新映射的像素的系数。

25.如权利要求24所述的设备，所述特征收集器调整所述滤波器的抽头，以便使基于当前图像与预测图像之间的差的误差为最小。

26.如权利要求14所述的设备，所述滤波器根据输入图像与重构映射图像之间的像素的分析来设置所述互相关信息。

27.一种编码器，包括：

基线层编码器；

耦合到所述基线层编码器的反向色调映射；

耦合到所述反向色调映射的自适应滤波器；以及

耦合到所述自适应滤波器的增强层编码器。

28.如权利要求27所述的设备，其中，所述反向色调映射是反向基于块的伸缩。

29.如权利要求27所述的设备，其中，所述反向色调映射是反向分段线性映射。

30.如权利要求27所述的设备，其中，所述自适应滤波器根据输入图像与重构映射图像中的像素的分析来设置互相关信息。

Images