CN1627823A - 一种空间分级压缩的方法和装置 - Google Patents

Abstract

本发明提供了一种视频流的空间分层压缩方法，首先，对所述的视频流进行降采样后进行编码，从而获得一个基本流；然后，对所述的基本流进行解码和升采样，从而获得一个重建流；并将所述的视频流减去重建流，以获得一个残余流；接下来，对所述的视频流进行边缘检测分析，以获得该视频流中每一个象素点的增益值；最后，将所述的增益值乘以所述的残余流，并对得到的结果进行编码以获得一个增强流。本发明对每一个象素点类型进行进一步细分，获得其所对应的更加精确的增益值，从而使得在保证图象质量的前提下，能够进一步减少数据传输的数量，降低增强层所需的传输码率。

Description

一种空间分级压缩的方法和装置

                            技术领域

本发明涉及一种视频压缩方法和装置，尤其涉及一种使用空间分级压缩方案(SpatialScalable Compression Scheme)的视频压缩方法和装置。

                            背景技术

由于数字视频中包含有大量的数据，因此在制作高分辨率(High Definition)电视节目时，全运动高分辨率度视频信号的传输是一个很大的问题。进一步说，每一帧数字图象都是一个由一群象素点(pixel，也称像素点)组成的静止图象(也称图像)，这些象素点的数量取决于一个特定系统的显示清晰度，因此，在高分辨率视频中原始数字信息的数量是巨大的。为了减少需要被传送的数据数量，压缩方案被用来压缩数据，因此包括MPEG-2、MPEG-4和H.263等各种各样的视频压缩标准或流程相继出现并应用于不同的场合。

在许多应用中视频可在一个流中通过不同的分辨率/质量来提供，实现这种技术的方法被称为分级技术。其中一种分级技术为空间分级，在这种技术中，一个码流可被分成两个或更多层不同分辨率的码流，这些码流层可被合并成一个单一的高分辨率的信号。比如，基本层可提供一个低质量、低分辨率的视频信号，同时，增强层可提供附加的信息来增强基本层图象。

图1描述了一个现有的采用空间分层压缩方案的视频编码器。该技术方案公布在国际公开号为WO 03/036979 A1的国际申请文件中(国际申请日：2002年10月16日)。在此以插入的方式，加入该申请披露的内容。

一个高分辨率视频流被送到一个低通滤波器112(Low Pass Filter)进行降采样，然后编码器116对降采样后的流进行编码，得到一个基本流(Base Stream)。

该基本流被解码后送到一个升采样装置122(Up-sampling Unit)进行升采样，得到一个重建流(Reconstructed Stream)。该重建流与所述的高分辨率视频流一道被送到一个减法装置132(Subtraction Unit)，减法装置132以所述的高分辨率视频流减去重建流，得到一个残余流(Residual Stream)。

所述的高分辨率视频流还被送到一个图象分析装置142(Picture Analyzer)，该装置对该视频流中的每一个象素点进行分析，从而得到一个增益值(Gain Value)。该增益值在细节内容少的图象区域趋向0，在细节内容多的图象区域趋向1。

这些增益值与残余流一起被送到一个乘法器(Multiplier)152，两者相乘后，在细节内容少的图象区域，其象素点的象素值就变小。因此，用于表示该象素值的二进制位(bit)的长度也相应变短，从而使得相乘得到的结果与原残余流相比包含有更少的数据量。将两者相乘的结果进一步送到一个编码器156进行编码，从而得到一个增强流(Enhancement Stream)。

现有的空间分级压缩方案在图象分析精确度上还有一定缺陷，比如，在该方案中视频流中的一些噪声会被给予较高的增益值，从而不能去除掉该噪声。因此，需要一种新的空间分级压缩方案，能对图象进行更精确地分析，从而可进一步减少所述的增强流中的数据量。

                            发明内容

本发明是对上述技术方案的一种改进，对图象进行更精确地分析，从而可进一步减少所述的增强流中的数据量。

本发明提供了一种视频流的空间分层压缩方法，首先，对所述的视频流进行降采样后进行编码，从而获得一个基本流；然后，对所述的基本流进行解码和升采样，从而获得一个重建流；并将所述的视频流减去重建流，以获得一个残余流；接下来，对所述的视频流进行边缘检测分析，以获得该视频流中每一个象素点的增益值；最后，将所述的增益值乘以所述的残余流，并对得到的结果进行编码以获得一个增强流。

本发明还进一步提供了一种以边缘检测分析方法来获取图象中一个象素点的增益值的方法，该图象是一个视频流中的一帧。首先，获取所述的图象的一个象素点及其周边象素点的象素值；接下来，根据边缘检测分析法对所述的数值进行处理，以确定所述象素点的边缘类型；最后，根据所述处理的结果，获取所述象素点的增益值。所述的边缘类型包括边缘点和非边缘点，所述的边缘点进一步包括水平点、垂直点和对角点；所述的非边缘点包括平滑点和孤立点。该增益值对于不同类型的象素点是不同的。

本发明在现有方案的基础上对图象进行更加精确的分析，对每一个象素点类型进行进一步细分，获得其所对应的更加精确的增益值，从而使得在保证图象质量的前提下，能够进一步减少数据传输的数量，降低增强层所需的传输码率。

通过参照结合附图所进行的如下描述和权利要求，本发明的其它目的和成就将是显而易见的，  并对本发明也会有更为全面的理解。

                        附图说明

本发明通过实例的方式，参照附图进行详尽的解释，其中：

图1描述了一个现有的采用空间分层压缩方案的视频编码器。

图2是根据本发明的一个实施例的一个采用带有图象边缘检测分析功能的空间分层压缩方案的编码系统示意图；

图3是表示出一帧图象中的象素点，并示意出一个象素点及其周边象素点的位置示意图；

图4是根据本发明的一个实施例的一个进行边缘检测分析的空间分层压缩方案的流程示意图；

图5是根据本发明的一个实施例的一个边缘检测分析的流程示意图。

在所有的附图中，相同的参照数字表示相似的或相同的特征和功能。

                        具体实施方式

图2是根据本发明的一个实施例的一个采用带有图象边缘检测分析功能的空间分层压缩方案的编码系统示意图。该编码系统包括一个基本流生成装置110，用于对一个高分辨率视频流进行降采样后进行编码，从而获得一个基本流，该基本流是一个低分辨率流；一个重建流获取装置122，用于对所述的基本流进行解码和升采样，从而获得一个重建流，该重建流是一个高分辨率流；一个残余流获取装置132，用于将所述的视频流与重建流进行比较，以获得一个残余流，该残余流是一个高分辨率流；一个边缘分析装置140，用于对一个所述的高分辨率流进行边缘检测分析，以获得该高分辨率流中每一个象素点的增益值；和一个增强流生成装置150，用于将所述的增益值乘以所述的残余流，并对得到的结果进行编码以获得一个增强流。

基本流生成装置110包括一个低通滤波器112和一个编码器116。低通滤波器112用于进行降采样以减少该视频流的分辨率，编码器116用于对降采样后的流进行编码，得到一个基本流。低通滤波器112和编码器116与图1中标有相同参照数字的装置具有相似的或相同的特征和功能。

重建流获取装置122为一个带有一个解码器(图中未显示)的升采样装置122，该解码器用于对基本流进行解码。该解码过程亦可由编码器116在进行编码时进行解码(称之为局部解码)，还可通过一个单独的解码器(图中未显示)进行解码。基本流生成装置110与重建流获取装置122可组合成一个重建流生成装置。

边缘分析装置140(Edge Analyzer)包括一个象素值获取装置143，用于获取所述的高分辨率流的一个象素点及其周边象素点的象素值；一个象素值分析装置145，根据常规的边缘分析法对所述的象素值进行处理，以确定所述象素点的边缘类型；和一个增益值获取装置147，用于根据所述处理的结果，获取所述象素点的增益值。边缘分析装置140的运行流程详见下述。

增强流生成装置150包括一个乘法器152和一个编码器156，乘法器152用于利用所述的增益值对所述的残余流进行处理，编码器156用于对乘法器输出的结果进行编码以获得一个增强流。乘法器152和编码器156与图1中标有相同参照数字的装置具有相似的或相同的特征和功能。

图3是表示出一帧图象中的象素点，并示意出一个象素点及其周边象素点的位置示意图。图中横坐标i表示一个象素点所在的列，纵坐标j表示一个象素点所在的行。本图显示了象素点(i，j)及其周边象素点的位置。象素点的象素值包括三种：亮度值、色度值和色差值，在本实施例中以亮度值来代表象素值。表1是与图3相对应的象素点的象素值，其中象素点(i，j)的象素值为65。该图及表1中的数值在下述内容中会被引用。

表1：象素值

47    45    45    45    43    4636    35    39    38    34    3442    43    45    45    41    4267    67    65   63    62    6989    94    90    89    83    95105   108    98   100   102   110116   119   105   101   108   120

图4是根据本发明的一个实施例的一个进行边缘检测分析的空间分层压缩方案的流程示意图。首先，接收一个特定的高分辨率视频流(步骤S410)，如一个分辨率为1920×1080i的视频流，该高分辨率可为大于一个特定分辨率；并进行该高分辨率视频流进行降采样(步骤S424)。降采样的目的是为了降低其分辨率，比如降到720×480i。然后，对降采样后的流进行编码得到一个基本流(步骤S428)，其中的编码可按照MPEG-2标准进行。该基本流为一个低分辨率流，如720×480i。

其次，将解码后的基本流进行升采样，得到一个重建流(步骤S430)，该重建流与接收到的高分辨率视频流具有基本同样的分辨率格式，如1920×1080i。然后，以接收到的高分辨率视频流减去该重建流，得到一个残余流(步骤S440)，该残余流与接收到的高分辨率视频流具有基本同样的分辨率格式，如1920×1080i。

接下来，获取接收到的高分辨率视频流的一个象素点及其周边象素点的象素值(步骤S452)，这些象素点的位置如图3所示。如果一个象素点位于一帧图象的边缘，可对该图象的数据进行扩展处理(例如使用中心对称扩展法)，以获得其周边象素点的象素值。比如，图3中象素点(i，j)位于该帧图象的右边缘，其i+1列、i+2列和i+3列数据不存在，此时，可将i-1、i-2和i-3列数据复制到i+1列、i+2列及i+3列。其它类似情况依此类推。

根据步骤S452获得的象素值，对该象素点进行边缘分析(步骤S455)，以根据其边缘特性确定其边缘类型。该边缘分析流程详见下述(见图5所示)。所述边缘类型包括边缘点和非边缘点，边缘点进一步包括水平点、垂直点和对角点；非边缘点进一步包括平滑点和孤立点。

根据步骤S455边缘分析的结果，获取该象素点的对应的增益值(步骤S458)。该增益值在细节内容少的图象区域趋向0，在细节内容多的图象区域趋向1，且该增益值对于边缘点与非边缘点可以是不同的，对于不同类型的边缘点也可以是不同的。由于人的视觉对于不同方向上的图象变化的敏感度是不同的，比如对于水平方向上的变化的敏感性大于垂直方向上的变化的敏感性，故可将水平点的增益值设定得大一些。

另外，如果一个象素点在步骤S455中的边缘分析结果为水平点，且其水平紧邻的两个点(左边、右边)都不是水平点，则该象素点不是一个称职的水平点，而应将其归为孤立点；同理，如果一个象素点在步骤S455中的边缘分析结果为垂直点，且其垂直紧邻的两个点(上边、下边)都不是垂直点，则该象素点不是一个称职的垂直点，而应将其归为孤立点；如果一个象素点在步骤S455中的边缘分析结果为对角点，且其紧邻的四个对角上的象素点(左上角、左下角、右上角、右下角)都既不是水平点，也不是垂直点和对角点，则该象素点不是一个称职的对角点，而应将其归为孤立点。孤立点一般是由于视频流制作过程中的噪声或编解码过程中的错误所产生，应将其去掉，故可将其对应的增益值设定为0。

每一象素点类型的增益值可为一个数值范围，如水平点类型的增益值范围为[1.0，0.6]，垂直点类型的增益值范围为[0.9，0.5]。每一个象素点可根据其边缘依赖标准差(edge-dependentpixel variance)来在其类型的增益值范围中选取。

对于水平点，其边缘依赖标准差可按如下计算

$\mathrm{var}(i,j)=\frac{|\mathrm{pixel}(i,j-1)-\mathrm{mean}|+|\mathrm{pixel}(i,j)-\mathrm{mean}|+|\mathrm{pixel}(i,j+1)-\mathrm{mean}|}{3}$

其中 $\mathrm{mean}=\frac{\left(\underset{q=-1}{\overset{1}{\mathrm{\Σ}}}\mathrm{pixel}(i,j+q)\right)}{3}$

对于垂直点，其边缘依赖标准差可按如下计算

$\mathrm{var}(i,j)=\frac{|\mathrm{pixel}(i-1,j)-\mathrm{mean}|+|\mathrm{pixel}(i,j)-\mathrm{mean}|+|\mathrm{pixel}(i+1,j)-\mathrm{mean}|}{3}$

其中 $\mathrm{mean}=\frac{\left(\underset{q=-1}{\overset{1}{\mathrm{\Σ}}}\mathrm{pixel}(i+q,j)\right)}{3}$

对于对角点，其边缘依赖标准差可按如下计算

$\mathrm{var}(i,j)=\frac{|\mathrm{pixel}(i-1,j-1)-\mathrm{mean}|+|\mathrm{pixel}(i,j)-\mathrm{mean}|+|\mathrm{pixel}(i-1,j+1)-\mathrm{mean}|+|\mathrm{pixel}(i+1,j-1)-\mathrm{mean}|+|\mathrm{pixel}(i+1,j+1)-\mathrm{mean}|}{5}$

其中 $\mathrm{mean}=\frac{\mathrm{pixel}(i-1,j-1)+\mathrm{pixel}(i,j)+\mathrm{pixel}(i-1,j+1)+\mathrm{pixel}(i+1,j-1)+\mathrm{pixel}(i+1,j+1)}{5}$

对于平滑点，其边缘依赖标准差可按如下计算

$\mathrm{var}(i,j)=\frac{\underset{p=-1}{\overset{1}{\mathrm{\Σ}}}\underset{q=-1}{\overset{1}{\mathrm{\Σ}}}|\mathrm{pixel}(i+p,j+q)-\mathrm{mean}|}{9}$

其中 $\mathrm{mean}=\frac{\underset{p=-1}{\overset{1}{\mathrm{\Σ}}}\underset{q=-1}{\overset{1}{\mathrm{\Σ}}}\mathrm{pixel}(i+p,j+q)}{9}$

最后，判断是否完成对该高分辨率视频中的所有象素点的边缘分析，如未完成，则回到步骤S452；如已完成，则将获得的增益值与残余流中的每一个对应的象素点进行相乘，将两者相乘的结果进一步送到一个编码器156进行编码，从而得到一个增强流(步骤S470)，其中的编码可按照MPEG-2标准进行。该增强流与所述的高分辨率视频流具有基本同样的分辨率格式，如1920×1080i。这样一来，在细节内容少的图象区域，如非边缘点区域，其象素点的象素值就变小。因此，用于表示该象素值的二进制位(bit)的长度也相应变短，从而使得相乘得到的结果与原残余流相比包含有更少的数据量。特别是所有的孤立点会被去处掉，从而大大减少了该增强流中的数据数量。

由于残余流是所述的高分辨率视频流与重建流之差，故残余流中含有大量的零。如对残余流进行边缘检测分析，其计算的复杂性就会大大降低。因此，本实施例的另一个选择为在步骤S452至S458中对残余流中的每一个象素点进行边缘检测分析以获得其对应的增益值。当然，亦可对所述的重建流进行边缘检测分析，从而获得其每一个象素点对应的增益值。

进一步说，在步骤S452至S458中还可对所述的高分辨率视频流和残余流都进行边缘检测分析，并将每一个象素点的分析结果进行比较后来确定其象素点类型，从而获得其对应的增益值。

图5是根据本发明的一个实施例的一个边缘检测分析的流程示意图。该流程是步骤S455的进一步细化。

首先，先接收一个象素点及其周边象素点的象素值(步骤S510)，这些值来自于步骤S452所获得的数值；然后，根据这些数值，获取该象素点的水平边缘值(步骤S520)，并获取该象素点的垂直边缘值(步骤S530)。

其次，判断该水平边缘值大于一个预定的阈值，如10；且垂直边缘值大于另一个预定的阈值(步骤S540)；所述的两个阈值可以相等，也可以不相等。如果判断的结果为是，则确认该象素点为对角点(步骤S544)。

接下来，如果步骤S540的判断结果为否，则进一步判断该水平边缘值大于所述的一个阈值(步骤S550)。如是，则确认该象素点为水平点(步骤S554)。

最后，如果步骤S550的判断结果为否，则进一步判断该垂直边缘值大于所述的另一个阈值(步骤S560)。如是，则确认该象素点为水平点(步骤S564)；如否，则确认该象素点为平滑点(步骤S566)。

以图3中的象素点(i，j)为例，所述的水平边缘值和垂直边缘值的计算方法如下：

水平边缘值＝|2*{pixel(i+1，j)-pixel(i，j)}+{pixel(i+2，j)-pixel(i-1，j)}+{pixel(i+3，j)-pixel(i-2，j)}|

其水平边缘值为7；

垂直边缘值＝|2*{pixel(i，j+1)-pixel(i，j)}+{pixel(i，j+2)-pixel(i，j-1)}+{pixel(i，j+3)-pixel(i，j-2)}|

其垂直边缘值为169；

假设上述两个阈值均为10，则该象素点可被初步确认为垂直边缘点。

虽然经过对本发明结合具体实施例进行描述，对于在本技术领域熟练的人士，根据上文的叙述作出的许多替代、修改和变化将是显而易见的。因此，当这样的替代、修改和变化落入附后的权利要求的精神和范围内时，应该被包括在本发明中。

Claims (17)

1.一种视频流的空间分层压缩方法，其中该视频流是一个大于特定分辨率的流，包括步骤：

a.对所述的视频流进行处理，从而获得一个重建流，该重建流是一个大于特定分辨率的流；

b.将所述的视频流与重建流进行比较，以获得一个残余流，该残余流是一个大于特定分辨率的流；

c.对一个所述的大于特定分辨率的流进行边缘检测分析，以获得该流中指定数量的象素点的增益值；和

d.利用所述的增益值处理所述的残余流，以获得一个增强流。

2.如权利要求1所述的方法，其中步骤a包括步骤：

对所述的视频流进行降采样后进行编码，从而获得一个基本流；

对所述的基本流进行解码和升采样，从而获得所述的重建流。

3.如权利要求1所述的方法，其中所述的指定数量的象素点是所有的象素点。

4.如权利要求1所述的方法，其中步骤c中所述的边缘检测分析是对所述视频流进行的。

5.如权利要求1所述的方法，其中步骤c中所述的边缘检测分析是对所述重建流进行的。

6.如权利要求1所述的方法，其中步骤c中所述的边缘检测分析是对所述残余流进行的。

7.如权利要求1所述的方法，其中步骤c进一步包括：

对另一个所述的大于特定分辨率的流进行边缘检测分析。

8.如权利要求1所述的方法，其中步骤c包括：

获取所述大于特定分辨率的流的一个象素点及其周边象素点的象素值；

根据预定的边缘分析法对所述的数值进行处理，以确定所述象素点的边缘类型；

根据得到的边缘类型，获取所述象素点的相应的增益值。

9.如权利要求8所述的方法，其中所述的象素点边缘类型包括边缘点和非边缘点。

10.如权利要求9所述的方法，其中所述的边缘点包括水平点、垂直点和对角点。

11.如权利要求9所述的方法，其中所述的非边缘点包括平滑点和孤立点。

12.一种视频流的空间分层压缩装置，其中该视频流是一个大于特定分辨率的流，包括：

一个重建流生成装置，用于对所述的视频流进行处理，从而获得一个重建流，该重建流是一个大于特定分辨率的流；

一个残余流获取装置，用于将所述的视频流与重建流进行比较，以获得一个残余流，该残余流是一个大于特定分辨率的流；

一个边缘分析装置，用于对一个所述的大于特定分辨率的流进行边缘检测分析，以获得该流中指定数量的象素点的增益值；和

一个增强流生成装置，用于利用所述的增益值处理所述的残余流，以获得一个增强流。

13.如权利要求12所述的装置，其中所述的指定数量的象素点是所有的象素点。

14.如权利要求12所述的装置，其中所述的边缘分析装置包括：

一个象素值获取装置，用于获取所述的高分辨率流的一个象素点及其周边象素点的象素值；

一个象素值分析装置，根据预定的边缘分析法对所述的数值进行处理，以确定所述象素点的边缘类型；

一个增益值获取装置，用于根据得到的边缘类型，获取所述象素点的相应的增益值。

15.如权利要求14所述的装置，其中所述的边缘类型包括边缘点和非边缘点。

16.如权利要求15所述的装置，其中所述的边缘点包括水平点、垂直点和对角点。

17.如权利要求15所述的装置，其中所述的非边缘点包括平滑点和孤立点。

Images