CN101312529B - 生成上下采样滤波器及实现编码的方法、系统和装置 - Google Patents

Abstract

本发明提供一种生成上下采样滤波器的方法，该方法包括如下步骤：对符合马尔科夫模型的视频信号进行下采样和上采样处理，得到重建信号；计算出所述重建信号的能量；根据带参数的双正交小波理论和所述重建信号的能量，计算出所述重建信号的能量的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器。同时，本发明还提供了利用下采样滤波器和上采样滤波器实现空间可分级视频编码的方法、装置和系统，通过本发明实施例的技术方案，可以达到编码能量损失最小化，因而提高视频信号编码的质量和性能。

Description

生成上下采样滤波器及实现编码的方法、系统和装置

技术领域

本发明涉及编码技术，特别涉及生成上下采样滤波器及实现编码的方法、系统和装置。

背景技术

随着互联网、无线通讯等技术的发展，以视频为主的多媒体数据的传输需求也在迅速增加。如果不经过压缩而传输全部的多媒体数据，需要占用很大的带宽和需要容量很大的存储介质，因此多媒体数据的传输量往往非常巨大，实现起来也非常困难，所以需要先对多媒体数据进行压缩编码，然后再进行传输。此外，在传输过程中还要求编码和传输具有随时间变化的网络带宽自适应能力、抗误码性能，以及支持空间分级、时间分级和基于峰值信噪比(PSNR)质量分级的能力，从而可以允许具有不同终端硬件设施条件和需求的用户可以根据自身情况截取嵌入码流，并将截取的嵌入码流还原成不同质量的信息。

H.264视频编码标准是目前多媒体数据通信中的主流标准，该标准由国际电信联盟电信标准部(ITU-T)联合国际标准组织(ISO)和国际电工委员会(IEC)的运动图像专家组(MPEG)制定，并于2003年正式发布。H.264标准采用分层模式，定义了视频编码层(VCL)和网络抽象层(NAL)。其中，NAL是专门为网络传输而设计的，可以适用不同网络中的视频传输。为了利于网络中的分组传输，H.264引入了面向网际协议(IP)包的编码机制，该机制支持视频流媒体传输，能够适应误码率高、丢包率高和干扰严重的无线视频数据传输。H.264的所有待传输多媒体数据均被封装成统一格式的网络抽象层单元(NALU)，为了保证多媒体数据传输的可靠性，每帧图像又被分成若干个条带(slice)，而每个slice又被分割成更小的宏块(block)，每个slice由一个网络NALU承载传送。

自从2005年1月的MPEG的第71次会议起，联合视频组(JVT)开始着手H.264可分级视频编码(SVC)标准的制定工作。SVC标准支持空间、时间、视频质量和复杂度等等的可分级性及它们的组合。在SVC空间可分级编码过程中，对视频序列进行下采样和上采样两重采样处理。对原始视频序列进行下采样后，得到低分辨率的视频信号；然后对经下采样处理得到的相应的宏块进行上采样处理得到高分辨率的视频，从而进行增强层预测或残差图像预测。

现有技术中，采用二进可分二维(2D)采样技术对信号进行采样处理。其中，下采样的通常做法为：首先，将高分辨率的宏块用下采样滤波器进行滤波；然后，直接舍弃偶行偶列的像素，就得到低分辨率的宏块。上采样的具体操作为：将下采样处理得到的低分辨率的宏块进行隔行或隔列补零，得到水平方向和竖直方向均为原分辨率两倍的高分辨率宏块。例如，设f₁₁和f_L分别为高分辨率和低分辨率的图像，令f_H(2x，2y)＝f_L(x，y)。然后将高分辨率宏块按照水平方向和竖直方向分别用上采样滤波器进行卷积处理，合并后就得到相应的高分辨率图像。实际操作中，利用上采样滤波器自身的特性，可以在高分辨率宏块上直接填充对应低分辨率宏块的像素，而将高分辨率宏块的剩余像素利用滤波器进行插值处理。

目前，JVT SVC所采用的编码模型为联合视频组视频分层编码模型(JSVM)6.3.1。图1为现有技术中两级视频编码的JSVM的结构示意图。

如图1所示，该模型包括：视频单元100、2D空域下采样单元110、核心编码器120、与H.264主架构兼容的编码器130、2D空域上采样单元140、复用单元150和比特流输出单元160。其中，核心编码器120包括：时域分解单元121、运动编码单元122和帧内预测/编码单元123；与H.264主架构兼容的编码器130包括：时域分解单元131、运动编码单元132和帧内预测/编码单元133。

视频单元100将视频信号输入到2D空域下采样单元110，2D空域下采样单元110对该视频信号进行二进下采样处理生成低分辨率的视频信号，将生成的低分辨率的视频信号输出到时域分解单元121和时域分解单元131。

时域分解单元121和时域分解单元131分别对接收到的低分辨率视频信号进行时域分级，将分级后的视频信号分别输出到运动编码单元122和运动编码单元132，以及帧内预测/编码单元123和帧内预测/编码单元133。

运动编码单元122和运动编码单元132对接收到的经时域分级处理的视频信号进行运动编码处理，并输出到复用单元150。

帧内预测/编码单元133对接收到的经时域分级处理的视频信号进行帧内预测和帧内编码，并发送给复用单元150，并将该视频信号经2D空域上采样单元140的填充和插值处理后发送给帧内预测/编码单元123。

帧内预测/编码单元123接收2D空域上采样单元140发送的信号，对该信号进行帧内预测，并将经预测处理后的视频信号发送给复用单元150。

复用单元150接收运动编码单元122、运动编码单元132、帧内预测/编码单元123和帧内预测/编码单元133发送的视频信号，对接收到的视频信号进行复用合并后发送给比特流输出单元160。

帧内预测包括：层间帧内纹理预测和层间残差预测。其中，层间帧内纹理预测是指没有利用运动信息，将低分辨率层的宏块通过上采样得到高分辨率层预测宏块的过程；层间残差预测是指对低分辨率层的残差信息进行上采样得到高分辨率层残差信息预测的过程。在帧预测过程中，可以利用相邻宏块或其他层相关宏块的信息对高分辨率层进行运动信息的预测，也可以利用对较低层信息的上采样处理对高分辨率层进行层间帧内纹理预测和层间残差预测。

现有技术中，在设计用于视频编码的上采样滤波器和下采样滤波器时，并未考虑上采样滤波器和下采样滤波器的关联性，即设计出的上采样滤波器和下采样滤波器是独立的，因此采用现有技术方案设计出的上采样滤波器和下采样滤波器因为缺乏关联而导致滤波性能较差。

利用现有技术方案设计得到的上采样滤波器和下采样滤波器分别为：[10-502032200-501]/32和[20-4-351926195-3-402]/64，层间残差预测所采用的上采样滤波器和下采样滤波器分别为：[11]/2和[20-4-351926195-3-402]/64。事实上在实际应用中，利用上述上采样滤波器和下采样滤波器进行上下采样过程之间相互独立、缺乏关联，因此，在编码过程中采用这些滤波器编码得到的视频信号会出现失真、快效应等，造成观众的视觉效果较差，因而无法保证视频信号的编码质量。此外，由于上采样滤波器和下采样滤波器过长，使得计算复杂度过高，造成编码的速度较低。

为了解决上述上采样滤波器和下采样滤波器过长、编码速度过低的问题，JVT-U147对上述上采样滤波器和下采样滤波器进行了改进，提出了如下上采样滤波器和下采样滤波器方案：h5＝[-1262-1]/8；h7＝[-1091690-1]/16。由于缩短了滤波器的长度，使用这种滤波器进行编码的速度得到了一定的提高，但是这种上采样滤波器和下采样滤波器的上下次采样过程之间同样是相互独立、缺乏关联的，因此，在编码过程中采用这些滤波器也无法保证视频信号的编码质量。

可见，在支持H.264 SVC编码标准的空间可分级编码过程中，使用现有技术方案生成的上采样滤波器和下采样滤波器滤波性能较差，此外使用现有的上采样滤波器和下采样滤波器进行编码的质量较差。

发明内容

本发明的实施例提供一种生成上下采样滤波器的方法，使用该方法可以生成滤波性能较好的上采样滤波器和下采样滤波器。

本发明实施例提供一种利用下采样滤波器实现空间可分级视频编码的方法，通过该方法可以提高编码的质量。

本发明实施例提供一种利用上采样滤波器实现空间可分级视频编码的方法，通过该方法可以提高编码的质量。

本发明实施例提供一种利用下采样滤波器实现空间可分级视频编码的装置，通过使用该装置可以提高编码的质量。

本发明实施例提供一种利用上采样滤波器实现空间可分级视频编码的装置，通过使用该装置可以提高编码的质量。

本发明实施例提供一种利用下采样滤波器和上采样滤波器实现空间可分级视频编码的系统，通过使用该系统可以提高编码的质量。

为了达到上述第一个目的，本发明的实施例提供了一种生成上下采样滤波器的方法，该方法包括如下步骤：

对符合马尔科夫模型的视频信号进行下采样和上采样处理，得到重建信号；

将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中，计算所述重建信号的能量；

根据带参数的双正交小波理论和所述重建信号的能量，计算出所述重建信号的能量的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器，其中，

所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

为了达到上述第二个目的，本发明实施例提供了一种利用下采样滤波器实现空间可分级视频编码的方法，该方法包括如下步骤：

使用下采样滤波器对作为编码输入的视频信号进行下采样处理，得到下采样视频序列；

对所述下采样视频序列进行时域分解，得到内部I帧、预测P帧和双向预测B帧；

对所述I帧进行帧内预测和帧内编码，得到下采样帧内预测编码信号；对所述P帧和B帧进行运动编码，得到运动预测编码信号；

所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

为了达到上述第三个目的，本发明提供了一种利用上采样滤波器实现空间可分级视频编码的方法，该方法包括如下步骤：

使用上采样滤波器对下采样帧内预测编码信号进行上采样处理，得到上采样视频序列；

对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

为了达到上述第四个发明目的，本发明实施例提供了一种利用下采样滤波器实现空间可分级视频编码的装置，该装置包括：下采样滤波器、时域分解单元、运动编码单元，以及下采样帧内预测和帧内编码单元；

所述下采样滤波器，用于接收作为编码输入的视频信号，对所述视频信号进行下采样处理，得到下采样视频序列，将所述下采样视频序列发送给时域分解单元；

所述时域分解单元，用于接收所述下采样视频序列，将所述下采样视频序列分解成I帧、P帧和B帧，将所述I帧发送给下采样帧内预测和帧内编码单元，将所述P帧和B帧发送给运动编码单元；

所述运动编码单元，用于接收所述P帧和B帧，对所述P帧和B帧进行运动编码得到运动预测编码信号；

所述下采样帧内预测和帧内编码单元，用于接收所述I帧，对所述I帧进行帧内预测和帧内编码，得到下采样帧内预测编码信号；

所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样处理和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₂)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

为了达到上述第五个发明目的，本发明实施例提供了一种利用上采样滤波器实现空间可分级视频编码的装置，上采样滤波器和上采样帧内预测和帧内编码单元；

所述上采样滤波器，用于接收下采样帧内预测编码信号，并对所述下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，将所述上采样视频序列发送给上采样帧内预测和帧内编码单元；

所述上采样帧内预测和帧内编码单元，用于接收所述上采样视频序列，对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

为了达到上述第六个发明目的，本发明实施例提供了一种利用下采样滤波器和上采样滤波器实现空间可分级视频编码的系统，该系统包括：下采样滤波器、下采样编码单元、上采样滤波器，以及上采样帧内预测和帧内编码单元；

所述下采样滤波器，用于接收作为编码输入的视频信号，对所述视频信号进行下采样处理，得到下采样视频序列，将所述下采样视频序列发送给下采样编码单元；

所述下采样编码单元，用于接收所述下采样视频序列，对所述下采样视频序列进行预测和编码，生成运动预测编码信号和下采样帧内预测编码信号，将所述下采样帧内预测编码信号发送给上采样滤波器；

所述上采样滤波器，用于接收所述下采样帧内预测编码信号，对所述下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，将所述上采样视频序列发送给上采样帧内预测和帧内编码单元；

所述上采样帧内预测和帧内编码单元，用于接收所述上采样视频序列，对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述下采样滤波器和上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器和上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

通过本发明实施例的技术方案可以看出，本发明实施例首先对符合马尔科夫模型的视频信号进行下采样处理和上采样处理，得到重建信号，然后根据带参数的双正交小波理论和重建信号的能量，计算出该重建信号的能量最大值所对应的小波滤波器参数，得到上采样滤波器和下采样滤波器，在重建信号的能量最大化时可以保证能量损失的最小化和最大限度的恢复出视频信号。将该方案生成的下采样滤波器和上采样滤波器用于空间可分级编码，可以达到编码能量损失最小化，提高编码的质量和性能。

附图说明

图1为现有技术中两级视频编码的JSVM的结构示意图；

图2为本发明实施例的生成上采样滤波器和下采样滤波器的方法的流程示意图；

图2a为本发明实施例的实现视频信号重建的流程示意图；

图3为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的方法的流程示意图；

图3a为视频信号一帧中全部像素的结构示意图；

图4为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的方法的流程示意图；

图5为使用本发明生成的滤波器对静态图像进行处理得到的效果图；

图6a是对运动物体(Mobile)进行层0帧内编码所得的图形；

图6b是对工头(foreman)进行层0帧内编码所得的图形；

图6c是对足球(football)进行层0帧内编码所得的图形；

图6d是对公共汽车(bus)进行层0帧内编码所得的图形；

图6a1是对Mobile进行层1帧内编码所得到的图形；

图6b1是对foreman进行层1帧内编码所得的图形；

图6c1是对football进行层1帧内编码所得的图形；

图6d1是对bus进行层1帧内编码所得的图形；

图7为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的装置的结构示意图；

图8为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的装置的结构示意图；

图9为利用图2所示实施例生成的下采样滤波器和上采样滤波器实现空间可分级视频编码的系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

在本发明的实施例中，要生成上采样滤波器和下采样滤波器，首先需要对符合马尔科夫模型的视频信号进行下采样和上采样处理，得到重建信号，然后计算出重建信号的能量；再根据带参数的双正交小波理论和所述重建信号的能量，计算出所述重建信号的能量的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器。

图2为本发明实施例的生成上采样滤波器和下采样滤波器的方法的流程示意图。如图2所示，该方法包括如下步骤：

步骤21：对符合马尔科夫模型的视频信号进行下采样和上采样处理，得到重建信号。

步骤22：计算出重建信号的能量。

步骤23：根据带参数的双正交小波理论和重建信号的能量，计算出重建信号的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器。

步骤24：对上采样滤波器和下采样滤波器进行整数化处理，得到整数上采样滤波器和整数下采样滤波器。

步骤25：对整数上采样滤波器和整数下采样滤波器进行长度裁减，得到优化整数上采样滤波器和优化整数下采样滤波器。

其中，上述步骤21～步骤25的具体操作为：

在步骤21中，对符合马尔科夫模型的视频信号进行下采样处理和上采样处理，得到重建信号的方法包括：

S＝{s_n}_0≤n<M是一个平稳随机视频信号序列，H⁽¹⁾＝{h⁽¹⁾ ₀，h⁽¹⁾ ₁，...，h⁽¹⁾ _L-1}和H⁽²⁾＝{h⁽²⁾ ₀，h⁽²⁾ ₁，...，h⁽²⁾ _L-1}是两个有限线性相位脉冲响应(FIR)低通滤波器，且均为因果滤波器。

首先，用H⁽¹⁾对S＝{s_n}_0≤n<M进行滤波处理，再进行下采样处理后得到： $S^0=\{s_k^0{|s}_k^0=\underset{j}{\mathrm{\&Sigma;}}{h^{\left(1\right)}}_{j-2k}{s}_j\}(0\&le;k<\frac{M}{2}).$

然后，对 $S^0=\{s_k^0{|s}_k^0=\underset{j}{\mathrm{\&Sigma;}}{h^{\left(1\right)}}_{j-2k}{s}_j\}(0\&le;k<\frac{M}{2})$ 信号序列进行上采样处理，并用H⁽²⁾对该信号序列进行滤波，得到重建信号： $S^1=\{s_p^1{|s}_p^1=\underset{k}{\mathrm{\&Sigma;}}{h^{\left(2\right)}}_{p-2k}{s}_k^0\}(0\&le;p<M),$ 其中， $s_k^0=\underset{j}{\mathrm{\&Sigma;}}{h^{\left(1\right)}}_{j-2k}{s}_j.$

在实际应用中，95％的视频信号都是符合马尔科夫模型的视频信号，将上述对视频信号进行下采样处理和上采样处理，得到重建信号的过程用流程示意图的形式表示出来。

图2a为本发明实施例的实现视频信号重建的流程示意图。如图2a所示，

将视频信号S经H⁽¹⁾的滤波处理后，再经下采样处理得到信号S⁰，然后对信号S⁰进行上采样处理和使用H⁽²⁾滤波器对经上采样处理的S⁰进行滤波处理，得到重建信号S¹。

在步骤22中，根据重建信号计算得到重建信号的能量的方法为：

首先，选择一个能量模型：E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}。其中，E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

当α、β和γ取不同值时可以得到不同的能量模型，例如：

当α＝1，β＝λ，γ＝0时，能量模型为：E1＝max{E[e(S₁)]+λE[e(S₂)]}；

当α＝1/2，β＝1，γ＝0时，能量模型为：E2＝max{E[(1/2)e(S₁)]+E[e(S₂)]}；

当α＝1/2，β＝λ，γ＝0时，能量模型为：E3＝max{E[(1/2)e(S₁)]+λE[e(S₂)]}；

当α＝1/2，β＝λ，γ＝θ时，能量模型为：E4＝max{E[(1/2)e(S₁)]+λE[e(S₂)]+θE[e(S₃)]}。

在本实施例中，选择的能量模型为：E1＝max{E[e(S₁)]+λE[e(S₂)]}。

进行下采样和上采样处理后的视频信号的能量为： $E\left\{e\left(S_1\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{\left(s_p^1\right)}^2\right\},$

进行下采样和上采样处理前的视频信号和所述重建信号的相关能量为： $E\left\{e\left(S_2\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{s}_{p+l}^1{s}_p\right\}.$

因此得到的重建信号的能量为：

$E\left\{e\left(S_1\right)\right\}+\mathrm{\&lambda;E}\left\{e\left(S_2\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{\left(s_p^1\right)}^2\right\}+\mathrm{\&lambda;E}\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{s}_{p+l}^1{s}_p\right\}.$

其中，E[e(S₁)]和E[e(S₂)]可以分别近似为：

$E\left\{e\left(S_1\right)\right\}\&ap;2M\underset{p_1,p_2=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{h^{\left(2\right)}}_{p_1}{h^{\left(2\right)}}_{p_2}\underset{j_1,j_2=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{h^{\left(1\right)}}_{j_1}{h^{\left(1\right)}}_{j_2}{\mathrm{\&rho;}}^{|j_1-p_1-j_2+p_2|}$

$E\left\{e\left(S_2\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{s}_{p+l}^1{s}_p\right\}\&ap;M\underset{p=0}{\overset{L-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{L-1}{\mathrm{\&Sigma;}}}{h^{\left(2\right)}}_p{h^{\left(1\right)}}_j{\mathrm{\&rho;}}^{|p+l-j|}.$

在步骤23中，在本实施例中，带单数的双正交小波理论为小波滤波器参数化公式，根据小波滤波器参数化公式和重建信号的能量，计算出重建信号的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器的方法包括：

由步骤22可知，在本实施例中的重建信号的能量为：

$E\left\{e\left(S_1\right)\right\}+\mathrm{\&lambda;E}\left\{e\left(S_2\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{\left(s_p^1\right)}^2\right\}+\mathrm{\&lambda;E}\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{s}_{p+l}^1{s}_p\right\}.$ 在本实施例中，采用长度为(7，13)的单参数双正交小波参数化公式。

长度为(7，13)的单参数双正交小波参数化公式如下：

$H=(-\frac{1}{4}h+\frac{3}{32}\sqrt{2},-\frac{1}{2}h+\frac{1}{4}\sqrt{2},\frac{1}{4}h+\frac{5}{32}\sqrt{2},h,\frac{1}{4}h+\frac{5}{32}\sqrt{2},-\frac{1}{2}h+\frac{1}{4}\sqrt{2},-\frac{1}{4}h+\frac{3}{32}\sqrt{2}),$

$\tilde{H}=({\tilde{h}}_6,{\tilde{h}}_5,{\tilde{h}}_4,{\tilde{h}}_3,{\tilde{h}}_2,{\tilde{h}}_1,{\tilde{h}}_0,{\tilde{h}}_1,{\tilde{h}}_2,{\tilde{h}}_3,{\tilde{h}}_4,{\tilde{h}}_5,{\tilde{h}}_6).$

${\tilde{h}}_0=\frac{1}{64}(-157-352h\sqrt{2}+13552h^2+1048576h^9\sqrt{2}+4554752h^7\sqrt{2}$

$+993792\sqrt{2}{h}^5-25784h^3\sqrt{2}-162624h^4-4225024h^6-4849664h^8)$

$/(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-{256h}^3+20h+16h^2\sqrt{2})(2h\sqrt{2}-1);$

${\tilde{h}}_1=-\frac{1}{16}(-157h\sqrt{2}-68+6120h^2+262144h^9\sqrt{2}+1298432h^7\sqrt{2}$

$+408768\sqrt{2}{h}^5-10160h^3\sqrt{2}-89856h^4-1413632h^6-1277952h^8)$

$/(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-256h^3+20h+16h^2\sqrt{2})(2h\sqrt{2}-1);$

${\tilde{h}}_2=-\frac{1}{256}(-1296h\sqrt{2}-357+27760h^2+1048576h^9\sqrt{2}+4620288h^7\sqrt{2}$

$+1500672\sqrt{2}{h}^5-19904h^3\sqrt{2}-446784h^4-4823040h^6-4849664h^8)$

$/(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-256h^3+20h+16h^2\sqrt{2})(2h\sqrt{2}-1);$

${\tilde{h}}_3=\frac{1}{32}(-359h\sqrt{2}-157-38338556h^8+786432h^9\sqrt{2}+3878912h^7\sqrt{2}$

$+1123392\sqrt{2}{h}^5-30160h^3\sqrt{2}+16008h^2-223168h^4-4095488h^6)$

$(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-256h^3+20h+16h^2\sqrt{2})(2h\sqrt{2}-1);$

${\tilde{h}}_4=-\frac{1}{256}(-1808h+125\sqrt{2}-12864h^3-4096h^5+4936h^2\sqrt{2}+8192h^4\sqrt{2})$

$/(-8h^2+4h\sqrt{2}-1);$

${\tilde{h}}_5=\frac{1}{32}(-55-219h\sqrt{2}+4172h^2-1496h^3\sqrt{2}-75040h^4$

$+209024\sqrt{2}{h}^5+286720h^7\sqrt{2}-497664h^6-131072h^8)$

$/(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-256h^3+20h+16h^2\sqrt{2});$

${\tilde{h}}_6=\frac{1}{256}(-4560896h^6-4849664h^8-165+1048576h^9\sqrt{2}$

$+1156608\sqrt{2}{h}^5+4620288h^7\sqrt{2}-272h\sqrt{2}-34240h^3\sqrt{2}-196928h^4+15472h^2)$

$/(-8h^2+4h\sqrt{2}-1)(\sqrt{2}-256h^3+20h+16h^2\sqrt{2})(2h\sqrt{2}-1);$

需要指出的是，可以采用的小波滤波器参数化公式可以包括但不限于：单参数双正交小波参数化公式，或双参数双正交小波参数化公式，或多参数双正交小波参数化公式，或单参数和多参数双正交小波参数化公式。利用双参数双正交小波参数化公式、多参数双正交小波参数化公式，以及单参数和多参数双正交小波参数化公式求取上采样滤波器和下采样滤波器的方法与利用单参数双正交小波参数化公式求取上采样滤波器和下采样滤波器的方法相同，也在本发明的保护范围之内。

求解重建信号取得最大值时所对应的小波滤波器参数的方法为：

首先，将长度为(7，13)的单参数双正交小波参数化公式代入到 $E\left\{e\left(S_1\right)\right\}+\mathrm{\&lambda;E}\left\{e\left(S_2\right)\right\}=E\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{\left(s_p^1\right)}^2\right\}+\mathrm{\&lambda;E}\left\{\underset{p=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{s}_{p+l}^1{s}_p\right\}$ 公式中。

其次，对λ＝1和λ＝0.1分别进行60次迭代计算，计算得出，当h＝0.7时，重建信号的能量处于最大值附近。

再次，将h＝0.7代入单参数双正交小波参数化公式得到如表1所示的值，表1为小波滤波器参数值。

 

H7	H13
		-.4241747852752234e-1	-.2864426763622237e-2
.3553390593273753e-2	-.2399583254419701e-3
		.3959708691207962	.5084782097542918e-1
.7000000000000000	-.4525099414445236e-1
		.3959708691207962	-.1811648336223731
.3553390593273753e-2	.3990443430631642
		-.4241747852752234e-1	.9734696600076678
	.3990443430631642
			-.1811648336223731
	-.4525099414445236e-1
			.5084782097542918e-1
	-.2399583254419701e-3
			-.2864426763622237e-2

表1

最后，将表1中浮点形式的小波滤波器参数分别写成矩阵的形式，即可生成上采样滤波器和下采样滤波器。

在步骤24中，对步骤23生成的上采样滤波器和下采样滤波器进行整数化处理，生成整数上采样滤波器和整数下采样滤波器的方法为：

对表1中的浮点形式的小波滤波器作二进制乘法，然后对二进制乘法的结果取近似值，可以生成的整数上采样滤波器和整数下采样滤波器分别为：

H7＝[-1091690-1]/16和H9＝[1-1-49229-4-11]/32，

或者，HH7＝[-8172126721-8]/128和HH13＝[-1018-16-65144352144-65-16180-1]/512；

或，H7＝[-502132210-5]/32和H3＝[173017]/64。

在步骤25中，对步骤24生成的整数上采样滤波器和整数下采样滤波器进行长度裁减，生成优化整数上采样滤波器和优化整数下采样滤波器的方法为：

滤波器的长度直接影响到其运算速度和视频信号的重建质量，在对运算速度和视频信号重建性能之间进行权衡地基础上，将整数上采样滤波器和整数下采样滤波器两端影响比较小的值省略，并累加到中心值上，生成优化整数上采样滤波器和优化整数下采样滤波器。

对步骤24中的H7＝[-1091690-1]/16和H9＝[1-1-49229-4-11]/32进行长度裁减，生成的优化整数上采样滤波器和优化整数下采样滤波器分别为：H7＝[-1091690-1]/16；H5＝[-49229-4]/32。

需要指出的是，在本实施例中可以利用步骤23中的其它能量模型和小波滤波器参数化公式对视频信号的色度分量或亮度分量的上采样滤波器和下采样滤波器进行设计和优化处理，例如，可以生成另外一组上采样滤波器和下采样滤波器：H7＝[-5，0，21，32，21，0，-5]/64和H3＝[17，30，17]/64。

执行步骤21～步骤23即可实现本发明的上采样滤波器和下采样滤波器的设计，进一步地执行步骤24可以对步骤23生成的浮点形式的滤波器进行整数化处理，生成整数滤波器，同样进一步地执行步骤25可以对步骤24生成的整数滤波器进行长度优化处理，生成优化整数上采样滤波器和优化整数下采样滤波器。

从本实施例可以看出，本实施例主要介绍了基于H.264的空间可分级编码过程中上采样滤波器和下采样滤波器的设计。与现有技术相比，具有如下优点：

首先，本实施例生成的上采样滤波器和下采样滤波器是对能量模型求解最大化的情况下生成的上下采样滤波器，在保证同等滤波器长度下，本发明的方法所生成的上下采样滤波器在视频信号编码和解码应用中针对能量模型是最优的。将本实施例生成的上采样滤波器和下采样滤波器用于视频信号的编码处理，可以减少图像能量的损耗，提高对视频信号进行编码的质量，达到能量损失的最小化和视频恢复质量的最大化。

其次，将小波理论用于上采样滤波器和下采样滤波器的设计，将生成的上下采样滤波器用于视频信号的编码，可以提高视频信号的重构质量，优化高分辨率下视频信号的重构效果。

最后，可以根据不同的视频信号编码复杂度的要求，可以对生成的整数滤波器进行不同长度的裁剪，生成优化整数滤波器，从而通过在运算速度和视频信号重建性能之间的权衡，生成最符合实际需要的优化整数上采样滤波器和优化整数下采样滤波器。

至此，结束对图2所示实施例的介绍。

图2所示的实施例给出了如何生成上采样滤波器和下采样滤波器的方法，可以将设计生成的上采样滤波器和下采样滤波器用于空间可分级视频编码操作。空间可分级视频信号编码过程分为：利用下采样滤波器进行的编码过程和利用上采样滤波器进行的编码过程。下面分别以具体的实施例予以介绍：

图3为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的方法的流程示意图。如图3所示，该方法包括以下步骤：

步骤31：利用下采样滤波器对作为编码输入的视频信号进行下采样处理，得到下采样视频序列。

在本实施例中，使用的下采样滤波器是步骤24中所生成的下采样滤波器：H9＝[1-1-49229-4-11]/32。

步骤32：对视频信号序列进行时域分解，得到内部(I)帧、预测(P)帧和双向预测(B)帧。

步骤33：对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号，对P帧和B帧进行运动编码，得到运动预测编码信号。

上述步骤31～步骤33的具体操作为：

在步骤31中，利用下采样滤波器对作为编码输入的视频信号进行下采样处理，得到下采样视频序列的具体操作为：

将作为编码输入的视频信号中同行或隔行中的各像素与H9＝[1-1-49229-4-11]/32进行垂直方向上的卷积计算，得到各像素的像素值，然后将各像素的像素值与H9＝[1-1-49229-4-11]/32进行水平方向上的卷积计算，得到下采样视频序列；或者，也可以先进行水平方向上的卷积运算得到各像素的像素值，然后再将各像素的像素值与H9＝[1-1-49229-4-11]/32进行垂直方向上的卷积计算，得到下采样视频序。针对上述过程，下面以一个具体的例子予以介绍：

图3a为视频信号一帧中全部像素的结构示意图。图3a中包含了：包括像素E、像素e、像素F、像素f、像素G、像素g、像素H、像素h和像素I的行；包括像素J、像素K、像素L、像素k、像素M和像素N的行；包括像素A、像素a、像素C、像素b、像素G、像素c、像素L、像素d和像素P的列；以及包括像素B、像素D、像素H、像素n、像素M和像素Q的列。

以像素G为例，第一步，将G点的像素值以及垂直方向上的各像素值与H9＝[1-1-49229-4-11]/32进行卷积运算，得到像素值G’＝(A-a-4*C+9*b+22*G+9*c-4*L-d+P)/32。同样对于像素G同行或隔行中的各像素也按此公式与H9＝[1-1-49229-4-11]/32进行卷积运算，分别得到像素值E’、像素值e’、像素值F’、像素值f’、像素值G’、像素值g’、像素值H’、像素值h’和像素值I’等。

第二步，将像素值G’以及水平方向上的各像素值与H9＝[1-1-49229-4-11]/32进行卷积运算，得到G”＝(E’-e’-4*F’+9*f’+22*G’+9*g’-4*H’-h’+I’)/32，其中等式右侧的各像素值是通过第一步的卷积运算得到的像素值。

将图3a中灰色方格中的像素值单独取出，即可得到下采样视频序列。需要指出的是上述第一步和第二步的操作可以倒换次序，得到的结果相同，即先在水平方向上与下采样滤波器进行卷积运算，然后在垂直方向上与下采样滤波器进行卷积运算。

步骤32中对视频信号序列进行时域分解，得到I帧、P帧和B帧的操作，以及步骤33中对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号，对P帧和B帧进行运动编码，得到运动预测编码信号操作，与现有技术中的相应操作相同，属于本领域普通技术人员公知的技术，这里不作赘述。

至此，结束对图3所示实施例的介绍。

图4为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的方法的流程示意图。如图4所示，该方法包括以下步骤：

步骤41：使用上采样滤波器对下采样帧内预测编码信号进行上采样处理，得到上采样视频序列。

在本步骤中，所使用的上采样滤波器为步骤24中所生成的整数上采样滤波器：H7＝[-1091690-1]/16，所涉及的下采样帧内预测编码信号是步骤33中对I帧进行帧内预测和帧内编码得到下采样帧内预测编码信号。

步骤42：对上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号。

其中，步骤41～步骤42的具体操作为：

在步骤41中，使用上采样滤波器对下采样帧内预测编码信号进行上采样处理，得到上采样视频序列得具体方法为：使用上采样滤波器对下采样帧内预测编码信号进行层间帧内纹理预测和层间残差预测的2D空域上采样处理，得到上采样视频序列。

仍参见图3a，图3a中灰色方格表示下采样帧内预测编码信号中宏块的像素，所有的方格表示上采样视频序列中宏块的像素。使用上采样滤波器对下采样帧内预测编码信号进行层间帧内纹理预测和层间残差预测的2D空域上采样处理，得到上采样视频序列具体方法为：

对于灰色方格位置的像素：保持其像素值不变。

对于在水平方向上紧邻灰色方格，形如g的像素：将下采样帧内预测编码信号序列隔列补零后按水平方向与H7＝[-1091690-1]/16做卷积，得到g的像素值为：g＝(-F+9*G+9*H-i)/16。此外，对于其他与g在水平方向上和垂直方向上相差偶数个像素的像素也按同样的方法进行处理。

对于在垂直方向上紧邻灰色方格，形如c的像素：将下采样帧内预测编码信号序列隔行补零后按垂直方向与H7＝[-1091690-1]/16做卷积，得到c的像素值为：c＝(-C+9*G+9*L-P)/16。此外，对于其他与c在水平方向上和垂直方向上相差偶数个像素的像素也按同样的方法进行处理。

对于与灰色方格处于斜对角，形如i的像素：将下采样帧内预测编码信号序列按垂直方向或水平方向与H7＝[-1091690-1]/16做卷积，得到i的像素值i＝(-m+9*c+9*n-o)/16或i＝(-j+9*g+9*k-1)/16，这两个值是相等的，取其一即可。

在步骤42中，利用步骤41得到的上采样视频序列和原有的纹理信息在增强层进行帧内预测和变换/熵编码，然后将全部编码过程得到的结果进行复用，形成上采样帧内预测编码信号，即比特流。

其中，本步骤的操作与现有技术中的相应操作相同，属于本领域普通技术人员公知的技术，为了简洁，这里就不作赘述。

至此，结束对图4所示实施例的介绍。

使用图2所示方法设计得到的上采样滤波器和下采样滤波器对静态图像进行处理，可以显著提高高分辨率的重建效果。下面以具体的实施例介绍对静态图像进行处理所得到的定量和定性测试结果。

表2示出了对静态图像进行定量测试得到的结果。

 

SVC/H.264

h5/h7

h7/h9

H7/H9

HH7/HH13

[0185] 

Lena	34.1005	35.0790	35.1585	35.3335	35.3607
						Boat	29.7339	30.6226	30.7317	30.8211	30.8367
Flinstones	26.6710	27.8231	27.8484	28.0931	28.1373
						Mandrill	22.9414	23.5673	23.7042	23.7433	23.7480
Airplane	30.3926	31.3651	31.4438	31.6050	31.6207
						Sailboat	29.4495	30.5303	30.5671	30.7150	30.7276
Peppers	31.6337	33.0340	32.9955	33.1566	33.1401
						Fingerprint	30.8312	31.8285	32.1036	32.4955	32.5579

表2

如表2所示，列表示八幅标准静态图像的名称，行表示对静态图像进行测试的滤波器，依次为SVC/H.264、h5/h7、h7/h9、H7/H9和HH7/HH13滤波器，其中前三组滤波器是现有技术中JSVM6.3.1所采用的滤波器，后两组滤波器是根据本发明实施例生成的上下采样滤波器。行与列的交叉值表示测试数据，单位为峰值信噪比(PSNR)，其中，PSNR的值越大表示测试结果越为理想。

通过比较图2中的数值，可以明显看出采用后两组滤波器对静态图像进行处理得到的PSNR的值明显大于使用现有的滤波器对静态图像进行处理得到的PSNR的值。因此，可以得出这样的结论：使用本发明方法设计得到的上采样滤波器和下采样滤波器对静态图像进行处理，可以显著提高高分辨率的重建效果。

图5为使用本发明生成的滤波器对静态图像进行处理得到的效果图。从图5中可以直观的看出，经本发明实施例方法生成的上下采样滤波器的处理，可以得到很清晰的视图效果。

至此，结束对静态图像的定量测试结果的介绍。

下面以具体的实施例介绍，使用本发明生成的上下采样滤波器对静态图像进行处理所得到的定性测试结果。

图6a是对运动物体(Mobile)进行层0帧内编码所得的图形。如图6a所示，层0表示核心层，横坐标表示分辨率，取值范围为500bps～3000bps；纵坐标表示PSNR，PSNR越大表示测试结果越为理想。

图6a中示出了4条测试曲线，均是采用下采样滤波器和上采样滤波器对层间帧内纹理预测中亮度分量进行优化处理后得到的曲线，从上到下依次为：使用our_Filter_3_7滤波器组、Default JSVM滤波器组、our_Filter_5_7滤波器组和JVT-U147_Filter_5_7滤波器组进行测试得到的曲线，DefaultJSVM滤波器组和JVT-U147_Filter_5_7滤波器组的曲线用虚线来表示。

our_Filter_3_7滤波器组和our_Filter_5_7滤波器组是使用本发明的方法设计得到的滤波器组，Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组是现有的滤波器组。从图6a中可以看出，在相同的分辨率上，使用our_Filter_3_7滤波器组和our_Filter_5_7滤波器组测试得到的PSNR的值要分别大于使用Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组测试得到的PSNR的值，因此可以得到这样的结论：使用本发明技术方案生成的滤波器较现有的JSVM6.3.1滤波器，在对静态图像进行处理时，可以显著提高高分辨率的重建效果。

图6b是对工头(foreman)进行层0帧内编码所得的图形；

图6c是对足球(football)进行层0帧内编码所得的图形；

图6d是对公共汽车(bus)进行层0帧内编码所得的图形。

图6a1是对Mobile进行层1帧内编码所得到的图形。如图6a1所示的图形与图6a相比，差别仅在于图6a1是对层1进行帧内编码所得到的图形。从上到下依次为：使用our_Filter_3_7滤波器组、Default JSVM滤波器组、our_Filter_5_7滤波器组和JVT-U147_Filter_5_7滤波器组进行测试得到的曲线，Default JSVM滤波器组和JVT-U147_Filter_5_7滤波器组的曲线用虚线来表示。

图6b1是对foreman进行层1帧内编码所得的图形；

图6c1是对football进行层1帧内编码所得的图形；

图6d1是对bus进行层1帧内编码所得的图形。

从图6b、图6c、图6d、图6b1、图6c1、图6d1得出的结论与从图6a得出的结论相同，即使用本发明技术方案生成的滤波器较现有的JSVM6.3.1滤波器，在对静态图像进行处理时，可以显著提高高分辨率图像的重建效果。

至此，结束对静态图像的定性测试结果的介绍。

在接下来的实施例中，介绍利用图2所示实施例生成的下采样滤波器和上采样滤波器实现空间可分级视频编码的装置和系统。

图7为利用图2所示实施例生成的下采样滤波器实现空间可分级视频编码的装置的结构示意图。如图7所示，该装置包括：下采样滤波器、时域分解单元、运动编码单元，以及下采样帧内预测和帧内编码单元。

其中，下采样滤波器，用于接收作为编码输入的视频信号，对该视频信号进行下采样处理，得到下采样视频序列，将该下采样视频序列发送给时域分解单元。

时域分解单元接收下采样滤波器发送的下采样视频序列，将该下采样视频序列分解成I帧、P帧和B帧，将I帧发送给下采样帧内预测和帧内编码单元，将P帧和B帧发送给运动编码单元。

运动编码单元接收时域分解单元发送的P帧和B帧，对P帧和B帧进行运动编码得到运动预测编码信号。

下采样帧内预测和帧内编码单元接收I帧，对该I帧进行帧内预测和帧内编码，得到下采样预测编码信号。

需要指出的是，本实施例中用到的下采样滤波器是对符合马尔科夫模型的视频信号进行下采样处理和上采样处理得到重建信号，然后根据带参数的双正交小波理论和重建信号的能量，计算出重建信号的能量最大值所对应的小波滤波器参数，生成的下采样滤波器，在本实施例中，带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是，生成下采样滤波器所用的符合马尔科夫模型的视频信号和作为编码输入的视频信号可以是相同的信号，也可以是不同的信号。作为编码输入的视频信号可以为所有的视频信号，而所有的这些视频信号中大概有95％是符合马尔科夫模型的视频信号。

至此，结束对图7所示实施例的介绍。

图8为利用图2所示实施例生成的上采样滤波器实现空间可分级视频编码的装置的结构示意图。如图8所示，该装置包括：上采样滤波器和上采样帧内预测和帧内编码单元。

其中，上采样滤波器，用于接收图7中的下采样帧内预测和帧内编码单元输出的下采样帧内预测编码信号，对接收到的下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，将该上采样视频序列发送给上采样帧内预测和帧内编码单元。

上采样帧内预测和帧内编码单元，用于接收上采样滤波器发送的上采样视频序列，对接收到上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号。

需要指出的是，本实施例中用到的上采样滤波器是对视频信号进行下采样处理和上采样处理得到重建信号，然后根据带参数的双正交小波理论和重建信号的能量，计算出重建信号的能量最大值所对应的小波滤波器参数，生成的上采样滤波器，在本实施例中，带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是，生成上采样滤波器所用的符合马尔科夫模型的视频信号和作为编码输入的视频信号可以是相同的信号，也可以是不同的信号，一般情况下并不相同。

至此，结束对图8所示实施例的介绍。

图9为利用图2所示实施例生成的下采样滤波器和上采样滤波器实现空间可分级视频编码的系统的结构示意图。如图9所示，该系统包括：下采样滤波器、下采样编码单元、上采样滤波器、上采样帧内预测和帧内编码单元、以及复用单元。其中，下采样编码单元包括：时域分解单元、运动编码单元和下采样帧内预测和帧内编码单元。

其中，下采样滤波器，用于接收作为编码输入的视频信号，对该视频信号进行下采样处理，得到下采样视频序列，将该下采样视频序列发送给下采样编码单元的时域分解单元。

时域分解单元，用于接收下采样滤波器发送的下采样视频序列，将接收到的下采样视频序列分解成I帧、P帧和B帧，将I帧发送给下采样帧内预测和帧内编码单元，将P帧和B帧发送给运动编码单元。

运动编码单元，用于接收P帧和B帧，对接收到的P帧和B帧进行运动编码得到运动编码信号，将该运动预测编码信号发送给复用单元。

下采样帧内预的和帧内编码单元，用于接收I帧，对接收到的I帧进行帧内预测和帧内编码，得到下采样帧内预测和编码信号，将该下采样帧内预测编码信号发送给上采样滤波器和复用单元。

上采样滤波器，用于接收下采样帧内预测编码信号，对接收到的下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，并发送给上采样帧内预测和帧内编码单元。

上采样帧内预测和帧内编码单元，用于接收上采样滤波器发送的上采样视频序列，对该上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号，并将该上采样帧内预测编码信号发送给复用单元。

复用单元，用于接收下采样帧内预测编码信号、运动预测编码信号和上采样帧内预测编码信号，对接收到的信号进行合成处理，得到视频编码信号。

需要指出的是，本实施中所用到的下采样滤波器和上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器和上采样滤波器，在本实施例中，带参数的双正交小波理论即小波滤波器参数化公式。需要指出的是，生成下采样滤波器和上采样滤波器所用的符合马尔科夫模型的视频信号与作为编码输入的视频信号可以是同一信号，也可以是不同的信号，一般情况下是不同的信号。

此外，复用单元的作用主要是对下采样帧内预测编码信号、运动预测编码信号和上采样帧内预测编码信号进行合成处理，得到视频编码信号。如果空间可分级视频编码系统不对这三路信号进行合成处理，在本实施例中也可以不包括复用单元。

至此，结束对图9所示实施例的介绍。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种生成上下采样滤波器的方法，其特征在于，该方法包括如下步骤：

对符合马尔科夫模型的视频信号进行下采样和上采样处理，得到重建信号；

将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中，计算所述重建信号的能量；

根据带参数的双正交小波理论和所述重建信号的能量，计算出所述重建信号的能量的最大值所对应的小波滤波器参数，生成上采样滤波器和下采样滤波器，其中，

所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

2.根据权利要求1所述的方法，其特征在于，所述生成上采样滤波器和下采样滤波器之后，该方法进一步包括：

对所述上采样滤波器和下采样滤波器进行整数化处理，生成整数上采样滤波器和整数下采样滤波器。

3.根据权利要求2所述的方法，其特征在于，对所述上采样滤波器和下采样滤波器进行整数化处理后，该方法进一步包括：

对所述整数上采样滤波器和整数下采样滤波器进行长度裁减，生成优化整数上采样滤波器和优化整数下采样滤波器。

4.根据权利要求2或3所述的方法，其特征在于，所述带参数的双正交小波理论为小波滤波器参数化公式，包括：单参数双正交小波参数化公式，或双参数双正交小波参数化公式，或多参数双正交小波参数化公式，或单参数和多参数双正交小波参数化公式。

5.根据权利要求2所述的方法，其特征在于，所述整数上采样滤波器和整数下采样滤波器分别为：H7＝[-1 0 9 16 9 0 -1]/16和H9＝[1 -1 -4 9 22 9 -4 -11]/32；

或，分别为：HH7＝[-8 1 72 126 72 1 -8]/128和HH13＝[-1 0 18 -16 -65 144 352144 -65 -16 18 0 -1]/512；

或，分别为：H7＝[-5 0 21 32 21 0 -5]/32和H3＝[17 30 17]/64。

6.根据权利要求3所述的方法，其特征在于，对所述整数上采样滤波器和整数下采样滤波器进行长度裁减的方法包括：

将整数上采样滤波器和整数下采样滤波器两端影响小的值省略，并累加到中心值上，分别生成优化整数上采样滤波器和优化整数下采样滤波器。

7.根据权利要求6所述的方法，其特征在于，所述生成的优化整数上采样滤波器和优化整数下采样滤波器分别为：H7＝[-1 0 9 16 9 0 -1]/16和H5＝[-4 922 9 -4]/32。

8.一种利用下采样滤波器实现空间可分级视频编码的方法，其特征在于，该方法包括如下步骤：

使用下采样滤波器对作为编码输入的视频信号进行下采样处理，得到下采样视频序列；

对所述下采样视频序列进行时域分解，得到内部I帧、预测P帧和双向预测B帧；

对所述I帧进行帧内预测和帧内编码，得到下采样帧内预测编码信号；对所述P帧和B帧进行运动编码，得到运动预测编码信号；

所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

9.根据权利要求8所述的方法，其特征在于，使用下采样滤波器对作为编码输入的视频信号进行下采样处理，得到下采样视频序列的方法包括：

将所述作为编码输入的视频信号中同行或隔行中的各像素与所述下采样滤波器进行垂直方向上的卷积计算，得到各像素的像素值；将所述各像素的像素值与所述下采样滤波器进行水平方向上的卷积计算，得到下采样视频序列；

或，将所述视频信号中同行或隔行中的各像素与所述下采样滤波器进行水平方向上的卷积计算，得到各像素的像素值；将所述各像素的像素值与所述下采样滤波器进行垂直方向上的卷积计算，得到下采样视频序列。

10.根据权利要求8所述的方法，其特征在于，所述作为编码输入的视频信号和所述符合马尔科夫模型的视频信号是相同的信号。

11.一种利用上采样滤波器实现空间可分级视频编码的方法，其特征在于，该方法包括如下步骤：

使用上采样滤波器对下采样帧内预测编码信号进行上采样处理，得到上采样视频序列；

对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

12.根据权利要求11所述的方法，其特征在于，所述使用上采样滤波器对下采样帧内预测编码信号进行上采样处理，得到上采样视频序列的方法包括：

使用上采样滤波器对所述下采样帧内预测编码信号进行层间帧内纹理预测和层间残差预测的2维2D空域上采样处理，得到上采样视频序列。

13.一种利用下采样滤波器实现空间可分级视频编码的装置，其特征在于，该装置包括：下采样滤波器、时域分解单元、运动编码单元，以及下采样帧内预测和帧内编码单元；

所述下采样滤波器，用于接收作为编码输入的视频信号，对所述视频信号进行下采样处理，得到下采样视频序列，将所述下采样视频序列发送给时域分解单元；

所述时域分解单元，用于接收所述下采样视频序列，将所述下采样视频序列分解成I帧、P帧和B帧，将所述I帧发送给下采样帧内预测和帧内编码单元，将所述P帧和B帧发送给运动编码单元；

所述运动编码单元，用于接收所述P帧和B帧，对所述P帧和B帧进行运动编码得到运动预测编码信号；

所述下采样帧内预测和帧内编码单元，用于接收所述I帧，对所述I帧进行帧内预测和帧内编码，得到下采样帧内预测编码信号；

所述下采样滤波器是对符合马尔科夫模型的视频信号进行下采样处理和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

14.一种利用上采样滤波器实现空间可分级视频编码的装置，其特征在于，该装置包括：上采样滤波器和上采样帧内预测和帧内编码单元；

所述上采样滤波器，用于接收下采样帧内预测编码信号，并对所述下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，将所述上采样视频序列发送给上采样帧内预测和帧内编码单元；

所述上采样帧内预测和帧内编码单元，用于接收所述上采样视频序列，对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

15.一种利用下采样滤波器和上采样滤波器实现空间可分级视频编码的系统，其特征在于，该系统包括：下采样滤波器、下采样编码单元、上采样滤波器，以及上采样帧内预测和帧内编码单元；

所述下采样滤波器，用于接收作为编码输入的视频信号，对所述视频信号进行下采样处理，得到下采样视频序列，将所述下采样视频序列发送给下采样编码单元；

所述下采样编码单元，用于接收所述下采样视频序列，对所述下采样视频序列进行预测和编码，生成运动预测编码信号和下采样帧内预测编码信号，将所述下采样帧内预测编码信号发送给上采样滤波器；

所述上采样滤波器，用于接收所述下采样帧内预测编码信号，对所述下采样帧内预测编码信号进行上采样处理，得到上采样视频序列，将所述上采样视频序列发送给上采样帧内预测和帧内编码单元；

所述上采样帧内预测和帧内编码单元，用于接收所述上采样视频序列，对所述上采样视频序列进行帧内预测和帧内编码，得到上采样帧内预测编码信号；

所述下采样滤波器和上采样滤波器是对符合马尔科夫模型的视频信号进行下采样和上采样处理得到重建信号，根据带参数的双正交小波理论和所述重建信号的能量，计算出所述能量的最大值所对应的小波滤波器参数，生成的下采样滤波器和上采样滤波器，其中，

所述重建信号的能量是将所述重建信号代入能量模型E1＝max{αE[e(S₁)]+βE[e(S₂)]+γE[e(S₃)]}中计算得到的，所述E[e(S₁)]是进行下采样和上采样处理后的视频信号的能量，所述E[e(S₂)]是进行下采样和上采样处理前的视频信号和所述重建信号的相关能量，所述E[e(S₃)]是进行下采样处理后的视频信号的能量；所述α和β均为大于零的正整数，γ为大于等于零的正整数。

16.根据权利要求15所述的系统，其特征在于，所述下采样编码单元包括：时域分解单元、运动编码单元和下采样帧内预测和帧内编码单元；

所述下采样滤波器，进一步用于将下采样视频序列发送给时域分解单元；

所述时域分解单元，用于接收所述下采样视频序列，将所述下采样视频序列分解成I帧、P帧和B帧，将所述I帧发送给下采样帧内预测和帧内编码单元，将所述P帧和B帧发送给运动编码单元；

所述运动编码单元，用于接收所述P帧和B帧，对所述P帧和B帧进行运动编码得到运动预测编码信号；

所述下采样帧内预测和帧内编码单元，用于接收所述I帧，对所述I帧进行帧内预测和帧内编码，得到下采样帧内预测编码信号，并将所述下采样帧内预测编码信号发送给上采样滤波器；

所述上采样滤波器，进一步用于接收所述下采样帧内预测和帧内编码单元发送的下采样帧内预测编码信号。

17.根据权利要求16所述的系统，其特征在于，该系统进一步包括：复用单元；

所述下采样帧内预测和帧内编码单元，进一步用于将所述下采样帧内预测编码信号发送给复用单元；

所述运动编码单元，进一步用于将运动预测编码信号发送给复用单元；

所述上采样帧内预测和帧内编码单元，进一步用于将所述上采样帧内预测编码信号发送给复用单元；

所述复用单元，用于接收所述下采样帧内预测编码信号、运动预测编码信号和上采样帧内预测编码信号，对接收到的信号进行合成处理，得到视频编码信号。

Images