CN102572427B - 基于压缩感知的多描述图像编码和解码方法 - Google Patents

Abstract

本发明提供一种基于压缩感知的多描述图像编码和解码方法，属于图像处理领域，该方法以图像行列相关系数和稀疏度为依据，自适应地选择图像的下采样方式,并根据采样图像的测量值确定多个描述。其中，描述信息包括当前描述的主信息和另一个描述的保护信息。当传输信道环境恶劣而使一个描述丢失时，本发明给出一种基于加权的方法来预测丢失的描述。同时，为了克服传统平衡多描述结构中当两个描述同时接收到时所带来的冗余信息的浪费，本发明能根据信道状况，最优化调整主信息与冗余信息的码率，本发明编码效率高，解码图像具有较高的信噪比和很好的视觉效果。

Description

基于压缩感知的多描述图像编码和解码方法

技术领域

本发明涉及图像处理领域，具体地说是一种基于压缩感知的多描述图像编码和解码方法。

背景技术

网络、通信及普适计算等技术的稳步发展，使实时、高质量的图像通信服务业务成为可能。然而，在图像和视频信息的传输过程中，网络所具有的异构、时变、带宽有限、误码率高、易丢包、延迟以及接收端处理能力的不均衡等特性通常会使解码图像的质量下降，有时甚至会带来解码错误，实时传输高质量的图像信息和有效控制传输信道的差错成为一个具有挑战性的工作。多描述编码(Multiple Description Coding，MDC)机制作为适应不可靠传输信道图像和视频传输的一种重要编码手段，其通过引入描述间的冗余来抵抗信息在传输过程中因信道的差错所带来的质量降质，提高传输的鲁棒性。

现有的多描述编码方法主要包括以下几类：基于量化的多描述编码，基于下采样的多描述编码和基于变换的多描述编码等，其中基于下采样的方法是通过时/空域或变换域下采样将原图像划分为多幅子图像，对它们进行独立编码并通过不同信道传输到解码端，该类方式具有较为简单的编码器，但很难进行冗余控制和有效保护关键信息，通常具有较差的性能，且一般随着描述个数的增加性能更加恶化；基于量化的编码方法是通过对信源进行不同精度的量化来获得相应的描述，该类方法一般能够较灵活地控制冗余，然而其索引分配的设计比较困难，不能很好地平衡边缘和中央信道的编码效率；基于变换的编码方式是通过对信源进行变换，在正交变换系数中引入可控的相关性，形成描述的冗余信息，在解码端对丢失的描述可利用收到的描述和其中的冗余信息进行评估预测，预测方法通常采用线性插值法，这种直接将变换系数通过采样形成不同的子集作为描述通常会在一定程度上使图像重要的频率系数丢失，导致图像解码质量的下降；此外，解码端的线性插值预测尽管方法简单，但预测误差较大，直接影响到生成图像的信噪比。

发明内容

有鉴于此，本发明旨在提供一种基于压缩感知的多描述图像编码和解码方法，该方法能够自适应选择图像的下采样方式,使解码图像具有较高的信噪比和较好的视觉效果。

为了实现上述目的，本发明提供一种供基于压缩感知的多描述图像编码方法，其特征在于，包括：

步骤1.确定下采样方式，并根据所述下采样方式，进行下采样获得子图像X₁的小波系数矩阵K1，子图像X₂的小波系数矩阵K2；

步骤2.对所述子图像X₁的小波系数矩阵K1进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L1；对所述子图像X₂的小波系数矩阵K2进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L2；

步骤3.确定主信息编码码率P1和冗余信息的编码码率P2；

步骤4.根据所述主信息编码码率和冗余编码码率，计算主信息观测值M1和冗余信息观测值M2，并生成主信息随机矩阵Z1、冗余信息随机矩阵Z2，其中，主信息观测值M1＝主信息编码码率P1×信号的分量数量N；冗余信息观测值M2＝冗余编码码率P2×信号的分量数量N，主信息随机矩阵Z1维数为M1×N；冗余信息随机矩阵Z2维数为M2×N；

步骤5.将所述主信息随机矩阵Z1和冗余信息随机矩阵Z2作为观测矩阵，通过计算主信息随机矩阵Z1与主信息稀疏小波系数矩阵L1的乘积，获得主信息观测向量Y1，通过计算冗余信息随机矩阵Z2与主信息稀疏小波系数矩阵L2的乘积，获得冗余信息观测向量Y2；

步骤6.将所述主信息观测向量Y1的奇数位和冗余信息观测向量Y2的偶数位结合，形成描述1信息；将所述主信息观测向量的偶数位和冗余信息观测向量的奇数位结合，形成描述2信息；

优选的，步骤1所述确定下采样方式包括如下步骤：

步骤11对原始图像进行隔行采样，获得隔行采样子图像A、B；对所述输入图像进行隔列采样，获得隔列采样子图像C、D；

步骤12对所述隔行采样子图像A、B进行同一小波变换，形成隔行采样图像的小波系数矩阵A₁、B₁；对所述隔列采样子图像C、D进行同一小波变换，形成隔列采样图像的小波系数矩阵C₁、D₁，

步骤13分别统计所述小波系数矩阵A₁、B₁、C₁、D₁的中包括各子带在内的，感知理论框架中的非零元素的个数，分别获得小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄；

步骤14如果小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄不完全相等，则转步骤15；否则，

分别计算小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和；

如果小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和不完全相等，则采用稀疏绝对值和最小的小波系数矩阵所对应的采样方式；否则，按下式计算图像的行(列)相关系数γ_k：

如果γ₁＞γ₂，选择隔行采样方式，执行步骤16；否则，选择隔列采样方式，执行步骤16；

其中，φ_k1,φ_k2,…,φ_kn是奇数行或列的像素值；是偶数行或列的像素值；是奇数行或列像素的平均值，是偶数行或列像素的平均值；k＝1表示奇数，k＝2表示偶数；

步骤15如果所述小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄的最小值为K₁或K₂，则选取隔行采样方式，否则，采用隔列采样方式；

步骤16在主信息和冗余信息中设置采样方式标识字节。

本发明提供一种适用于本发明提供基于压缩感知的多描述图像编码方法的解码方法，该方法适用于解码端接收到一个描述时的解码方法，其特征在于，包括以下步骤：

步骤1根据所接收的主信息和冗余信息，确定上采样方式，分解所接收的描述获得主信息观测向量Y1和冗余信息观测向量Y2；

所述上采样即相对于下采样而言的，它是对图像进行插值操作；

步骤2利用正交匹配追踪算法根据主信息观测向量Y1获得主信息子图像的系数矩阵M1，根据冗余信息观测向量Y2获得冗余信息子图像的系数矩阵M2；

步骤3对主信息子图像系数矩阵M1进行小波逆变换分别重构出逼近的子图像X₁；对冗余信息子图像系数矩阵M2进行小波逆变换分别重构出逼近的子图像X₂；

步骤4根据所述上采样方式，确定与丢失奇数行相对应的上偶数行的信息权重α₁、与丢失奇数行相对应的下偶数行的信息权重α₂、与丢失奇数行对应的冗余信息的权重β；根据下式进一步确定逼近的子图像X₂

$X_2(X,Y)=\left\{\begin{array}{c}\begin{array}{cc}{X}_1(X,Y)& Y=\frac{\mathrm{row}}{2}-1\end{array}\\ {\mathrm{\α}}_1{X}_1(X,Y)+{\mathrm{\α}}_2{X}_1(X,Y+1)+\mathrm{\β}{X}_2^{\′}(X,Y),\mathrm{else}\end{array}\right.$

其中row为图像的行号；

步骤5通过上采样将逼近的子图像X₁和逼近的子图像X₂合并解码出原始图像信号。

本发明还提供另一种与基于压缩感知的多描述图像编码方法相对应的解码方法，该方法适用于解码端接收到两个描述时的解码方法，其特征在于，包括以下步骤：

步骤1分别对接收到的两个描述进行分解，获得主信息观测向量Y1和冗余信息观测向量Y2；

步骤2利用正交匹配追踪算法根据主信息观测向量Y1分别求解出两个描述主信息对应的子图像的系数矩阵M1和M2；

步骤3对主信息对应的子图像的系数矩阵M1和M2进行小波逆变换分别重构出逼近的子图像X1和逼近的子图像X2；

步骤4通过上采样将逼近的子图像X1和逼近的子图像X2合并，解码出原始图像信号。

与现有技术相比，本发明具有以下优点：第一，自适应采样。本发明以图像行列相关系数和稀疏度为依据，自适应地选择采样方式，并以采样图像的测量值确定多个描述，描述信息包括当前描述的主信息和另一个描述的保护信息；第二，码率冗余度低，本发明设计了适应信道状况的主信息与冗余信息的最优化码率分配策略，可有效克服传统平衡多描述结构中当两个描述同时接收到时所带来的冗余信息的浪费；第三，依据主信息和冗余信息码率的分配实现了高效预测，并给出了一种解码端的加权预测丢失信息的预测方法；第四，编码结构简单，描述信息精度高，主信息和冗余信息的控制可根据信道的状况自适应调整，解码图像具有较高的信噪比和很好的主观视觉效果。

附图说明

图1是基于压缩感知的多描述图像编码方法的流程图；

图2是确定下采样方式的流程图；

图3是基于压缩感知的多描述图像解码方法的流程图；

图4是基于压缩感知的多描述图像另一种解码方法的流程图；

具体实施例

技术人员来说，本发明可以有各种更改和变化。凡在本发明的更改和变化之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

如图1所示，本发明实例所提供的基于压缩感知的多描述图像编码方法编码方法包括如下步骤；

步骤1.确定下采样方式，并根据所述下采样方式，进行下采样获得子图像X₁的小波系数矩阵K1，子图像X₂的小波系数矩阵K2；

步骤2.对所述子图像X₁的小波系数矩阵K1进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L1；对所述子图像X₂的小波系数矩阵K2进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L2；

步骤3.确定主信息编码码率P1和冗余信息的编码码率P2：

根据文献《多描述图像编码研究》(作者王礽晓,中国科学技术大学)所记载的方法可以确定主信息编码码率P1和冗余信息的编码码率P2：

步骤4.根据所述主信息编码码率和冗余编码码率，计算主信息观测值M1和冗余信息观测值M2，并生成主信息随机矩阵Z1、冗余信息随机矩阵Z2；

其中，主信息观测值M1＝主信息编码码率P1×信号的分量数量N；冗余信息观测值M2＝冗余编码码率P2×信号的分量数量N，主信息随机矩阵Z1维数为M1×N；冗余信息随机矩阵Z2维数为M2×N；

步骤5.将所述主信息随机矩阵Z1和冗余信息随机矩阵Z2作为观测矩阵，通过计算主信息随机矩阵Z1与主信息稀疏小波系数矩阵L1的乘积，获得主信息观测向量Y1，通过计算冗余信息随机矩阵Z2与主信息稀疏小波系数矩阵L2的乘积，获得冗余信息观测向量Y2；

步骤6.将所述主信息观测向量Y1的奇数位和冗余信息观测向量Y2的偶数位结合，形成描述1信息；将所述主信息观测向量的偶数位和冗余信息观测向量的奇数位结合，形成描述2信息。

如图2所示，步骤1中确定下采样方式包括具体包括如下步骤：

步骤11.对原始图像进行隔行采样，获得隔行采样子图像A、B；对所述输入图像进行隔列采样，获得隔列采样子图像C、D；

步骤12.对所述隔行采样子图像A、B进行同一小波变换，形成隔行采样图像的小波系数矩阵A₁、B₁；对所述隔列采样子图像C、D进行同一小波变换，形成隔列采样图像的小波系数矩阵C₁、D₁，

步骤13.分别统计所述小波系数矩阵A₁、B₁、C₁、D₁的中包括各子带在内的，感知理论框架中矩阵的稀疏度，分别获得小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄；

步骤14.如果小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄不完全相等，则转步骤15；否则，

分别计算小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和；

如果小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和不完全相等，则采用稀疏绝对值和最小的小波系数矩阵所对应的采样方式；否则，按下式计算图像的行(列)相关系数γ_k：

如果γ₁＞γ₂，选择隔行采样方式，执行步骤16；否则，选择隔列采样方式，执行步骤16；

其中，φ_k1,φ_k2,…,φ_kn是奇数行或列的像数值；是偶数行或列的像素值；是奇数行或列像素的平均值，是偶数行或列像素的平均值；k＝1表示奇数，k＝2表示偶数。

步骤15.如果所述小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄的最小值为K₁或K₂，则选取隔行采样方式，否则，采用隔列采样方式；

步骤16.在主信息和冗余信息中设置采样方式标识字节。

当解码端收到一个描述时，本实施例提供了一种与本实例所提供的基于压缩感知的多描述图像编码方法配套使用的解码方法，如图3所示，包括如下步骤：

步骤1根据所接收的主信息和冗余信息，确定上采样方式，分解所接收的描述获得主信息观测向量Y1和冗余信息观测向量Y2；

步骤2利用正交匹配追踪算法根据主信息观测向量Y1获得主信息子图像的系数矩阵M1，根据冗余信息观测向量Y2获得冗余信息子图像的系数矩阵M2；

步骤3对主信息子图像系数矩阵M1进行小波逆变换分别重构出逼近的子图像X₁；对冗余信息子图像系数矩阵M2进行小波逆变换分别重构出逼近的子图像X₂；

步骤4根据所述上采样方式，确定与丢失奇数行相对应的上偶数行的信息权重α₁、与丢失奇数行相对应的下偶数行的信息权重α₂、与丢失奇数行对应的冗余信息的权重β；根据下式进一步确定逼近的子图像X₂

$X_2(X,Y)=\left\{\begin{array}{c}\begin{array}{cc}{X}_1(X,Y)& Y=\frac{\mathrm{row}}{2}-1\end{array}\\ {\mathrm{\α}}_1{X}_1(X,Y)+{\mathrm{\α}}_2{X}_1(X,Y+1)+\mathrm{\β}{X}_2^{\′}(X,Y),\mathrm{else}\end{array}\right.$

其中row为图像的行号；

步骤5通过上采样(即相对于下采样而言的，它是对图像进行插值操作)将逼近的子图像X₁和逼近的子图像X₂合并解码出原始图像信号。

当解码端收到两个描述时，本实施例提供了一种与本实例所提供的基于压缩感知的多描述图像编码方法配套使用的解码方法，如图4所示，包括如下步骤：

步骤1分别对接收到的两个描述进行分解，获得主信息观测向量Y1和冗余信息观测向量Y2；

步骤2利用正交匹配追踪算法根据主信息观测向量Y1分别求解出两个描述主信息对应的子图像的系数矩阵M1和M2；

步骤3对主信息对应的子图像的系数矩阵M1和M2进行小波逆变换分别重构出逼近的子图像X₁和逼近的子图像X₂；

步骤4通过上采样将逼近的子图像X₁和逼近的子图像X₂合并，解码出原始图像信号。

Claims (2)

1.一种供基于压缩感知的多描述图像编码方法，其特征在于，包括：

步骤1.确定下采样方式，并根据所述下采样方式，进行下采样获得子图像X₁的小波系数矩阵K1，子图像X₂的小波系数矩阵K2；

步骤2.对所述子图像X₁的小波系数矩阵K1进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L1；对所述子图像X₂的小波系数矩阵K2进行基于压缩感知的0系数舍弃，获得稀疏小波系数矩阵L2；

步骤3.确定主信息编码码率P1和冗余信息的编码码率P2；

根据所述主信息编码码率P1和冗余编码码率P2，计算主信息观测值M1和冗余信息观测值M2，并生成主信息随机矩阵Z1、冗余信息随机矩阵Z2，其中，主信息观测值M1＝主信息编码码率P1×信号的分量数量N；冗余信息观测值M2＝冗余编码码率P2×信号的分量数量N，主信息随机矩阵Z1维数为M1×N；冗余信息随机矩阵Z2维数为M2×N；

步骤4.将所述主信息随机矩阵Z1和冗余信息随机矩阵Z2作为观测矩阵，通过计算主信息随机矩阵Z1与主信息稀疏小波系数矩阵L1的乘积，获得主信息观测向量Y1，通过计算冗余信息随机矩阵Z2与主信息稀疏小波系数矩阵L2的乘积，获得冗余信息观测向量Y2；

步骤5.将所述主信息观测向量Y1的奇数位和冗余信息观测向量Y2的偶数位结合，形成描述1信息；将所述主信息观测向量的偶数位和冗余信息观测向量的奇数位结合，形成描述2信息；

步骤1所述确定下采样方式，包括如下步骤

步骤11.对原始图像进行隔行采样，获得隔行采样子图像A、B；对所述输入图像进行隔列采样，获得隔列采样子图像C、D；

步骤12.对所述隔行采样子图像A、B进行同一小波变换，形成隔行采样图像的小波系数矩阵A₁、B₁；对所述隔列采样子图像C、D进行同一小波变换，形成隔列采样图像的小波系数矩阵C₁、D₁，

步骤13.分别统计所述小波系数矩阵A₁、B₁、C₁、D₁的中包括各子带在内的，感知理论框架中的非零元素的个数，分别获得小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄；

步骤14.如果小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄不完全相等，则转步骤15；

否则，分别计算小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和；

如果小波系数矩阵A₁、B₁、C₁、D₁稀疏绝对值的和不完全相等，则采用稀疏绝对值和最小的小波系数矩阵所对应的采样方式；否则，按下式计算图像的行或列相关系数γ_k：

如果γ₁＞γ₂，选择隔行采样方式，执行步骤16；否则，选择隔列采样方式，执行步骤16；

其中，φ_k1,φ_k2,…,φ_kn是奇数行或列的像素值；…,是偶数行或列的像素值；是奇数行或列像素的平均值，是偶数行或列像素的平均值；k＝1表示奇数，k＝2表示偶数；

步骤15.如果所述小波系数矩阵A₁、B₁、C₁、D₁对应的非零元素的数量K₁、K₂、K₃、K₄的最小值为K₁或K₂，则选取隔行采样方式，否则，采用隔列采样方式；

步骤16.在主信息和冗余信息中设置采样方式标识字节。

2.一种基于压缩感知的多描述图像解码方法，其特征在于，包括以下步骤：

步骤1根据所接收的主信息和冗余信息，确定上采样方式，分解所接收的描述获得主信息观测向量Y1和冗余信息观测向量Y2；所述上采样是相对于下采样而言的，它是对图像进行插值操作；

步骤2利用正交匹配追踪算法根据主信息观测向量Y1获得主信息子图像的系数矩阵M1，根据冗余信息观测向量Y2获得冗余信息子图像的系数矩阵M2；

步骤3对主信息子图像系数矩阵M1进行小波逆变换分别重构出逼近的子图像X₁；对冗余信息子图像系数矩阵M2进行小波逆变换分别重构出逼近的子图像X₂；

步骤4根据所述采样方法，确定与丢失奇数行相对应的上偶数行的信息权重α₁、与丢失奇数行相对应的下偶数行的信息权重α₂、与丢失奇数行对应的冗余信息的权重β；根据下式进一步确定逼近的子图像X₂；

$X_2(X,Y)=\left\{\begin{array}{cc}{X}_1(X,Y)& Y=\frac{\mathrm{row}}{2}-1\\ {\mathrm{\α}}_1{X}_1(X,Y)+{\mathrm{\α}}_2{X}_1(X,Y+1)+{\mathrm{\βX}}_2^{\′}(X,Y),\mathrm{else}& \end{array}\right.$

其中row为图像的行号；

步骤5通过上采样将逼近的子图像X₁和逼近的子图像X₂合并解码出原始图像信号。