CN102065291A - 基于稀疏表示模型的图像解码方法 - Google Patents

Abstract

基于稀疏表示模型的图像解码方法，包括：(1)建立反映图像不同纹理的六个PAR模型，其对应六个自适应稀疏矩阵A，A由像素的权重构成，像素的权重就是PAR模型的参数值；(2)在解码端，将反量化得到的图像块变换系数通过IDCT变换，得到该图像块I_n×n的初值再通过分析该图像块的结构特征和纹理特征，确定选用六个PAR模型中的哪一个；(3)根据该图像信号的最优模式，预测PAR模型的参数值；(4)将得到的模型参数填充到A；(5)通过CS重构图像；(6)若解出的

不满足设定条件，则重复步骤(3)-(5)，如此迭代，直到前后得到的两个

值满足设定条件为止；然后将最后迭代得到的

转化成矩阵

，实现图像的解码。本发明能够提升图像的重构质量。

Description

基于稀疏表示模型的图像解码方法

技术领域

本发明涉及一种图像解码方法，特别涉及一种基于压缩感知的图像解码方法。

背景技术

近年来，图像压缩编码技术取得了长足进展，涌现出许多图像编码标准，如JPEG和JPEG2000。这些标准都是通过变换将图像信号或预测残差信号的能量集中到少数显著变换系数上，通过量化和熵编码将变换系数压缩为一定结构的码流。解码端通过反熵编码、反量化和反变换重构图像信号。当量化步长较大时，解码的图像质量会大幅度下降。

最近，Candès、Donoho等人提出的压缩感知理论(Compressive Sensing/Compressed Sampling，CS)表明：对于某个变换域下稀疏的信号，可以利用优化方法由与变换基非一致关系的观测矩阵生成的少量数据精确重建。因此根据压缩感知理论，解码器可以利用信号的稀疏特性，基于编码端传输的量化的观测数据，采用优化方法重建信号。与传统的反变换的解码方法相比，压缩感知重建解码方法具有较高的鲁棒，有望获得更高的图像重建质量。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种基于稀疏表示模型的图像解码方法。

本发明的技术解决方案是：

本发明提供的基于稀疏表示模型的图像解码方法，包括以下步骤：

(1)建立六个分段线性自回归模型(又称PAR模型)，它们反映图像的不同纹理，相应地，六个PAR模型对应六个自适应稀疏矩阵A，所述自适应稀疏矩阵由像素的权重构成，所述像素的权重就是PAR模型的参数值；

(2)在解码端，将反量化得到的图像块的变换系数通过IDCT变换，得到该图像块I_n×n的初值

再通过分析该图像块的结构特征和纹理特征，确定选用六个PAR模型中的哪一个，即确定该图像信号的最优模式；

(3)根据该图像信号的最优模式，预测该模式中PAR模型的参数值；

(4)将得到的模型参数填充到自适应稀疏矩阵A中；

(5)通过求解下式对该图像块进行信号重构：

$\hat{f}=\arg \min {\left|\right|\mathrm{Af}\left|\right|}_1,s.t.{\left|\right|\mathrm{\Φf}-y\left|\right|}_2\≤\mathrm{\ϵ},$

上式表示在满足||Фf-y||₂≤ε条件下取使||Af||₁最小的f值；式中，f表示图像块I_n×n经过列扫描后得到的N×1维向量，

表示f的重构，A表示N×N维的自适应稀疏矩阵，其中N＝n×n，A使||Af||₁稀疏，ε表示由量化噪声引起的误差，y表示观测值，它通过在解码端将反量化得到的图像块变换系数矩阵进行列扫描获得，是N×1维的列向量；Φ表示标准观测矩阵；

(6)若步骤(5)解出的列向量

不满足设定条件，则将其再次代入步骤(3)，预测PAR模型的参数值，继续步骤(4)和(5)，PAR模型参数

通过f的第(t-1)次预测得到；如此迭代下去，直到前后得到的两个值满足设定条件为止；这样最后迭代得到的

即为所求，然后将最后迭代得到的列向量转化成矩阵

实现该图像块的解码。

步骤(1)中六个PAR模型包括两个四级的PAR模型和四个二级的PAR模型；自适应稀疏矩阵A用行向量表示为A＝{a₁；a₂；…；a_N}，每一行向量{a_i}包含一组PAR模型参数{a_i，j}；定义M为六个PAR模型的数学表示：

M＝{M¹，M²，M³，M⁴，M⁵，M⁶}

M¹＝{(0，-1)，(-1，0)，(0，1)，(1，0)}

M²＝{(-1，-1)，(-1，1)，(1，1)，(1，-1)}

M³＝{(-1，0)，(1，0)}

M⁴＝{(0，-1)，(0，1)}

M⁵＝{(1，1)，(-1，-1)}

M⁶＝{(1，-1)，(-1，1)}。

步骤(3)中根据该图像信号的最优模式，用EM方法预测该模式中PAR模型的参数值a_i，j：

$a_{i,j}^{\left(t\right)}=\arg \min \underset{(i,j)\∈w(i,j)}{\mathrm{\Σ}}{(f^{(t-1)}(i,j)-\underset{(u,v)\∈M}{\mathrm{\Σ}}a(u,v)f^{(t-1)}(i-u,j-v))}^2$

PAR模型参数

通过f的第(t-1)次预测得到。

步骤(4)将得到的模型参数填充到自适应稀疏矩阵A中的方法是：自适应稀疏矩阵A的每一行对应列向量f的一个像素，图像块里的每一个像素都适用步骤(3)得到的一组模型参数，将得到的一组PAR模型参数填到每一行的相应位置。

依据选定的最优模式，将上述操作重复应用于每一个图像块，从而实现整幅图像的解码。

为了保证图像块I_n×n的每一个像素都有预测像素，本发明进一步在步骤(3)前还包括将n×n的图像块I_n×n进行边界像素扩展的步骤，所述边界像素扩展是通过引入相邻块的像素完成的，即在整个图像中把围绕n×n图像块的一圈像素引入作为预测像素，这一圈像素属于n×n图像块的相邻块；因为进行扩充后图像块变大，所以针对原图像块的观测矩阵就不再适用于扩充后的图像块，为了解决这个问题，还需要对观测矩阵Φ进行扩充，扩充的方法是将观测矩阵中与新引入像素对应的位置用单位1填充，得到一个新的观测矩阵；再对扩展后的图像块进行后续操作。

本发明与现有技术相比具有如下优点：

目前常用的图像压缩编码标准，如JPEG和JPEG2000。这些标准都通过量化和熵编码将变换系数压缩为一定结构的码流。解码端通过反熵编码、反量化和反变换重构图像信号。当量化步长较大时，解码的图像质量会大幅度下降。本发明将压缩感知(CS)应用在图像解码上，编码端不需要作任何改动，只是在解码端用CS重构部分替代了反变换，通过CS重构来提高图像的解码性能，从而提升图像的重构质量。

为了提升CS重构的质量，本发明引入分段线性自回归模型并且构造了相应的自适应稀疏矩阵，可以更好的适应图像信号的局部结构的变化。

为了提升CS重构的质量，本发明还对图像块进行扩充，引入相邻块的像素作为预测像素。

附图说明

图1为根据本发明的图像编解码框图。

图2为根据本发明的PAR模型的六种模式。

图3为根据本发明引入块边缘像素。

具体实施方式

以下将结合附图对本发明的具体实施方式进行说明。

压缩感知(CS)理论指出，如果图像信号足够稀疏，那么它就可以被准确地重建。图像信号的稀疏性对CS重构以后的图像质量有很大的影响。

本发明旨在使用分段线性自回归(PAR)模型构造自适应稀疏矩阵，然后通过CS重构出图像。

大部分的图像编解码机制(例如JPEG和JPEG2000)，都是基于图像块的，而在自然图像中大部分的图像块都是非稀疏的二维信号，即像素值绝大多数为非零值。因此本发明也以8×8的图像块为例进行说明。

实施例一：

如图1所示，根据本发明的基于稀疏表示模型的图像解码方法，包括以下步骤：

(1)建立六个分段线性自回归模型(又称PAR模型)，它们反映图像的不同纹理，相应地，六个PAR模型对应六个自适应稀疏矩阵A，所述自适应稀疏矩阵由像素的权重构成，所述像素的权重就是PAR模型的参数值。

如图2所示，六个PAR模型包括两个四级的PAR模型和四个二级的PAR模型；自适应稀疏矩阵A用行向量表示为A＝{a₁；a₂；…；a_N}，每一行向量{a_i}包含一组PAR模型参数{a_i，j}；定义M为六个PAR模型的数学表示：

M＝{M¹，M²，M³，M⁴，M⁵，M⁶}

M¹＝{(0，-1)，(-1，0)，(0，1)，(1，0)}

M²＝{(-1，-1)，(-1，1)，(1，1)，(1，-1)}

M³＝{(-1，0)，(1，0)}

M⁴＝{(0，-1)，(0，1)}

M⁵＝{(1，1)，(-1，-1)}

M⁶＝{(1，-1)，(-1，1)}。

(2)在解码端，将反量化得到的图像块的变换系数通过IDCT变换，得到该图像块I_n×n的初值

再通过分析该图像块的结构特征和纹理特征，确定选用六个PAR模型中的哪一个，即确定该图像信号的最优模式。

(3)根据该图像信号的最优模式，用EM方法预测该模式中PAR模型的参数值a_i，j：

$a_{i,j}^{\left(t\right)}=\arg \min \underset{(i,j)\∈w(i,j)}{\mathrm{\Σ}}{(f^{(t-1)}(i,j)-\underset{(u,v)\∈M}{\mathrm{\Σ}}a(u,v)f^{(t-1)}(i-u,j-v))}^2$

PAR模型参数通过f的第(t-1)次预测得到。

假设对一个图像块，分析出它的最优模式为模式1，那么M对应的就是M¹，中心像素的位置设为(0，0)，需要用上、下、左、右的四个像素来预测中心像素，通过预测获得这四个像素的相应的权重，这四个像素称为预测像素。将得到的8×8的I的初值通过列扫描得到一个64×1的列向量

将这个列向量代入下面的式子

$a_{i,j}^{\left(1\right)}=\arg \min \underset{(i,j)\∈w(i,j)}{\mathrm{\Σ}}{(f^{\left(0\right)}(i,j)-\left(\begin{array}{c}a(0,-1)f^{\left(0\right)}(i-0,j+1)+a(-\mathrm{1,0})f^{\left(0\right)}(i+1,j-0)\\ +a\left(\mathrm{0,1}\right)f^{\left(0\right)}(i-0,j-1)+a\left(\mathrm{1,0}\right)f^{\left(0\right)}(i-1,j-0)\end{array}\right))}^2$

通过求解此式，可以得到PAR模型参数的初步预测

求解出的

包含四个具体值，分别代表四个预测像素的权重。

(4)将得到的模型参数填充到自适应稀疏矩阵A中。

自适应稀疏矩阵A的每一行对应列向量f的一个像素，图像块里的每一个像素都适用步骤(3)得到的一组模型参数，将得到的一组PAR模型参数填到每一行的相应位置。

对8×8图像块来说，通过上面操作，会得出一组PAR模型参数，这个图像块里的每一个像素都适用这一组模型参数(也就是说，对每一个像素，它的上、下、左、右的四个像素的权重都是得到的这4个PAR模型参数值)。在A中，它的每一行对应着列向量f的一个像素，在这一行里，哪个位置上有值是固定的，只需要把得到的4个模型参数填到这些位置上即可。

步骤(3)之后，将

填充到自适应矩阵A中。即：找到中心像素在自适应矩阵A中对应的行，然后将这四个预测像素的权重填到对应位置上，对这一图像块的每个像素都作这样的操作，这样就得到了对应这一图像块的自适应稀疏矩阵A。

(5)目前知道了A、Φ和y，就能通过求解下式对该图像块进行信号重构：

$\hat{f}=\arg \min {\left|\right|\mathrm{Af}\left|\right|}_1,s.t.{\left|\right|\mathrm{\Φf}-y\left|\right|}_2\≤\mathrm{\ϵ},$

上式表示在满足||Φf-y||₂≤ε条件下取使||Af||₁最小的f值；式中，f表示图像块I_n×n经过列扫描后得到的N×1维向量，

表示f的重构，A表示N×N维的自适应稀疏矩阵，其中N＝n×n，A使||Af||₁稀疏，ε表示由量化噪声引起的误差，y表示观测值，它通过在解码端将反量化得到的图像块变换系数矩阵进行列扫描获得，是N×1维的列向量；Φ表示标准观测矩阵。

通过求解上式，会得到一个新的

(6)若步骤(5)解出的列向量

不满足设定条件，则将其再次代入步骤(3)，预测PAR模型的参数值，继续步骤(4)和(5)，PAR模型参数

通过f的第(t-1)次预测得到；如此迭代下去，直到前后得到的两个

值满足设定条件为止；这样最后迭代得到的

即为所求，然后将最后迭代得到的列向量

转化成矩阵实现该图像块的解码。

即：若

不满足设定条件，则再将代入步骤(3)，预测PAR模型的参数值，

$a_{i,j}^{\left(2\right)}=\arg \min \underset{(i,j)\∈w(i,j)}{\mathrm{\Σ}}{(f^{\left(1\right)}(i,j)-\left(\begin{array}{c}a(0,-1)f^{\left(1\right)}(i-0,j+1)+a(-\mathrm{1,0})f^{\left(1\right)}(i+1,j-0)\\ +a\left(\mathrm{0,1}\right)f^{\left(1\right)}(i-0,j-1)+a\left(\mathrm{1,0}\right)f^{\left(1\right)}(i-1,j-0)\end{array}\right))}^2$

得到

如此迭代下去，直到前后得到的两个

值接近为止(本实施例设为||f^(t-1)-f^(t)||₂＜10^-4，当然可以为其它)。

依据选定的最优模式，将上述操作重复应用于每一个图像块，从而实现整幅图像的解码。

实施例二：

在解码端，对图像的每一块，首先应确定它属于哪种模式，然后构造相应的自适应矩阵A，在这个过程中，会遇到一个问题，假设对一个8×8图像块，它选定的最优模式是模式1，那么它的中心像素需要上，下，左，右四个像素作为预测像素来进行预测。可是对8×8图像块的第一行第一列的像素来说，它的上边和左边的预测像素是不存在的。为了解决这个问题，本实施例将8×8图像块扩展成10×10的图像块，就是把在图像中围绕8×8图像块的一圈像素引进来作为预测像素。这一圈像素都是属于8×8图像块的相邻块，如图3所示。同时对观测矩阵做相应的扩充，原先8×8图像块对应的是64×64的观测矩阵，将图像块扩充为10×10后，观测矩阵要扩充为100×100，在观测矩阵中对应于新引入像素的位置用1填充。

之后，对10×10的图像块重复实施例一提到的求解过程，就可以更加准确的进行重构。

本发明已经被整合到JPEG解码端，实验选择256×256的图像lena，cameraman，CIF foreman序列的第一帧和纹理图像test，512×512的图像barbara，块的大小是8×8JPEG的变换是DCT。实验中，用等价变换矩阵Φ替代DCT矩阵并且用Φ作为观测矩阵。为了解决块的边缘问题，用10×10的块替代8×8的块，这样Φ也要扩展，这里用1来填充Φ扩展的部分。

实验中用的是均匀量化。由表1可以看出，用CS重构以后，PSNR可以获得明显的提升，平均提升0.5dB左右。因为纹理图像纹理方向明显，所以PSNR可以提升1个DB左右。

表1.不同图像的PSNR

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知技术。

本发明不局限于权利要求和上述实施例所述及的内容，只要是根据本发明的构思所创作出来的任何发明，都应归属于本发明的保护范围之内。

Claims (6)

1.基于稀疏表示模型的图像解码方法，其特征在于，包括以下步骤：

(1)建立六个分段线性自回归模型(又称PAR模型)，它们反映图像的不同纹理，相应地，六个PAR模型对应六个自适应稀疏矩阵A，所述自适应稀疏矩阵由像素的权重构成，所述像素的权重就是PAR模型的参数值；

(2)在解码端，将反量化得到的图像块的变换系数通过IDCT变换，得到该图像块I_n×n的初值再通过分析该图像块的结构特征和纹理特征，确定选用六个PAR模型中的哪一个，即确定该图像信号的最优模式；

(3)根据该图像信号的最优模式，预测该模式中PAR模型的参数值；

(4)将得到的模型参数填充到自适应稀疏矩阵A中；

(5)通过求解下式对该图像块进行信号重构：

$\hat{f}=\arg \min {\left|\right|\mathrm{Af}\left|\right|}_1,s.t.{\left|\right|\mathrm{\Φf}-y\left|\right|}_2\≤\mathrm{\ϵ},$

上式表示在满足||Фf-y||₂≤ε条件下取使||Af||₁最小的f值；式中，f表示图像块I_n×n经过列扫描后得到的N×1维向量，

表示f的重构，A表示N×N维的自适应稀疏矩阵，其中N＝n×n，A使||Af||₁稀疏，ε表示由量化噪声引起的误差，y表示观测值，它通过在解码端将反量化得到的图像块变换系数矩阵进行列扫描获得，是N×1维的列向量；Φ表示标准观测矩阵；

(6)若步骤(5)解出的列向量不满足设定条件，则将其再次代入步骤(3)，预测PAR模型的参数值，继续步骤(4)和(5)，PAR模型参数

通过f的第(t-1)次预测得到；如此迭代下去，直到前后得到的两个

值满足设定条件为止；这样最后迭代得到的即为所求，然后将最后迭代得到的列向量

转化成矩阵

实现该图像块的解码。

2.根据权利要求1所述的基于稀疏表示模型的图像解码方法，其特征在于，步骤(1)中六个PAR模型包括两个四级的PAR模型和四个二级的PAR模型；自适应稀疏矩阵A用行向量表示为A＝{a₁；a₂；…；a_N}，每一行向量{a_i}包含一组PAR模型参数{a_i，j}；定义M为六个PAR模型的数学表示：

M＝{M¹，M²，M³，M⁴，M⁵，M⁶}

M¹＝{(0，-1)，(-1，0)，(0，1)，(1，0)}

M²＝{(-1，-1)，(-1，1)，(1，1)，(1，-1)}

M³＝{(-1，0)，(1，0)}

M⁴＝{(0，-1)，(0，1)}

M⁵＝{(1，1)，(-1，-1)}

M⁶＝{(1，-1)，(-1，1)}。

3.根据权利要求1所述的基于稀疏表示模型的图像解码方法，其特征在于，步骤(3)中根据该图像信号的最优模式，用EM方法预测该模式中PAR模型的参数值a_i，j：

$a_{i,j}^{\left(t\right)}=\arg \min \underset{(i,j)\∈w(i,j)}{\mathrm{\Σ}}{(f^{(t-1)}(i,j)-\underset{(u,v)\∈M}{\mathrm{\Σ}}a(u,v)f^{(t-1)}(i-u,j-v))}^2$

PAR模型参数通过f的第(t-1)次预测得到。

4.根据权利要求1所述的基于稀疏表示模型的图像解码方法，其特征在于，步骤(4)将得到的模型参数填充到自适应稀疏矩阵A中的方法是：自适应稀疏矩阵A的每一行对应列向量f的一个像素，图像块里的每一个像素都适用步骤(3)得到的一组模型参数，将得到的一组PAR模型参数填到每一行的相应位置。

5.根据权利要求1所述的基于稀疏表示模型的图像解码方法，其特征在于，在步骤(3)前还包括将n×n的图像块I_n×n进行边界像素扩展的步骤，所述边界像素扩展是通过引入相邻块的像素完成的，即在整个图像中把围绕n×n图像块的一圈像素引入作为预测像素，这一圈像素属于n×n图像块的相邻块；对观测矩阵Φ也进行相应扩充，即将观测矩阵中与新引入像素对应的位置用单位1填充，得到一个新的观测矩阵；再对扩展后的图像块进行后续操作。

6.根据权利要求1所述的基于稀疏表示模型的图像解码方法，其特征在于，依据选定的最优模式，将上述操作重复应用于每一个图像块，从而实现整幅图像的解码。

Images