CN105007498A - 面向wmsn的多模式压缩视频感知编解码方法 - Google Patents

Abstract

本发明提出一种面向WMSN的多模式压缩视频感知编解码方法。在编码端，该方法先根据视频的局部相关性对视频进行自适应分组；再采用四叉树图像分割法将图像组内的每幅图像分割为四个大小相同的图像块，并构成四个图像块组；将图像块组送入多模式稀疏编码器进行编码，并根据图像块的类型选择合适的稀疏编码方式。在解码端，根据图像块的稀疏方式，并结合局部边信息，采用多模式解码器重构出对应的图像块，再恢复各图像块组，然后按编号进行复接，以恢复出视频序列。本发明利用视频序列的时空相关性减少视频数据传输量，达到降低无线视频传感器节点能耗目的。

Description

面向WMSN的多模式压缩视频感知编解码方法

技术领域

本发明是一种面向无线多媒体传感器网络(Wireless Multimedia Sensor Networks，WMSN)的视频编解码改进方案，尤其涉及一种面向WMSN的新型视频编码方法，属于无线传感器网络领域。

背景技术

WMSN视频节点感知的信息丰富，可以用于固定场景的全方位监测，且监测视频图像的背景变化极为缓慢，使得WMSN视频数据存在较大的时空冗余，而这些冗余数据在编码过程中大部分被丢弃，极大地浪费了有限的WMSN资源。

在MPEG-X及H.26X标准的视频编码方案中，采用基于块的运动估计、运动补偿等技术来提高编码效率，从而使其在相同的编码比特率条件下能获得更高的视觉质量。但这加重了编码端的计算负担，不能满足WMSN视频节点低计算量、低能耗的需求。因此，典型视频编码方案不适用于上述领域。

压缩感知(CS)理论将传统的数据采集与压缩合二为一，不需要复杂的编码过程。在视频信号处理过程中，CS适合处理单帧图像处理，而分布式压缩感知(DCS)理论研究的是多个信号间存在相关性，可以用于对视频帧序列进行联合稀疏、联合恢复。因此，将CS与DCS引入视频编码，能简化编码步骤、降低编码的复杂度，并在保证视觉质量的前提下获得更高的编码效率，从而达到降低无线视频传感器节点能耗目的。

发明内容

鉴于此，本发明的目的是提供一种面向WMSN的多模式压缩视频感知编码与解码方法，可以在保证视觉质量的前提下获得更高的编码效率，从而降低无线视频传感器节点的能源消耗。

为达到上述目的，本发明的技术方案是这样实现的：

在编码端，根据视频的时空相关性，采用自适应分组器对视频进行对视频进行分组，再采用四叉树图像分割法将图像组内的每幅图像分割为四个大小相同的图像块，并构成四个图像块组，将图像块组依次送入多模式稀疏编码器；然后，对图像块进行预处理，图像块组的第一个图像块被设置为关键图像块(KB块)，剩余的图像块为非关键图像块(NKB块)；同时，在多模式稀疏编码器中，NKB块被分为三种类型：跳过块(SKIP块)、分布式压缩感知块(DCS块)、压缩感知块(CS块)；再根据块的类型及编号对图像块组进行二次分组；最后，将KB块、SKIP块、DCS块和CS块分别送入相应的编码器进行编码。在解码端中，根据图像块的不同编码方式，分别重构出相应的图像块，再按图像块的编号恢复各图像块组；然后，对四个图像块组进行复接，以恢复出相应的GOP组。

实现本发明目的的技术方案是:面向WMSN的多模式压缩视频感知编码与解码方法，其特征是包括以下步骤:

1)多模式稀疏编码

1a)该方法首先将图像块组内的第一个图像块设置为KB块，剩余图像块设置为NKB块，并计算其差异值。具体公式如下：

${\mathrm{MAD}}_i^B=\frac{1}{H\×L}\underset{i=0}{\overset{H-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}|KB(i,j)-{\mathrm{NKB}}_i(i,j)|---\left(1\right)$

其中，i，j代表图像块横纵坐标；H，L分别为图像块的高度与宽度；KB(i,j)代表KB块，NKB_i(i,j)代表第i个NKB块。

1b)根据公式(1)得到的值，将图像块组内所有的NK块分为：SKIP块、DCS块、CS块三种类型。具体公式如下：

其中，T₁与T₂是实验预先设定的门限值。

1c)根据图像块分类结果对NKB块再次进行分组，最后得到三组新的图像块组，分别为SKIP组，DCS组，CS组。

1d)二次分组完毕后，将KB块、SKIP块组、DCS块组和CS块组分别送入多模式稀疏编码器进行编码，具体操作内容如下：

(1)采用较高采样率的CS方法对KB块进行用采样，并将采样值与编码模式信息、位置信息打包送入解码端。

(2)对于SKIP组内的图像块，不进行编码操作，只传送对应的编码模式信息与位置信息。

(3)对于DCS组内的图像块，首先将其分别与对应的KB块求残差；然后，对所有的残差图像块进行联合稀疏，并在同一测量基Φ下进行测量，再将所得到的测量值与编码模式信息、位置信息打包送入解码端。

(4)采用较低采样率的块CS方法对CS组内的图像块进行采样，并将得到的测量值与编码模式信息、位置信息打包送入解码端。

2)多模式解码

2a)对接收到的数据进行解包，得到各图像块的测量值、编码模式信息与位置信息。

2b)采用CS技术恢复KB块，并将其保存在存储器中。

2c)采用不同的解码方法对相应类型的NKB块进行恢复，具体操作内容如下：

(1)利用已重构出的KB块替代SKIP组中对应位置的图像块。

(2)借助DCS技术，利用所获取的联合稀疏观测值重构残差图像块组，再将残差图像块与对应位置的KB块相加，以恢复出DCS图像块组。

(3)采用字典学习方法，从重构出的KB块中生成当前图像块组的稀疏字典，再利用稀疏字典恢复出CS组中的图像块。

与现有技术相比，本发明具有如下优点：

(1)采用固定图像分组方式，在场景发生变化时会将相关性不强的视频帧划在同一组，这会导致组内视频帧间的时空相关不强，从而降低视频编码效率；本发明提出的动态视频帧分组方法优化了视频帧分组结构，更好地利用了视频帧间的时空相关性，从而有效地解决了上述问题。

(2)根据图像块的特征，将其划分成KB块、SKIP块、DCS块和CS块，并采用多模式稀疏编码器对各类图像块分别进行编码，可以在保证视觉质量的前提下获得更高的编码效率。

(3)与典型的视频编码方案相比，本方案能简化编码步骤、降低编码的复杂度，并在保证视觉质量的前提下获得更高的编码效率，从而达到降低无线视频传感器节点能耗目的。

附图说明

图1是本发明的系统结构框图。

图2是DCS编解码结构框图。

图3是基于K-SVD的CS编解码结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。

在编码端，其编码过程如下：

步骤1：对视频序列分组

1)选取视频序列第一帧为关键帧。

2)选择一帧非关键帧，采用公式(3)，计算当前非关键帧与关键帧的平均绝对误差。具体公式如下：

${\mathrm{MAD}}_i^F=\frac{1}{H\×L}\underset{i=0}{\overset{H-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}|KF(i,j)-{\mathrm{NKF}}_i(i,j)|---\left(3\right)$

其中KF代表关键帧，NKF_i代表非关键帧；H，L分别为非关键帧的高度与宽度；i,j分别表示像素点的横纵坐标。

3)将值与门限值T(T为实验获取的经验值)进行比较。

4)当时，则重复步骤2)、3)；当时，则确定一个GOP。

5)重复步骤1)至步骤4)的过程，直至所有图像分组完毕。

步骤2：采用四叉树图像分割法将图像组内的每幅图像分割为四个大小相同的图像块，并构成四个图像块组，将图像块组依次送入多模式稀疏编码器。

步骤3：将图像块组内的第一个图像块设置为KB块，剩余图像块设置为NKB块，并计算其差异值。具体公式如下：

${\mathrm{MAD}}_i^B=\frac{1}{H\×L}\underset{i=0}{\overset{H-1}{\Σ}}\underset{j=0}{\overset{L-1}{\Σ}}|KB(i,j)-{\mathrm{NKB}}_i(i,j)|---\left(4\right)$

其中，i，j代表图像块横纵坐标；H，L分别为图像块的高度与宽度；KB(i,j)代表KB块，NKB_i(i,j)代表第i个NKB块。

步骤4：根据公式(4)得到的值，将图像块组内所有的NK块分为：SKIP块、DCS块、CS块三种类型。具体公式如下：

其中，T₁与T₂是实验预先设定的门限值。

步骤5：根据步骤4的分类结果，对NKB块再次进行分组，最后得到三组新的图像块组，分别为SKIP组，DCS组，CS组；并将KB块、SKIP块组、DCS块组和CS块组分别送入多模式稀疏编码器进行编码，具体操作内容如下：

1)对KB块的编码方式：假设KB块是N_x×N_y维的视频信号，构造一个M_k×N_x维的观测矩阵；使用观测矩阵对KB块进行测量，得到一个M_k×N_y维的观测信号y_k；再将y_k与编码模式信息、位置信息打包送入解码端。

观测信号y_k计算公式如下：

y_k＝Θx_KB＝ΦΨx_KB    (6)

其中，M_k＜＜N_x，Θ为观测矩阵，Ψ为稀疏基，Φ为高斯测量矩阵；x_KB为KB块。

2)对SKIP组内图像块的编码方式：不进行编码操作，只传送对应的编码模式信息与位置信息。

3)对DCS组内图像块的编码方式：首先将其分别与对应的KB块求残差；然后，对所有的残差图像块进行联合稀疏，并在同一测量基Φ下进行测量，再将所得到的测量值与编码模式信息、位置信息打包送入解码端。下面结合图2的编码端部分，对所述方法步骤进行详细阐述。

3a)假设图像块组经二次分组后，重新得到的DCS组为(QF₂,…QF_k)，而KB块为QF₁，DCS组内的图像块分别与KB块求残差，得到残差图像组(ΔQF₂,…ΔQF_k)。具体计算公式如下：

$\begin{array}{c}{\mathrm{\ΔQF}}_2={\mathrm{QF}}_2-{\mathrm{QF}}_1\\ .\\ .\\ .\\ {\mathrm{\ΔQF}}_k={\mathrm{QF}}_k-{\mathrm{QF}}_1\end{array}---\left(7\right)$

3b)采用公式(8)，对残差块图像组(ΔQF₂,…ΔQF_k)进行同一稀疏基下的联合稀疏：

$\begin{array}{c}{\mathrm{\ΔQF}}_2=X_c+X_1\\ .\\ .\\ .\\ {\mathrm{\ΔQF}}_k=X_c+X_k\end{array}---\left(8\right)$

其中，X_c表示残差图像的公共分量，且X_c＝Ψθ_c(Ψ表示稀疏基，θ_c表示共有部分的稀疏系数)；X_k表示残差图像块的特征分量，X_k＝Ψθ_k(θ_k为特有部分的稀疏系数)；

假定X_c,X₁,…,X_k所需观测值个数分别为M_c,M₁,…,M_k，对应的观测矩阵分别为Φ_c,Φ₁,…,Φ_k，对应的观测信号分别为y_c,y₁,…,y_k，则：

$\begin{array}{c}{y}_c={\mathrm{\Φ}}_c{X}_c\\ y_1={\mathrm{\Φ}}_1{X}_1\\ .\\ .\\ .\\ y_k={\mathrm{\Φ}}_k{X}_k\end{array}---\left(9\right)$

写成矩阵形式如下：

3c)因为X_c,X₁,…X_k稀疏度相同，所以选取同一测量基Φ进行测量，则式(10)可以改写为：

3d)将得到的联合稀疏测量值与编码模式信息、位置信息打包送入解码端。

4)采用较低采样率的块CS方法对CS组内的图像块进行采样，并将得到的测量值与编码模式信息、位置信息打包送入解码端。下面结合图3的编码端部分，对所述方法步骤进行详细阐述。

4a)将CS块再次划分为N个大小相等且不重叠的图像块，并从左到右、从上到下对图像块进行编号，记为x_ti。其中，t为CS块的编号，i为CS再次分块后的图像块编号，其取值范围i＝1,2,…N。

4b)构造一个合适观测矩阵Θ，分别对图像块x_ti，i＝1,2,…N进行测量，计算公式如下：

y_ti＝Θx_ti＝ΦΨx_ti    (12)

其中，Ψ为与x_ti相适应的稀疏基，Φ为与x_ti相适应的高斯测量矩阵。

4c)将得到的稀疏测量值再与编码模式信息、位置信息进行打包送入解码端。

在解码端，其解码过程如下：

(1)对接收到的数据进行解包，得到各图像块的测量值、编码模式信息与位置信息。

(2)得到KB块的观测值后，根据公式(13)解出θ_t的逼近值再利用重构出KB块，并将重构出的KB块保存在存储器中；

$\underset{{\mathrm{\θ}}_t}{\min }\frac{1}{2}\left|\right|y_k-{\mathrm{\Φ\Ψ\θ}}_t|{|}_2^2+\mathrm{\τ}|\left|{\mathrm{\θ}}_t\right|{|}_t---\left(13\right)$

其中，y_k为接收到的KB块观测值，θ_t为稀疏系数。

(3)采用不同的解码方法对相应类型的NKB块进行恢复，具体操作内容如下：

利用已重构出的KB块替代SKIP组中对应位置的图像块。

借助DCS技术，利用所获取的联合稀疏观测值重构残差图像块组，再将残差图像块与对应位置的KB块相加，以恢复出DCS图像块组；具体参照图2解码端部分。

对CS块组的图像块的恢复，如图3解码端部分所示。

首先，利用重构出的KB块作为训练样本，采用K-SVD字典学习方法生成当前图像块的稀疏字典。

其次，采用稀疏字典，采用CS技术对CS块进行恢复；

(4)重构出所有的图像块后，则按编号恢复出相应的图像块组。

(5)将恢复后的四个图像组复接成一个GOP。

本发明的效果可以通过以下实验进一步证实：

1、仿真条件

本方法所采用PC机的主频为2GHzIntel 2处理器、8GB RAM，并在2011版Matlab编程环境下进行仿真。

2、评价指标

图像重构质量的评价可以从主观度量和客观度量两个方面进行。

3、仿真视频

野外WMSN传感器拍摄的一段铁路监控视频，分辨率为256×256。

4、仿真对比方法：

对比方法1：Li-Wei Kang and Chun-Shien Lu，在文献“DISTRIBUTED COMPRESSIVEVIDEO SENSING，2009”提出的基于压缩感知的分布式视频编码方法。

对比方法2：S.Mun and J.E.Fowler，在文献“Motion-Compensated Compressed-SensingReconstruction for Dynamic MRI，2013”提出的基于运动补偿、运动补偿的压缩感知图像编解码方法。

5、仿真内容

在对视频进行信源编码的过程中，对视频的连续帧进行GOP分组，每组帧数为G，其中单帧图像的数据总量为N_F＝N×N，则每个GOP的数据总量为N_GOP＝G×N_F。

本发明与对比方法1、对比方法2中的组内的关键帧的测量维数为M_K，获得的关键帧测量值y_K＝Φ_Kx_K，其长度为M_K，Φ_K为M_K×N的测量矩阵，此时，关键帧的压缩率为R_K＝M_K/N_F。

组内剩余其他非关键帧分配的的测量值总数为单帧非关键帧的平均测量维数为此时非关键帧的平均压缩率为

因此，分配的总测量值数量为：此时，总的压缩率为 $R=\frac{M_T}{N_{GOP}}=\frac{M_K+M_{NK}^T}{G\×N_F}.$

在实验中设定G＝5，其中单帧图像的数据总量为N_F＝N×N，因此每个GOP的总的数据量为N_GOP＝5×N_F＝327680。关键帧的测量维数为45875，其压缩率为0.7；非关键帧非关键帧测量值总数为78643，非关键帧的平均压缩率为因此总的压缩率为 $R=\frac{45875+78643}{5\×256\×256}=\mathrm{0.32.}$

从表可以看出，本发明的方法比其他二种方法更好。因此在满足相同的PSNR条件下，本发明可以更多的减少所需的测量数据；且在获得的测量数据更少时依然可以获得很好的重构效果。

Claims (3)

1.一种面向WMSN的多模式压缩视频感知编解码方法，其特征在于：主要由自适应视频帧分组器、多模式稀疏编码器、多模式解码器组成，各GOP组的编解码方法包括以下步骤：

步骤1：根据视频的时空相关性，根据自适应分组器对视频进行对视频进行分组，再采用四叉树图像分割法将图像组内的每幅图像分割为四个大小相同的图像块，并构成四个图像块组，将图像块组依次送入多模式稀疏编码器；

步骤2：对图像块进行预处理，图像块组的第一个图像块被设置为关键图像块(KB块)，剩余的图像块为非关键图像块（NKB块）；在多模式稀疏编码器中，NKB块被分为三种类型：跳过块（SKIP块）、分布式压缩感知块（DCS块）、压缩感知块（CS块）；再根据块的类型及编号对图像块组进行二次分组；然后，将KB块、SKIP块、DCS块和CS块分别送入相应的编码器进行编码；

步骤3：在多模式解码器中，根据图像块的不同编码方式，分别重构出相应的图像块，再按图像块的编号恢复各图像块组；

步骤4：对四个图像块组进行复接，以恢复出相应的GOP组。

2.根据权利要求1所述的一种面向WMSN的多模式压缩视频感知编解码方法，其特征在于：在所述步骤2中，对不同图像块分别采用不同的编码方法；其具体操作内容如下：

（1）采用较高采样率的CS方法对KB块进行用采样，并将测量值与编码模式信息、位置信息打包送入解码端；

（2）对于SKIP组内的图像块，不进行编码操作，只传送对应的编码模式信息与位置信息；

（3）对于DCS组内的图像块，首先将其分别与对应的KB块求残差；然后，对所有的残差图像块进行联合稀疏，并在同一测量基Φ下进行测量，再将所得到的测量值与编码模式信息、位置信息打包送入解码端；

（4）采用较低采样率的块CS方法对CS组内的图像块进行采样，并将得到的测量值与编码模式信息、位置信息打包送入解码端。

3.根据权利要求1所述方法，其特征在于：在所述步骤3的解码过程中，首先对接收到的数据进行解包，得到各图像块的测量值、编码模式信息与位置信息；然后，采用CS技术恢复KB块，并将其保存在存储器中；最后，采用不同的解码方法对相应类型的NKB块进行恢复，具体操作内容如下：

（1）利用已重构出的KB块替代SKIP组中对应位置的图像块；

（2）借助DCS技术，利用所获取的联合稀疏观测值重构残差图像块组，再将残差图像块与对应位置的KB块相加，以恢复出DCS图像块组；

（3）采用字典学习方法，从重构出的KB块中生成当前图像块组的稀疏字典，再利用稀疏字典恢复出CS组中的图像块。