CN104159112A - 基于双重稀疏模型解码的压缩感知视频传输方法及系统 - Google Patents

Abstract

本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法及系统，该压缩感知视频传输方法包括编码步骤和解码步骤。其中编码步骤包括视频帧图像分组步骤、压缩编码步骤；解码步骤包括关键帧重构步骤、边信息生成步骤、冗余字典构造步骤、非关键帧重构步骤和视频帧图像重组步骤。本发明的有益效果是：本发明的方法及系统由于更全面地挖掘视频帧图像的特征信息，由估计信息生成的训练集通过构造新型的字典，结合GPSR（Gradient Pursuitfor Sparse Reconstruction）算法，能够提高非关键帧的重构质量，从而提升了系统的整体性能。

Description

基于双重稀疏模型解码的压缩感知视频传输方法及系统

技术领域

本发明涉及数字图像及信号处理领域，尤其涉及基于双重稀疏模型解码的压缩感知视频传输方法及系统。

背景技术

压缩感知理论通过利用信号的稀疏特性，在远小于Nyquist采样率的条件下，随机采样获取信号的离散样本，然后通过非线性算法重建信号。其核心思想是若信号在某个变换基Ψ上是稀疏的，编码端用一个与Ψ不相关的测量矩阵Φ将信号投影到一个低维空间，解码端通过求解最优化问题即可从少量投影中精确重构原始信号。

分布式视频编码系统，可使视频序列的帧间相关性用于解码端，实现用边信息结合解码算法解码，而编码端仅需实现分布式帧内编码，从而使编码端复杂度大大降低。它与传统视频编码技术的差别在于：传统技术通常都会在编码端充分挖掘视频序列的冗余信息，编码端复杂度一般较高；而分布式视频编码具有编码器复杂度低、容错性好、编码端耗电量低等特点。

传统视频压缩通常是非线性编码、线性解码，这使得编码复杂度非常高，系统编码端压力大，通过结合压缩感知理论与分布式视频编码的思想，可以把系统复杂度转移至解码端，而在解码端寻找高效高性能的解码算法，这非常适用于系统资源分配不对称的场景。

北京邮电大学的专利“基于压缩感知的分布式信源编码的方法”(申请号：200910242622.4，公布号：101742313)，其方法利用压缩感知技术并结合到分布式视频信源编码中。在编码过程中利用压缩感知技术对视频数据进行压缩，同时在解码时进行相应的重构操作。但该方法存在一定的不足：在解码端视频帧图像重构时，采用了固定的稀疏变换基，虽然大多情况下信号在这种基下是稀疏的，但这种稀疏基由于独立于原始的测量信号，因此它的信号表示系数并不具备最优的稀疏性，对重构质量也造成了影响。

西安电子科技大学的专利“利用稀疏表示与字典学习进行图像分割的方法”(申请号：201110059196.8，公布号：102096819)，提出了一种结合稀疏表示与字典训练而实现图像分割的方法。它的主要重构思想是利用图像本身特征，通过K-SVD算法训练出适应于图像的稀疏字典，并应用于最终的图像重构当中。这种方法虽然利用了信号自身特征，但字典训练计算量较大，自由度过高，字典规模也将被限制；并且由于它并没有充分的挖掘信号的特征，因此利用此方法构建视频编解码传输系统，性能也不够完美。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法。

本发明提供了一种基于双重稀疏模型解码的压缩感知视频传输方法，包括如下编码步骤和解码步骤，所述编码步骤包括：

视频帧图像分组步骤：提取视频序列帧图像，形成视频图像帧组；

压缩编码步骤：分别对关键帧与非关键帧进行基于压缩感知的线性压缩，获取相应的压缩结果并传输给解码单元，所述关键帧用k帧表示，所述非关键帧用cs帧表示；

在所述解码步骤中包括：

关键帧重构步骤：关键帧压缩结果到达解码单元后，由GPSR算法进行重构；

边信息生成步骤：由相邻的前后两个关键帧的重构结果，采用运动估计补偿算法生成边信息；

冗余字典构造步骤:字典训练过程将利用到前后相邻已重构关键帧与边信息帧，模块的输入为待训练图像集{k(t-1)帧、k(t+1)帧、SI帧}及以下参数：小波变换滤波器系数，分解级数s，各子字典原子大小d_b(子字典列向量尺寸)，以下为字典训练步骤：

a.将训练集图像输入字典构造模块，所述训练集图像包括已重构关键帧、边信息，对每个训练图像做s级小波变换，提取各自的系数子带；

b.生成训练样本集：对各子带方向小波系数提取不重叠的块并排成向量，构成该子带训练样本集，初始化所有子字典D_b，初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A；

c.通过K-SVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵A_b；

d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构步骤：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

视频帧图像重组步骤：由已解码的帧组图像重组形成解码后的视频序列。

作为本发明的进一步改进，在所述视频分组步骤中，从输入的视频序列中提取出视频帧图像并形成GOP帧组，帧组中第一帧图像为关键帧，其余若干帧图像为非关键帧；各组内帧图像将按关键帧、非关键帧的顺序进行传输；

在所述压缩编码步骤中，首先将像素点个数为N的二维图像帧信号按列输出为N×1的一维信号x_t，然后分别对帧组中k帧与cs帧通过压缩感知y_t＝Φx_t压缩过程，获取相应帧图像的压缩结果y_t，y_t是M_t×1维的向量，Φ是M_t×N维的压缩矩阵，这里k帧的压缩率MRk大于或等于cs帧的压缩率MRcs，用以为cs帧提供估计信息，其中x_t的压缩率MR被定义为MR_t＝M_t/N；其中压缩矩阵Φ＝Q_MWP_N，

$W=\left[\begin{array}{cccc}{W}_B& & & \\ & W_B& & \\ & & \·\·\·& \\ & & & W_B\end{array}\right]$

W_B表示B×B的哈德玛矩阵，P_N表示对W的列向量进行随机排序，Q_M表示随机抽取WP_N中的M行。

作为本发明的进一步改进，在所述关键帧重构步骤中，获取k帧压缩结果后，将其结合GPSR梯度投影凸优化算法解决算式完成重构；其中y_t是M_t×1维的压缩结果，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵，s_t是待优化的估计系数，表示求该式的二范数的平方,||·||₁表示求该式的一范数；求解该问题最优解估计值后，原关键帧信号重构估计值为

在所述边信息生成步骤中，cs帧相邻前后的两个k帧，将采用MCI双向运动估计补偿算法，以GOP＝2为例，将视频帧图像分成若干个块，M_n为cs帧中的某一像块，M_n-1和M_n+1分别为k(t-1)帧和k(t+1)帧的同位置像块；首先以k(t+1)为参考帧，搜索与M_n-1最佳匹配的像块，得到了运动矢量(i，j)；然后以(i/2，j/2)作为M_n的运动矢量，对M_n进行前向运动估计补偿，得到预测结果X_n；同理，再以k(t-1)帧为参考帧，搜索与M_n+1最佳匹配的像块，得到运动矢量(i’,j’)，然后以(i’/2,j’/2)作为M_n的运动矢量，以k(t-1)帧为参考帧，对M_n进行后向运动补偿,得到Y_n，最后，再将X_n和Y_n进行平均，即可得到M_n的运动补偿内插值。遍历所有的像块后，获得两个双向的预测结果X_t与Y_t，对他们进行求均值的操作，即生成了当前帧的边信息SI_t。

作为本发明的进一步改进，在所述步骤a中：依据双稀疏字典表示模型，字典训练问题可描述为：其中，Y表示待训练集，A表示稀疏表示系数，K为稀疏度。EZ表示字典的每个原子可由核心字典E稀疏表示，即D＝EZ，Z为稀疏表示矩阵，表示矩阵的F范数，将上式变形等价为其中E_a代表小波变换基，表示对训练集图像做s级的离散小波变换，通过若干次离散低通和离散高通迭代分解，能够得到b＝3s+1个系数子带，它们分别代表了不同方向尺度的分量，提取这b＝3s+1个子带，每个不同子带的集合将形成字典训练样本集；

在所述步骤b中：从步骤a得到的各系数子带中提取Q_b个块，每个子带集合被分成若干不重叠的块，将它们展开成列向量并依次排列最终形成各自的训练集(E_aY)_b；初始化所有子字典D_b，b＝1,2,…,3s+1，同时对各子带训练集通过OMP算法求稀疏系数矩阵A_b；

在所述步骤C中：对每个子带训练集使用K-SVD算法训练字典，解决算式 $\{D_b,A_b\}=\underset{D_b,A_b}{\arg \min }{\left|\right|{\left(E_{a}Y\right)}_b-D_b{A}_b\left|\right|}_F^2,s.t.\∀i,{\left|\right|a_{i,b}\left|\right|}_0^0\≤K,$ 经过不断的迭代得到优化解，每一次迭代更新字典的某项原子，直到满足迭代终止条件迭代结束，最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数A_b；OMP算法过程为：初始化残差赋值r←(E_aY)_b，索引值集合赋值I_k←A_b，迭代次数t＝1，残差小于阈值m时，寻找最大内积所对应的索引值i；扩充索引值集合：I_k←I_k∪{i}；更新残差和迭代次数：t＝t+1；当残差大过阈值，迭代终止，输出稀疏表示系数A_b与各子带字典

在所述步骤d中：各子带字典依据小波变换的原始系数矩阵排布结构，将各子带字典通过重新排列形成训练后的系数字典D_s，再利用初始训练集Y与重组后的稀疏表示系数A_s，通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。

作为本发明的进一步改进，在所述非关键帧重构步骤中，接收到非关键帧压缩结果，结合步骤d中训练的冗余字典通过融入冗余字典的GPSR算法完成对cs帧的重构，主要解决算式：

其中s是当前cs帧的压缩结果。

本发明还提供了一种基于双重稀疏模型解码的压缩感知视频传输系统，包括如下编码模块和解码模块，所述编码模块包括：

视频帧图像分组模块：用于提取视频序列帧图像，形成视频图像帧组；

压缩编码模块：用于分别对关键帧与非关键帧进行基于压缩感知的线性压缩，获取相应的压缩结果并传输给解码单元，所述关键帧用k帧表示，所述非关键帧用cs帧表示；

所述解码模块中包括：

关键帧重构模块：用于关键帧压缩结果到达解码单元后，由GPSR算法进行重构；

边信息生成模块：用于由相邻的前后两个关键帧的重构结果，采用运动估计补偿算法生成边信息；

冗余字典构造模块:用于字典训练过程将利用到前后相邻已重构关键帧与边信息帧。模块的输入为待训练图像集{k(t-1)帧、k(t+1)帧、SI帧}及以下参数：小波变换滤波器系数，分解级数s，各子字典原子大小d_b，以下为字典训练步骤：

a.将训练集图像输入字典构造模块，所述训练集图像包括已重构关键帧、边信息，对每个训练图像做s级小波变换，提取各自的系数子带；

b.生成训练样本集：对各子带方向小波系数提取不重叠的块并排成向量，构成该子带训练样本集，初始化所有子字典D_b，初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A；

c.通过K-SVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵A_b；

d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构模块：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

视频帧图像重组模块：由已解码的帧组图像重组形成解码后的视频序列。

作为本发明的进一步改进，在所述视频分组模块中，从输入的视频序列中提取出视频帧图像并形成GOP帧组，帧组中第一帧图像为关键帧，其余若干帧图像为非关键帧；各组内帧图像将按关键帧、非关键帧的顺序进行传输；

在所述压缩编码模块中，首先将像素点个数为N的二维图像帧信号按列输出为N×1的一维信号x_t，然后分别对帧组中k帧与cs帧通过压缩感知y_t＝Φx_t压缩过程，获取相应帧图像的压缩结果y_t，y_t是M_t×1维的向量，Φ是M_t×N维的压缩矩阵。这里k帧的压缩率MRk大于或等于cs帧的压缩率MRcs，用以为cs帧提供估计信息。其中x_t的压缩率MR被定义为MR_t＝M_t/N；其中压缩矩阵Φ＝Q_MWP_N，

$W=\left[\begin{array}{cccc}{W}_B& & & \\ & W_B& & \\ & & \·\·\·& \\ & & & W_B\end{array}\right]$

W_B表示B×B的哈德玛矩阵，P_N表示对W的列向量进行随机排序，Q_M表示随机抽取WP_N中的M行。

作为本发明的进一步改进，在所述关键帧重构模块中，获取k帧压缩结果后，将其结合GPSR梯度投影凸优化算法解决算式完成重构；其中y_t是M_t×1维的压缩结果，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵，s_t是待优化的估计系数，表示求该式的二范数的平方,||·||₁表示求该式的一范数；求解该问题最优解估计值后，原关键帧信号重构估计值为

在所述边信息生成模块中，cs帧相邻前后的两个k帧，将采用MCI双向运动估计补偿算法，以GOP＝2为例，将视频帧图像分成若干个块，M_n为cs帧中的某一像块，M_n-1和M_n+1分别为k(t-1)帧和k(t+1)帧的同位置像块；首先以k(t+1)为参考帧，搜索与M_n-1最佳匹配的像块，得到了运动矢量(i，j)；然后以(i/2，j/2)作为M_n的运动矢量，对M_n进行前向运动估计补偿，得到预测结果X_n；同理，再以k(t-1)帧为参考帧，搜索与M_n+1最佳匹配的像块，得到运动矢量(i’,j’)，然后以(i’/2,j’/2)作为M_n的运动矢量，以k(t-1)帧为参考帧，对M_n进行后向运动补偿,得到Y_n，最后，再将X_n和Y_n进行平均，即可得到M_n的运动补偿内插值，遍历所有的像块后，获得两个双向的预测结果X_t与Y_t，对他们进行求均值的操作，即生成了当前帧的边信息SI_t。

作为本发明的进一步改进，在所述步骤a中：依据双稀疏字典表示模型，字典训练问题可描述为：其中，Y表示待训练集，A表示稀疏表示系数，K为稀疏度，EZ表示字典的每个原子可由核心字典E稀疏表示，即D＝EZ，Z为稀疏表示矩阵，表示矩阵的F范数，将上式变形等价为其中E_a代表小波变换基，表示对训练集图像做s级的离散小波变换，通过若干次离散低通和离散高通迭代分解，能够得到b＝3s+1个系数子带，它们分别代表了不同方向尺度的分量，提取这b＝3s+1个子带，每个不同子带的集合将形成字典训练样本集；

在所述步骤b中：从步骤a得到的各系数子带中提取Q_b个块，每个子带集合被分成若干不重叠的块，将它们展开成列向量并依次排列最终形成各自的训练集(E_aY)_b；初始化所有子字典D_b，b＝1,2,…,3s+1，同时对各子带训练集通过OMP算法求稀疏系数矩阵A_b；

在所述步骤C中：对每个子带训练集使用K-SVD算法训练字典，解决算式 $\{D_b,A_b\}=\underset{D_b,A_b}{\arg \min }{\left|\right|{\left(E_{a}Y\right)}_b-D_b{A}_b\left|\right|}_F^2,s.t.\∀i,{\left|\right|a_{i,b}\left|\right|}_0^0\≤K,$ 经过不断的迭代得到优化解，每一次迭代更新字典的某项原子，直到满足迭代终止条件迭代结束，最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数A_b；OMP算法过程为：初始化残差赋值r←(E_aY)_b，索引值集合赋值I_k←A_b，迭代次数t＝1，残差小于阈值m时，寻找最大内积所对应的索引值i；扩充索引值集合：I_k←I_k∪{i}；更新残差和迭代次数：t＝t+1；当残差大过阈值，迭代终止，输出稀疏表示系数A_b与各子带字典

在所述步骤d中：各子带字典依据小波变换的原始系数矩阵排布结构，将各子带字典通过重新排列形成训练后的系数字典D_s，再利用初始训练集Y与重组后的稀疏表示系数A_s，通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。

作为本发明的进一步改进，在所述非关键帧重构模块中，接收到非关键帧压缩结果，结合步骤d中训练的冗余字典通过融入冗余字典的GPSR算法完成对cs帧的重构，主要解决算式：

其中s是当前cs帧的压缩结果。

本发明的有益效果是：本发明的方法及系统由于更全面地挖掘视频帧图像的特征信息，由估计信息生成的训练集通过构造新型的字典，结合GPSR算法，能够提高非关键帧的重构质量，从而提升了系统的整体性能。本发明提出的方法及系统无论从客观评价指标还是主观视觉效果上都较传统方法有一定的优势。

附图说明

图1是本发明基于双重稀疏模型解码的压缩感知视频传输系统原理图；

图2是本发明的编码模块原理图；

图3是基于双重稀疏模型的小波域多尺度字典训练算法原理图；

图4是分布式视频编码方法示意图；

图5是双向运动估计补偿算法原理图；

图6包括两幅图，其中图6(A)是foreman序列重构性能仿真对比图，图6(B)是coastguard序列重构性能仿真对比图；

图7包括两幅图，其中图7(A)是coastguard序列传统方法与本发明的重构图像对比，图7(B)是foreman序列传统方法与本发明的重构图像对比。

具体实施方式

视频帧图像分组步骤：提取视频序列帧图像，形成视频图像帧组；

压缩编码步骤：分别对关键帧与非关键帧进行基于压缩感知的线性压缩，获取相应的压缩结果并传输给解码单元，所述关键帧用k帧表示，所述非关键帧用cs帧表示；

在所述解码步骤中包括：

关键帧重构步骤：关键帧压缩结果到达解码单元后，由GPSR算法进行重构；

边信息生成步骤：由相邻的前后两个关键帧的重构结果，采用运动估计补偿算法生成边信息(SI,side information)；

冗余字典构造步骤:字典训练过程将利用到前后相邻已重构关键帧与边信息帧。模块的输入为待训练图像集{k(t-1)帧、k(t+1)帧、SI帧}及以下参数：小波变换滤波器系数，分解级数s，各子字典原子大小d_b(子字典列向量尺寸)，以下为字典训练步骤：

a.将训练集图像输入字典构造模块，所述训练集图像包括已重构关键帧、边信息。对每个训练图像做s级小波变换，提取各自的系数子带；

b.生成训练样本集：对各子带方向小波系数提取不重叠的块并排成向量，构成该子带训练样本集。初始化所有子字典D_b，初始化过程同时利用OMP(Orthogonal Matching Pursuit)算法获得初始的稀疏表示矩阵A；

c.通过K-SVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵A_b；

d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构步骤：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

视频帧图像重组步骤：由已解码的帧组图像重组形成解码后的视频序列。

本发明还公开了一种与所述基于双重稀疏模型解码的压缩感知视频传输方法相对应的基于双重稀疏模型解码的压缩感知视频传输系统，如图1所示，视频分组模块：图1中编码模块首先将视频序列输入到视频分解模块中，提取出视频帧图像并形成GOP(group of pictures)帧组，帧组中第一帧图像为关键帧(k帧)，其余若干帧图像为非关键帧(cs帧)；各组内帧图像将按k帧、cs帧的顺序进行传输。

压缩编码模块：编码过程为图1中左侧虚线内部分，具体操作如图2所示，首先将像素点个数为N的二维图像帧信号按列输出为N×1的一维信号x_t，然后分别对帧组中k帧与cs帧通过压缩感知y_t＝Φx_t压缩过程，获取相应帧图像的压缩结果y_t，y_t是M_t×1维的向量，Φ是M_t×N维的压缩矩阵。这里k帧的压缩率MRk大于或等于cs帧的压缩率MRcs，用以为cs帧提供估计信息。其中x_t的压缩率MR(measurement rate)被定义为MR_t＝M_t/N；其中压缩矩阵Φ＝Q_MWP_N，

$W=\left[\begin{array}{cccc}{W}_B& & & \\ & W_B& & \\ & & \·\·\·& \\ & & & W_B\end{array}\right]$

W_B表示B×B的哈德玛(Hadamard)矩阵，P_N表示对W的列向量进行随机排序，Q_M表示随机抽取WP_N中的M行。

在压缩编码模块中，压缩感知压缩帧图像方法原理为：设有N维信号x∈R^N×1，在某个变换基Ψ∈R^N×N上有K(K<N)稀疏的表达形式，其中s(n)表示第n个被抽取的基向量对应的系数。该式的矩阵形式为x＝Ψs，其中s是N×1的向量有K个非零元素。将x在M×N(K<M≤N)的测量矩阵Φ上投影，得到由M个压缩值组成的M×1向量y：y＝Φx＝ΦΨs，那么该信号可由线性压缩精确地重构出来。精确重构通过求解严格的组合优化问题完成：s.t.y＝ΦΨs≡As。最优化稀疏表示理论表明当矩阵A满足σ(A)≥2K(即A中2K列都是线性无关的)时，以上l₀范数优化问题可唯一重构，其中σ(A)为矩阵A的最小线性相关组的列数。求解该问题是一个NP问题，计算复杂度较高。然而研究表明，如果矩阵ΦΨ满足更强的条件，即具有约束等距性质(RIP)，上述优化问题可以由l₀转化为l₁约束的凸优化问题来求出唯一解。而若测量矩阵Φ与稀疏基Ψ非相干，则矩阵A在很大概率上满足RIP性质。

关键帧重构模块：解码模块由图1中右侧虚线内所示，获取k帧压缩结果后，将其结合GPSR梯度投影凸优化算法解决算式完成重构；其中y_t是M_t×1维的压缩结果，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵，s_t是待优化的估计系数，表示求该式的二范数的平方,||·||₁表示求该式的一范数；求解该问题最优解估计值后，原关键帧信号重构估计值为

在关键帧重构模块中，所述的GPSR算法，是基于最小l₁范数进行求解的算法，将不带约束条件的l₁范数问题先转化为边界约束的二次优化问题，那么线性压缩模块中信号恢复过程可转变为如下有约束问题：其中r是非负的实数。对上式使用拉格朗日乘法可以将其等价变形为：其中y_t是M_t×1维的向量，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵。其主要策略是从可行点出发，沿着梯度下降的可行方向进行搜索，即用凸函数的梯度来约束最优化解的寻找方向，进而快速的找到最优化的方程解。

边信息生成模块：非关键帧相邻前后的两个关键帧，将通过MCI(motion compensated interpolation)双向运动估计补偿算法生成边信息，如5示意图所示；以GOP＝2为例，将视频帧图像分成若干个块，M_n为cs帧中的某一像块，M_n-1和M_n+1分别为k(t-1)帧和k(t+1)帧的同位置像块；首先以k(t+1)为参考帧，搜索与M_n-1最佳匹配的像块，得到了运动矢量(i，j)；然后以(i/2，j/2)作为M_n的运动矢量，对M_n进行前向运动估计补偿，得到预测结果X_n；同理，再以k(t-1)帧为参考帧，搜索与M_n+1最佳匹配的像块，得到运动矢量(i’,j’)，然后以(i’/2,j’/2)作为M_n的运动矢量，以k(t-1)帧为参考帧，对M_n进行后向运动补偿,得到Y_n，最后，再将X_n和Y_n进行平均，即可得到M_n的运动补偿内插值。遍历所有的像块后，获得两个双向的预测结果X_t与Y_t，对他们进行求均值的操作，即生成了当前帧的边信息SI_t；

在边信息生成模块中，边信息生成算法中运动矢量的产生方法与传统方法有所不同。传统视频压缩中，运动矢量由编码端计算，直接将被预测帧与参考帧比较即可得到。而在DVC中，运动矢量由解码端计算，由于解码端无法先获取被预测帧，因此需借助于已重构的参考帧进行计算获得。将视频帧分成若干个块，检测当前帧中每块在前后帧中对应的位置，并计算在对应位置上块的偏移量(运动矢量)。根据计算出的矢量，找到当前帧的像素块从前后帧的哪个位置移过来的，从而得到当前帧像素的预测值。

冗余字典构造模块：冗余字典构造模块详细原理如图3所示，字典训练过程将利用到前后相邻已重构关键帧与边信息帧。模块的输入为待训练图像集(k(t-1)帧、k(t+1)帧、SI帧)及下列参数：小波变换滤波器系数，分解级数s，字典原子大小d_b，以下为字典训练步骤：

步骤a.依据双稀疏字典表示模型，字典训练问题可描述为：其中，Y表示待训练集，A表示稀疏表示系数，K为稀疏度。EZ表示字典的每个原子可由核心字典E稀疏表示，即D＝EZ，Z为稀疏表示矩阵，表示矩阵的F范数(Frobenius范数)。将上式变形等价为其中E_a代表小波变换基，表示对训练集图像做s级的离散小波变换。通过若干次离散低通和离散高通迭代分解，能够得到b＝3s+1个系数子带，它们分别代表了不同方向尺度的分量，提取这b＝3s+1个子带，每个不同子带的集合将形成字典训练样本集；

步骤b.从步骤a得到的各系数子带中提取Q_b个块，每个子带集合被分成若干不重叠的块，将它们展开成列向量并依次排列最终形成各自的训练集(E_aY)_b；初始化所有子字典D_b，b＝1,2,…,3s+1，同时对各子带训练集通过OMP算法求稀疏系数矩阵A_b；

步骤c.对每个子带训练集使用K-SVD算法训练字典，解决算式 $\{D_b,A_b\}=\underset{D_b,A_b}{\arg \min }{\left|\right|{\left(E_{a}Y\right)}_b-D_b{A}_b\left|\right|}_F^2,s.t.\&ForAll;i,{\left|\right|a_{i,b}\left|\right|}_0^0\&le;K,$ 经过不断的迭代得到优化解，每一次迭代更新字典的某项原子，直到满足迭代终止条件迭代结束，最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数A_b；OMP算法过程为：初始化残差赋值r←(E_aY)_b，索引值集合赋值I_k←A_b，迭代次数t＝1，残差小于阈值m时，寻找最大内积所对应的索引值i；扩充索引值集合：I_k←I_k∪{i}；更新残差和迭代次数：t＝t+1；当残差大过阈值，迭代终止，输出稀疏表示系数A_b与各子带字典

步骤d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构步骤：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

在冗余字典构造模块中，冗余字典训练原理采用了K-SVD字典训练算法，其原理为：依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解，它解决了下式的问题：其中Y为训练集，D为过完备字典，X为系数矩阵，X与Y按列对应，表示D中项按X系数线性组合即为Y,T₀是稀疏表示系数中非零分量的数目的上限。首先，固定某个稀疏字典D，寻找基于D最优的系数表示矩阵A，A满足一定稀疏度但有一定的误差，就此完成对字典的初始化工作；其中计算A的过程利用了经典的正交匹配追踪OMP算法。初始化完成后，开始寻找更佳的D。这是个逐次迭代的过程，每次更新D的某列，即原子d_i。这个过程逐列剥离字典中基底对数据表示的贡献，并计算当前误差矩阵

$E=Y-\underset{i\&NotEqual;k}{\mathrm{\&Sigma;}}{d}_i{x}_i$

只需调节和更新，使总体的误差尽量减小，用SVD算法分解误差矩阵，取能量最大的列更新字典与系数，而其他列则保持不变。

在冗余字典构造模块中，双稀疏模型原理为：假设字典D的每个原子都可由一个核心字典E稀疏表示，即D＝EA，A为稀疏表示矩阵。描述的字典问题等价为：Y表示信号，A表示稀疏表示矩阵，α为稀疏表示系数。上式说明，表示信号的原子可以变形，以核心字典与新字典结合的形式构成，即可被稀疏原子的组合来表示。因该核心字典本身具有一定的稀疏性，而新字典在其基础上又有进一步的稀疏表示，所以称为“双重稀疏”。

非关键帧重构模块：解码模块收到非关键帧压缩结果，结合步骤d中训练的冗余字典D，通过融入冗余字典的GPSR算法完成对非关键帧的重构；其中GPSR算法原理同关键帧重构模块中原理基本一致，不同部分为加入了冗余字典D，主要解决了算式

$\min \frac{1}{2}\left|\right|y_t-{\mathrm{As}}_t\left|\right|+\mathrm{\&tau;}{\left|\right|s_t\left|\right|}_1,s.t.A=\mathrm{\&Phi;D}$

其中s是当前cs帧的压缩结果。冗余字典代替了固定基。

在非关键帧重构模块中，由于字典训练方法更充分地利用了解码端已有的估计信息，因此其针对性强、执行力好,自适应能力远强于固定基，能更好地完成不同图像的重构任务，一般情况下基于字典训练的模型能够得到更好的稀疏表示。

本发明的主要思想为：在系统解码端重构非关键帧时充分利用已重构相邻关键帧的估计信息，根据双重稀疏字典表示模型，将小波变换基作为核心字典，针对变换域下的不同子带进行各自字典训练，具有小波分析的多尺度、多方向性特点，能更加稀疏地表示图像；再通过生成的字典由GPSR重构算法，达到对图像的重构。

系统编码端输入视频信号数据，将视频序列分解为帧图像并形成帧组，内含一帧关键帧与若干帧非关键帧，这种区分为了在解码端利用关键帧的信息对非关键帧进行估计预测，从而可降低非关键帧的压缩率。

首先经过编码模块的压缩感知进行压缩编码过程，其中关键帧的压缩率大于非关键帧的压缩率。获取帧组内各帧图像的压缩结果后，经过传输信道传送至解码模块；传至解码模块的关键帧压缩结果，由GPSR梯度投影算法进行重构，得到并存储已重构的关键帧，其将为后续估计提供源信息。

边信息生成模块输入为相邻两帧已重构关键帧，利用双向运动估计补偿算法，生成对当前非关键帧的估计边信息。这种双向计算，可以使估计信息更加精准，从而提升重构质量。

字典训练模块，输入为已重构关键帧与边信息帧，利用本发明提出的小波域下双重稀疏训练方法，训练出多尺度的冗余字典，过程如下：

首先将训练图像(已重构关键帧、边信息帧)输入字典构造模块，对每个训练图像做相同级数的小波变换，并提取各自的小波系数子带；对各个子带提取不重叠的块并依次排成向量，构成该子带训练样本集，初始化所有子字典，初始化过程同时由OMP算法得到相应的稀疏表示系数；然后通过K-SVD训练算法进行迭代，每一次迭代更新一个字典原子，直到迭代停止训练出各自子带方向的字典；最后结合各子字典，利用训练集与稀疏表示系数，得到重组形成的完整字典并输出。

该字典构造方法的主要原理是将小波各个子带独立地对待，利用小波变换得到的系数子带训练字典，可以较好地保持图像的方向特征和多尺度细节信息。由于充分利用了估计信息，因此在该字典下信号可以有尽可能稀疏的表示，系统的整体性能也因此得到提升。

为了验证本发明的可行性和有效性，我们通过搭建MATLAB仿真平台进行了仿真实验，通过仿真结果可更直观地看出本发明提出的方法及系统与现有技术相比的性能优势。

仿真条件：

(1)序列采用标准CIF视频开发序列coastguard序列和foreman序列(前30帧，规格352×288，8位灰度图像)；

(2)仿真帧组GOP＝2，其中每组第一帧为k帧，第二帧为cs帧，k帧均采用GPSR算法重构，cs帧采用本文提出的双重稀疏字典训练方法重构；

(3)仿真实验的对比对象条件为传统压缩感知(稀疏基DWT(discretewavelet transform)基，GPSR重构算法)方法，以及传统K-SVD字典训练方法(字典结合GPSR重构)两种方法。

(4)仿真结果，图(6)为两组序列的重构帧平均峰值信噪比(PSNR)和平均测量值比例(MR)的关系曲线；图(7)为MRk＝0.7,MRcs＝0.4条件下重构的cs帧图像。

本发明的有益效果是：本发明的方法及系统由于更全面地挖掘视频帧图像的特征信息，由估计信息生成的训练集通过构造新型的字典，结合GPSR算法，能够提高非关键帧的重构质量，从而提升了系统的整体性能。本发明提出的方法及系统无论从客观评价指标还是主观视觉效果上都较传统方法有一定的优势。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于双重稀疏模型解码的压缩感知视频传输方法，其特征在于，包括如下编码步骤和解码步骤，所述编码步骤包括：

视频帧图像分组步骤：提取视频序列帧图像，形成视频图像帧组；

压缩编码步骤：分别对关键帧与非关键帧进行基于压缩感知的线性压缩，获取相应的压缩结果并传输给解码单元，所述关键帧用k帧表示，所述非关键帧用cs帧表示；

在所述解码步骤中包括：

关键帧重构步骤：关键帧压缩结果到达解码单元后，由GPSR算法进行重构；

边信息生成步骤：由相邻的前后两个关键帧的重构结果，采用运动估计补偿算法生成边信息；

冗余字典构造步骤:字典训练过程将利用到前后相邻已重构关键帧与边信息帧，模块的输入为待训练图像集{k(t-1)帧、k(t+1)帧、SI帧}及以下参数：小波变换滤波器系数，分解级数s，各子字典原子大小d_b，以下为字典训练步骤：

a.将训练集图像输入字典构造模块，所述训练集图像包括已重构关键帧、边信息，模对每个训练图像做s级小波变换，提取各自的系数子带；

b.生成训练样本集：对各子带方向小波系数提取不重叠的块并排成向量，构成该子带训练样本集，初始化所有子字典D_b，初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A；

c.通过K-SVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵A_b；

d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构步骤：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

视频帧图像重组步骤：由已解码的帧组图像重组形成解码后的视频序列。

2.根据权利要求1所述的压缩感知视频传输方法，其特征在于，在所述视频分组步骤中，从输入的视频序列中提取出视频帧图像并形成GOP帧组，帧组中第一帧图像为关键帧，其余若干帧图像为非关键帧；各组内帧图像将按关键帧、非关键帧的顺序进行传输；

在所述压缩编码步骤中，首先将像素点个数为N的二维图像帧信号按列输出为N×1的一维信号x_t，然后分别对帧组中k帧与cs帧通过压缩感知y_t＝Φx_t压缩过程，获取相应帧图像的压缩结果y_t，y_t是M_t×1维的向量，Φ是M_t×N维的压缩矩阵，这里k帧的压缩率MRk大于或等于cs帧的压缩率MRcs，用以为cs帧提供估计信息，其中x_t的压缩率MR被定义为MR_t＝M_t/N；其中压缩矩阵Φ＝Q_MWP_N，

$W=\left[\begin{array}{cccc}{W}_B& & & \\ & W_B& & \\ & & \&CenterDot;\&CenterDot;\&CenterDot;& \\ & & & W_B\end{array}\right]$

W_B表示B×B的哈德玛矩阵，P_N表示对W的列向量进行随机排序，Q_M表示随机抽取WP_N中的M行。

3.根据权利要求1所述的压缩感知视频传输方法，其特征在于，在所述关键帧重构步骤中，获取k帧压缩结果后，将其结合GPSR梯度投影凸优化算法解决算式完成重构；其中y_t是M_t×1维的压缩结果，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵，s_t是待优化的估计系数，表示求该式的二范数的平方,||·||₁表示求该式的一范数；求解该问题最优解估计值后，原关键帧信号重构估计值为

在所述边信息生成步骤中，cs帧相邻前后的两个k帧，将采用MCI双向运动估计补偿算法，以GOP＝2为例，将视频帧图像分成若干个块，M_n为cs帧中的某一像块，M_n-1和M_n+1分别为k(t-1)帧和k(t+1)帧的同位置像块；首先以k(t+1)为参考帧，搜索与M_n-1最佳匹配的像块，得到了运动矢量(i，j)；然后以(i/2，j/2)作为M_n的运动矢量，对M_n进行前向运动估计补偿，得到预测结果X_n；同理，再以k(t-1)帧为参考帧，搜索与M_n+1最佳匹配的像块，得到运动矢量(i’,j’)，然后以(i’/2,j’/2)作为M_n的运动矢量，以k(t-1)帧为参考帧，对M_n进行后向运动补偿,得到Y_n，最后，再将X_n和Y_n进行平均，即可得到M_n的运动补偿内插值，遍历所有的像块后，获得两个双向的预测结果X_t与Y_t，对他们进行求均值的操作，即生成了当前帧的边信息SI_t。

4.根据权利要求1所述的压缩感知视频传输方法，其特征在于，在所述步骤a中：依据双稀疏字典表示模型，字典训练问题可描述为：

其中，Y表示待训练集，A表示稀疏表示系数，K为稀疏度，EZ表示字典的每个原子可由核心字典E稀疏表示，即D＝EZ，Z为稀疏表示矩阵，表示矩阵的F范数，将上式变形等价为其中E_a代表小波变换基，表示对训练集图像做s级的离散小波变换，通过若干次离散低通和离散高通迭代分解，能够得到b＝3s+1个系数子带，它们分别代表了不同方向尺度的分量，提取这b＝3s+1个子带，每个不同子带的集合将形成字典训练样本集；

在所述步骤b中：从步骤a得到的各系数子带中提取Q_b个块，每个子带集合被分成若干不重叠的块，将它们展开成列向量并依次排列最终形成各自的训练集(E_aY)_b；初始化所有子字典D_b，b＝1,2,…,3s+1，同时对各子带训练集通过OMP算法求稀疏系数矩阵A_b；

在所述步骤C中：对每个子带训练集使用K-SVD算法训练字典，解决算式 $\{D_b,A_b\}=\underset{D_b,A_b}{\arg \min }{\left|\right|{\left(E_{a}Y\right)}_b-D_b{A}_b\left|\right|}_F^2,s.t.\&ForAll;i,{\left|\right|a_{i,b}\left|\right|}_0^0\&le;K,$ 经过不断的迭代得到优化解，每一次迭代更新字典的某项原子，直到满足迭代终止条件迭代结束，最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数A_b；OMP算法过程为：初始化残差赋值r←(E_aY)_b，索引值集合赋值I_k←A_b，迭代次数t＝1，残差小于阈值m时，寻找最大内积所对应的索引值i；扩充索引值集合：I_k←I_k∪{i}；更新残差和迭代次数：t＝t+1；当残差大过阈值，迭代终止，输出稀疏表示系数A_b与各子带字典

在所述步骤d中：各子带字典依据小波变换的原始系数矩阵排布结构，将各子带字典通过重新排列形成训练后的系数字典D_s，再利用初始训练集Y与重组后的稀疏表示系数A_s，通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。

5.根据权利要求4所述的压缩感知视频传输方法，其特征在于，在所述非关键帧重构步骤中，接收到非关键帧压缩结果，结合步骤d中训练的冗余字典通过融入冗余字典的GPSR算法完成对cs帧的重构，主要解决算式：

其中s是当前cs帧的压缩结果。

6.一种基于双重稀疏模型解码的压缩感知视频传输系统，其特征在于，包括如下编码模块和解码模块，所述编码模块包括：

视频帧图像分组模块：用于提取视频序列帧图像，形成视频图像帧组；

压缩编码模块：用于分别对关键帧与非关键帧进行基于压缩感知的线性压缩，获取相应的压缩结果并传输给解码单元，所述关键帧用k帧表示，所述非关键帧用cs帧表示；

所述解码模块中包括：

关键帧重构模块：用于关键帧压缩结果到达解码单元后，由GPSR算法进行重构；

边信息生成模块：用于由相邻的前后两个关键帧的重构结果，采用运动估计补偿算法生成边信息；

冗余字典构造模块:用于字典训练过程将利用到前后相邻已重构关键帧与边信息帧，模块的输入为待训练图像集{k(t-1)帧、k(t+1)帧、SI帧}及以下参数：小波变换滤波器系数，分解级数s，各子字典原子大小d_b，以下为字典训练步骤：

a.将训练集图像输入字典构造模块，所述训练集图像包括已重构关键帧、边信息，对每个训练图像做s级小波变换，提取各自的系数子带；

b.生成训练样本集：对各子带方向小波系数提取不重叠的块并排成向量，构成该子带训练样本集，初始化所有子字典D_b，初始化过程同时利用OMP算法获得初始的稀疏表示矩阵A；

c.通过K-SVD算法训练各自子带方向的字典,获得训练后的字典同时得到相应稀疏表示系数矩阵A_b；

d.利用训练集与稀疏表示系数，得到重组形成的完整字典并输出；

非关键帧重构模块：利用非关键帧压缩结果，以及上述字典训练步骤d中输出的字典，通过融入冗余字典的GPSR算法，完成非关键帧的重构；

视频帧图像重组模块：由已解码的帧组图像重组形成解码后的视频序列。

7.根据权利要求6所述的压缩感知视频传输系统，其特征在于，在所述视频分组步模块中，从输入的视频序列中提取出视频帧图像并形成GOP帧组，帧组中第一帧图像为关键帧，其余若干帧图像为非关键帧；各组内帧图像将按关键帧、非关键帧的顺序进行传输；

在所述压缩编码步骤中，首先将像素点个数为N的二维图像帧信号按列输出为N×1的一维信号x_t，然后分别对帧组中k帧与cs帧通过压缩感知y_t＝Φx_t压缩过程，获取相应帧图像的压缩结果y_t，y_t是M_t×1维的向量，Φ是M_t×N维的压缩矩阵，这里k帧的压缩率MRk大于或等于cs帧的压缩率MRcs，用以为cs帧提供估计信息，其中x_t的压缩率MR被定义为MR_t＝M_t/N；其中压缩矩阵Φ＝Q_MWP_N，

$W=\left[\begin{array}{cccc}{W}_B& & & \\ & W_B& & \\ & & \&CenterDot;\&CenterDot;\&CenterDot;& \\ & & & W_B\end{array}\right]$

W_B表示B×B的哈德玛矩阵，P_N表示对W的列向量进行随机排序，Q_M表示随机抽取WP_N中的M行。

8.根据权利要求6所述的压缩感知视频传输系统，其特征在于，在所述关键帧重构模块中，获取k帧压缩结果后，将其结合GPSR梯度投影凸优化算法解决算式完成重构；其中y_t是M_t×1维的压缩结果，y_t＝Φx_t,A＝ΦΨ是大小为M×N的矩阵，s_t是待优化的估计系数，表示求该式的二范数的平方,||·||₁表示求该式的一范数；求解该问题最优解估计值后，原关键帧信号重构估计值为

在所述边信息生成模块中，cs帧相邻前后的两个k帧，将采用MCI双向运动估计补偿算法，以GOP＝2为例，将视频帧图像分成若干个块，M_n为cs帧中的某一像块，M_n-1和M_n+1分别为k(t-1)帧和k(t+1)帧的同位置像块；首先以k(t+1)为参考帧，搜索与M_n-1最佳匹配的像块，得到了运动矢量(i，j)；然后以(i/2，j/2)作为M_n的运动矢量，对M_n进行前向运动估计补偿，得到预测结果X_n；同理，再以k(t-1)帧为参考帧，搜索与M_n+1最佳匹配的像块，得到运动矢量(i’,j’)，然后以(i’/2,j’/2)作为M_n的运动矢量，以k(t-1)帧为参考帧，对M_n进行后向运动补偿,得到Y_n，最后，再将X_n和Y_n进行平均，即可得到M_n的运动补偿内插值，遍历所有的像块后，获得两个双向的预测结果X_t与Y_t，对他们进行求均值的操作，即生成了当前帧的边信息SI_t。

9.根据权利要求6所述的压缩感知视频传输系统，其特征在于，在所述步骤a中：依据双稀疏字典表示模型，字典训练问题可描述为：

其中，Y表示待训练集，A表示稀疏表示系数，K为稀疏度，EZ表示字典的每个原子可由核心字典E稀疏表示，即D＝EZ，Z为稀疏表示矩阵，表示矩阵的F范数，将上式变形等价为其中E_a代表小波变换基，表示对训练集图像做s级的离散小波变换，通过若干次离散低通和离散高通迭代分解，能够得到b＝3s+1个系数子带，它们分别代表了不同方向尺度的分量，提取这b＝3s+1个子带，每个不同子带的集合将形成字典训练样本集；

在所述步骤b中：从步骤a得到的各系数子带中提取Q_b个块，每个子带集合被分成若干不重叠的块，将它们展开成列向量并依次排列最终形成各自的训练集(E_aY)_b；初始化所有子字典D_b，b＝1,2,…,3s+1，同时对各子带训练集通过OMP算法求稀疏系数矩阵A_b；

在所述步骤C中：对每个子带训练集使用K-SVD算法训练字典，解决算式 $\{D_b,A_b\}=\underset{D_b,A_b}{\arg \min }{\left|\right|{\left(E_{a}Y\right)}_b-D_b{A}_b\left|\right|}_F^2,s.t.\&ForAll;i,{\left|\right|a_{i,b}\left|\right|}_0^0\&le;K,$ 经过不断的迭代得到优化解，每一次迭代更新字典的某项原子，直到满足迭代终止条件迭代结束，最终获得各自子带方向的其中结合了OMP算法得到相应的稀疏表示系数A_b；OMP算法过程为：初始化残差赋值r←(E_aY)_b，索引值集合赋值I_k←A_b，迭代次数t＝1，残差小于阈值m时，寻找最大内积所对应的索引值i；扩充索引值集合：I_k←I_k∪{i}；更新残差和迭代次数：t＝t+1；当残差大过阈值，迭代终止，输出稀疏表示系数A_b与各子带字典

在所述步骤d中：各子带字典依据小波变换的原始系数矩阵排布结构，将各子带字典通过重新排列形成训练后的系数字典D_s，再利用初始训练集Y与重组后的稀疏表示系数A_s，通过解决算式得到重组形成的完整小波域多尺度字典输出该字典。

10.根据权利要求9所述的压缩感知视频传输系统，其特征在于，在所述非关键帧重构模块中，接收到非关键帧压缩结果，结合步骤d中训练的冗余字典通过融入冗余字典的GPSR算法完成对cs帧的重构，主要解决算式：

其中s是当前cs帧的压缩结果。