CN102427527B - 基于分布式视频压缩感知系统非关键帧的重构方法 - Google Patents

Abstract

本发明公开了一种视频编码技术领域基于分布式视频压缩感知系统非关键帧的重构方法，主要解决分布式视频压缩感知系统由于降低采样率而造成的重构质量差的问题。其步骤为：(1)采样压缩；(2)生成边信息帧；(3)构造字典；(4)求稀疏系数；(5)重构图像块；(6)计算方差；(7)判断方差是否小于阈值；(8)更新字典；(9)判断所有块是否完成重构；(10)输出非关键帧。本发明利用视频帧间相关性和相关噪声模型构造更新字典的最大似然函数，通过字典更新和重构，提高了重构图像的质量，使得重构的非关键帧图像更接近原始非关键帧图像。

Description

基于分布式视频压缩感知系统非关键帧的重构方法

技术领域

本发明属于通信技术领域，进一步涉及一种视频编码技术领域中基于分布式视频压缩感知系统非关键帧的重构方法。本发明采用了信号的稀疏表示和信号的稀疏重构方法提高了解码端非关键帧的重构质量，可用于分布式视频压缩感知系统和终端编码设备简单的视频通信系统。

背景技术

在分布式视频压缩感知系统中，将输入视频序列分为关键帧和非关键帧，两者在编码端进行独立编码，解码端联合解码。首先把输入序列分为关键帧和非关键帧，其中关键帧采用以帧为单位的压缩感知采样，得到关键帧的采样值，然后将该采样值直接传输到解码端；而对于非关键帧，先把非关键帧分成若干个不相重叠的图像块，并以图像块为单位的进行压缩感知采样，最后将一帧中所有图像块的采样值一并传输到解码端。解码时，先获得关键帧的采样值，使用离散小波变换(DWT)基作为稀疏基，采用优化算法进行整帧重构；而对于非关键帧，先利用解码出的相邻两帧关键帧，通过运动补偿内插产生边信息，然后借助相邻两关键帧和边信息进行字典训练，用训练得到的稀疏字典得到图像块的稀疏系数，最后恢复出非关键帧的每一个图像块。

一般将分布式视频压缩感知系统分为非关键帧的采样模块，关键帧的采样模块，关键帧的重构模块，边信息生成模块和非关键帧重构模块五个部分。非关键帧的重构模块是分布式视频压缩感知应用的关键，目前采用固定正交基做字典或利用像素域的帧间相关性使用边信息帧和重构的关键帧训练出一个稀疏基做字典，最后使用压缩感知的方式进行稀疏重构，得到重构的非关键帧图像。

北京邮电大学申请的专利“基于压缩感知的分布式信源编码的方法”(申请号：200910242622.4，公布号：101742313)公开的编码方法与分布式视频压缩感知的方法类似，即利用压缩感知技术的优点和视频图像的稀疏特性，将其结合到分布式信源编码的实现过程中，即在分布式信源编码过程的相应操作步骤中，利用压缩感知技术处理视频图像数据和执行对应的恢复处理：用压缩感知操作和压缩感知的稀疏重构分别代替传统信源编码中的数据采样与离散余弦变换操作和离散余弦逆变换以便利用很少的测量数据重构视频图像源。该方法存在的不足是，因为其所采用的稀疏重构方法，采用固定正交基做字典，通常情况下自然信号在这种字典下是稀疏的，但这种字典的构造过程独立于原始信号，重构出的稀疏系数的并不是最佳的稀疏，导致重构的非关键帧图像与原始的非关键帧图像偏离。

西安电子科技大学拥有的专利“利用稀疏表示与字典学习进行图像分割的方法”(申请号：201110059196.8，公布号：102096819)公开了一种利用稀疏表示与字典学习进行图像分割的方法，它采用了与压缩感知类似的稀疏重构算法，主要解决在不需要样本标签的情况下图像分割结果不稳定的问题。其基本思想是先利用图像的灰度共生特征和小波特征进行K均值聚类得到K类特征点，用K-SVD方法得到K类特征点所对应的K个字典，然后利用优化算法得到所有特征在K个字典上的稀疏系数，最后对所有特征进行重构，对比重构误差的大小，将特征对应的点划分到字典误差最小的类别中。该方法存在的不足在于其所使用的重构方法，将更新字典过程独立于稀疏重构过程，字典的更新没有到考虑稀疏重构的要求，这样稀疏重构过程得到的稀疏系数不一定具有足够的稀疏性，导致图像的重构质量不高。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于分布式视频压缩感知系统非关键帧的重构方法。本发明主要是利用视频帧的帧间相关性和相关噪声模型构造出稀疏字典的最大似然函数，利用该似然函数交替进行稀疏重构和字典更新，得到视频帧最佳稀疏表示的冗余字典以及重构图像在该字典下的稀疏系数。本发明在构造最大似然函数时，添加了原始非关键帧的信息，保证稀疏系数足够的稀疏，提高了重构的质量。

实现本发明目的的基本思路：首先，从生成边信息帧模块获取边信息帧用于构造初始字典；然后，结合编码端非关键帧测量值和测量矩阵，进行基于最大似然函数的稀疏重构和字典更新的循环；最后，当满足稀疏性和误差判断准则时停止循环，得到重构的非关键帧图像块，实现了对非关键帧的重构。

为实现本发明目的具体步骤如下：

(1)采样压缩：采用基于块的压缩测量方法对拟采样的非关键帧采样，得到非关键帧的采样值矩阵；

(2)生成边信息帧：采用帧间内插法，将非关键帧相邻两个重构的关键帧生成边信息帧；

(3)构造字典

3a)将边信息帧分成与拟重构方形图像块大小相同、互不重叠的子块；

3b)在边信息帧中，以拟重构方形图像块对应的子块为中心向四周扩大K排像素，形成一个扩大块，提取扩大块中与子块大小相同、有重叠的所有方形图像块；

3c)将提取的方形图像块分别用列向量表示；

3d)将所有列向量作为字典矩阵的列向量，得到拟重构方形图像块的初始字典矩阵；

(4)采用下式求解稀疏系数：

x^*＝arg min_x{E(D^*，x)}

其中，x^*为稀疏系数向量；

arg min_x{}为使大括号中目标函数最小化的x取值；

E(D^*，x)为能量函数；

D^*为当前字典矩阵；

(5)重构图像块

将字典矩阵与稀疏系数向量的乘积向量转变为方形图像块，得到重构的方形图像块；

(6)计算方差

6a)将本次重构的方形图像块与上次重构的方形图像块对应像素相减，获得差值矩阵；若第一次重构，则重构的方形图像块与边信息帧中拟重构方形图像块对应子块的对应像素相减，获得差值矩阵；

6b)差值矩阵中每个元素减去矩阵中所有元素的平均值，获得一个矩阵，对获得矩阵中所有元素的平方求均值，得到重构方差；

(7)判断方差是否小于阈值

若重构方差小于误差阈值，则执行步骤(9)；否则执行步骤(8)；

(8)更新字典

8a)采用下式计算能量函数的梯度矩阵：

$\▿E=\frac{\∂E(D,x)}{\∂D}{|}_{D=D^{*},x=x^{*}}$

其中，

为能量函数的梯度矩阵；

为能量函数关于D的一阶偏导；

E(D，x)为D和x的能量函数；

D为与字典矩阵相同大小的未知矩阵；

x为与稀疏系数向量相同大小的未知向量；

D^*为当前字典矩阵；

x^*为稀疏系数向量；

8b)采用下式更新字典：

$D_{\mathrm{new}}=D^{*}-\mathrm{\λ}\▿E$

其中，D_new为更新后的字典矩阵；

D^*为当前字典矩阵；

λ为正则化因子；

为能量函数的梯度矩阵；

8c)将更新后的字典矩阵作为当前字典矩阵，执行步骤(4)；

(9)判断所有块是否完成重构

若完成重构方形图像块的个数与非关键帧采样值矩阵的总列数相等，则执行步骤(10)；否则，执行步骤(3)；

(10)输出非关键帧

将重构的各个方形图像块按照从上到下、从左到右的顺序组合为一帧，得到重构的非关键帧。

与现有技术相比，本发明具有如下优点：

第一，本发明采用最大似然函数的字典更新方法，利用信号的先验信息更新字典，使信号在字典下获得最佳稀疏系数，克服了现有技术重构过程缺少原始帧信息的缺点，使得本发明具有重构的非关键帧图像更接近原始非关键帧图像的优点。

第二，本发明将更新字典和稀疏重构作为一个整体考虑，一方面稀疏重构为更新字典提供方向，另一方面更新字典为方形图像块提供更加稀疏的表示方法，克服了现有技术将两个过程单独处理时稀疏系数不够稀疏的缺点，使得本发明具有重构质量高的优点。

附图说明

图1是本发明基于分布式视频压缩感知系统非关键帧的重构方法的流程图；

图2是本发明方法和现有技术非关键帧的重构性能对比图(foreman序列)。

具体实施方式

下面结合图1对本发明作进一步的详细描述：

(1)采样压缩

采样传感器将拟采样的非关键帧分成大小相同、互不重叠的方形图像块。本发明的实施例是将拟采样的非关键帧分成99个大小为16×16、互不重叠的方形图像块。分别用列向量表示各个方形图像块。将采样传感器自带的测量矩阵与每一个方形图像块的列向量分别相乘，得到各个方形图像块的测量值向量。本发明的实施例是根据非关键帧采样率R_nk要求，采用行数为R_nk×256、列数为256的随机测量矩阵Φ。按方形图像块在非关键帧中从上到下、从左到右的依次顺序，将各个测量值向量分别作为非关键帧采样值矩阵的一个列向量，得到了非关键帧的采样值矩阵。

(2)生成边信息帧

采用帧间内插法，利用非关键帧相邻两个重构的关键帧生成边信息帧。本发明实施例采用的帧间内插法是对相邻的两个重构关键帧进行前向运动估计、双向运动估计和运动平滑获得运动域信息，将运动域信息通过双向运动补偿内插生成边信息帧。

(3)构造字典

将边信息帧分成与拟重构方形图像块大小相同、互不重叠的子块。在边信息帧中，以拟重构方形图像块对应的子块为中心向四周扩大K排像素，K的取值范围为4～64，形成一个扩大块，提取扩大块中与子块大小相同、有重叠的所有方形图像块。本发明的实施例以拟重构方形图像块I_i对应的子块为中心向左边、上边扩大8排像素向右边、下边扩大7排像素，形成一个16×16扩大块，提取扩大块中与子块大小相同、有重叠的256个方形图像块。将以列向量表达的方形图像块作为字典矩阵的列向量，得到拟重构方形图像块的初始字典矩阵。本发明的实施例构造的初始字典矩阵大小为256×256。

(4)求稀疏系数

求解下面的无约束优化问题，得到稀疏系数：

x^*＝arg min_x{E(D^*，x)}

其中，x^*为稀疏系数向量；

arg min_x{}为使大括号中目标函数最小化的x取值；

D^*为当前字典矩阵；

E(D^*，x)为能量函数。

能量函数是根据等效简化字典更新的最大似然函数得到的，当关键帧采样率大于0.3时：

$E(D,x)=\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|y-\mathrm{\ΦDx}\left|\right|}_2^2+\mathrm{\α}{\left|\right|\mathrm{Dx}-f_{\mathrm{SI}}\left|\right|}_1+\mathrm{\β}+{\left|\right|x\left|\right|}_1$

当关键帧采样率小于等于0.3时：

$E(D,x)=\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|y-\mathrm{\ΦDx}\left|\right|}_2^2+\mathrm{\α}{\left|\right|\mathrm{Dx}-f_{\mathrm{SI}}\left|\right|}_2+\mathrm{\β}+{\left|\right|x\left|\right|}_1$

其中，E(D，x)为D和x的能量函数；

D为与字典矩阵相同大小的未知矩阵；

x为与稀疏系数向量相同大小的未知向量；

σ²为压缩测量值与重构的压缩测量值噪声的方差；

y为拟重构图像块的测量向量；

Φ为采样压缩使用的测量矩阵；

|| ||₂为2范数；

为2范数的平方；

α、β为加权系数；

|| ||₁为1范数；

f_SI为边信息帧对应子块的列向量。

(5)重构图像块

将字典矩阵D^*与稀疏系数向量x^*的乘积向量转变为方形图像块，得到重构的方形图像块I_i。

(6)计算方差

将本次重构的方形图像块与上次重构的方形图像块对应像素相减，获得得差值矩阵；若第一次重构，则本次重构的方形图像块与边信息帧中拟重构方形图像块对应子块的对应像素相减，获得差值矩阵；差值矩阵中每个元素减去矩阵中所有元素的平均值，获得一个矩阵，对获得矩阵中所有元素的平方求均值，得到重构方差。

(7)判断方差是否小于阈值

若重构方差小于误差阈值，则执行步骤(9)；否则，执行步骤(8)。误差阈值依据期望得到的重构质量设定，误差阈值的范围为100～400。

(8)更新字典

采用下式计算能量函数的梯度矩阵：

$\▿E=\frac{\∂E(D,x)}{\∂D}{|}_{D=D^{*},x=x^{*}}$

其中，

为能量函数的梯度矩阵；

为能量函数关于D的一阶偏导；

E(，x)为关于D和x的能量函数；

D为与字典矩阵相同大小的未知矩阵；

x为与稀疏系数向量相同大小的未知向量；

D^*为当前字典矩阵；

x^*为稀疏系数向量。

利用上面得到的能量函数的梯度矩阵，采用下式更新字典：

$D_{\mathrm{new}}=D^{*}-\mathrm{\λ}\▿E$

其中，D_new为更新后的字典矩阵；

D^*为当前字典矩阵；

λ为正则化因子；

为能量函数的梯度矩阵。

将更新后的字典矩阵作为当前字典矩阵，D^*＝D_new，执行步骤(4)。

(9)判断所有块是否完成重构

若完成重构方形图像块的个数与非关键帧采样值矩阵的总列数相等，则执行步骤(10)；否则，i＝i+1，执行步骤(3)；

(10)输出非关键帧

将重构的各个方形图像块按照从上到下、从左到右的顺序组合为一帧，得到重构的非关键帧。

下面结合附图2对本发明的效果做进一步说明：

将本发明方法与现有技术基于K-SVD字典学习的重构方法非关键帧的重构性能对比得到图2，其中，硬件环境：CPU AMD Sempron 3000+，1.8GHz，512MB内存；GOP结构：关键帧，非关键帧，关键帧，非关键帧，…；图像块尺寸：16×16；参考序列：Foreman；测试序列的帧数：序列中的所有非关键帧；分辨率：176×144；字典大小：256×256。采用凸优化工具箱(CVX toolbox，Michael Grant and Stephen Boyd，Stanford)求解稀疏系数。

图2是本发明方法与现有技术非关键帧的重构性能对比图，横轴表示非关键帧的序列数，纵轴表示衡量重构非关键帧客观质量的峰值信噪比。图中方块点划线是采用基于K-SVD字典学习的重构方法重构各个非关键帧的峰值信噪比连线，每一方块点对应于一个重构非关键帧的峰值信噪比；菱形点划线是采用去字典更新的方法重构各个非关键帧的峰值信噪比连线，每一个菱形点对应一个重构非关键帧的峰值信噪比，其中，去字典更新的方法采用本发明的方法构造字典和稀疏编码，而后直接进行重构，相对本发明无更新字典的循环；实心圆点划线是采用本发明方法重构各个非关键帧的峰值信噪比连线，每一个实心圆点对应一个重构非关键帧的峰值信噪比。图中的三种方法都是在关键帧采样率R_k＝0.5和非关键帧的采样率R_nk＝0.1时对Foreman序列各个非关键帧的重构性能更新对比图。

从图2可以看出，本发明方法相对于现有技术基于K-SVD字典学习的重构方法，峰值信噪比平均提高了4～5dB；相对于去字典更新的方法，峰值信噪比平均提高了1～2dB。

下面结合下表对本发明的效果做进一步说明：

将本发明与现有技术基于K-SVD字典学习的重构方法在不同采样率下的平均重构性能对比得到下表。其中，硬件环境：CPU AMD Sempron 3000+，1.8GHz，512MB内存；GOP结构：关键帧，非关键帧，关键帧，非关键帧…；图像块尺寸：16×16；参考序列：Foreman；测试序列的帧数：序列中的所有帧；分辨率：176×144；字典大小：256×256。本发明实施例中，求解稀疏系数时采用凸优化工具箱(CVX toolbox，Michael Grant and Stephen Boyd，Stanford)。

下表中的PSNR表示包括关键帧在内所有帧重构的峰值性噪比的平均值，PSNR_nk表示所有非关键帧重构的峰值信噪比的平均值，R_k表示关键帧的采样率，R_nk表示非关键帧的采样率。由下表可以看出，在关键帧的采样率较低时(R_k≤0.3)，本发明方法相对于基于K-SVD字典学习的重构方法，重构非关键帧峰值信噪比的平均值提高了1～2.1dB；相对于去字典更新的方法，重构非关键帧峰值信噪比的平均值提高了0.3～0.5dB。当关键帧的采样率较高时(R_k＞0.3)，本发明方法相对于基于K-SVD字典学习的重构方法，重构非关键帧峰值信噪比的平均值提高了3～5dB；相对于去字典更新的方法，重构非关键帧峰值信噪比的平均值提高了0.5～1dB。

上述图2和表格进一步验证了本发明提出的基于分布式视频压缩感知系统非关键帧的重构方法，与现有技术基于K-SVD字典学习的算法相比，提高了重构质量，特别是在关键帧采样率较高时，重构质量改善明显。

Claims (5)

1.一种基于分布式视频压缩感知系统非关键帧的重构方法，包括以下步骤：

(1)采样压缩：采用基于块的压缩测量方法对拟采样的非关键帧采样，得到非关键帧的采样值矩阵；

(2)生成边信息帧：采用帧间内插法，将非关键帧相邻两个重构的关键帧生成边信息帧；

(3)构造字典：

3a)将边信息帧分成与拟重构方形图像块大小相同、互不重叠的子块；

3b)在边信息帧中，以拟重构方形图像块对应的子块为中心向四周扩大K排像素，形成一个扩大块，提取扩大块中与子块大小相同、有重叠的所有方形图像块；K的取值范围为4～64；

3c)将提取的方形图像块分别用列向量表示；

3d)将所有列向量作为字典矩阵的列向量，得到拟重构方形图像块的初始字典矩阵；

(4)采用下式求解稀疏系数：

x^*＝argmin_x{E(D^*，x)}

其中，x^*为稀疏系数向量；

argmin_x{}为使大括号中目标函数最小化的x取值；

E(D^*，x)为能量函数；

D^*为当前字典矩阵；

(5)重构图像块：

将字典矩阵与稀疏系数向量的乘积向量转变为方形图像块，得到重构的方形图像块；

(6)计算方差：

6a)将本次重构的方形图像块与上次重构的方形图像块对应像素相减，获得差值矩阵；若第一次重构，则重构的方形图像块与边信息帧中拟重构方形图像块对应子块的对应像素相减，获得差值矩阵；

6b)差值矩阵中每个元素减去矩阵中所有元素的平均值，获得一个矩阵，对获得矩阵中所有元素的平方求均值，得到重构方差；

(7)判断方差是否小于阈值：

若重构方差小于误差阈值，则执行步骤(9)；否则执行步骤(8)；

(8)更新字典：

8a)采用下式计算能量函数的梯度矩阵：

$\▿E=\frac{\∂E(D,x)}{\∂D}{|}_{D=D^{*},x=x^{*}}$

其中，

为能量函数的梯度矩阵；

为能量函数关于D的一阶偏导；

E(D，x)为D和x的能量函数；

D为与字典矩阵相同大小的未知矩阵；

x为与稀疏系数向量相同大小的未知向量；

D^*为当前字典矩阵；

x^*为稀疏系数向量；

8b)采用下式更新字典：

$D_{\mathrm{new}}=D^{*}-\mathrm{\λ}\▿E$

其中，D_new为更新后的字典矩阵；

D^*为当前字典矩阵；

λ为正则化因子；

为能量函数的梯度矩阵；

8c)将更新后的字典矩阵作为当前字典矩阵，执行步骤(4)；

(9)判断所有块是否完成重构：

若完成重构方形图像块的个数与非关键帧采样值矩阵的总列数相等，则执行步骤(10)；否则，执行步骤(3)；

(10)输出非关键帧：

将重构的各个方形图像块按照从上到下、从左到右的顺序组合为一帧，得到重构的非关键帧。

2.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于：步骤(1)所述基于块的压缩测量方法的步骤如下：

第1步，将拟采样的非关键帧分成大小相同、互不重叠的方形图像块；

第2步，分别用列向量表示各个方形图像块；

第3步，将采样传感器自带的测量矩阵与每一个方形图像块的列向量分别相乘，得到各个方形图像块的测量值向量；

第4步，按方形图像块在非关键帧中从上到下、从左到右的依次顺序，将各个测量值向量分别作为非关键帧采样值矩阵的一个列向量，得到了非关键帧的采样值矩阵。

3.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于：步骤(2)所述的帧间内插法是对相邻的两个重构关键帧进行前向运动估计、双向运动估计和运动平滑获得运动域信息，将运动域信息通过双向运动补偿内插生成边信息帧。

4.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于：步骤(7)所述的误差阈值，依据期望得到的重构质量设定，误差阈值的范围为100～400。

5.根据权利要求1所述的基于分布式视频压缩感知系统非关键帧的重构方法，其特征在于：步骤(4)和步骤(8)所述的能量函数与关键帧采样率大小有关：

当关键帧采样率大于0.3时：

$E(D,x)=\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|y-\mathrm{\ΦDx}\left|\right|}_2^2+\mathrm{\α}{\left|\right|\mathrm{Dx}-f_{\mathrm{SI}}\left|\right|}_1+\mathrm{\β}{\left|\right|x\left|\right|}_1$

当关键帧采样率小于等于0.3时：

$E(D,x)=\frac{1}{2{\mathrm{\σ}}^2}{\left|\right|y-\mathrm{\ΦDx}\left|\right|}_2^2+\mathrm{\α}{\left|\right|\mathrm{Dx}-f_{\mathrm{SI}}\left|\right|}_2+\mathrm{\β}{\left|\right|x\left|\right|}_1$

其中，E(D，x)为D和x的能量函数；

D为与字典矩阵相同大小的未知矩阵；

x为与稀疏系数向量相同大小的未知向量；

σ²为压缩测量值与重构的压缩测量值噪声的方差；

y为拟重构图像块的测量向量；

Φ为采样压缩使用的测量矩阵；

|| ||₂为2范数；

为2范数的平方；

α、β为加权系数；

|| ||₁为1范数；

f_SI为边信息帧对应子块的列向量。

Images