CN105554502A - 基于前景背景分离的分布式压缩感知视频编解码方法 - Google Patents

Abstract

本发明涉及一种基于前景背景分离的分布式压缩感知视频编解码方法：根据重构精度和实时性的要求，将视频按照帧序分为关键帧，即I帧，和非关键帧，即P帧；对于I帧，选择适当的观测矩阵对其进行测量；对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测量，使用差分完成背景和前景的分离，在编码端引入解码模式判断，将一个GOP中P帧的解码模式分为跳帧模式SKIP、普通模式NORMAL和字典学习模式DL三种模式，再使用相同的观测矩阵对差值进行测量。本发明可以降低编码端复杂度。

Description

基于前景背景分离的分布式压缩感知视频编解码方法

技术领域

本发明属于分布式视频编码技术领域，尤其涉及基于前景背景分离的分布式压缩感知视频编解码。

背景技术

传统的视频编码算法在编码端进行运动估计、运动补偿，在编码端有复杂的计算，因此导致了编码端复杂度高，不适用于低复杂度的系统要求，因此传统的基于H.264/AVC的视频编码方案在编码端采用了复杂的运动补偿预测编码技术导致编码端具有很高的复杂度，难以满足无线视频监控网络、移动网络视频通信等领域对编码端低功耗低复杂度的要求。因此为了适用于低复杂度的视频系统的要求，采用分布式的压缩感知进行降采样，从而降低编码端的复杂度。

传统的信号数据采集压缩过程要遵循奈奎斯特(Nyquist)采样定理，又称为香农(Shannon)采样定理，即欲不失真地恢复出原始信号，信号的采样频率应当至少等于频谱中最高频率的2倍。在此前诸多年间，此理论支配着所有图像和视频信号的获取、存储、压缩及传输。然而，在许多实际应用中，如无线多媒体传感器网络(WirelessMultimediaSensorNetworks，简称WMSNs)，将Nyquist采样定理应用于编码端，会因其复杂度高而致使系统的硬件成本过高，而数据采集效率很低，采样资源造成大量采样资源的浪费。因此，如何简单高效的进行数据采集与压缩处理就成为一个重要的研究方向。

单纯的压缩感知视频编解码可以降低编码端的复杂度，但是这种算法需要对每个视频帧进行信源编码。

发明内容

本发明的目的是克服现有技术的上述不足，提供一种可以降低编码端复杂度的视频编解码方法。本发明的技术方案如下：

一种基于前景背景分离的分布式压缩感知视频编解码方法，包括下列两个方面：

(1)在编码端，根据重构精度和实时性的要求，将视频按照帧序分为关键帧，即I帧，和非关键帧，即P帧，每两帧组成一图像组GOP；对于I帧，选择适当的观测矩阵对其进行测量；对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测量，使用差分完成背景和前景的分离，设P帧与I帧的差值为d_v，在编码端引入解码模式判断，判断依据为d_v的均方误差值MSE，根据MSE的值将一个GOP中P帧的解码模式分为跳帧模式SKIP、普通模式NORMAL和字典学习模式DL三种模式，若MSE小于阈值下限，则判定这两帧非常相似，该P帧无需重构，可直接使用I帧重构结果作为其重构结果；若MSE在阈值范围内，则直接对I帧和P帧的前景分别进行重构；若MSE大于阈值上限，表明这两帧差别很大，应更新稀疏字典以适应新的场景，解码端在完成此GOP内I帧的重构后用字典学习算法更新当前稀疏字典；

(2)在解码端，首先根据编码端发送的判断信号确定解码模式，之后对该GOP的两帧进行相应的解码操作，具体的解码操作为：若为跳帧模式，则只重构I帧，P帧用I帧重构结果替代；若为普通模式，I帧和差值分别进行重构，再通过图像重组得到P帧的重构结果；若为字典学习模式，则先按照普通模式的步骤进行重构，再根据I帧的重构结果进行字典更新，并将更新后的稀疏字典应用于P帧和下一个I帧的重构中，最后按照帧序和帧率输出重构视频流。

作为优选实施方式，在DL模式中，对每帧均采用分块压缩感知，即先将图像信号X分为N个b×b的不重叠块b_i,i＝1,2,......N，再将每个块b_i看作一个长度为N_b＝b×b的列向量，至此，图像信号X被转化为N_b×N的矩阵，对其进行差分分离和判断，并进行观测，最后将测量信号和模式判断信号传给解码端。

本发明的有益效果如下：

第一，通过上述描述的基于前景背景分离的分布式压缩感知，在编码端将视频帧分为两类，对关键帧采用高的采样率，非关键帧采用低的采样率，降低了编码端的复杂度。

第二，上述描述的视算法采用前景背景分离，降低了编码端复杂度，同时采用压缩感知算法，在低采样率的情况下具有较高的重构质量。

附图说明

图1本发明的编解码流程。

具体实施方式

结合附图对本发明作更详细的说明。

如图1所示的基于前景背景分离的分布式压缩感知算法的编解码过程如下：

在编码端，根据重构精度和实时性的要求，将视频按照帧序分为关键帧(I帧)和非关键帧(P帧)。本模型中，每两帧组成一图像组，即GOP为2，其中奇数帧为I帧，紧随其后的偶数帧为P帧。对于I帧，选择适当的观测矩阵，如局部哈达玛矩阵SBHE，对其进行测量。对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测量。这里使用差分完成背景和前景的分离，如(1)所示。

d_v＝X_P-X_I(1)

一般的，d_v大于等于设定的阈值T则为前景，d_v小于设定的阈值T则为背景。为了更大程度的降低信道传输数据量和编解码复杂度，提高视频解码精度，本模型在编码端引入解码模式判断，判断依据为d_v的均方误差值(MeanSquaredError，简称MSE)，根据MSE的值将一个GOP中P帧的解码模式分为SKIP(跳帧模式)、NORMAL(普通模式)和DL(字典学习模式)三种模式。若MSE小于阈值下限，则判定这两帧非常相似，该P帧无需重构，可直接使用I帧重构结果作为其重构结果；若MSE在阈值范围内，则直接对I帧和P帧的前景分别进行重构；若MSE大于阈值上限，表明这两帧差别很大，其拍摄场景或对象发生了较大改变，应更新稀疏字典以适应新的场景，因此解码端在完成此GOP内I帧的重构后用字典学习算法更新当前稀疏字典。

在DL模式中，对每帧均采用分块压缩感知。即先将图像信号X分为N个b×b的不重叠块b_i,i＝1,2,......N，再将每个块b_i看作一个长度为N_b＝b×b的列向量，至此，图像信号X被转化为N_b×N的矩阵。对其进行差分分离和判断，并根据Y＝ΦX对其进行观测，最后将测量信号和模式判断信号传给解码端。

测量矩阵Φ采用SBHE。SBHE具有以下五个优点：接近最优的性能、计算速度快、和大多数现有的稀疏字典Ψ不相关、高效存储和方便硬件实现。因此，使用SBHE作为测量矩阵Φ可有效降低编码端所需内存，提高系统的编码效率。Φ的计算式为：

Φ＝Q_MWP_N(2)

式中：W为一个N×N块对角阵；W_B表示b×b的哈达玛矩阵；P_N是一个随机算子，对W的N列随机重新排序；Q_M是另一个算子，其作用为随机地从WP_N中挑出M行。这种块对角矩阵W能快速并行计算，复杂度为O(Nlogb)，并且只需很小的存储单元。

和编码端相比，解码端的复杂度较高。首先根据编码端发送的判断信号确定解码模式，之后对该GOP的两帧进行相应的解码操作。具体的解码操作为：若为跳帧模式，则只重构I帧，P帧用I帧重构结果替代；若为普通模式，I帧和P帧的前景分别进行重构，再通过图像重组得到P帧的重构结果；若为字典学习模式，则先按照普通模式的步骤进行重构，再根据I帧的重构结果进行字典更新，并将更新后的稀疏字典应用于P帧和下一个I帧的重构中。最后按照帧序和帧率输出重构视频流。

Claims (2)

1.一种基于前景背景分离的分布式压缩感知视频编解码方法，包括下列两个方面：

(1)在编码端，根据重构精度和实时性的要求，将视频按照帧序分为关键帧，即I帧，和非关键帧，即P帧，每两帧组成一图像组GOP；对于I帧，选择适当的观测矩阵对其进行测量；对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测量，使用差分完成背景和前景的分离，设P帧与I帧的差值为d_v，在编码端引入解码模式判断，判断依据为d_v的均方误差值MSE，根据MSE的值将一个GOP中P帧的解码模式分为跳帧模式SKIP、普通模式NORMAL和字典学习模式DL三种模式，若MSE小于阈值下限，则判定这两帧非常相似，该P帧无需重构，可直接使用I帧重构结果作为其重构结果；若MSE在阈值范围内，则直接对I帧和P帧的前景分别进行重构；若MSE大于阈值上限，表明这两帧差别很大，应更新稀疏字典以适应新的场景，解码端在完成此GOP内I帧的重构后用字典学习算法更新当前稀疏字典；

(2)在解码端，首先根据编码端发送的判断信号确定解码模式，之后对该GOP的两帧进行相应的解码操作，具体的解码操作为：若为跳帧模式，则只重构I帧，P帧用I帧重构结果替代；若为普通模式，I帧和差值分别进行重构，再通过图像重组得到P帧的重构结果；若为字典学习模式，则先按照普通模式的步骤进行重构，再根据I帧的重构结果进行字典更新，并将更新后的稀疏字典应用于P帧和下一个I帧的重构中，最后按照帧序和帧率输出重构视频流。

2.根据权利要求1所述的分布式压缩感知视频编解码方法，其特征在于，在DL模式中，对每帧均采用分块压缩感知，即先将图像信号X分为N个b×b的不重叠块b_i,i＝1,2,......N，再将每个块b_i看作一个长度为N_b＝b×b的列向量，至此，图像信号X被转化为N_b×N的矩阵，对其进行差分分离和判断，并进行观测，最后将测量信号和模式判断信号传给解码端。