CN102630011A - 一种视频传感器网络中的压缩感知编解码方法及系统 - Google Patents

Abstract

本发明公开了一种视频传感器网络中的压缩感知编解码方法及系统，可在实现较高压缩率的同时获得较好的重构效果，该方法包括：对原始视频帧进行自适应分组；对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；对观测矢量矩阵进行压缩感知解码重构。本发明结合压缩感知技术进行测量，重构性能得到了大大提高。

Description

一种视频传感器网络中的压缩感知编解码方法及系统

技术领域

本发明涉及到对视频传感器网络中的视频帧进行压缩感知编解码方法及系统，属于视频传感器网络中网内信息处理技术领域。

背景技术

视频传感器网络(Video Sensor Network)是由一组具有计算、存储和通信能力的视频传感器节点组成的分布式感知网络。视频传感器网络采集到的信息，无论是静态的图像还是动态的视频流，都具有很大冗余性和时空相关性，大量冗余数据在网络中传输势必会造成网络资源的严重消耗。而视频传感器节点的计算处理能力及通信带宽也普遍受限，因此在视频传感器网络信息获取、传输中采用有效的网内信息处理技术完成媒体信息压缩编码、特征提取、目标识别以及信息融合等处理，并结合数据同步及任务协同处理，可以减少网络业务流量、提高网络处理及响应速度，进而增强整个视频传感器网络监测能力。

发明内容

为在实现较高压缩率的同时获得较好的重构效果，本发明提出了一种基于自适应分组的压缩感知编解码方法，采用压缩感知技术对视频传感器节点所采集的视频帧进行编解码。

本发明首先提供了一种视频传感器网络中的压缩感知编解码方法，包括：

对原始视频帧进行自适应分组；

对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；

对观测矢量矩阵进行压缩感知解码重构。

其中，对原始视频帧进行自适应分组的步骤，包括：

对所述原始视频帧进行基本分组，标定每个分组的首帧为关键帧，其余为非关键帧；

利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，在列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。

其中，对分组所得的视频帧组进行压缩感知编码测量的步骤，包括：

在每个视频帧组内，采用非关键帧对关键帧进行差值处理得到差值矩阵，再对所得的差值矩阵进行压缩感知编码测量。

其中，对分组所得的视频帧组进行压缩感知编码测量的步骤，包括：

采用分块压缩感知技术对分组所得的视频帧组进行压缩感知编码测量。

其中，对观测矢量矩阵进行压缩感知解码重构的步骤，包括：

采用梯度投影重构算法对观测矢量矩阵进行压缩感知解码重构。

本发明还提供了一种视频传感器网络中的压缩感知编解码系统，包括：

自适应分组模块，用于对原始视频帧进行自适应分组；

感知编码测量模块，用于对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；

重构模块，用于对观测矢量矩阵进行压缩感知解码重构。

其中，自适应分组模块包括：

基本分组模块，用于对所述原始视频帧进行基本分组，标定每个分组的首帧为关键帧，其余为非关键帧；

替换模块，用于利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，在列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。

其中，感知编码测量模块用于在每个视频帧组内，采用非关键帧对关键帧进行差值处理得到差值矩阵，再对所得的差值矩阵进行压缩感知编码测量。

其中，感知编码测量模块用于采用分块压缩感知技术对分组所得的视频帧组进行压缩感知编码测量。

其中，重构模块用于采用梯度投影重构算法对观测矢量矩阵进行压缩感知解码重构。

(1)本发明的实施例中，视频帧分组方法采用的是自适应图像分组，通过设定动态阈值T来自适应调整图像组，达到了能够根据场景变换来动态改变分组大小的目的，较之单独使用传统的基本分组更为灵活，能够实现分组的多样性，进而实现更高的稀疏性，弥补单独使用基本分组的不足。最终的重构效果有效关键信息得到了良好的保存，信息的边缘纹理也清晰可见，其峰值信噪比质量得以大大改善。

(2)本发明压缩感知编码处理部分采用的是分块压缩感知技术，降低了编码端的运算复杂度、加快了编码端的运算速度，且易于实现，保证了对压缩感知理论的有效利用。压缩感知解码重构部分采用的是梯度投影算法重构技术，也能够加速算法的收敛速度，在保证了良好的视频重构效果的同时，也避免了解码端复杂度急剧增加的问题，同时整个系统也具有非常高的鲁棒性，具有较好的应用价值。

附图说明：

图1是典型视频传感器网络结构图。

图2是本发明实施例的视频传感器网络中的压缩感知的编解码方法的流程示意图。

图3是图2所示实施例中对原始视频帧进行自适应分组处理的流程示意图。

图4是本发明实施例中运用压缩感知编解码处理的流程示意图。

图5(a)是采用本发明方法实施例对hall序列进行重构后各帧峰值信噪比的比较示意图。

图5(b)是采用本发明方法实施例对foreman序列进行重构后各帧峰值信噪比的比较示意图。

图6是本发明实施例本发明实施例的视频传感器网络中的压缩感知编解码系统的结构示意图。

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

压缩感知(Compressive Sensing，CS)技术能够以较少的测量信号精确重构被测量的信号(但该信号必须是稀疏的或在某个变换域中为稀疏形式)。在视频传感器网络领域，压缩感知技术的应用还比较少，目前主要集中在利用压缩感知技术对单个视频传感器节点的数据进行单独压缩测量，然后在解码端进行数据重构。然而这种方法并未考虑节点所采集的信息间的时空相关性。

要运用压缩感知技术进行处理的一个关键点，就是信号必须是稀疏的或在某个变换域中为稀疏形式，因此如何进行稀疏化处理成为压缩感知技术是否切实可行的重要关键因素之一。目前稀疏化处理的技术普遍用的比较多的是差值化处理，这就存在关键帧如何选取的问题，关键帧选取的好坏，直接影响到整体视频帧的最终重构效果，因此选取关键帧十分重要。

现有的选取关键帧的方法中，较常用的方法是首先对所有原始视频帧进行自适应分组，然后选取每一个分组中的首帧(第一帧)作为关键帧。此种方法可以实现较高的压缩率，但应用范围十分有限，只能适用于静态场景或者动态变换不大场景。其最终的重构效果不太理想。

分组方法的提出，在一定程度上弥补了这个适用场景的局限，目前的分组主要是基本分组，即分组情况单调固定，缺乏灵活变换性，一旦分组组数确定，分组中的每一个图像组(GOP，Group ofPictures)所含的视频帧数就确定了，其最终效果还存在很大的改善空间。

图1给出了本发明的一个典型视频传感器网络结构示意图，视频传感器节点(图中仅示例N1、N2和N3)都配备了符合要求的的相机摄像头及传感发送模块，基站为具有较高处理能力、资源充足的设备。视频传感器节点通过无线或有线的方式和基站进行通信。

如图2所示，本发明实施例的视频传感器网络中的压缩感知编解码方法主要包括如下步骤：

步骤21，对原始视频帧进行自适应分组处理，得到多个GOP。

步骤22，以GOP为处理对象，对每个GOP进行压缩感知编码测量，得到每一个GOP的观测矢量矩阵。

步骤23，通过无线网络或者因特网等将观测矢量矩阵传输到基站的解码端进行压缩感知解码重构。

步骤24，在基站(或者控制中心等)得到完整的恢复视频帧。

如图3所示，上述步骤21中对视频传感器节点采集到的原始视频帧进行自适应分组处理时，把原始视频帧通过自适应分组分离器自适应地分离成多个GOP(GOP1，GOP2，GOP 3，GOP4，......)。这一自适应分组过程主要包括基本分组以及在基本分组基础上通过阈值进行的动态分组两部分。

对原始视频进行基本分组时，标定每分组的首帧作为关键帧，剩下的非关键帧，在每一个基本分组中，利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，对列向量均值之和与预设的阈值进行比较，列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。然后根据每个分组中的关键帧和非关键帧对所得到的差值矩阵进行压缩感知编码测量编码，其编码值通过网络传输到解码端(位于基站)进行压缩感知解码重构。

自适应分组是在基本分组的基础上通过设定动态阈值T来自适应调整GOP分组的，本发明中动态阈值T是对差值矩阵中的所有列向量均值求和，

以每一分组为基本处理单元，不断更新阈值T的值来改变分组组数，首先不妨设定门限阈值T＝0，只要之后门限阈值T有更新并且超出规定的范围，则就可以判断视频场景有变换，之后重新标定每组的首帧作为关键帧(KEY帧)，剩下的为非关键帧(WZ帧)，直到下一个场景变换时，再重新定义KEY帧和WZ帧，不断反复循环该步骤直到标定结束，最后对不同的帧进行后期压缩感知编解码处理，值得注意的是在同一组内，进行压缩感知处理的过程和标定KEY帧和WZ帧的过程是同时进行的。

设定门限阈值T的主要目的是为了确定关键帧的位置，只要关键帧的位置确定好了，其他的非关键帧就自然确定下来了，由于用此方法设定的门限阈值T具有动态性，因此关键帧也能够随着场景变换程度而动态确定的，这样就使得分组具有场景变换灵活性了。

对原始视频帧进行自适应分组处理的算法流程描述如下：

第一步：初始化，令i＝1，

GOP＝5，T＝0，

一般的T∈[0，100]；

第二步：取差值之和， $\mathrm{\Δ}{x}^{\left(i\right)}=|x_t^{\left(i\right)}-x_{\mathrm{key}}^{\left(i\right)}|,$ $a=\mathrm{\Σ\Δ}{x}_t^{\left(i\right)};$

压缩感知编码测量，y＝Φ·Δx⁽ⁱ⁾＝Φψ·Δs＝Θ·Δs

第三步：如果(i为GOP的整数倍)或者(a＞T)时，

则更新阈值T＝a

更新关键帧 $x_{\mathrm{KEY}}^{\left(i\right)}=x_t^{\left(i\right)}$

i＝i+1

第四步：解码端压缩感知解码重构，s.t.y＝ΦΨ·Δs

$\hat{x}={\mathrm{\Θ}}^T\·\mathrm{\Δ}\hat{s}$

对KEY帧： ${\hat{x}}_{\mathrm{KEY}}^{\left(i\right)}=\hat{x}$

对WZ帧： ${\hat{x}}_t^{\left(i\right)}=\mathrm{\Δ}\hat{s}+{\hat{x}}_{\mathrm{KEY}}^{\left(i\right)}$

第五步：返回第二步，不断循环，直到i＞NF结束。

注：i-视频帧序号；GOP-图像组的数量；NF-视频总帧数；Ψ-稀疏变换基；Φ-测量矩阵；Θ＝ΦΨ；Θ^T-Θ的逆矩阵；y-压缩感知观测投影值；a-差值帧Δx⁽ⁱ⁾中所有列向量均值之和，

-视频第i帧的像素值矩阵，

-关键帧的像素值矩阵，t-标记非关键帧，KEY-标记关键帧，Δs-稀疏变换向量；

-重构后的稀疏变换向量；

-重构后视频帧的像素值矩阵；-重构后关键帧的像素值矩阵；

-重构后非关键帧的像素值矩阵；

-求解凸优化重构问题的L2范数。

第三步中通过不断更新阈值T，将原始视频帧中所有大于阈值T的视频帧作为新的关键帧，从而动态选出了新的关键帧，由于其相邻两关键帧之间的视频帧数为一个GOP值，这样也就动态改变了GOP的取值，进而达到自适应分组的目的。第二步表示压缩感知编码处理，第四步表示压缩感知解码重构，具体压缩感知的编解码处理流程如图4所示，以选出的关键帧标定为KEY帧，也即该组的基本层，该组剩余的非关键帧(x₁，…x_j)标定为WZ帧，再利用每一个WZ帧对KEY帧进行作差值处理，其产生的差值(Δx₂，…Δx_j)叫做增强层，对所获得的增强层采用压缩感知编码处理得到CS编码矩阵(Δy₂，…Δy_j)，在恢复端对KEY帧直接采用CS重构算法进行重构，对CS编码矩阵(Δy₂，…Δy_j)采用CS联合解码进行重构，重构算法使用梯度投影重构算法(GPSR)，最后再进行重构后像素值矩阵叠加运算即可得到所有重构后的整体视频帧信号

本发明实施例在压缩感知编码处理中，采用分块压缩感知技术来进行压缩感知编码处理。更具体地，把每一视频帧简化成一幅一幅的图像，采用相同的采样算子以块×块的方式获取图像，解决了现有的压缩感知方法中可压缩采样算子所需存储空间较大的问题，而且算法中应用线性算子、凸集投影法和Contourlet变换域的硬阈值法进一步优化恢复视频帧，能更有效的捕获图像的复杂结构。

其中的分块压缩感知技术，设每一视频帧中总共具有N＝I_rI_c个像素，期望取得M个观测值。在分块CS中视频帧被分成大小为B×B的小块，用x_i表示第i块的向量形式，则相应的观测值y_i可以表示成

y_i＝Φ_Bx_i

其中Φ_B是一个m×B²矩阵，m＝|MB²/N|。对整幅视频帧图像来说观测矩阵Φ是一个具有如下式的块对角矩阵

值得注意的是，在分块CS算法中仅需存储m×B²矩阵Φ_B而不需存储M×N矩阵Φ_B。显然，当B较小时需要的存储空间较小并能够快速实现，而当B较大时能够得到较好的重建效果。本发明的实施例根据经验，可以取块的尺度B＝32。

本发明实施例在压缩感知解码重构处理中，采用了梯度投影重构算法(GPSR)，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近结果，重构算法的计算负担及效果和所需的观测次数密切相关。与贪婪追踪算法(OMP)和其他组合重构算法相比，梯度投影重构算法(GPSR)重构信号所需的观测次数最少。

梯度投影方法其实质就是解一个带约束的凸规划问题，用数学语言一般化描述为：

(CP)          min{f(x)：x∈Ω}

其中f(x)为闭凸集上连续的凸函数，迭代过程如下：

第一步：取X₀∈Ω，M为正数，k＝o，δ∈(0，1)；

第二步：若对

均有

$(\▿f\left(x_k\left(\mathrm{\α}\right)\right),x_k-x_k\left(\mathrm{\α}\right))>(1-\mathrm{\δ})(\▿f\left(x_k\right),x_k-x_k\left(\mathrm{\α}\right))$

则取α_k＝M，进入第四步，否则进入第三步；

第三步：求α_k＞0，满足：

${\mathrm{\α}}_k=\min \{\mathrm{\α}>0:(\▿f\left(x_k\left(\mathrm{\α}\right)\right),x_k-x_k\left(\mathrm{\α}\right))=u_k(\▿f\left(x_k\right),x_k-x_k\left(\mathrm{\α}\right))\},u_k\∈[\mathrm{0,1}-\mathrm{\δ}]$

第四步：令x_k+1＝x_k(α_k)，返回第二步。

本发明实施例的自适应图像分组压缩感知编解码方法对视频帧的重构效果优于单一使用基本分组的压缩感知编解码方法下的重构效果。选测的测试视频信号为业内常见的视频序列hall_qcif.yuv和foreman_cif.yuv，每帧尺寸大小176*144，本发明的实施例采用序列的前50帧来进行实验，分别利用基本分组方法和动态分组方法进行仿真测试，测试中在编码端利用CS技术进行压缩采样，其测量率对关键帧采样率取高采样率0.7，对非关键帧取低采样率0.2进行处理，设GOP＝5，解码端重构方法用的是梯度投影算法(GPSR)，测试环境为2.79GHz CPU，512M内存的个人计算机环境下的MATLAB7.0实验仿真平台下，图5(a)和图5(b)这两幅图像分别展示了重构后各帧峰值信噪比(PSNR)的比较图。

比较单一使用“基本分组法”和本发明的“自适应分组法”这两种方法的优劣。

1)从分组上进行比较，由于设置的GOP＝5，所以基本分组法的每一个GOP就比较固定，至始至终都以5个一组划分开来，从而在分组上单调呆板，不具有灵活性，而所提出的自适应分组法在分组上就显得动态灵活了很多，是更加场景变换来动态改变分组大小的。

2)从重构效果(PSNR)上进行比较，除了少数几个点的PSNR相同外，动态分组法整体效果的PSNR值要明显高于基本分组方法的整体效果的PSNR值，尤其表现在WZ帧上，自适应分组的主要目的就是改善WZ帧的重构效果。

从以上比较中还可以看出，两个不同的测试序列，foreman序列中波动表现更为明显，原因是整个foreman序列是人物表情变化序列，也就是说从场景变换上来看，foreman序列比hall序列要更加剧烈，所以基本分组方法就显得不是那么凑效了，整体重构效果不理想，因此也证明了本发明的自适应分组方法具有更好的场景变化适应性。

从另一个方面来看，随机取一个具有相同的低采样率的非关键帧，由于第33帧图像恰好为非关键帧，比较用上面叙述的两种不同的方法对第33帧进行重构，得到的峰值信噪比PSNR值，如表1所示。

表1第33帧图像的PSNR比较图

如图6所示，本发明实施例的视频传感器网络中的压缩感知编解码系统主要包括自适应分组模块610、感知编码测量模块620以及重构模块630，其中：

自适应分组模块610，用于对原始视频帧进行自适应分组；

感知编码测量模块620，与自适应分组模块610相连，用于对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；

重构模块630，与感知编码测量模块620相连，用于对观测矢量矩阵进行压缩感知解码重构。

其中，自适应分组模块610包括：

基本分组模块，用于对所述原始视频帧进行基本分组，标定每个分组的首帧为关键帧，其余为非关键帧；

替换模块，与基本分组模块相连，用于利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，在列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。

其中，感知编码测量模块620用于在每个视频帧组内，采用非关键帧对关键帧进行差值处理得到差值矩阵，再对所得的差值矩阵进行压缩感知编码测量。

其中，感知编码测量模块620用于采用分块压缩感知技术对分组所得的视频帧组进行压缩感知编码测量。

其中，重构模块630用于采用梯度投影重构算法对观测矢量矩阵进行压缩感知解码重构。

本发明的实施例利用视频信息间的时空相关性达到了去除冗余信息的目的，结合压缩感知技术进行测量，重构性能得到了大大提高。此外运用压缩感知理论所获得的采样率不仅仅大大低于传统的奈奎斯特采样率，而且还具有对采样的视频信号“边感知边压缩”的特性。

Claims (10)

1.一种视频传感器网络中的压缩感知编解码方法，其特征在于，包括：

对原始视频帧进行自适应分组；

对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；

对观测矢量矩阵进行压缩感知解码重构。

2.根据权利要求1所述的方法，其特征在于，对原始视频帧进行自适应分组的步骤，包括：

对所述原始视频帧进行基本分组，标定每个分组的首帧为关键帧，其余为非关键帧；

利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，在列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。

3.根据权利要求1所述的方法，其特征在于，对分组所得的视频帧组进行压缩感知编码测量的步骤，包括：

在每个视频帧组内，采用非关键帧对关键帧进行差值处理得到差值矩阵，再对所得的差值矩阵进行压缩感知编码测量。

4.根据权利要求1所述的方法，其特征在于，对分组所得的视频帧组进行压缩感知编码测量的步骤，包括：

采用分块压缩感知技术对分组所得的视频帧组进行压缩感知编码测量。

5.根据权利要求1所述的方法，其特征在于，对观测矢量矩阵进行压缩感知解码重构的步骤，包括：

采用梯度投影重构算法对观测矢量矩阵进行压缩感知解码重构。

6.一种视频传感器网络中的压缩感知编解码系统，其特征在于，包括：

自适应分组模块，用于对原始视频帧进行自适应分组；

感知编码测量模块，用于对分组所得的视频帧组进行压缩感知编码测量，得到每一个视频帧组的观测矢量矩阵；

重构模块，用于对观测矢量矩阵进行压缩感知解码重构。

7.根据权利要求6所述的系统，其特征在于，自适应分组模块包括：

基本分组模块，用于对所述原始视频帧进行基本分组，标定每个分组的首帧为关键帧，其余为非关键帧；

替换模块，用于利用所有非关键帧对同组的关键帧进行差值处理得到每一个基本分组的差值矩阵，对差值矩阵中的所有列向量均值求和，在列向量均值之和大于预设的阈值时，采用该列向量均值之和对应的视频帧替换所属基本分组中的关键帧，该基本分组中的首帧被替换为非关键帧。

8.根据权利要求6所述的系统，其特征在于，

感知编码测量模块用于在每个视频帧组内，采用非关键帧对关键帧进行差值处理得到差值矩阵，再对所得的差值矩阵进行压缩感知编码测量。

9.根据权利要求6所述的系统，其特征在于，

感知编码测量模块用于采用分块压缩感知技术对分组所得的视频帧组进行压缩感知编码测量。

10.根据权利要求6所述的系统，其特征在于，

重构模块用于采用梯度投影重构算法对观测矢量矩阵进行压缩感知解码重构。

Images