CN103929649B - 一种视频压缩感知的重建方法 - Google Patents

Abstract

本发明公开了一种视频压缩感知的重建方法，首先在接收端接收各帧的测量值后独立重建各帧图像。其次在已重建图像之间进行基于块的运动估计和运动补偿操作，获得每帧的预测图像。接下来利用预测图像和测量值为每帧图像建立重建问题，并将其分解为单帧图像重建问题、残差图像重建问题、图像梯度变量重建问题、残差梯度变量重建问题以及图像正交基系数变量重建问题共5个子问题并进行交替迭代求解。在每次迭代求解完所述5个子问题后，采用双变量收缩门限法进一步提升图像重建质量。若达到内循环终止条件，则结束各帧图像的迭代求解过程；若达到外循环迭代次数上限，则结束本发明的重建流程。应用本技术能够有效改善图像重建的性能和效果。

Description

一种视频压缩感知的重建方法

技术领域

本发明涉及压缩感知技术，特别设计压缩感知技术中一种视频压缩感知的重建方法。

背景技术

压缩感知（Compressed Sensing, CS）是近年在信号处理领域得到广泛重视的新兴理论体系。该理论指出，若某个待采样信号是稀疏的（或者在某个变换域是稀疏的），那么从其有限的不相关测量值中准确恢复出原始信号的可能性极高。CS理论的提出，极大地丰富和发展了信号获取理论，并为其他相关领域的研究提供了新的技术和新的思路。因为 CS的测量过程运算量较低，而重建过程则需要迭代求解复杂度相对较高的最优化问题，所以其理论结构特别适合各类分布式应用，例如无线多媒体传感器网络、无线视频监控等。在上述背景下，视频压缩感知（Compressed Video Sensing, CVS）方案应运而生。由于分布式应用中发送端的计算能力和电力受限，在此类方案中，对视频序列中的各帧独立测量；各帧的测量值被传送至接收端，由接收端统一重建。

视频序列的各帧图像之间具有较大冗余，若在接收端重建时能合理利用图像之间的相关性，则可以有效辅助图像重建过程，提升重建准确度，在相同的采样率下获得比独立重建更高的峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）。

为了在重建时合理利用各帧图像之间的相关性，现有的方法有：

将图像序列划分为若干图像子集，以一个图像子集为单位进行联合重建。因为重建问题涉及的数据量较大，所以联合重建方法的计算复杂度非常高。另一方面，需要收到整个图像子集后才能解码，因此解码延时也较大。

以帧为单位进行重建，在重建时计算之前一帧已重建图像的KL变换基（Karhunen-Loeve Transform），并将该KL变换基作为当前重建帧的正交基。但是，此类方法并不能很好地应用时域相关性。

在相邻图像之间进行运动估计/运动补偿（Motion Estimation/ MotionCompensation, ME/MC），获取待重建图像的预测值，接下来计算测量残差值并对其进行重建。由于残差重建方法仅考虑时域相关性而忽略了图像本身的空域结构特征，若获取的预测值不准确，重建图像质量会有所下降。

综上，在接收端，为提升独立重建图像的质量，需要充分利用相邻帧之间的相关性；现有的方法的性能也有待进一步提升。

发明内容

有鉴于此，本发明的主要目的在于提供一种视频压缩感知的重建方法，能够克服传统方法在性能上的不足，在相同的采样率下可以获得更高质量的图像重建效果。

为达到上述目的，本申请采用如下技术方案：

一种视频压缩感知的重建方法，包括：

a、接收各帧图像的测量值，并进行独立重建；

b、对任一帧图像，在与其相邻帧的重建图像与当前重建的所述任一帧图像之间，进行基于块的ME与MC操作，获取所述任一帧图像的预测值，其中i 是帧序号；

c、根据所述任一帧图像的测量值和当前的所述预测值，依次计算5个子问题、、、和的结果，并采用双变量收缩门限法对进行滤波；迭代执行步骤c，直到满足预设的内循环终止条件，令再执行步骤d；其中，k 是迭代次数，初始值为1，在每次迭代之后自加一，是所述任一帧图像的测量值，为测量矩阵，为所述任一帧图像的第k +1次迭代结果，在第一次执行步骤c时取值为，为所述任一帧图像的残差变量的第k +1次迭代结果，在第一次执行步骤c时取值为，是的梯度值变量的第k +1次迭代结果，是的梯度值变量的第k +1次迭代结果，是的正交基系数变量的第k +1次迭代结果，在第一次执行步骤c时，、、均取值为0，、和分别为与、和对应的Bregman迭代变量的第k +1次迭代结果，在第一次执行步骤c时，、和均取值为0，是微分算子，是正交变换基，、、、、、、分别是预设的第一、第二、第三、第四、第五、第六和第七权衡因子；

d、返回步骤b，直到达到预设的外循环终止条件，将当前重建的所述任一帧图像作为所述任一帧图像的重建结果。

较佳地，所述子问题的计算方法为 ；

所述子问题的计算方法为；

所述子问题的计算方法为 ；

所述子问题的计算方法为；

所述子问题的计算方法为；

其中，是由9/7小波变换进行5层分解产生的正交变换基， 代表收缩运算，、、、、、、。

较佳地，所述双变量收缩门限法采用双数复小波变换进行3层分解，收敛控制因子设置为1.5。

较佳地，所述内循环终止条件为：内循环迭代次数达到预设的内循环上限时，终止内循环；或者的相对变化值小于预设的门限值 时，终止内循环；其中为所述任一帧图像的第k +1次迭代结果。

较佳地，所述外循环终止条件为：外循环迭代次数达到预设的外循环上限时，终止外循环。

较佳地，所述内循环上限为150。

较佳地，所述内循环预设的门限值为。

较佳地，所述外循环上限为1。

由上述技术方案可见，本申请中，首先在接收端接收各帧的测量值后独立重建各帧图像。其次，在已重建图像之间进行基于块的ME/MC操作，获得每帧的预测图像。接下来，利用预测图像和测量值为每帧图像建立重建问题，并将其分解为单帧图像重建问题、残差图像重建问题、图像梯度变量重建问题、残差梯度变量重建问题以及图像正交基系数变量重建问题共5个子问题并进行交替迭代求解。在每次迭代的过程中，结合了双变量收缩门限法进一步提升图像重建质量。若达到内循环终止条件，则结束各帧图像的迭代求解过程；若达到外循环迭代次数上限，则结束本发明的重建流程。应用本申请，能够有效改善图像重建的性能和效果。

附图说明

图1为本发明所采用的视频压缩感知的重建方法流程图。

图2为测试序列“news”在5个采样率下的重建图像的PSNR比较。

图3为测试序列“football”在5个采样率下的重建图像的PSNR比较。

图4a为测试序列“news”在采样率为0.3的情况下采用独立重建方法得到的重建结果。

图4b为测试序列“news”在采样率为0.3的情况下采用残差重建方法进行重建后的结果。

图4c为测试序列“news”在采样率为0.3的情况下采用本发明方法进行重建后的结果。

图5a为测试序列“football”在采样率为0.3的情况下采用独立重建方法得到的重建结果。

图5b为测试序列“football”在采样率为0.3的情况下采用残差重建方法进行重建后的结果。

图5c为测试序列“football”在采样率为0.3的情况下采用本发明重建方法进行重建后的结果。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

为解决现有技术中存在的问题，本发明提出一种全新的视频压缩感知的重建方法，即在接收端利用视频序列各帧之间的相关性以及图像本身的先验结构特性建立每帧的重建问题，并将建立的重建问题分解为5个子问题交替迭代求解的方法。首先在接收端接收各帧的测量值后独立重建各帧图像。其次，在已重建图像之间进行基于块的ME/MC操作，获得每帧的预测图像。接下来，利用预测图像和测量值为每帧图像建立重建问题，并将其分解为单帧图像重建问题、残差图像重建问题、图像梯度变量重建问题、残差梯度变量重建问题以及图像正交基系数变量重建问题共5个子问题并进行交替迭代求解。在每次迭代求解完所述5个子问题后，采用双变量收缩门限法进一步提升图像重建质量。若达到内循环终止条件，则结束各帧图像的迭代求解过程；若达到外循环迭代次数上限，则结束本发明的重建流程。

下面通过具体实施例说明本申请的具体实现。图1为本申请所采用的重建方法的具体流程图。如图1所示，该方法包括以下步骤：

步骤100：接收各帧图像的独立测量值，并对各帧图像进行独立重建。

具体地，发送端对各帧图像进行独立测量，接收端接收独立测量值并进行独立重建。其中，对各帧图像进行独立重建可以采用现有的多种方式，例如采用TV范数最小化进行独立重建，即求解TV范数最小化问题如下：

其中，代表第i 帧图像，i 为帧序号；是测量矩阵，在本实例中采用结构化随机矩阵（Structurally Random Matrices, SRM）；代表第i 帧图像的测量值。SRM为现有技术， TV范数最小化问题已有许多求解方法，在本实例中采用现有的TVAL3（TVminimization by Augmented Lagrangian and Alternating direction Algorithms）方法求解。

在独立重建各帧图像后，对每帧图像执行下述步骤进行相应帧的重建。这里，以对第i 帧图像进行重建为例进行说明。

以下通过迭代过程对单帧图像进行重建，以优化重建结果。

步骤101：设n =1。

这里，n 代表外循环的迭代次数，初始值为1。

步骤102：在已重建的第i 帧图像和第i -1帧图像之间进行基于块的ME/MC操作，获取第i 帧图像的预测值。

在本实例中假设视频序列中的第一帧为关键帧，对关键帧仅进行独立重建。

基于块的ME/MC方法为现有技术，为了获得精确的预测结果，在本实例中采取1/4像素精度的全搜索方法，分块大小选择为16×16，搜索范围设定为32。

步骤103：设k =1。

这里，k 代表内循环的迭代次数，初始值为1。

步骤104：根据第i 帧图像的独立测量值和当前预测值，建立重建问题，并将该问题划分为5个子问题依次求解。

具体地，根据第i 帧图像的独立测量值和当前预测值，建立重建问题如下：

(1)

其中，和是预设的第一、第二权衡因子，用于权衡3类l ₁范数、和；是微分算子，是正交变换基。从上式可看出，本申请建立的重建问题中，不仅将目标重建图像与当前预测值的残差变换到梯度域，从而利用了残差在梯度域的稀疏特性进行图像重建，同时将目标重建图像本身变换到梯度域和正交变换域，利用了重建图像本身的先验结构特征进行图像重建，能够进一步提高图像重建质量。

在本实施例中，为了获得最佳重建效果，取经验值为0.6，取经验值为1，由9/7小波变换进行5层分解产生。

为求解式（1），将式（1）转换成下述问题：

进一步地，把上述约束优化问题转化为无约束优化问题如下：

其中，所述为第i 帧的残差图像变量；和是预设的第三权衡因子和第四权衡因子，在本实例中分别取经验值为9和0.5。

更进一步地，可引入图像梯度变量代替，图像正交变换系数变量代替，残差图像梯度变量代替，并将上述问题转化为无约束优化形式得到：

其中，、和分别为预设的第五、第六、第七权衡因子，在本实例中分别取经验值为0.02、0.05和1.5；、和分别为与、和对应的Bregman迭代变量的第k 次迭代结果，按照Bregman迭代方法进行更新。Bregman迭代方法为现有技术，在此不再赘述。

更进一步地，将上述无约束优化问题分解为单帧图像重建问题、残差图像重建问题、图像梯度变量重建问题、残差梯度变量重建问题以及图像正交基系数变量重建问题。

在上述5个子问题中，初始化为第i 帧图像的独立重建值；初始化为；、、、、、均初始化为0。

所述子问题的计算方法为 ；

所述子问题的计算方法为；

所述子问题的计算方法为 ；

所述子问题的计算方法为；

所述子问题的计算方法为。

其中， 代表收缩运算。收缩运算为现有技术，在此不再赘述。

步骤105：采用双变量收缩门限法对重建图像进行滤波。

双变量收缩门限法（bivariate-shrinkage-based thresholding）是现有技术，在此不再赘述。在本实施例中，为了获得最佳效果，采用双数复小波变换进行3层分解，收敛控制因子设置为1.5。

步骤106：判断是否满足内循环迭代终止条件，若是，则进入步骤107，并令；否则将k 自加一并返回步骤104。

当下述任一条件满足时，内循环迭代终止条件满足：

A、迭代次数k 到达内循环上限N。N可以根据实际需求设定，基于复杂度和算法性能的权衡考虑，在本实例中N取值为150；

B、的相对变化值过小，即：。其中代表第k 次迭代下的更新值，是门限值，的具体取值可以根据实际需求设定，基于复杂度和算法性能的权衡考虑，在本实例中取值为。

步骤107：判断外循环终止条件是否满足，若是，则将第i 帧图像的当前重建图像作为重建结果进行保存并结束本流程，否则，将n自加一并执行步骤102。

通过上述步骤102-106完成一次外循环的迭代过程。在单次外循环迭代过程中，第i 帧图像的预测值保持不变。在下一次外循环的迭代初始，将根据上次外循环的重建图像结果，重新进行ME/MC以更新预测值。

在步骤107中，外循环终止条件可以根据实际需求设置，例如，可设置外循环迭代次数门限M，当外循环迭代次数n达到门限M时，则认为外循环终止条件满足。考虑到复杂度问题，本实施例中M取值为1。

需要进一步说明的是，本实施例中所述的视频压缩感知的重建方法只适用于基于压缩感知的，发送端对各帧图像进行独立测量的视频压缩感知技术。

在Matlab平台中进行仿真，分别采用本实施例中的重建方法与独立重建方法、残差重建方法对视频压缩感知的测量值进行重建。在独立重建方法中，针对每个视角图像，采用TVAL3算法独立求解TV范数最小化问题。采用的测试序列为“news”与“football”，分辨率为352×288。

图2和图3展示了两个测试序列在5个采样率下的重建图像的PSNR比较。对于两种测试序列，本发明方法的重建图像PSNR值都明显高于独立重建方法和残差重建方法。

图4和图5给出了在采样率为0.3的情况下，“news”和“football”测试序列的重建结果主观质量比较。具体地，图4a为测试序列“news”在采样率为0.3的情况下，采用独立重建方法进行重建后的结果，PSNR为29.62dB；图4b为测试序列“news”在采样率为0.3的情况下，采用残差重建方法进行重建后的结果，PSNR为31.78dB；图4c为测试序列“news”在采样率为0.3的情况下，采用本发明方法进行重建后的结果，PSNR为33.85dB；图5a为测试序列“football”在采样率为0.3的情况下，采用独立重建方法进行重建后的结果，PSNR为26.62dB；图5b为测试序列“football”在采样率为0.3的情况下，采用残差重建方法进行重建后的结果，PSNR为 28.31dB；图5c为测试序列“football”在采样率为0.3的情况下，采用本发明方法进行重建后的结果，PSNR为30.32dB；

从图4a和图5a中可以看出，独立重建方法的结果中，产生了较多不规则噪点，图像边缘模糊；从图4b和图5b中可以看出，残差重建方法的结果中，在静态区域噪声较小，但是运动区域产生的噪声较为明显；从图4c和图5c中可以看出，采用本实施例中的重建方法，有明显的主观质量提升，边缘和细节信息更为清晰。

总之，采用本申请所述的方法，能够充分利用相邻帧图像间的相关性和图像本身的结构特征，克服传统独立重建方法、残差重建方法的不足，大幅度提升重建图像质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种视频压缩感知的重建方法，其特征在于包括以下步骤：

步骤a：接收各帧图像的测量值，并进行独立重建；

步骤b：对任一帧图像，在与其相邻帧的重建图像与当前重建的所述任一帧图像之间，进行基于块的ME与MC操作，获取所述任一帧图像的预测值P_i，其中i是帧序号；

步骤c：根据所述任一帧图像的测量值y_i和当前的所述预测值P_i，依次计算5个子问题 和的结果，并采用双变量收缩门限法对进行滤波；迭代执行步骤c，直到满足预设的内循环终止条件，令再执行步骤d；其中，k是迭代次数，初始值为1，在每次迭代之后自加一，y_i是所述任一帧图像的测量值，Φ为测量矩阵，为所述任一帧图像的第k+1次迭代结果，在第一次执行步骤c时取值为 为所述任一帧图像的残差变量的第k+1次迭代结果，在第一次执行步骤c时取值为 是的梯度值变量的第k+1次迭代结果，是的梯度值变量的第k+1次迭代结果，是的正交基系数变量的第k+1次迭代结果，在第一次执行步骤c时，均取值为0，和分别为与和对应的Bregman迭代变量的第k+1次迭代结果，在第一次执行步骤c时， 和均取值为0，D是微分算子，Ψ是正交变换基，α、β、λ、μ、γ、η、χ分别是预设的第一、第二、第三、第四、第五、第六和第七权衡因子；

步骤d：返回步骤b，直到达到预设的外循环终止条件，将当前重建的所述任一帧图像作为所述任一帧图像的重建结果。

2.根据权利要求1所述的方法，其特征在于，所述计算

包括

$\begin{array}{c}{X}_i^{k+1}={({\mathrm{\λ\Φ}}^T\mathrm{\Φ}+\mathrm{\λ}\mathrm{\μ}I+{\mathrm{\γD}}^{T}D+{\mathrm{\γ\χ\Ψ}}^T\mathrm{\Ψ})}^{-1}\·\\ \left({\mathrm{\λ\Φ}}^T{y}_i+\mathrm{\λ}\mathrm{\μ}\left(P_i+E_i^k\right)+{\mathrm{\γD}}^T\left(d_1^k-b_1^k\right)+{\mathrm{\λ\χ\Ψ}}^T\left(d_3^k-b_3^k\right)\right)\end{array};$

所述计算包括：

所述计算包括：

所述计算包括：

所述计算包括：

其中，I代表单位矩阵，Ψ是由9/7小波变换进行5层分解产生的正交变换基，shrink(·)代表收缩运算。

3.根据权利要求1所述的方法，其特征在于，所述第一、第二、第三、第四、第五、第六、第七权衡因子的取值分别为α＝0.6、β＝1、λ＝9、μ＝0.5、γ＝0.02、η＝0.05、χ＝1.5。

4.根据权利要求1所述的方法，其特征在于，所述双变量收缩门限法采用双数复小波变换进行3层分解，收敛控制因子设置为1.5。

5.根据权利要求1所述的方法，其特征在于，所述内循环终止条件为：内循环迭代次数达到预设的内循环上限时，终止内循环；或者X_i的相对变化值小于预设的门限值τ时，终止内循环；其中为所述任一帧图像的第k+1次迭代结果。

6.根据权利要求1所述的方法，其特征在于，所述外循环终止条件为：外循环迭代次数达到预设的外循环上限时，终止外循环。

7.根据权利要求5所述的方法，其特征在于，所述内循环上限为150。

8.根据权利要求5所述的方法，其特征在于，所述内循环预设的门限值τ为10^-4。

9.根据权利要求6所述的方法，其特征在于，所述外循环上限为1。