CN113225568B - 一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法 - Google Patents

Abstract

对于视频压缩感知的低延迟帧间重构，现有方法都是通过对前向关键帧或前一个非关键帧的多假设预测构建残差稀疏模型。然而，这些方法不能在逐次逼近每个非关键帧的过程中动态地利用空‑时相关性。为了充分利用视频帧之间的相关性进行帧间重构，本发明提出了一种迭代渐进假设预测方法，在多假设预测中引入了迭代递减先验，从双参考帧中动态地挑选假设片进行非关键帧的重构。所提方法交替地执行先验引导的片匹配和残差稀疏建模求解，通过由粗到细的假设片选择机制，可以获得更高的预测精度。相比其他低延迟帧间重构方法，所提方法在复杂度约束下进一步提高了各个非关键帧的恢复质量。

Description

一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法

技术领域

本发明属于视频处理与通信领域，特别是涉及视频压缩感知的帧间重构技术。

背景技术

视频压缩感知系统采用测量端的单帧观测和重建端的帧间重构。视频码流通常由若干图像组(GOP)组成，每GOP由一个关键帧和后面的一些非关键帧组成。由于残差通常比原始信号具有更大的稀疏性，视频压缩感知的片匹配重构方法通过稀疏化当前片与其假设片之间的残差进行重构。多假设预测是目前获取残差的主流技术，在重建端通过片匹配进行运动估计和补偿，即将相邻帧作为参考帧，从参考帧中选取假设片作为当前片的一个预测。测量端生成周期性的关键帧，并且关键帧采用比非关键帧更高的采样率，由此获得恢复质量更好的参考帧。

在完成每帧的帧内重构后，重建端对每个GOP执行帧间重构，低延迟意味着参考帧只能是前向关键帧或前一个非关键帧，没有后向帧被作为参考帧。现有的片匹配重构方法采用基于多假设预测的稀疏残差法来恢复视频信号，但在进行运动估计时，对不同采样率下参考帧的选取方式较为单一，同时从参考帧中挑选假设片的数量也较为固定，难以适应内容时变的视频信号。因此，对于视频压缩感知的低延迟帧间重构，有待提出更加高效的片匹配重构机制。因此在低延迟约束下，本发明提出了一种基于单帧观测的视频压缩感知帧间重构方法。

发明内容

本发明所要解决的技术问题是：视频压缩感知的测量端执行每帧单独观测，重建端按时序接收码流后如何在低延迟约束下提升帧间重构的质量。

本发明解决其技术问题所采用的技术方案是提出一种迭代渐进假设预测方法，所提方法包含以下两个并行运作的环节：

(1)前向关键帧和前一个非关键帧作为双参考帧，在当前帧的第n次迭代中(1≤n≤N_max)，当前片

是当前帧中第k个片的上一次迭代估计(1≤k≤K_max)，当前片

从双参考帧中选择最相似的I_n个假设片(1≤I_n≤I₁)，其中I₁是第1次迭代中的假设片数量。当前片的残差R(x_k)是其原始值x_k与其假设片组合的差值：

式中

是当前片的第i个假设片(1≤i≤I_n)，

是影响预测精度的假设的权重，采用下式更新：

其中MSE(·)是均方误差算子。双树离散小波变换(DDWT)被进一步用来执行变换域的残差稀疏建模与求解。

(2)在先验引导的片匹配过程中，两个片之间的相似度由均方误差来描述。迭代递减先验选用两种暂态函数之一来确定第n次迭代中的假设片数量I_n。第一种阶梯暂态函数表示为：

其中[·]表示取在1到I₁范围内的最近整数。根据慢、快、慢的暂态规律，第二种准sigmoid暂态函数表示为：

根据当前片

与其假设片之间的均方误差，片匹配在双参考帧中选择均方误差较小的I_n个假设片。

有益效果

视频压缩感知的低延迟帧间重构是基于前向关键帧或前一个非关键帧的多假设预测。为了进一步提高各个非关键帧的恢复质量，本发明提出了一种迭代渐进假设预测方法，逐步地利用当前片与其双参考帧之间空-时相关性。所提方法为帧间多假设预测的逐次逼近提供了迭代递减先验，并交替地执行先验引导的片匹配和残差稀疏建模求解。所提方法考虑了帧间变化的空-时稀疏特征，减少了含噪假设片的干扰，通过动态的多假设片匹配提升了低延迟视频压缩感知的恢复质量。

附图说明

图1是低延迟帧间重构的示意图；

图2是下降先验假设的两种暂态函数。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本实施例选取标准视频Foreman的前16帧作为测试序列，每个GOP包含8帧，各GOP的首帧为关键帧，即第1帧、第9帧为关键帧，其余帧为非关键帧。为了控制复杂度，测量端执行单帧观测，关键帧采样率高于非关键帧采样率。在低延迟帧间重构之前，各帧根据其测量值独立地执行某一帧内重构算法。在完成每帧的帧内重构后，重建端对每个GOP执行帧间重构，低延迟意味着参考帧只能是前向关键帧或前一个非关键帧，没有后向帧被作为参考帧。图1给出了低延迟帧间重构的示意图，其中关键帧采样率(S_k)和非关键帧采样率(S_n)共同影响恢复质量。在GOP中，关键帧可以用作剩余非关键帧的参考帧；由于帧间变化，时域距离最近的前一个非关键帧也是潜在的参考帧。在帧间重构过程中，

表示当前帧的上一次迭代估计。

以重叠方式划分为K_max个片，当前片

表示其中第k个片(1≤k≤K_max)，该划分过程表示为：

其中E_k是以重叠方式从

获取当前片

的运算符，这种像素域假设片的构造方法缓解了非重叠块造成的块效应。为了平衡恢复质量和计算复杂度，迭代渐进假设预测方法为多假设预测提供了一个迭代递减先验。该方法交替执行先验引导的片匹配和残差稀疏模型求解，以进一步提高每个非关键帧的恢复质量。通过引入由粗到细的假设片选择机制，逐次逼近可获得更高的帧间多假设预测精度。n表示当前帧在帧间重构期间的迭代次数，其中N_max表示最大迭代次数，即1≤n≤N_max。I_n表示当前帧第n次迭代时可用的假设片数量，其中I₁是第1次迭代时的假设片数量，即1≤I_n≤I₁。需要注意的是，时域相关性通常远大于空域相关性，两个片之间的相似度采用它们的均方误差来描述：

其中

表示参考帧中的第i个假设片，1≤i≤I_n，s²表示片大小。片匹配的搜索窗以

所在的位置为中心。在前向关键帧和前一个非关键帧的双参考过程中，当前片需要找到与其时域相关的假设片。在当前帧的第n次迭代中，当前片将从其参考帧中选择最相似的I_n个假设片。对于当前片，x_k表示与其上一次迭代估计中第k个片

所对应的原始值，第k个片的残差R(x_k)由其原始值x_k与其假设片的线性组合之间的差来计算。然后，I_n个假设片可以构建残差稀疏模型：

式中，

是影响预测精度的假设的权重，

是

的第i个假设片。在当前帧的第n次迭代中，当前片需要选择I_n个假设片。如果I_n太小，由于缺乏相似样本，会影响模型的稳定性；如果I_n过大，则会选择一些有噪声的假设片，从而降低稀疏平稳性。一个大的I_n值也会导致很高的计算复杂度，所以需要引入一个动态变化的I_n来平衡这些因素。

对于I_n个假设片，与当前片更相似的假设片应赋予更大的权重，而差异较大的假设片应赋予更小的权重。因此，当前片的权重与均方误差成反比，可用指数比值表示这些权重。由于在重建过程中无法获得原始值x_k，因此在加权过程中使用了当前的迭代估计

权重

的更新如下：

其中MSE(·)是均方误差算子，

与采样率和帧间变化有关。双树离散小波变换(DDWT)被用来执行变换域的稀疏残差。残差R(x_k)的DDWT系数是残差系数R_Ψ(x_k)，表示如下：

式中，Ψ表示DDWT，Ψ^T表示其转置，

由于DDWT域中零系数概率的差别很大，加权稀疏残差可以增加零系数概率。加权残差系数F(x_k)可以表示为：

F(x_k)＝W_kR_Ψ(x_k) (6)

其中，W_k是如下所示的对角线权重矩阵：

表示残差系数的权重，每个权重反映了相应系数为零的概率。通过对加权残差系数F(x_k)进行稀疏化，该最小化问题可表示为：

其中

是当前帧的估计，式(7)的l₁范数最小化问题采用分裂Bregman迭代(SBI)算法求解。

帧间多假设预测的关键问题是在迭代重建过程中如何从一个关键帧和一个非关键帧中选择假设片。为了获得好的假设片，现有的帧间多假设预测方法忽略了相邻迭代结果之间的变化。在多假设预测中，假设片数量是不固定的。在GOP中，通过动态地确定每个参考帧中的假设片数量，可以进一步提高非关键帧的恢复质量。当前片需要估计与其时域相关的假设片，其中前向关键帧和前一个非关键帧被视为其参考帧。在当前帧的第n次迭代中，当前片将选择I_n个假设片。在片匹配中，一个片是当前帧中第k个片的上一次迭代估计(1≤k≤K_max)，另一个片是参考帧中第i个假设片(1≤i≤I_n)，两个片之间的相似度由其均方误差来描述。

在迭代重建过程中，当前非关键帧的恢复质量不断提高。如果假设片数量是固定的，那么在迭代结束时，最后一个候选和当前片之间的相似度会降低。如果最后一个候选帧被用作更新当前帧的有用信息，则帧间的恢复质量可能会降低。为了解决上述问题，本发明设计了迭代递减先验。由于当前帧在迭代开始时含有大量的噪声，其细节信息不明显，而且片匹配也不太准确，因此可以选择更多的候选帧。随着迭代次数的增加，当前帧的恢复质量将得到提高，当前帧中的细节信息将越来越多，具有当前片的最优候选将越来越少，假设片数量也将减少。最优的I_n通常随着视频内容的动态统计特性而变化，但仍有可能给出次优解。为了从两个参考帧中选择最优候选，所提方法对假设片数量设计了迭代递减先验，在迭代过程中假设片数量逐渐减少。迭代递减先验选用两种暂态函数之一来确定第n次迭代中的假设片数量I_n，第一种阶梯暂态函数表示为：

其中[·]表示取在1≤I_n≤I₁范围内的最近整数。在信息科学中，准sigmoid函数具有单增长和反函数单增长的性质。准sigmoid函数的理论基础是：前半部分的缓慢变化保证了启动的稳定性，后半部分的缓慢变化保证了搜索的稳定性。根据慢、快、慢的暂态规律，第二种准sigmoid暂态函数表示为：

根据准sigmoid暂态函数，I_n可以从I₁减小到1。在帧间重构过程中，根据当前片与假设片之间的均方误差，在当前帧的第n次迭代中选择最优的I_n个假设片。图2给出了下降先验假设的两种暂态函数。当水平轴的迭代次数n由1变为N_max时，纵轴的I_n值也由I_max变为1，通过迭代执行多假设预测过程，并且对于当前帧逐渐获得更高的预测精度。所提方法通过将改进的残差稀疏建模和先验引导的片匹配集成到式(7)中，通过SBI算法求解该l₁范数最小化问题，从而完成帧间重构。所提方法通过更加精细的自适应片匹配机制，在复杂度约束下有效提升了测试序列的恢复质量。至此，所提方法完成Foreman测试序列的重构，非关键帧的恢复质量得以提升。

Claims (1)

1.一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法，包括两个并行运作的环节，其特征在于，环节(1)采用前向关键帧和前一个非关键帧作为双参考帧，在当前帧的第n次迭代中(1≤n≤N_max)，当前片

是当前帧中第k个片的上一次迭代估计(1≤k≤K_max)，

从双参考帧中选择最相似的I_n个假设片(1≤I_n≤I₁)，其中I₁是第1次迭代中的假设片数量；当前片的残差R(x_k)是其原始值x_k与其假设片组合的差值：

式中

是当前片的第i个假设片(1≤i≤I_n)，权重

采用下式更新：

其中MSE(·)是均方误差算子；环节(2)针对当前帧的第n次迭代，当前片

根据以下任一种暂态函数选择I_n个假设片：阶梯暂态函数

其中[·]表示取在1到I₁范围内的最近整数；准sigmoid暂态函数

通过分裂Bregman迭代算法求解残差R(x_k)的l₁范数最小化，得到当前帧第k个片的第n次迭代估计，所有K_max片的估计组成当前帧的第n次迭代估计，进而在执行N_max次迭代之后完成帧间重构。

Images