CN110290389B - 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法 - Google Patents

Abstract

本发明涉及一种基于长短期参考帧挑选假设匹配块视频压缩感知重构方法。通过充分挖掘图像帧之间的相似性，本发明提出了一种新的视频压缩感知重构策略：长短期参考帧动态挑选多假设匹配块，所提方法主要包括四个阶段：第一阶段，对压缩视频序列中每帧的测量值进行单独的图像重构；第二阶段，为较低采样率的图像帧指定长短期的多个重构参考帧；第三阶段，从多个参考帧中挑选多个假设匹配块；第四阶段，利用多假设匹配块形成残差稀疏模型，进而完成各个图像帧的重构。所提方法在增加一定复杂度的情况下能够获得较好的视频重构质量。

Description

基于长短期参考帧挑选假设匹配块视频压缩感知重构方法

技术领域

本发明属于视频处理与通信领域，特别是涉及不同帧采样率下的视频压缩感知重构方法。

背景技术

根据奈奎斯特-香农采样定理，视频通信系统需要对原始视频中具有大量冗余的图像帧信号进行采样，在通常情况下采样速率不小于信号带宽的两倍，然后进行高度复杂的压缩编码。相较于奈奎斯特-香农定理所要求的采样数据量，压缩感知理论表明采用较少的测量值就可以实现高维信号的重构，因此压缩感知在视频信号传感中具有很大的潜力。

对于不同帧采样率下的视频压缩感知，现有的重构算法是在重建端通过块匹配进行运动估计和运动补偿，生成当前帧的一个预测，并利用多假设预测来得到残差模型。然而，现有的重构方法在进行运动估计时，参考帧的选取方式较为单一，同时从参考帧中挑选匹配块的模式也较为固定。因此，对于视频压缩感知的重构，有待提出更加高效的匹配块挑选策略。

发明内容

本发明要解决的技术问题是：对于不同帧采样率下的视频压缩感知重构，如何提高重构质量。

为了解决上述技术问题，本发明的技术方案是提供了一种基于长短期参考帧动态挑选多假设匹配块的视频压缩感知重构方法，其特征在于，为了控制计算复杂度和内存需求，测量端逐帧地使用基于块的随机测量进行视频采集。视频序列由若干图像组GOP组成，每个GOP由一个关键帧和后面的一些非关键帧组成，关键帧使用相对较高的压缩率进行采样，而非关键帧使用较低的采样率进行采样。在重建端，视频重构包括以下步骤：

步骤1、对压缩视频序列中每帧的测量值进行单独的图像重构，若当前帧为压缩视频序列中的关键帧，则重构得到的图像保存作为最终的重构帧，并将关键帧重构得到的图像作为长期参考帧，若当前帧为压缩视频序列中的非关键帧，则进入步骤2，其中，视频重构以GOP的形式进行，在GOP内有一个采样率较高的帧，其余帧的采样频率较低，则将每个GOP内采样率较高的帧定义为关键帧，其余采样频率较低的帧定义为非关键帧；

本发明所提方法采用基于多假设匹配块的帧内残差重构方法，多假设匹配块从每帧自身进行挑选，以实现各帧的初次重构。一般而言，采样率越高的帧重构质量越好，采样率越低的帧重构质量越差。受传统视频压缩编解码的启发，本方法采用具有较高采样率的图像帧作为参考帧之一。

步骤2、采用最相邻的非关键帧作为参考帧之一，将每一个非关键帧作为其后相邻的非关键帧的一个短期参考帧，对于当前非关键帧，从其短期参考帧中挑选固定个数的匹配块；

步骤3、由于采样率较高的图像帧重构质量较高，而采样率较低的图像帧重构质量较差，因此本步骤只对采样率较低的各帧进行二次重构。为了利用高采样率帧的重构结果，将该关键帧的重构结果作为低采样率帧的一个参考帧，也可称之为长期参考帧。若一低采样帧距离某高采样帧的欧氏距离较近，那么本方法就从该长期参考帧中挑选更多的多假设匹配块。从长期参考帧中挑选多假设匹配块的具体实现可分为两种模式：基于模式①或模式②，均可从长期参考帧中挑选当前非关键帧的多假设匹配块，其中：

模式①：帧间匹配块个数固定，包括以下流程：

若从两长期参考帧中挑选匹配块的总个数为M，每个GOP内的帧个数为s，当前GOP的序号为q，那么当前非关键帧l从前一长期参考帧中挑选匹配块的个数为

从后一长期参考帧中挑选匹配块的个数为M-N；

在非关键帧的重构过程中，需要不断迭代计算当前重构块与参考帧中匹配块的匹配度，那么匹配度排在后面的匹配块与当前块的相似度较低，把这些相似度很低的块当作匹配块，既造成计算复杂度的提升又降低了视频信号的重构质量。因此也可采用如下模式。

模式②：帧间匹配块个数阶梯递减调节，包括以下流程：

设最大迭代次数为Itr，阶梯递减步长为Step，t为当前迭代次数，x^t-1为当前帧的上次迭代结果，在匹配块个数调整的过程中，如果前后两次重构帧的图像峰值信噪比(PSNR)之差的绝对值小于一个固定的阈值τ，则说明在该匹配块个数条件下，重构质量提升已经达到上限了，应该调节匹配块的个数，但是匹配块的个数应有下限h，帧间匹配块的总个数确定如下：

M＝M-Steps.t.|PSNR(x^t)-PSNR(x^t-1)|<τ

之后，基于动态调节的M，从长期参考帧中获取多假设匹配块；

步骤4、挑选步骤2及步骤3得到的多假设匹配块，作为当前非关键帧的匹配块，计算当前非关键帧每块与对应的匹配块线性组合之间的残差，然后，根据残差系数为零的概率对残差系数进行加权，得到一个加权的范数

最小化问题，采用Split Bregman迭代算法解决该问题，从而完成当前非关键帧的重构。

优选地，步骤1中，所述视频重构包括以下步骤：

步骤101、压缩视频序列中的每一帧都独自从本帧中挑选匹配块，利用帧内的多假设匹配块形成残差稀疏模型R(x_k)：

式中，C为从本帧中挑选的匹配块的个数，x_k为当前帧中块k，

为块k的第i个匹配块，

为第i个匹配块对应的权重；

步骤102、对残差稀疏模型R(x_k)进行加权得到模型F(x_k)：F(x_k)＝W_k·R(x_k)，式中，W_k为块k对应的权重，得到一个加权的范数

式中，D为当前重构帧拆成重叠块的个数，

为当前帧的重构结果，求解上式即实现了当前帧的残差重构。

本发明通过长短期参考帧动态挑选多假设匹配块，形成残差稀疏模型，根据SplitBregman迭代算法解决该问题，确定最终的重构结果。由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：在视频压缩感知重构中，参考帧的选取方式充分考虑了视频序列的多帧分布情况，当从参考帧中挑选匹配块时，所提方法挑选匹配块的模式非常灵活多样，实现了长短期参考帧的动态挑选，有效结合了长期与短期帧间的时域相关性，在增加一定复杂度的情况下有效地提升了视频重构的质量。

附图说明

图1为基于长短期参考帧动态挑选多假设匹配块的视频压缩感知重构方法流程图；

图2为视频序列GOP与各图像帧之间的关系；

图3为长短期参考帧选取的示意图；

图4为动态挑选多假设匹配块的示例图。

具体实施方式

下面结合附图，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在本实施例中，可使用任一标准的测试视频序列，采取如下两种通用准则对本发明所提方法的性能进行衡量：图像峰值信噪比(PSNR)、重构的整体结构相似性(SSIM)。首先对所提方法的参数进行设置，选取视频序列的连续17帧为测试序列，包含2个完整的图像组(GOP)，其中第1、9、17帧为关键帧，序列中的其余帧为非关键帧。图1给出了基于长短期参考帧动态挑选多假设匹配块的视频压缩感知重构方法流程图。为了衡量所提方法在不同帧采样率下的效果，对视频序列设置三种采样率组合：(0.7,0.2)、(0.6,0.3)、(0.5,0.4)，其中括号中的前一个值为关键帧的采样率，括号中的后一个值为非关键帧的采样率。在初始化时，设置搜索窗的大小为20×20，重叠块的大小为8×8，多假设匹配块的权重常量为8。在重建端，所提视频重构方法的流程如下：

步骤一：对于各个图像帧得到的测量值，每帧均通过帧内模型独立恢复。视频序列中的每一帧都独自从本帧中挑选匹配块，利用帧内的多假设匹配块形成残差稀疏模型：

式中C为步骤一从自身挑选匹配块的个数，设置为10，以实现各帧的初次重构，x_k为当前重构帧中的块k，

为块k的第i个匹配块，

为该匹配块对应的权重。接着，对该残差模型进行加权：F(x_k)＝W_k·R(x_k)，式中W_k为残差块k对应的权重，得到一个加权的范数

式中D为当前重构帧拆成重叠块的个数，求解上式即实现了当前帧的残差重构。对于关键帧的重构结果保存作为最终的重构图像，而非关键帧将在接下来的步骤中做进一步的处理。

步骤二：对非关键帧重构得到的图像执行匹配块估计。长短期参考帧的选取方法如图2所示，从图中可知，每一非关键帧有两个长期参考帧与一个短期参考帧，其中长期参考帧为每GOP中的关键帧经过步骤一的重构结果，短期参考帧为当前非关键帧之前相邻帧的重构结果。例如，在图2所示的视频序列GOP与各图像帧之间的关系中，第3帧的参考帧分别为第1、9帧在步骤一中的重构结果和第2帧经过步骤二的重构结果。

步骤三：确定参考帧之后，若采取模式①：帧间匹配块个数固定。挑选多假设匹配块的方法如图3所示，从两个长期参考帧中取总的匹配块个数M为10，基于当前帧与两个长期参考帧之间的欧氏距离，确定从两帧中取得匹配块的个数，倘若当前帧距离前面的长期参考帧距离近一点，那么从前向参考帧中取得的匹配块个数适当多一点，在本实例中，匹配块个数的分配如表1所示。

表1 基于参考帧距离的匹配块个数分配表

图4为动态挑选多假设匹配块的示例图。本实施例设置从短期参考帧中挑选匹配块的个数T为2，来自前一长期参考帧与后一长期参考帧的匹配块总个数M为10。将这12个多假设匹配块，加入步骤一中所叙述的加权残差稀疏模型：

根据Split Bregman迭代算法求解上式，最终完成当前非关键帧的重构。

若采取模式②：帧间匹配块个数阶梯递减，参数设置如下：从短期参考帧中挑选匹配块的个数T固定设置为2，算法最大迭代次数Itr为60，递减步长Step为2，阈值τ为0.2dB，匹配块个数下限h为4，初始化M为10。在迭代的过程中，若算法迭代的前后两次中峰值信噪比的变化大于阈值0.2dB则M的值递减2，直至M的值到达下限h。按照上述的方法从长短期参考帧中进行匹配块的挑选，然后进行残差的迭代重构。至此，完成该视频序列的重构，重构结果在PSNR和SSIM两方面均能取得改善。

Claims (2)

1.一种不同帧采样率下的视频压缩感知重构方法，其特征在于，包括以下步骤：

步骤1、对压缩视频序列中每帧的测量值进行单独的图像重构，若当前帧为压缩视频序列中的关键帧，则重构得到的图像保存作为最终的重构帧，将关键帧重构得到的图像作为长期参考帧，若当前帧为压缩视频序列中的非关键帧，则进入步骤2，其中，视频重构以图像组GOP的形式进行，在GOP内有一个采样率较高的帧，其余帧的采样频率较低，则将每个GOP内采样率较高的帧定义为关键帧，其余采样频率较低的帧定义为非关键帧；

步骤2、采用最相邻的非关键帧作为参考帧之一，将每一个非关键帧作为其后相邻的非关键帧的一个短期参考帧，对于当前非关键帧，从其短期参考帧中挑选固定个数的匹配块；

步骤3、基于模式①或模式②，从长期参考帧中挑选当前非关键帧的多假设匹配块，其中：

模式①：帧间匹配块个数固定，包括以下流程：

若从两长期参考帧中挑选匹配块的总个数为M，每个GOP内帧的个数为s，当前GOP的序号为q，那么当前非关键帧l从前一长期参考帧中挑选匹配块的个数为

从后一长期参考帧中挑选匹配块的个数为M-N；

模式②：帧间匹配块个数阶梯递减调节，包括以下流程：

设最大迭代次数为Itr，阶梯递减步长为Step，t为当前迭代次数，x^t-1为当前帧的上次迭代结果，在匹配块个数调整的过程中，如果前后两次重构帧的PSNR之差的绝对值小于一个固定的阈值τ，则说明在该匹配块个数条件下，重构质量提升已经达到上限了，应该调节匹配块的个数，但是匹配块的个数应有下限h，帧间匹配块的总个数确定如下：

M＝M-Steps.t.|PSNR(x^t)-PSNR(x^t-1)|<τ

之后，基于动态调节的M，从长期参考帧中获取多假设匹配块；

步骤4、挑选步骤2及步骤3得到的多假设匹配块，作为当前非关键帧的匹配块，计算当前非关键帧每块与对应的匹配块线性组合之间残差，然后，根据残差系数为零的概率对残差系数进行加权，得到一个加权的范数

最小化问题，采用Split Bregman迭代算法解决该问题，从而完成当前非关键帧的重构。

2.如权利要求1所述的一种不同帧采样率下的视频压缩感知重构方法，其特征在于，步骤1中，所述视频重构包括以下步骤：

步骤101、压缩视频序列中的每一帧都独自从本帧中挑选匹配块，利用帧内的多假设匹配块形成残差稀疏模型R(x_k)：

式中，C为从本帧中挑选的匹配块的个数，x_k为当前帧中块k，

为块k的第i个匹配块，

为第i个匹配块对应的权重；

步骤102、对残差稀疏模型R(x_k)进行加权得到模型F(x_k)：F(x_k)＝W_k·R(x_k)，式中，W_k为块k对应的权重，得到一个加权的范数

式中，D为当前重构帧拆成重叠块的个数，

为当前帧的重构结果，求解上式即实现了当前帧的残差重构。

Images