CN110505479B - 时延约束下逐帧相同测量率的视频压缩感知重构方法 - Google Patents

Abstract

在压缩感知视频监控中，每帧均采用相同测量率进行单独观测。为了提高待回放帧的重构质量，本发明提出了一种启动时延约束下的视频压缩感知重构方法。重构端从码流中提取出各个帧观测矢量，对每一帧观测矢量首先执行单帧图像的迭代重构算法，然后根据迭代次数是否达到最大值来判定该帧是预测帧还是参考帧。在初次重构的基础上，预测帧采用质量较好的参考帧执行可能的双向或单向预测，通过多假设块匹配的残差最小化，完成二次重构乃至三次重构。所提方法能够动态地表征相关性未知的多帧图像，有助于提升视频压缩感知重构的整体质量。

Description

时延约束下逐帧相同测量率的视频压缩感知重构方法

技术领域

本发明涉及一种基于相同测量率的视频压缩感知重构方法，属于视频处理与通信领域。

背景技术

传统的视频监控系统需要为原始视频的每帧采集大量的信号样本，根据奈奎斯特采样定理，采样速率应不小于信号带宽的两倍，随后进行高复杂度的压缩编码，以消除像素之间的信息冗余。压缩感知技术的兴起提供了一种新型的信号采集与恢复机制，根据压缩感知理论，只需要将原始信号投影到随机基上获得较少的测量值，就可以通过这些测量值进行鲁棒恢复。相比奈奎斯特采样速率，压缩感知需要少得多的采样数据量，因此在视频监控等高维信号传感中具有良好的应用前景。压缩感知视频监控能够将计算复杂度从测量端转移到重构端，极简的测量端非常适用于视频监控系统中资源受限的传感器。

在压缩感知视频监控中，测量端与重构端极不对称，测量端是信息-物理融合系统，具有物理与计算资源有限、信号获取与发送协同进行等基本特征，具备充足资源的重构端则需要在无反馈信道下恢复原始视频。测量端对视频的每帧图像采用相同尺寸的观测矩阵进行独立观测编码，生成接续的帧观测矢量，并作为码流发送出去。重构端收到码流后，提取出各个帧观测矢量，利用空-时信息的不同机制决定了视频重构的速度与质量。现有的视频压缩感知重构方法均假设测量端生成周期性的关键帧，并且关键帧采用比非关键帧更高的测量率，由此获得恢复质量明显更好的参考帧。然而在某些情况下，所有帧需要采用相同的测量率，现有方法就难以基于上述假设条件进行视频重构。

发明内容

本发明要解决的技术问题是：视频压缩感知的测量端执行相同测量率的每帧单独观测，重构端按时序接收帧观测矢量后如何在时延约束下提升重构质量。

为了解决上述技术问题，本发明的技术方案是提供了一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，包括以下步骤：

重构端逐帧采用迭代重构算法完成初次重构，在迭代次数统计下判断预测帧或参考帧；各个预测帧通过参考帧挑选匹配块，进而完成预测帧的二次重构乃至三次重构；

测量端基于相同测量率执行逐帧的随机观测，并发送帧观测矢量码流。相应地，重构端的视频重构包括以下步骤：

步骤一、重构端逐帧接收码流，形成时序接续的帧观测矢量，在启动时延约束下，重构端首先恢复前L个帧观测矢量，L≥1，每一帧观测矢量均含有M个测量值，初始地，时序号n＝1，

表示第n帧观测矢量，n≥1，F_n表示第n个重建帧，总共含有N个像素，

表示随机测量矩阵，/>

表示稀疏变换基，观测矩阵/>

视频序列前L帧中每帧首先通过迭代重构算法独立恢复，第n帧残差矢量的第j次迭代结果R_n,j＝FMV_n-A_j·S_n,j，j≥1，通过FMV_n和矩阵A_j的最小二乘估计求解各个帧稀疏矢量，式中，S_n,j表示重建帧F_n在第j次迭代中对应的第n帧稀疏矢量，矩阵A_j仅包含对应S_n,j支撑集元素的A列。迭代重构算法的停止条件是当迭代次数达到最大值itrMax或残差l₂范数||R_n,j||₂小于阈值resMin，从而完成第n帧观测矢量的独立恢复，当停止条件满足时，依次获得重建帧F_n＝Ψ·S_n,j，并在第L+1个时序号输出重建帧F₁作为回放的第1个重建帧，其余重建帧F₂、…、F_L可能作为后续帧F_L+1的参考帧或预测帧；对于前L帧观测矢量，重构端逐帧采用迭代重构算法执行前L帧图像{F₁,F₂,...,F_L}的初次重构；当各帧完成初次重构后，若重建帧是迭代次数达到最大值itrMax才完成，则该帧被标记为预测帧；否则重建帧是在残差范数小于阈值resMin时完成，该帧被标记为参考帧；

随后，各个预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的二次重构，根据初次重构的结果，各个预测帧的参考帧有两个或一个或零个，预测帧的各块从可能的前后参考帧中挑选匹配块，计算每块与对应的匹配块线性组合之间残差，根据残差系数为零的概率对残差系数进行加权，通过Split Bregman算法求解加权的

最小化问题，从而完成前L帧中各个预测帧的二次重构。在本步骤完成后，时序号n＝L+1；

步骤二、对于第n帧观测矢量FMV_n，重构端采用与步骤一同样的迭代重构算法恢复第n个重建帧F_n，第j次迭代中，第n帧残差矢量R_n,j＝FMV_n-A_j·S_n,j，矩阵A_j仅包含对应S_n,j支撑集元素的A列，通过FMV_n和A_j的最小二乘估计，求解第n帧稀疏矢量，当满足停止条件时，重构端获得重建帧F_n＝Ψ·S_n,j，并在第n+1个时序号输出重建帧F_n-L+1，作为回放的第n-L+1个重建帧，其余重建帧F_n-L+2、…、F_n作为后续帧F_n+1的参考帧或预测帧，预测帧准备执行三次重构；若重建帧F_n的初次重构是迭代次数达到最大值itrMax后才完成，则重建帧F_n作为预测帧；否则，重建帧F_n作为参考帧；

若重建帧F_n被判断为参考帧，则在前一参考帧与F_n之间的预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的三次重构；若重建帧F_n被判断为预测帧，则F_n的各块通过最邻近且时序距离小于T帧的前一参考帧执行多假设块匹配的单向预测，执行F_n的二次重构；预测帧从一个参考帧中挑选C个匹配块，计算每块与对应的匹配块线性组合之间的残差矢量，根据残差系数为零的概率对残差系数进行加权，得到一个加权的残差

最小化问题，采用Split Bregman算法解决该问题，完成各个预测帧的重构；

步骤三、如果仍然存在待重构的帧观测矢量，时序号n＝n+1，跳转到步骤二，继续逐个恢复帧观测矢量；否则，按时序依次输出剩余的重建帧F_n-L+2、…、F_n，作为最终的第n-L+2、…、n个重建帧，从而完成视频重构。

优选地，步骤一中，所述L取决于监控应用允许的启动时延大小；所述M正比于测量率。

本发明综合考虑了视频序列的空-时稀疏特征，设计出融合帧内迭代重构与帧间预测的视频压缩感知重构方法。初次重构可采用任一迭代重构算法，有助于从整体上恢复图像的结构信息。帧间预测充分利用了视频回放的时延约束条件，实现了参考帧的动态选取。预测帧的二次重构或三次重构通过多假设块匹配进一步提升了重建帧的质量。对于相同测量率下的逐帧观测，所提方法能够在增加一定复杂度的情况下有效提升视频重构的质量。

附图说明

图1为视频序列各个帧观测矢量之间的时序关系图；

图2为视频压缩感知重构方法的流程图；

图3为参考帧动态选取的示意图。

具体实施方式

下面结合附图，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

在压缩感知视频监控中，测量端每隔相同时间执行原始视频的每帧单独观测，并发送帧观测矢量码流。重构端逐帧接收码流，提取出各个帧观测矢量。L是启动时延持续的时序号总数。重构端首先恢复前L个帧观测矢量，每一帧观测矢量包括正比于测量率的M个测量值，时序号n＝1,2,…，

是第n帧观测矢量(n≥1)。对于时序接续的帧观测矢量，图1给出了视频序列各个帧观测矢量之间的时序关系图，图中的启动时延持续了L＝6帧的时序期间，重构端首先执行前L＝6个帧观测矢量的初次重构或二次重构。在第7帧的时序期间，重构端开始回放第1个重建帧，同时接收第7帧观测矢量并完成初次重构，若第7帧被判断为参考帧，第2～6帧可能执行三次重构；否则，第7帧被判断为预测帧，若第2～6帧存在参考帧，则第7帧利用最邻近的参考帧进行单向预测。

在视频重构中，F_n表示第n个重建帧(n≥1)，含有N个像素。随机测量矩阵

采用高斯随机矩阵，稀疏变换基/>

采用双树小波变换基，观测矩阵/>

R_n,j是第j次迭代中第n帧残差矢量(j≥1)，S_n,j表示重建帧F_n在第j次迭代中对应的第n帧稀疏矢量。重建帧根据自身及相邻帧的迭代重构结果确定是否执行二次重构或三次重构。重建帧按帧序和帧率回放，形成重建视频。图2给出了视频压缩感知重构方法的流程图，具体包括以下步骤：

步骤一、重构端接收码流，形成时序接续的帧观测矢量。在启动时延约束下，重构端首先恢复前L＝6个帧观测矢量，每一帧观测矢量均含有M个测量值。

表示第n帧观测矢量。在初始化操作中，时序号n＝1。视频序列前6帧观测矢量均先通过迭代重构算法独立恢复。在第j次迭代中，第n帧残差矢量R_n,j＝FMV_n-A_j·S_n,j，矩阵A_j仅包含对应S_n,j支撑集元素的A列，通过FMV_n和A_j的最小二乘估计，找出各个帧稀疏矢量。该迭代重构算法的停止条件是当迭代次数达到最大值itrMax＝200或残差l₂范数||R_n,j||₂小于阈值resMin，从而完成第n帧观测矢量的初次重构。当停止条件满足时，重构端完成帧观测矢量FMV_n的恢复，逐一获得重建帧的初次重构F_n＝Ψ·S_n,j，并输出重建帧F₁作为回放的第1个重建帧，其余重建帧F₂、…、F₆可能作为后续帧F₇的参考帧或预测帧。重构端完成前6帧图像{F₁,F₂,...,F₆}的初次重构。一般而言，如果残差小于一个固定的阈值resMin，则说明重构质量提升已经达到上限了，重构质量相对较好，而迭代次数达到上限的重建帧的质量较差。当完成一帧的初次重构，若迭代次数达到200才完成，则该帧被标记为参考帧；否则，该帧被标记为预测帧。参考帧或预测帧由初次重构的结果动态地确定，每一预测帧可能有零个、一个或两个参考帧，参考帧的动态选取示例如图3所示，从图中可知，帧4是预测帧，帧3与帧6是帧4的参考帧，帧4利用帧3、帧6进行双向预测，完成二次重构。参考帧作为最终的重构图像，而作为预测帧的帧7则可能在帧8的初次重构后执行三次重构。

接下来，预测帧执行基于多假设块匹配的双向或单向预测。预测帧从前后最邻近的参考帧中挑选匹配块，形成残差稀疏模型：

式中C为从一个参考帧挑选匹配块的个数，一般设置为C＝10，搜索窗的大小为20×20，重叠块的大小为8×8，x_k为当前重建帧中块k，/>

为块k的第i个匹配块，/>

为该匹配块对应的权重。接着，对该残差模型进行加权：F(x_k)＝W_k·R(x_k)，式中W_k为残差块k对应的权重，得到一个加权的/>

范数之和：/>

式中D为当前重建帧拆成重叠块的个数，通过Split Bregman算法求解该/>

最小化问题，从而完成各个预测帧的二次重构。在本步骤完成后，时序号n＝7。

步骤二、对于第n帧观测矢量FMV_n，重构端采用上述的迭代重构算法恢复第n个重建帧F_n。在第j次迭代中，S_n,j是第n帧稀疏矢量，第n帧残差矢量R_n,j＝FMV_n-A_j·S_n,j，矩阵A_j仅包含对应S_n,j支撑集元素的A列，通过FMV_n和A_j的最小二乘估计，找出第n帧稀疏矢量。当停止条件满足时，重构端获得重建帧F_n＝Ψ·S_n,j，并在第n+1个时序号输出重建帧F_n-L+1，作为回放的第n-L+1个重建帧，其余重建帧F_n-L+2、…、F_n作为后续帧F_n+1的参考帧或预测帧，可能执行三次重构。若迭代次数没有达到最大值而停止，该帧作为参考帧；否则，该帧作为预测帧，选择前后最邻近(且时序距离小于T＝15帧)的参考帧进行可能的双向或单向预测。

在通常情况下，较高质量的帧可作为其它帧的参考帧，以增强各帧的最终重构质量。预测帧从最邻近的参考帧得到匹配块，执行基于多假设块匹配的双向或单向预测，然后进行残差最小化。若F_n是参考帧，在F_n与前一参考帧之间的预测帧将执行双向预测，从前后参考帧分别挑选10个匹配块，计算每块与对应的匹配块线性组合之间残差，根据残差系数为零的概率对残差系数进行加权，形成一个加权的残差

最小化问题，得到加权残差稀疏模型：/>

根据Split Bregman迭代算法求解上式，完成各个预测帧的三次重构。若帧F_n是预测帧，利用可能的前一参考帧执行单向预测，完成二次重构。

步骤三、若重构端仍然存在待重构的帧观测矢量，则n＝n+1，跳回到步骤二，重复执行上述过程，继续恢复后续的帧观测矢量；否则，输出剩余的重建帧F_n-L+2、…、F_n，作为最终的第n-L+2、…、n个重建帧，完成该视频序列的重构，并按时序依次逐帧回放。

Claims (2)

1.一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，包括以下步骤：

重构端逐帧采用迭代重构算法完成初次重构，在迭代次数统计下判断预测帧或参考帧；各个预测帧通过参考帧挑选匹配块，进而完成预测帧的二次重构乃至三次重构；

测量端基于相同测量率执行逐帧的随机观测，并发送帧观测矢量码流；相应地，重构端的视频重构包括以下步骤：

步骤一、重构端逐帧接收码流，形成时序接续的帧观测矢量，在启动时延约束下，重构端首先恢复前L个帧观测矢量，L≥1，每一帧观测矢量均含有M个测量值，初始地，时序号n＝1，

表示第n帧观测矢量，n≥1，F_n表示第n个重建帧，总共含有N个像素，/>

表示随机测量矩阵，/>

表示稀疏变换基，观测矩阵/>

视频序列前L帧中每帧首先通过迭代重构算法独立恢复，第n帧残差矢量的第j次迭代结果R_n,j＝FMV_n-A_j·S_n,j，j≥1，通过FMV_n和A_j的最小二乘估计求解各个帧稀疏矢量，式中，S_n,j表示重建帧F_n在第j次迭代中对应的第n帧稀疏矢量，矩阵A_j仅包含观测矩阵对应S_n,j支撑集元素的A列；迭代重构算法的停止条件是当迭代次数达到最大值itrMax或残差l₂范数||R_n,j||₂小于阈值resMin，从而完成第n帧观测矢量的独立恢复，当停止条件满足时，依次获得重建帧F_n＝Ψ·S_n,j，并在第L+1个时序号输出重建帧F₁作为回放的第1个重建帧，其余重建帧F₂、…、F_L可能作为后续帧F_L+1的参考帧或预测帧；对于前L帧观测矢量，重构端逐帧采用迭代重构算法执行前L帧图像{F₁,F₂,...,F_L}的初次重构；当各帧完成初次重构后，若重建帧是迭代次数达到最大值itrMax才完成，则该帧被标记为预测帧；否则重建帧是在残差范数小于阈值resMin时完成，该帧被标记为参考帧；

随后，各个预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的二次重构，根据初次重构的结果，各个预测帧的参考帧有两个或一个或零个，预测帧的各块从可能的前后参考帧中挑选匹配块，计算每块与对应的匹配块线性组合之间残差，根据残差系数为零的概率对残差系数进行加权，通过Split Bregman算法求解加权的残差

最小化问题，从而完成前L帧中各个预测帧的二次重构；在本步骤完成后，时序号n＝L+1；

步骤二、对于第n帧观测矢量FMV_n，重构端采用与步骤一同样的迭代重构算法恢复第n个重建帧F_n，第j次迭代中，第n帧残差矢量R_n,j＝FMV_n-A_j·S_n,j，矩阵A_j仅包含对应S_n,j支撑集元素的A列，通过FMV_n和A_j的最小二乘估计，求解第n帧稀疏矢量，当满足停止条件时，重构端获得重建帧F_n＝Ψ·S_n,j，并在第n+1个时序号输出重建帧F_n-L+1，作为回放的第n-L+1个重建帧，其余重建帧F_n-L+2、…、F_n作为后续帧F_n+1的参考帧或预测帧，预测帧准备执行三次重构；若重建帧F_n的初次重构是迭代次数达到最大值itrMax后才完成，则重建帧F_n作为预测帧；否则，重建帧F_n作为参考帧；

若重建帧F_n被判断为参考帧，则在前一参考帧与F_n之间的预测帧执行基于多假设块匹配的双向或单向预测，预测帧的各块从最邻近且时序距离小于T帧的前后参考帧中挑选匹配块，以实现预测帧的三次重构；若重建帧F_n被判断为预测帧，则F_n的各块通过最邻近且时序距离小于T帧的前一参考帧执行多假设块匹配的单向预测，执行F_n的二次重构；预测帧从一个参考帧中挑选C个匹配块，计算每块与对应的匹配块线性组合之间的残差矢量，根据残差系数为零的概率对残差系数进行加权，得到一个加权的残差

最小化问题，采用SplitBregman算法解决该问题，完成各个预测帧的重构；

步骤三、如果仍然存在待重构的帧观测矢量，时序号n＝n+1，跳转到步骤二，继续逐个恢复帧观测矢量；否则，按时序依次输出剩余的重建帧F_n-L+2、…、F_n，作为最终的第n-L+2、…、n个重建帧，从而完成视频重构。

2.如权利要求1所述的一种时延约束下逐帧相同测量率的视频压缩感知重构方法，其特征在于，步骤一中，所述L取决于监控应用允许的启动时延大小；所述M正比于测量率。

Images