CN110072105A

CN110072105A - 一种联合边信息的分布式视频压缩采样重建方法

Info

Publication number: CN110072105A
Application number: CN201910376206.7A
Authority: CN
Inventors: 田昕; 陈月荣
Original assignee: Shenzhen Research Institute of Wuhan University
Current assignee: Shenzhen Research Institute of Wuhan University
Priority date: 2019-05-07
Filing date: 2019-05-07
Publication date: 2019-07-30
Anticipated expiration: 2039-05-07
Also published as: CN110072105B

Abstract

本发明公开了一种联合边信息的分布式视频压缩采样重建方法，考虑到由关键帧产生的边信息与非关键帧的相似性，该相似性可以进一步通过两者的差异在固定变换基上的稀疏约束来表征，从而生成非关键帧重建优化模型。最后通过FISTA策略进行优化求解，从而生成较好重建质量的非关键帧信息。实验表明：本发明提出的方法考虑到图像与其边信息之间的相关性，进行联合边信息残差稀疏正则化约束的图像重建，从而使得重建视频帧的各项指标均接近理想值。

Description

一种联合边信息的分布式视频压缩采样重建方法

技术领域

本发明属于分布式视频编码领域，涉及一种分布式视频压缩采样重建方法，适用于各种资源受限的视频编码应用场景。

背景技术

随着用户对高清视频的应用需求，视频数据量在急剧增加。视频编码技术能够有效地去除视频数据中的冗余信息，从而实现视频在互联网中的快速传输及存储。目前常见的视频标准包括由国际标准组织国际电信联盟电信标准化部门 (ITU-T)和国际标准组织机构(ISO)制定的MPEG、H.26x等。随着相关技术的更新与升级，传统视频编码技术在视频监控、消费电子等方面得到了广泛的应用。在传统的视频编码方法中，编码端需要充分利用视频时间和空间的相关性进行类似于运动估计和运动补偿等高计算复杂度的运算，从而对硬件系统提出了较高的要求，不太适合于各种计算资源受限的应用场合。分布式视频编码技术为解决计算资源受限下的视频传输问题提供了一种有效的解决途径。在分布式视频编码中，视频帧被分为关键帧和WZ帧。对于关键帧，采用传统的编码方法。对于 WZ帧进行信道编码(往往在变换域进行)，仅仅只传送一部分校验信息。在解码端将关键帧进行运动估计及运动补偿产生边信息，将边信息看作是WZ帧经过一个虚拟信道后叠加噪声(相关噪声)获得，于是通过边信息及校验信息进行信道解码就可恢复出数据。2002年斯坦福大学Bernd等提出了像素域的WZ视频编码架构。随后该框架被扩展到变换域，提出了变换域的WZ视频编码架构。因此，基于变换域的分布式编码技术成为了主要研究方向。Berkeley大学的Kannan研究小组提出了基于块的PRISM架构，它使用Hash信息辅助边信息进行解码重构。DISCOVER研究小组在变换域WZ视频编码架构的基础上进行了改进，引入图片组的概念，可根据待编码视频序列的时域相关性调整关键帧与WZ帧的比例。分布式视频压缩感知是一种新颖的视频编码方法，通过将压缩感知和分布式视频编码方法相结合，在基本不影响编码质量的前提条件下，可以极大降低视频采集端的能耗，成为了国内外许多研究学者关注和研究的热点。

在分布式视频压缩感知中，一个核心技术是在解码端需要结合边信息，并通过有效的重建方法对编码端稀疏采样的视频进行重建。边信息可以被视为当前帧的含噪图像，如何将边信息与传统压缩采样重建算法相结合是分布式视频压缩感知的关键问题之一。

发明内容

本发明针对现有技术的不足，提供一种联合边信息残差稀疏正则化约束的分布式视频压缩采样重建方法。

本发明所采用的技术方案是：一种联合边信息残差稀疏正则化约束的分布式视频压缩采样重建方法，首先将输入视频分为关键帧和非关键帧，在编码端对关键帧采用高采样率的压缩采样测量方法，对非关键帧采用低采样率的压缩采样测量方法。在解码端，对关键帧进行帧内重建，并通过运动估计和运动补偿算法生成用于非关键帧重建所需的边信息。对于非关键帧，结合边信息，求解所提出的联合重建模型实现非关键帧的重建，其整体实现框图如图1所示。该方法包括以下步骤：

步骤1：在编码端，将视频分为关键帧和非关键帧，按照压缩感知的原理，对其进行稀疏采样。关键帧选用较高的采样率，非关键帧选用较低的采样率。假设原始视频关键和非关键帧对应的列向量分别表示为y_K∈R^N×1和y_N∈R^N×1，测量矩阵分别为和其中N表示将二维视频帧转换成的一维向量的长度，M表示关键帧的测量数，S表示非关键帧的测量数，M＞S，测量矩阵选用预随机化的分块哈达玛矩阵(SBHE)。则关键帧和非关键的测量值 x_K∈R^M×1和x_N∈R^S×1具有如下关系式：

步骤2：对关键帧按照传统的压缩采样重建方法进行重建。

步骤3：基于关键帧的重建结果，基于运动估计和运动补偿生成边信息。

步骤4：结合生成的边信息，构建联合重建模型。

步骤5：对联合重建模型进行求解，从而实现非关键帧的重建。

作为优选，步骤2的具体实现包括以下子步骤：

步骤2.1：构建重建优化目标函数，ψ是正交基，可以是小波变换或者离散余弦变换，在此基础上可以得到：

其中，α表示对上述最小值函数进行求解过程中的变量，α_K表示对上述最小值函数进行求解，变量α对应的结果，即视频关键帧y_K的稀疏表示向量。τ是一个非负参数，为一常数。

步骤2.2：通过梯度投影稀疏重建算法(Gradient Projection for SparseReconstruction，GPSR)进行求解。

步骤2.3：按照下述公式重建出关键帧：

作为优选，步骤3的具体实现包括以下子步骤：

步骤3.1：基于前后关键帧进行双向运动估计。运动估计是在前后关键帧编码块中寻找与当前编码块最佳的对应块作为参考块，从而计算出相应块的位置偏移，即运动矢量。

步骤3.2：基于运动估计生成的运动矢量进行运动补偿。运动补偿是由运动矢量以及帧间预测方法，得到当前块的估计值，即所需的边信息。

作为优选，步骤4的具体实现包括以下子步骤：

步骤4.1：联合边信息残差稀疏正则化约束的重建目标函数可以表示为：

α表示对上述最小值函数进行求解过程中的变量，α_N表示对上述最小值函数进行求解，变量α对应的结果，即视频关键帧y_N的稀疏表示向量，λ是一正则化参数，为一常数，ψ是正交基，s代表在步骤3中生成的边信息，对上式进一步简化，令并通过1范数替代0范数，可以得到：

步骤4.2：基于FISTA的优化策略(A fast iterative shrinkage-thresholdingalgorithm for linear inverse problems)，上式可以进一步等效为如下两个等式：

m^k＝m^k-1-Φ^-1(Φα^k-1+z-x_N)/L (1)

m^k为变量m在第k次迭代计算时所得到的结果，其初始值L为一常数。

步骤4.3：对(1)式进行求解，其结果可以表示为：

步骤4.4：按照下述公式重建非关键帧：

本发明主要针对在有限硬件资源下低复杂度视频编码的应用需求。考虑到由关键帧产生的边信息与非关键帧的相似性，该相似性可以进一步通过两者的差异在固定变换基上的稀疏约束来表征，从而生成非关键帧重建优化模型。最后通过 FISTA策略进行优化求解，从而生成较好重建质量的非关键帧信息。

附图说明

图1是本发明的总体流程图。

图2是本发明选用Bus视频，对当前帧的前后关键帧进行重建的结果，其中 (a)和(b)分别为生成的第i-1和i-2关键帧示意图。

图3是本发明利用重建的前后关键帧得到的当前帧的边信息。

图4是本发明所提出方法重建出的非关键帧。

图5是本发明提出方法与其它对比方法重建出的视频帧的视觉质量比较，其中(a)为原图，(b)为GPSR方法处理结果图，(c)为DCVS方法处理结果图，(d) 为本发明proposed方法处理结果图。

图6是本发明图5中部分细节的视觉质量比较，其中(a)为原图，(b)为GPSR 方法处理结果图，(c)为DCVS方法处理结果图，(d)为本发明proposed方法处理结果图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施例仅用于解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种联合边信息残差稀疏正则化约束的分布式视频压缩采样重建方法，具体包括如下步骤：

步骤1：在编码端，将视频分为关键帧和非关键帧，按照压缩感知的原理，对其进行稀疏采样。关键帧选用较高的采样率，非关键帧选用较低的采样率。假设原始视频关键和非关键帧对应的列向量分别表示为y_K∈R^N×1和y_N∈R^N×1，测量矩阵分别为和其中N表示将二维视频帧转换成的一维向量的长度，M表示关键帧的测量数，S表示非关键帧的测量数，M＞S，测量矩阵选用预随机化的分块哈达玛矩阵(SBHE)。在本实施例中，M＝0.7，S＝0.4。则关键帧和非关键的测量值x_K∈R^M×1和x_N∈R^S×1具有如下关系式：

步骤2：对关键帧按照传统的压缩采样重建方法进行重建^[2]，具体实现包括以下子步骤：

步骤2.1：构建重建优化目标函数，ψ是正交基，可以是小波变换或者离散余弦变换。在此基础上可以得到：

在本实施例中，选用小波变换作为正交基。

步骤2.2：通过GPSR算法进行求解^[4]。默认设置包括令α默认初始化为零向量，重构的默认停止标准是当α中的非零分量的数量的相对变化小于阈值T_A(T_A＝0.01)时，算法停止。

步骤2.3：按照下述公式重建关键帧：

在本实施例中，生成的第i-1和i-2关键帧示意图如附图2(a)和2(b)所示。

步骤3：基于关键帧的重建结果，基于动估计和运动补偿成边信息^[7]生成边信息，具体实现包括以下子步骤：

步骤3.1：基于前后关键帧进行双向运动估计^[5]。运动估计是在前后关键帧编码块中寻找与当前编码块最佳的对应块作为参考块，从而计算出相应块的位置偏移，即运动矢量。

步骤3.2：基于运动估计生成的运动矢量进行运动补偿^[6]。运动补偿是由运动矢量以及帧间预测等方法，得到当前块的估计值，即所需的边信息。

步骤4：结合生成的边信息，构建联合重建模型，具体实现包括以下子步骤：

λ是一正则化参数，为一常数，s代表在步骤3中生成的边信息。对上式进一步简化，令并通过1范数替代0范数，可以得到：

在本实施例中，

m^k＝m^k-1-Φ^-1(Φα^k-1+z-x_N)/L (1)

m^k为变量m在第k次迭代计算时所得到的结果，其初始值L为一常数，在本实施例中L＝1。

步骤4.3：对(1)式进行求解，其结果可以表示为：

步骤4.4：按照下述公式重建非关键帧：

非关键帧重建算法的流程如表1所示。最大迭代次数MaxIt＝50。在本实施例中，重建的非关键帧如附图4所示。

表1 非关键帧重建算法的流程

基于上述操作得到分布式压缩感知重建视频，为了对重建视频进行定量的评价，选用多种标准视频进行重建比较，包括Foreman，Bus，City，Crew，Mobile。选用峰值信噪比(PSNR)以及结构相似性(SSIM)作为评价指标。为了和其他方法进行比较，我们也使用GPSR帧内重建方法以及文献[8]提出的DCVS方法和我们的方法进行比较，关键帧的采样率S_K＝0.7，非关键帧的采样率 S_NK＝0.2，0.3，...，0.6时，得出的结果如表2，表3所示。S_K＝0.7，S_NK＝0.5时，有关各算法重建Bus视频帧的视觉质量比较，参见附图5及附图6。

表2 不同重建方法的PSNR(dB)对比(理想值：+∞)

表3 不同重建方法的SSIM对比(理想值：1)

可以看到，我们提出的方法考虑到图像与其边信息之间的相关性，进行联合边信息残差稀疏正则化约束的图像重建，从而使得重建视频帧的各项指标均接近理想值。

本发明主要针对由分布式压缩感知在视频压缩重建的应用需求。考虑到图像与其边信息差值的稀疏性，我们提出了一种联合边信息残差稀疏正则化约束的重建模型，然后基于FISTA的优化策略对该模型进行求解，从而重建出低误差视频帧。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

参考文献

[1]Donoho D L.Compressed sensing[J].IEEE Transactions on InformationTheory, 2006,52(4):1289-1306.

[2]M.A.T.Figueiredo,R.D.Nowak and S.J.Wright,"Gradient Projection forSparse Reconstruction:Application to Compressed Sensing and Other InverseProblems,"in IEEE Journal of Selected Topics in Signal Processing,vol.1,no.4,pp.586-597,Dec.2007.

[3]Byung-Tae Choi,Sung-Hee Lee and Sung-Jea Ko,"New frame rate up-conversion using bi-directional motion estimation,"in IEEE Transactions onConsumer Electronics,vol.46,no.3,pp.603-609,Aug.2000.

[4]L.Gan,T.T.Do and T.D.Tran,"Fast compressive imaging usingscrambled block Hadamard ensemble,"2008 16th European Signal ProcessingConference, Lausanne,2008,pp.1-5.

[5]Byung-Tae Choi,Sung-Hee Lee and Sung-Jea Ko,"New frame rate up-conversion using bi-directional motion estimation,"in IEEE Transactions onConsumer Electronics,vol.46,no.3,pp.603-609,Aug.2000.

[6]B.Choi,J.Han,C.Kim and S.Ko,"Motion-Compensated FrameInterpolation Using Bilateral Motion Estimation and Adaptive Overlapped BlockMotion Compensation,"in IEEE Transactions on Circuits and Systems for VideoTechnology,vol.17,no.4,pp.407-416,April 2007.

[7]L.Ran,G.Zongliang,C.Ziguan,W.Minghu and Z.Xiuchang,"Distributedadaptive compressed video sensing using smoothed projected landweberreconstruction,"in China Communications,vol.10,no.11,pp.58-69,Nov.2013.

[8]L.Kang and C.Lu,"Distributed compressive video sensing,"2009 IEEEInternational Conference on Acoustics,Speech and Signal Processing,Taipei,2009,pp.1169-1172。

Claims

1.一种联合边信息的分布式视频压缩采样重建方法，其特征在于，包括如下步骤：

步骤1，在编码端，将视频分为关键帧和非关键帧，并按照压缩感知的原理，对其进行稀疏采样，其中关键帧选用较高的采样率，非关键帧选用较低的采样率；

假设原始视频关键和非关键帧对应的列向量分别表示为y_K∈R^N×1和y_N∈R^N×1，测量矩阵分别为和其中N表示将二维视频帧转换成的一维向量的长度，M表示关键帧的测量数，S表示非关键帧的测量数，M＞S，则关键帧和非关键的测量值x_K∈R^M×1和x_N∈R^S×1具有如下关系式：

步骤2，对关键帧按照传统的压缩采样重建方法进行重建；

步骤3，基于关键帧的重建结果，基于运动估计和运动补偿生成边信息，

步骤4，结合生成的边信息，构建联合重建模型；

步骤5，对联合重建模型进行求解，从而实现非关键帧的重建。

2.如权利要求1所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：步骤2的具体实现包括以下子步骤，

步骤2.1，构建重建优化目标函数，ψ是正交基，在此基础上得到，

其中，α表示对上述最小值函数进行求解过程中的变量，α_K表示对上述最小值函数进行求解，变量α对应的结果，即视频关键帧y_K的稀疏表示向量，τ是一个非负参数，为一常数；

步骤2.2，通过梯度投影稀疏重建算法(Gradient Projection for SparseReconstruction，GPSR)进行求解；

步骤2.3，按照下述公式重建出关键帧：

3.如权利要求1所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：步骤3的具体实现包括以下子步骤，

步骤3.1，基于前后关键帧进行双向运动估计，运动估计是在前后关键帧编码块中寻找与当前编码块最佳的对应块作为参考块，从而计算出相应块的位置偏移，即运动矢量；

步骤3.2，基于运动估计生成的运动矢量进行运动补偿，运动补偿是由运动矢量以及帧间预测方法，得到当前块的估计值，即所需的边信息。

4.如权利要求1所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：步骤4的具体实现包括以下子步骤，

步骤4.1，联合边信息残差稀疏正则化约束的重建目标函数可以表示为，

λ是一正则化参数，为一常数，ψ是正交基，s代表在步骤3中生成的边信息；对上式进一步简化，令并通过1范数替代0范数，得到：

步骤4.2，基于FISTA的优化策略(A fast iterative shrinkage-thresholdingalgorithm for linear inverse problems)，上式进一步等效为如下两个等式：

m^k＝m^k-1-Φ^-1(Φα^k-1+z-x_N)/L (1)

m^k为变量m在第k次迭代计算时所得到的结果，其初始值L为一常数；

步骤4.3，对(1)式进行求解，其结果表示为，

步骤4.4，按照下述公式重建非关键帧，

5.如权利要求2所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：正交基ψ是小波变换或者离散余弦变换。

6.如权利要求2所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：步骤2.2中通过梯度投影稀疏重建算法求解时，默认设置α默认初始化为零向量，重构的默认停止标准是当α中的非零分量的数量的相对变化小于阈值T_A(T_A＝0.01)时，算法停止。

7.如权利要求1-6任一权利要求所述的一种联合边信息的分布式视频压缩采样重建方法，其特征在于：步骤1中测量矩阵和选用预随机化的分块哈达玛矩阵(SBHE)。