CN106296582B - 一种基于递减分数级数约束的超时间分辨率视频重建方法 - Google Patents

Abstract

本发明公开了一种基于递减分数级数约束的超时间分辨率压缩感知视频重建方法。在基于压缩感知的超时间分辨率视频重建过程中，利用分数级数约束能更好保持图像高频信息的特性，使用三维分数级数与梯度的联合TV约束对重建方程进行约束；考虑到分数级数的TV约束在提高重建视频图像细节的同时也增大了噪声的问题，令分数级数随求解迭代次数的增大而阶梯下降，从而减少了重建图像噪声。相较于传统基于TV约束的重建方法，本发明方法能在不引入噪声的前提下更好地保持图像细节。

Description

一种基于递减分数级数约束的超时间分辨率视频重建方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于递减分数级数约束的超时间分辨率视频重建方法。

背景技术

基于压缩感知的超时间分辨率视频重建技术，是通过对像素进行曝光编码得到经过编码的观测图像，再利用重建算法对观测图像重建获得一系列视频序列图像，即由二维图像获取三维视频的时间分辨率拓展技术。由于压缩感知是对低于奈奎斯特采样率的采样信号进行恢复重建，因此重建信号的精确程度以及重建速度是人们关注的重点。根据是否使用信号空间基(或称为字典)，重建算法可分为直接求解信号和先求解字典系数的间接求解方式，求解字典系数的间接重建方法可以通过对字典预先进行训练来提高重建质量，然而字典的训练需要大量同类样本，训练时间较长，有一定约束性。直接求解信号的重建方法一般求解速度较快，但重建质量较低，因此需要对目标方程添加更为有效的约束条件。

图像TV约束是使用最广泛的约束条件之一，对于三维视频信号的重建问题，人们最初使用二维梯度TV约束，这种二维约束忽略了视频信号时间维度上的连续性，因此重建视频图像的质量较差。三维TV约束增加了时间维约束，从而提高了重建质量，然而传统的梯度TV约束存在过度平滑的问题，重建图像往往细节较少。相较于梯度TV约束，分数级数TV约束能更好地保护图像高频信息，但也会存在更多噪声。综合考虑以上问题，本发明提出了一种空间维分数级数TV约束与时间维梯度TV约束的联合三维约束，同时令分数指数随迭代次数t增加而阶梯递减，在获得更多图像细节的同时减少了噪声。

发明内容

本发明的目的是针对基于压缩感知的超时间分辨率视频重建问题，构建三维分数级数与梯度的联合TV约束，同时令分数指数随迭代次数的增加而阶梯递减，从而提高重建视频图像质量。

本发明的目的是通过以下技术方案来实现的：一种基于递减分数级数约束的超时间分辨率视频重建方法，该方法包括以下步骤：

(1)建立约束模型，具体是：

(1.1)构建三维分数级数与梯度联合约束：

其中X∈R^N×N×L为三维视频信号，分别为第l帧图像X_l水平方向和垂直方向的分数级数导数：

和分别为水平和垂直分数级数导数算子：

为多项式(1-z)^τ的系数，σ为梯度权重系数，为视频相邻帧梯度：

定义操作 表示对三维信号X的每一帧图像X_l进行式(2)所示操作。

(1.2)构建超时间分辨视频重建方程：

其中Φ∈R^N×N×L为编码曝光函数，Y∈R^N×N为编码曝光图像，λ为TV约束系数，“*”为Hadamard乘积，即矩阵对应元素相乘。

(2)求解重建方程，具体是：

(2.1)使用两步迭代法求解视频信号X

x₁＝Γ_λ(x₀) (7)

x_t+1＝(1-α)x_t-1+(α-β)x_t+βΓ_λ(x_t) (8)

其中，α和β为参数。x₀＝Y*Φ。

(2.2)使用阈值迭代法求解Γ_λ(x)

求解结果可表示为：

Ψ_λ(y)＝y-π_λK(y) (10)

π_λK(y)＝p^K为非线性投影函数，按照式(10)所示求解。令p⁰＝0，则

(2.3)更新分数指数τ。令(1.1)中的分数指数τ随求解式(6)时的迭代次数t增加而阶梯递减

其中a和b为参数，分别用于调节τ的下降幅度与频率。为下降取整符号。当τ≤1时令τ＝1。

(2.4)判断终止条件。当迭代次数t达到最大迭代次数，或误差小于允许承受误差时，停止迭代，其中x_tl为第t次迭代视频信号的第l帧，输出重建结果

进一步地，步骤1.1中，所述梯度权重系数σ＝0.6。

进一步地，步骤2.1中，α和β分别取1.96和3.92。

进一步地，步骤2.3中，所述初始分数指数τ＝1.4。

进一步地，步骤2.3中，所述参数a、b大小分别为0.05和0.1左右。

本发明的有益效果：在基于压缩感知的超时间分辨率视频重建过程中，利用分数级数约束能更好保持图像高频信息的特性，使用三维分数级数与梯度的联合TV约束对重建方程进行约束；同时令分数级数随求解迭代次数的增大而阶梯下降，从而减少了重建图像噪声。相较于传统基于TV约束的重建方法，本发明方法能在不引入噪声的前提下更好地保持图像细节。

附图说明

图1为本发明方法流程图。

图2为超时间分辨率视频重建过程示意图。

图3为分数指数梯度降低示意图。

图4(a)为三维梯度TV约束重建视频的第3帧。

图4(b)为三维分数级数TV约束重建视频的第3帧。

图4(c)为本发明方法重建视频的第3帧。

具体实施方式

以下结合附图对本发明作进一步说明。

本发明提供的一种基于递减分数级数约束的压缩感知超时间分辨率视频重建方法，主要包括建立约束模型与求解重建方程两步骤，流程如附图1所示。

步骤1.建立约束模型

高时间分辨率视频重建过程如附图2所示，设视频信号为三维数据体X(x,y,l)，Φ(x,y,l)为每个像素在全部曝光时间上的采样函数(Φ(x,y,l)∈{0,1})，那么获得的观测图像Y(x,y)表示为：

其中Φ(x,y,l)已知。由于观测信号要远少于视频信号，因此该方程为一欠定方程。根据压缩感知理论，视频信号的重构问题可表示为：

其中“*”为Hadamard乘积，即矩阵对应元素相乘。

1-1根据分数级数约束能更好突出图像细节和边缘的特性，使用分数级数对视频空间维，即单帧图像进行约束。同时为了利用视频信号时间维度上的相似性，使用梯度在时间维度上对视频信号进行约束，从而构建三维分数级数与梯度联合约束：

其中X∈R^N×N×L为三维视频信号，分别为第l帧图像X_l水平方向和垂直方向的分数级数导数：

和分别为水平和垂直分数级数导数算子：

为多项式(1-z)^τ的系数，σ为梯度权重系数，为视频相邻帧梯度：

定义操作 表示对三维信号X的每一帧图像X_l进行式(4)所示操作。

1-2构建超时间分辨视频重建方程：

其中Φ∈R^N×N×L为编码曝光函数，Y∈R^N×N为编码曝光图像，λ为TV约束系数。

步骤2.求解重建方程

2-1本发明使用两步阈值迭代法对重建方程(8)进行求解。顾名思义，两步阈值迭代法包括阈值迭代过程和两步迭代过程。初始化x₀＝Y*Φ，迭代次数t＝1，最大迭代次数t_max＝35，分数级数τ＝1.4，TV约束系数λ＝0.01，阈值迭代次数K＝8。

使用两步迭代法求解视频信号X

x₁＝Γ_λ(x₀) (9)

x_t+1＝(1-α)x_t-1+(α-β)x_t+βΓ_λ(x_t) (10)

其中，α和β分别取1.96和3.92。

2-2使用阈值迭代法求解Γ_λ(x)。定义去噪方程：

求解结果可表示为：

Ψ_λ(y)＝y-π_λK(y) (12)

π_λK(y)＝p^K为非线性投影函数，按照式(12)所示求解。令p⁰＝0，则

2-3更新分数指数τ。考虑到分数级数约束在保留细节的同时也导致了更多的噪声，本发明令分数指数τ随求两步迭代法的迭代次数t增加而递减，从而起到抑制噪声的作用，当τ＝1时等价于图像梯度。

在递减过程中，由于重建使用的是两步迭代法，即当前迭代结果与上两次的迭代结果有关，因此太剧烈的下降会导致算法不收敛，为解决这一问题，本发明使用阶梯递减的方式，如附图3所示，从而使递减过程更加平稳：

其中a和b为参数，分别用于调节τ的下降幅度与频率，可分别取0.05和0.1左右。为下降取整符号。

判断分数指数τ，当τ≤1时令τ＝1。

2-4判断算法终止条件。当迭代次数t达到最大迭代次数，或误差小于允许承受误差ε时，停止迭代，其中x_tl为第t次迭代视频信号的第l帧，输出重建结果

相较于传统基于TV约束的重建方法，本发明方法能在不引入噪声的前提下更好地保持图像细节，如附图4所示。

Claims (5)

1.一种基于递减分数级数约束的超时间分辨率视频重建方法，其特征在于，该方法包括以下步骤：

(1)建立约束模型，具体是：

(1.1)构建三维分数级数与梯度联合约束：

其中X∈R^N×N×L为三维视频信号，分别为第l帧图像X_l水平方向和垂直方向的分数级数导数：

和分别为水平和垂直分数级数导数算子：

为多项式(1-z)^τ的系数，σ为梯度权重系数，为视频相邻帧梯度：

定义操作 表示对三维信号X的每一帧图像X_l进行式(2)所示操作；

(1.2)构建超时间分辨视频重建方程：

其中Φ∈R^N×N×L为编码曝光函数，Y∈R^N×N为编码曝光图像，λ为TV约束系数，“*”为Hadamard乘积，即矩阵对应元素相乘；

(2)求解重建方程，具体是：

(2.1)使用两步迭代法求解视频信号X

x₁＝Γ_λ(x₀) (7)

x_t+1＝(1-α)x_t-1+(α-β)x_t+βΓ_λ(x_t) (8)

其中，α和β为参数；x₀＝Y*Φ；

(2.2)使用阈值迭代法求解Γ_λ(x)

求解结果可表示为：

Ψ_λ(y)＝y-π_λK(y) (10)

π_λK(y)＝p^K为非线性投影函数，按照式(10)所示求解；令p⁰＝0，则

(2.3)更新分数指数τ；令(1.1)中的分数指数τ随求解式(6)时的迭代次数t增加而阶梯递减

其中a和b为参数，分别用于调节τ的下降幅度与频率；为下降取整符号；当τ≤1时令τ＝1；

(2.4)判断终止条件；当迭代次数t达到最大迭代次数，或误差小于允许承受误差时，停止迭代，其中x_tl为第t次迭代视频信号的第l帧，输出重建结果

2.根据权利要求1所述一种基于递减分数级数约束的超时间分辨率视频重建方法，其特征在于，步骤(1.1)中，所述梯度权重系数σ＝0.6。

3.根据权利要求1所述一种基于递减分数级数约束的超时间分辨率视频重建方法，其特征在于，步骤(2.1)中，α和β分别取1.96和3.92。

4.根据权利要求1所述一种基于递减分数级数约束的超时间分辨率视频重建方法，其特征在于，步骤(2.3)中，初始分数指数τ＝1.4。

5.根据权利要求1所述一种基于递减分数级数约束的超时间分辨率视频重建方法，其特征在于，步骤(2.3)中，所述参数a、b大小分别为0.05和0.1。