CN112541965A - 基于张量逼近和时空相关性的压缩感知图像和视频恢复 - Google Patents

Abstract

本发明公开了一种基于张量逼近和时空相关性的压缩感知图像和视频恢复，涉及视频图像处理技术领域，恢复方法步骤如下：S1:材料读入：材料读入并进行分帧处理形成单独的图像；S2:图像分块：将步骤S1中单独的图像进行图像分块处理成图像小块；S3:恢复处理：将图像小块采用张量逼近思路进行初始图像恢复处理；S4:图像重构：初始图像恢复处理的图像进行图像重构处理得到质量良好的图像块；本发明通过针对自然图像和视频提出了新颖的恢复模型，实现高质量的恢复；图像恢复模型不仅可以通过提取相似块来充分利用局部自相似性，而且可以通过考虑低秩属性来建立模型，以进一步提高重建图像的质量。

Description

基于张量逼近和时空相关性的压缩感知图像和视频恢复

技术领域

本发明涉及视频图像处理技术领域，具体为基于张量逼近和时空相关性的压缩感知图像和视频恢复。

背景技术

传统的图像和视频采样和重建受到奈奎斯特采样理论的约束，该理论要求采样率不得低于信号带宽的两倍。由于信号中的冗余，因此总是伴随着计算复杂性问题。为了有效消除传输冗余并减少计算量，压缩传感技术打破了奈奎斯特采样理论的局限，引起了人们的极大兴趣。CS只需通过投影的方式得到少量测量值即可实现重建。更明确地说，根据CS理论，可以从这些测量中以较高的概率恢复在某些域中具有稀疏表示的信号。视频信号在时间和空间上都具有更大的冗余度，因此，CS理论对于视频的稀疏表示具有广阔的前景。

在过去的几年中，压缩感测在核磁共振，图像处理，压缩雷达等各个领域都取得了长足的进步。但是，由于经典CS直接处理整个图像，因此会导致更高的计算复杂度。为了减少计算量，图像和视频恢复的研究已逐渐转向BCS。已经提出了许多有代表性的重建算法，包括平滑投影的Landweber(SPL)，多假设(MH)预测，基于总变分的算法等。但是，它们的重构质量仍然需要提高，尤其是在低压缩比率下。为了获得更好的CS恢复，一些研究人员采用了加权的想法。Candès提出了一种基于信号幅度的加权方案，使其更接近l0范数，同时在优化问题中仍使用l1范数。以类似的方式，Asif等人根据信号的同态性自适应分配权重值。尽管这些算法取得了一些进展，但由于仍未充分考虑信号的许多有用先验信息，因此性能仍不能令人满意。

发明内容

本发明的目的在于提供基于张量逼近和时空相关性的压缩感知图像和视频恢复，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于张量逼近和时空相关性的压缩感知图像和视频恢复，恢复方法步骤如下：

S1:材料读入：材料读入并进行分帧处理形成单独的图像；

S2:图像分块：将步骤S1中单独的图像进行图像分块处理成图像小块；

S3:恢复处理：将图像小块采用张量逼近思路进行初始图像恢复处理；

S4:图像重构：初始图像恢复处理的图像进行图像重构处理得到质量良好的图像块；

S5:图像恢复：根据分块的方式，将这些重构出的图像块进行整合为一张图像并保存；

S6:视频恢复：第一阶段针对某一帧图像进行图像分块处理，根据时空相关性，第二阶段为提取目标块在前后几帧图像中的相似块构成张量，通过张量逼近提高图像块的质量，然后将图像块放回原位置得到重构视频的一帧，然后依次对每一帧进行相同操作，最后整合出视频并保存。

优选的，所述S1的材料为视频或者让图片，材料为视频时每一帧图像分帧为连续单独的图像，材料为图像时图像分帧为单独的图像。

优选的，所述图像分块处理是在压缩感知的基础上对单独的图像进行相同的测量矩阵独立测量和重建相同大小的每个图像小块；

具体为：图像x的尺寸为N×N，通过BCS算法将其划分为n个大小不重叠的小块B×B，用x_k,k＝1,2,...,n表示，块的压缩样本表示为

y_k＝Φx_k (1)

其中y_k是块x_k的测量值,Φ大小为M×B²的测量矩阵。

优选的，所述测量矩阵表示为：

优选的，所述初始图像恢复处理方法如下：

将大小为N×N的初始恢复图像x划分为L个重叠的块，用x_l,1≤l≤L表示，其中块大小S²，此过程公式为

x_l＝E_lx (3)

其中矩阵运算符E_l以重叠方式从x中提取块x_l，相似块形成的张量的低秩近似实现增强非局部相似性和稀疏性，重建图像公式如下：

其中Ψ(g)表示HOSVD运算，λ和η表示正则化常数，并且X_li是提取的相似块的张量，argmin表示表达式参数最小化，||·||p表示范数，F，p可以为0，1，2；

引入辅助变量x＝z来重写方程(4),

优选的，图像重构处理在公式(5)的基础上引入ADMM算法获得以下公式：

u^j+1＝u^j+x^j+1-z^j+1 (7)

其中τ表示增广拉格朗日参数；

方程(6)通过ADMM来解决，并且通过迭代地实现求解，

对于方程式(8)，通过固定z和X，从第j次迭代开始，将第j+1次迭代的x估计表示为：

用最速下降法(SD)求解，求解可以写成

x^j+1＝(ηΦ^TΦ+τI)^-1(ηΦ^Ty+τu^j-τz^j) (12)

对于等式(10)，在z和x固定的情况下，近似得出张量X^j+1

Ψ(g)是HOSVD的运算，用Ψ^-1(g)来表示HOSVD的逆运算，令Z_l＝Ψ(E_lz^j)，Y_il＝Ψ(X_li)和p＝1，Y^j+1的表达式表示为

使用软阈值获得方程式(14)的解，写成

Y^j+1＝shrink(Z_l ^j,τ)＝max(Z_l ^j-τ,0) (15)

shrink表示软阈值算子；

X^j+1的表达式可以写成

X^j+1＝Ψ^-1(Y^j+1) (16)

对于式(10)，当固定X和x的值时，通过以下公式计算Z^j+1

对于公式(17)，Z^j+1视为一个简单的最小二乘问题，因此，Z^j+1计算如下

其中E_l ^T是将块放回原始位置的逆运算符，

表示将所有相似块平均的结果，

是对角矩阵，对角矩阵元素值是覆盖某像素位置的重叠块的数量。

优选的，所述时空相关性是前后几帧图像在某一像素位置具有一定的相关性。

与现有技术相比，本发明的有益效果是：

本发明通过针对自然图像和视频提出了新颖的恢复模型，实现高质量的恢复；图像恢复模型不仅可以通过提取相似块来充分利用局部自相似性，而且可以通过考虑低秩属性来建立模型，以进一步提高重建图像的质量；对于视频，在第一阶段，基于图像重建模型，将视频序列的每一帧都视为独立的图像进行重建，第二阶段是充分利用视频序列的时空相关性，并通过在目标帧附近的帧中搜索相似的块来执行张量逼近，以提高重建性能。本发明设计了一种基于ADMM框架的有效解决方案，以降低计算复杂性。本发明大量实验表明，所提出的图像重建模型比自然图像和视频的其他代表性的最新算法具有更好的重建质量和视觉效果。

附图说明

图1为本发明的图像重建模型流程图；

图2为本发明的视频重建模型的框架；

图3为本发明的实验自然图像；

图4为本发明的在压缩比率为30％的情况下，图像Leaves的重建质量比较图；

图5为本发明的在压缩比率为30％的情况下，图像Vessels的重建质量比较图；

图6为本发明的第一阶段的性能与整个算法的比较；

图7为本发明的视频恢复重建的第7帧图；

图8为本发明的三种视频序列的模型和三种比较模型的性能图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合实施例对本发明作进一步的描述。

实施例1

一种基于张量逼近和时空相关性的压缩感知图像和视频恢复，恢复方法步骤如下：

S1:材料读入：材料读入并进行分帧处理形成单独的图像；

S1的材料为视频或者让图片，材料为视频时每一帧图像分帧为连续单独的图像，材料为图像时图像分帧为单独的图像；

S2:图像分块：将步骤S1中单独的图像进行图像分块处理成图像小块；

图像分块处理是在压缩感知的基础上对单独的图像进行相同的测量矩阵独立测量和重建相同大小的每个图像小块；具体为：图像x的尺寸为N×N，通过BCS算法将其划分为n个大小不重叠的小块B×B，用x_k,k＝1,2,...,n表示，块的压缩样本表示为

y_k＝Φx_k (1)

其中y_k是块x_k的测量值,Φ大小为M×B²的测量矩阵。

优选的，所述测量矩阵表示为：

S3:恢复处理：将图像小块采用张量逼近思路进行初始图像恢复处理；

初始图像恢复处理方法如下：

将大小为N×N的初始恢复图像x划分为L个重叠的块，用x_l,1≤l≤L表示，其中块大小S²，此过程公式为

x_l＝E_lx (3)

其中矩阵运算符E_l以重叠方式从x中提取块x_l，相似块形成的张量的低秩近似实现增强非局部相似性和稀疏性，重建图像公式如下：

其中Ψ(g)表示HOSVD运算，λ和η表示正则化常数，并且X_li是提取的相似块的张量，argmin表示表达式参数最小化，||·||p表示范数，F，p可以为0，1，2；

引入辅助变量x＝z来重写方程(4),

优选的，图像重构处理在公式(5)的基础上引入ADMM算法获得以下公式：

u^j+1＝u^j+x^j+1-z^j+1 (7)

其中τ表示增广拉格朗日参数；

方程(6)通过ADMM来解决，并且通过迭代地实现求解，

对于方程式(8)，通过固定z和X，从第j次迭代开始，将第j+1次迭代的x估计表示为：

用最速下降法(SD)求解，求解可以写成

x^j+1＝(ηΦ^TΦ+τI)^-1(ηΦ^Ty+τu^j-τz^j) (12)

对于等式(10)，在z和x固定的情况下，近似得出张量X ^j+1

Ψ(g)是HOSVD的运算，用Ψ^-1(g)来表示HOSVD的逆运算，令Z_l＝Ψ(E_lz^j)，Y_il＝Ψ(X_li)和p＝1，Y^j+1的表达式表示为

使用软阈值获得方程式(14)的解，写成

Y^j+1＝shrink(Z_l ^j,τ)＝max(Z_l ^j-τ,0) (15)

shrink表示软阈值算子；

X^j+1的表达式可以写成

X^j+1＝Ψ^-1(Y^j+1) (16)

对于式(10)，当固定X和x的值时，通过以下公式计算Z^j+1

对于公式(17)，Z^j+1视为一个简单的最小二乘问题，因此，Z^j+1计算如下

其中E_l ^T是将块放回原始位置的逆运算符，

表示将所有相似块平均的结果，

是对角矩阵，对角矩阵元素值是覆盖某像素位置的重叠块的数量(如图1所示)。

S4:图像重构：初始图像恢复处理的图像进行图像重构处理得到质量良好的图像块；

S5:图像恢复：根据分块的方式，将这些重构出的图像块进行整合为一张图像并保存；

S6:视频恢复：第一阶段针对某一帧图像进行图像分块处理，根据时空相关性，第二阶段为提取目标块在前后几帧图像中的相似块构成张量，通过张量逼近提高图像块的质量，然后将图像块放回原位置得到重构视频的一帧，然后依次对每一帧进行相同操作，最后整合出视频并保存(如图2所示)；

时空相关性是前后几帧图像在某一像素位置具有一定的相关性。

案例分析

图片恢复时：

选择六个自然灰度图像进行实验，分别是图3所示的Barbara,Boat,House,Leaves,Lena和Vessels，图像由随机高斯测量矩阵进行压缩采样。表1比较了四种现有的常用CS恢复方法，包括BCS-SPL-DCT、BCS-SPL-DWT、MH和CoS算法。值得注意的是，MH方法和CoS方法被称为图像CS重建中的高级算法。表1展示了通过不同的重建算法以10％，20％和30％的比率重建的图像的PSNR和SSIM。可以看出，本发明提出的恢复方法具有与优秀算法相当的重建质量。在低比率的情况下，由于初始恢复效果不理想，对于纹理非常复杂的图像，本发明恢复方法的重建性能不如CoS。但是，随着比率的增加，与CoS相比，原始还原图像的性能逐渐提高，因此，本文提出的恢复方法的重构性能也得到了极大的提高，达到了最优；

表1：重建图像的PSNR和SSIM

在视觉上直观地比较了由所提出的恢复方法重建的图像和由其他四种算法重建的图像。图4和图5显示了两个图像在0.3的比例下的重建结果，图4从左至右：原始图像，BCS_SPL_DCT，BCS_SPL_DWT，MH，CoS的重建图像和提出的方法；图5从左至右：原始图像，BCS_SPL_DCT，BCS_SPL_DWT，MH，CoS的重建图像和提出的方法。从实验结果可以看出，BCS-SPL-DCT和BCS-SPL-DWT重建的图像总体上是模糊的，纹理结构不够清晰，视觉效果比其他算法差，尤其是对纹理复杂的图像。MH算法和CoS算法重构图像均具有较好的图像质量，视觉效果与原始图像差异不大。特别是，与MH算法所重建的图像相比，CoS算法具有更强的纹理和更高的质量。本发明恢复方法的模型也可以很好地重建图像，就PSNR而言，所恢复方法重建的图像比MH算法和CoS算法重建的图像略高，也就是说，本发明恢复方法可以有效地重建图像，提高了图像重建的质量，并且通常优于上述四种经典的压缩感测重建算法。

视频恢复时：

视频恢复时使用了时间相关性，在第二阶段中提出的视频CS重建算法中起着至关重要的作用。为了验证阶段2的有效性，比较了阶段1和阶段2的恢复质量。

图6展示了阶段1的重建性能和三个标准CIF视频序列的整体模型性能。在实验中，所有帧的子速率均为0.26，t的值为8。阶段1已经很好，阶段2中所有帧的恢复结果都得到了进一步改善。在图6中，给出了阶段1的PSNR和整个模型PSNR的结果。可以看出，对于视频Foreman和Mother-Daughter，阶段2可以将重建质量提高近1和0.6dB。

为了验证所提出模型的性能，将我们提出的视频恢复模型与文献中的其他三种代表性视频CS重建方法进行了比较：KTSLR，MC-BCS-SPL和video MH。所有这些比较方法均采用相同的CS采样策略(使用高斯随机投影矩阵的BCS采样，块大小为32×32)和相同的GOP结构(GOP大小为8，非关键帧的子速率为0.26)进行实验。由于CS采样策略和GOP结构，关键帧的子速率为1.00，因此其PSNR远高于非关键帧。以相同的采样率处理所有帧。video MH设计用于两个帧：关键帧和非关键帧。为了达到公平的比较，允许GOP中的每个非关键帧引用其前向关键帧来增强它。video MH被称为用于视频CS重建的最新方法。

为了更好地说明重建视频的质量，以视频Foreman为例，从视频中随机抽取一个帧，即第7帧，并在图7中给出恢复方法重构的图像和比较算法重构的图像。

图8说明了所提出的模型和其他三个比较模型的性能。很明显，本发明恢复方法对所有视频序列均具有更好的平均PSNR。KTSLR专为MRI设计，因此其性能比提出的模型差很多。表2显示了四种视频CS恢复方法中所有帧的平均结果。可以看出，所提出的模型平均比其他三种方法分别好15、6和3dB。

表2：重构视频的PSNR

本发明中未涉及部分均与现有技术相同或可采用现有技术加以实现。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：恢复方法步骤如下：

S1:材料读入：材料读入并进行分帧处理形成单独的图像；

S2:图像分块：将步骤S1中单独的图像进行图像分块处理成图像小块；

S3:恢复处理：将图像小块采用张量逼近思路进行初始图像恢复处理；

S4:图像重构：初始图像恢复处理的图像进行图像重构处理得到质量良好的图像块；

S5:图像恢复：根据分块的方式，将这些重构出的图像块进行整合为一张图像并保存；

S6:视频恢复：第一阶段针对某一帧图像进行图像分块处理，根据时空相关性，第二阶段为提取目标块在前后几帧图像中的相似块构成张量，通过张量逼近提高图像块的质量，然后将图像块放回原位置得到重构视频的一帧，然后依次对每一帧进行相同操作，最后整合出视频并保存。

2.根据权利要求1所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：所述S1的材料为视频或者图片，材料为视频时每一帧图像分帧为连续单独的图像，材料为图像时图像分帧为单独的图像。

3.根据权利要求1所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：所述图像分块处理是在压缩感知的基础上对单独的图像进行相同的测量矩阵独立测量和重建相同大小的每个图像小块；

具体为：图像x的尺寸为N×N，通过BCS算法将其划分为n个大小不重叠的小块B×B，用x_k,k＝1,2,...,n表示，块的压缩样本表示为

y_k＝Φx_k (1)

其中y_k是块x_k的测量值,Φ大小为M×B²的测量矩阵。

4.根据权利要求3所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：所述测量矩阵表示为：

5.根据权利要求4所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：所述初始图像恢复处理方法如下：

将大小为N×N的初始恢复图像x划分为L个重叠的块，用x_l,1≤l≤L表示，其中块大小S²，此过程公式为

x_l＝E_lx (3)

其中矩阵运算符E_l以重叠方式从x中提取块x_l，相似块形成的张量的低秩近似实现增强非局部相似性和稀疏性，重建图像公式如下：

其中Ψ(g)表示HOSVD运算，λ和η表示正则化常数，并且X_li是提取的相似块的张量，argmin表示表达式参数最小化，||·||p表示范数，F，p可以为0，1，2；

引入辅助变量x＝z来重写方程(4),

6.根据权利要求5所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：图像重构处理在公式(5)的基础上引入ADMM算法获得以下公式：

u^j+1＝u^j+x^j+1-z^j+1 (7)

其中τ表示增广拉格朗日参数；

方程(6)通过ADMM来解决，并且通过迭代地实现求解，

对于方程式(8)，通过固定z和X，从第j次迭代开始，将第j+1次迭代的x估计表示为：

用最速下降法(SD)求解，求解可以写成

x^j+1＝(ηΦ^TΦ+τI)^-1(ηΦ^Ty+τu^j-τz^j) (12)

对于等式(10)，在z和x固定的情况下，近似得出张量X^j+1

Ψ(g)是HOSVD的运算，用Ψ^-1(g)来表示HOSVD的逆运算，令Z_l＝Ψ(E_lz^j)，Y_il＝Ψ(X_li)和p＝1，Y^j+1的表达式表示为

使用软阈值获得方程式(14)的解，写成

Y^j+1＝shrink(Z_l ^j,τ)＝max(Z_l ^j-τ,0) (15)

shrink表示软阈值算子；

X^j+1的表达式可以写成

X^j+1＝Ψ^-1(Y^j+1) (16)

对于式(10)，当固定X和x的值时，通过以下公式计算Z^j+1

对于公式(17)，Z^j+1视为一个简单的最小二乘问题，因此，Z^j+1计算如下

其中E_l ^T是将块放回原始位置的逆运算符，

表示将所有相似块平均的结果，

是对角矩阵，对角矩阵元素值是覆盖某像素位置的重叠块的数量。

7.根据权利要求1所述的基于张量逼近和时空相关性的压缩感知图像和视频恢复，其特征在于：所述时空相关性是前后几帧图像在某一像素位置具有一定的相关性。

Images