CN104125459B - 基于支撑集和信号值检测的视频压缩感知重构方法 - Google Patents

Abstract

本发明公开了一种基于支撑集和信号值检测的视频压缩感知重构方法，主要解决现有技术中重构图像质量低的问题。其实现步骤为：(1)将视频序列按图像组分为参考帧和非参考帧；(2)将参考帧和非参考帧分成大小相等、互不重叠的宏块；(3)对所有宏块进行压缩感知测量；(4)将测量值作为输入，更新重构图像的迭代变量；(6)利用更新后的重构图像的迭代变量更新支撑集和信号检测值；(7)利用信号检测值计算重构图像的残差；(8)利用重构图像残差的约束条件判断迭代是否终止；(9)输出重构图像信号。本发明有效提高了重构图像的质量，可用于视频图像处理。

Description

基于支撑集和信号值检测的视频压缩感知重构方法

技术领域

本发明属于视频图像处理领域，涉及视频压缩感知重构方法，可用于视频图像的处理。

背景技术

近年来，随着数字信号处理技术的高速发展，需要处理的数据量正以惊人的速度增加，传统的奈奎斯特Nyquist采样定理要求信号的采样频率不低于信号最大频率的两倍，这对信号处理能力有限的硬件设备提出了更高的要求，为了突破以奈奎斯特采样理论为基础的传统信号处理方式，一种新型的将数据采集和数据压缩过程合二为一的压缩感知理论开始成为国内外研究的热点之一。

传统的奈奎斯特理论适用于带宽受限信号，而压缩感知理论同样有其信号适用范围。一般来说，对于稀疏或可压缩信号，压缩感知利用其在某种已知字典基下的稀疏性，通过采取很少的样点，从而在原理上降低了采样成本。考虑到视频信号在离散余弦变换、小波变换等字典基下具有很强的稀疏性，可以将压缩感知理论用于视频图像的处理和分布式视频系统。

目前，基于压缩感知视频图像重构方法主要包括以下两大类：

一.匹配追踪方法。这类方法是通过每次迭代时选择一个局部最优解来逐步逼近原始信号。其包括MP算法、OMP算法。该方法对于维数较低的小尺度图像信号问题运算速度很快,但是对于大尺度图像信号问题,重构质量不高。

二.凸优化方法。这类方法通过将非凸问题转化为对凸问题优化求解找到原始信号的近似值。目前，针对凸问题的优化求解，斯坦福大学的Stephen Boyd等人提出一种交替方向乘子法ADMM，该方法虽说需要的测量数相对较少，但是其速度慢，重构质量相对不高。此外，康奈尔大学的Y.Wang和W.Yin等人提出了一种迭代支撑集检测方法ISD，该方法虽然进一步降低了对测量值数目的要求，但是其将支撑集更新检测和图像的稀疏重构分开处理，重构质量不是很高。

发明内容

本发明的目的在于针对上述已存在的缺点，提出一种基于支撑集和信号值检测的视频压缩感知重构方法，以提高重构质量。

为实现上述目的，本发明包括如下步骤：

(1)将视频图像序列分为图像组GOP，即把视频图像序列的连续L帧分为一组，每一组的第一帧作为参考帧，其余L-1帧作为非参考帧，其中L为大于等于2的自然数；

(2)将每组视频图像中的参考帧和非参考帧分成n个大小为N×N，互不重叠的二维宏块B，其中N为正整数；

(3)用MR×N×N维的测量矩阵A对宏块B进行压缩感知采样，得到测量值b，并将该测量值b和测量矩阵A作为迭代过程的输入，其中MR为采样率；

(4)初始化：设支撑集符号表示空集，迭代次数l＝1，最大迭代次数K＝500，惩罚因子α⁰＝0，重构图像信号检测初值重构图像信号的原始残差初值r⁰＝∞,重构图像信号的对偶残差初值s⁰＝∞，重构图像信号的迭代原始变量初值x⁰＝0，重构图像信号的迭代变量初值z⁰＝0,重构图像信号的迭代对偶变量初值u⁰＝0,范数权值矩阵w＝I，I为单位阵，拉格朗日因子ρ＝1；

(5)依次更新重构图像信号的迭代原始变量x、重构图像信号的迭代变量z和重构图像信号的迭代对偶变量u，得到更新后的重构图像信号的迭代原始变量x^l+1、重构图像信号迭代变量z^l+1和重构图像信号的迭代对偶变量u^l+1；

(6)依次更新重构图像信号的支持集阈值ε^l+1、支撑集Λ_l+1、信号检测值和权值矩阵w^l+1，按如下步骤进行：

(6a)更新支持集阈值ε^l+1：在更新后的重构图像信号的迭代变量z^l+1中，寻找幅值最大的分量|z^l+1 _[i]|，其下标[i]表示该分量在更新后的重构图像信号的迭代变量z^l+1中的位置，当更新后的重构图像信号的迭代变量z^l+1中的相邻的两个分量幅值|z^l+1 _[i+1]|和|z^{l +1} _[i]|的差值满足下式时：

将位置[i]所对应的幅值最大的分量|z^l+1 _[i]|的值作为支持集阈值：

ε^l+1＝|z^l+1 _[i]|，

其中，符号|·|表示取幅值，||·||_∞表示求无穷范数，D为给定的常数，n为更新后的重构图像信号迭代变量z^l+1的长度；

(6b)更新支持集Λ_l+1：将更新后的重构图像信号迭代变量z^l+1中所有分量幅值|z^{l +1} _[i]|大于支持集阈值ε^l+1的分量位置下标i放入支撑集Λ_l+1中：

Λ_l+1＝{i:|z^l+1 _[i]|＞ε^l+1}，

(6c)更新权值w_i ^l+1：用(6b)得到的支撑集Λ_l+1更新权值w_i ^l+1：将支撑集Λ_l+1内部位于位置i的权值w_i ^l+1设为1，其他位置的权值w_i ^l+1设为0：

其中上标“C”表示补集；

(6d)用更新后的重构图像信号迭代变量zl+1更新信号检测值

(7)计算重构图像的原始残差r^l+1和对偶残差s^l+1：

其中ρ为拉格朗日因子，z^l为上一次迭代得到的重构图像信号迭代变量；

(8)更新惩罚因子α^l+1：

其中C_α为常数，MR为采样率；

(9)判断终止条件并输出重构图像信号：

(9a)当重构图像的原始残差l₂范数||r^l+1||₂小于等于原始残差阀值ε^pri，并且重构图像的对偶残差l₂范数||s^l+1||₂小于等于对偶残差阀值ε^dual时，将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；

(9b)当步骤(9a)中的条件不满足时，即当重构图像的原始残差l₂范数||r^l+1||₂大于原始残差阀值ε^pri或者重构图像的对偶残差l₂范数||s^l+1||₂大于对偶残差阀值ε^dual时，迭代次数l＝l+1，并判断迭代次数l是否大于最大迭代次数K；

(9c)当迭代次数l大于等于最大迭代次数K时，将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；反之，当迭代次数l小于最大迭代次数K时，跳转执行步骤(5)。

本发明与现有方法相比，具有如下优点：

1.重构图像质量高。本发明不仅更新重构图像信号的迭代原始变量x、重构图像信号的迭代变量z和重构图像信号的迭代对偶变量u外，而且还更新支撑集Λ和信号检测值并利用支撑集Λ和信号检测值辅助图像重构，提高了重构图像质量；

2.自适应性强。本发明引入的惩罚因子α的更新公式的分母为MR*(||r||₂+||s||₂)，其中MR为采样率，||r||₂+||s||₂为重构图像残差和，由于采样率MR和重构图像残差和||r||₂+||s||₂在重构过程中是变化的，因此，相应的惩罚因子α也会改变，这不仅进一步提高重构图像质量，而且使本发明有更强的自适应性。

附图说明

图1是本发明的流程图；

图2是本发明在不同采样率MR下，图像重构性能随惩罚因子α的变化曲线示意图；

图3是本发明及现有方法重构图像的性能比较图；

图4是本发明及现有方法在固定采样率MR＝0.5时，重构Foreman QCIF序列第69帧的主观质量对比图。

具体实施方式

下面结合附图对本发明的技术方案和效果作进一步的详细描述：

参考图1，本发明的实现步骤如下：

步骤1，视频序列分组

将视频图像序列分为图像组GOP，即把视频图像序列的连续L帧分为一组，每一组的第一帧作为参考帧，其余L-1帧作为非参考帧，其中L为大于等于2的自然数。

步骤2，分块处理

将每组视频图像中的参考帧和非参考帧分成n个大小为N×N，互不重叠的二维宏块B，其中N为正整数。

步骤3，压缩感知采样

(3a)使用matlab中的randn函数生成一个MR×N×N的正交高斯随机矩阵Φ，其中MR为采样率；

(3b)使用matlab中的dct函数生成一个N×N的离散余弦变换DCT矩阵Ψ，用正交高斯随机矩阵Φ和离散余弦变换DCT矩阵Ψ的乘积生成测量矩阵A，即测量矩阵A＝Φ*Ψ；

(3c)用测量矩阵A对每个宏块B进行压缩感知采样，得到测量值b，即测量值b＝A*B，并将该测量值b和测量矩阵A作为迭代过程的输入。

步骤4，初始化各参数：

支撑集符号表示空集，迭代次数l＝1，最大迭代次数K＝500，惩罚因子初始值α⁰＝0，重构图像信号检测初值重构图像信号的原始残差初值r⁰＝∞,重构图像信号的对偶残差初值s⁰＝∞，重构图像信号的迭代原始变量初值x⁰＝0，重构图像信号的迭代变量初值z⁰＝0,重构图像信号的迭代对偶变量初值u⁰＝0,范数权值矩阵w＝I，I为单位阵，拉格朗日因子ρ＝1。

步骤5，依次更新重构图像的各迭代变量

依次更新重构图像信号的迭代原始变量x、重构图像信号的迭代变量z和重构图像信号的迭代对偶变量u，得到更新后的重构图像信号的迭代原始变量x^l+1、重构图像信号迭代变量z^l+1和重构图像信号的迭代对偶变量u^l+1，更新步骤如下：

(5a)使用矩阵运算对重构图像信号迭代原始变量x的仿射矩阵A^TA+ρI+α^lI进行乔列斯基分解，将其分解为一个上三角矩阵L和下三角矩阵L^T的乘积：

A^TA+ρI+α^lI＝L*L^T；

将上式中得到的上三角矩阵L和下三角矩阵L^T代入下式，计算得到更新后的重构图像信号迭代原始变量x^l+1：

其中，符号“-1”表示矩阵求逆，符号“T”表示矩阵转置，I表示单位阵，α^l为惩罚因子，为信号检测值；

(5b)将(5a)中得到的更新后的重构图像信号的迭代原始变量x^l+1代入下式，得到更新后的重构图像信号的迭代变量z^l+1，即：

其中：g(z)＝Σ_iw_i|z|_i，w_i为权值；

(5c)将步骤(5a)和步骤(5b)中得到的更新后的重构图像信号的迭代原始变量x^l+1和更新后的重构图像信号迭代变量z^l+1代入下式，得到更新后的重构图像信号的迭代对偶变量u^l+1：

u^l+1＝u^l+x^l+1-z^l+1。

步骤6，更新支持集阈值、支撑集、信号检测值和权值矩阵

(6a)更新支持集阈值ε^l+1：在更新后的重构图像信号的迭代变量z^l+1中，寻找幅值最大的分量|z^l+1 _[i]|，其下标[i]表示该分量在更新后的重构图像信号的迭代变量z^l+1中的位置，当更新后的重构图像信号的迭代变量z^l+1中的相邻的两个分量幅值|z^l+1 _[i+1]|和|z^{l +1} _[i]|的差值满足下式时：

将位置[i]所对应的幅值最大的分量|z^l+1 _[i]|的值作为支持集阈值，即：

ε^l+1＝|z^l+1 _[i]|

其中，符号|·|表示取幅值，||·||_∞表示求无穷范数，常数D＝1，n为更新后的重构图像信号迭代变量z^l+1的长度；

(6b)更新支持集Λ_l+1：将更新后的重构图像信号迭代变量z^l+1中所有分量幅值|z^{l +1} _[i]|大于支持集阈值ε^l+1的分量位置下标i放入支撑集Λ_l+1中，即：

Λ_l+1＝{i:|z^l+1 _[i]|＞ε^l+1}；

(6c)用步骤(6b)得到的支撑集Λ_l+1更新权值w_i ^l+1：将支撑集Λ_l+1内部位于位置i的权值w_i ^l+1设为1，其他位置的权值w_i ^l+1设为0，即：

其中上标“C”表示补集；

(6d)用更新后的重构图像信号迭代变量z^l+1更新信号检测值

步骤7，计算残差

根据步骤(6d)得到的信号检测值和步骤(5a)得到更新后的重构图像信号迭代原始变量x^l+1计算重构图像的原始残差r^l+1和对偶残差s^l+1：

其中ρ为拉格朗日因子，z^l为上一次迭代得到的重构图像信号迭代变量。

步骤8，更新惩罚因子

将重构图像的原始残差r^l+1和对偶残差s^l+1代入下式，更新计算惩罚因子α^l+1：

其中常数C_α设为1，MR为采样率。

步骤9，判断终止条件并输出重构图像信号：

(9a)当重构图像的原始残差l₂范数||r^l+1||₂小于等于原始残差阀值ε^pri，并且重构图像的对偶残差l₂范数||s^l+1||₂小于等于对偶残差阀值ε^dual时，即：

||r^l+1||₂≤ε^pri且||s^l+1||₂≤ε^dual，

将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；

(9b)当步骤(9a)中的条件不满足时，即：

||r^l+1||₂＞ε^pri或||s^l+1||₂＞ε^dual时，

迭代次数l＝l+1，并判断迭代次数l是否大于最大迭代次数K；

(9c)当迭代次数l大于等于最大迭代次数K时，即l≥K时，将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；否则，当迭代次数l小于最大迭代次数K时，即l<K时，跳转执行步骤5。

本发明的效果可通过以下仿真实验进一步说明：

一、仿真条件：

硬件环境：CPU AMD athlon II X4640，3.0 GHz，4 GB RAM；

软件环境：Windows 7，Matlab R2009b；

二、仿真内容：

仿真1：采用图像大小为176×144的Foreman QCIF视频测试序列作为测试对象，重构两帧，把第一帧作为参考帧，第二帧为非参考帧，每帧图像被分为16×16的宏块，用本发明重构图像，用峰值信噪比PSNR表示重构性能，并画出采样率MR分别取0.5、0.3和0.1时，用本发明方法重构视频序列第二帧的峰值信噪比PSNR随惩罚因子α的变化曲线，结果如图2。

从图2中可以看出，在给定采样率MR的条件下，惩罚因子α>0时的重构图像峰值信噪比PSNR比惩罚因子α＝0时的重构图像峰值信噪比PSNR要高，这表明本发明引入的惩罚因子α有助于提高图像重构性能。

仿真2：分别采用图像大小为176×144的Foreman QCIF和图像大小为352×288的Foreman CIF序列作为测试对象，重构300帧。图像组GOP设为10，每一个GOP的第一帧为参考帧，其余9帧作为非参考帧，每帧图像被分为16×16的宏块，采样率MR取值范围为0.1到0.5，分别采用以下三种重构方法重构图像:1)交替方向乘子法ADMM；2)迭代支撑集检测ISD方法；3)本发明提出的方法，并计算重构图像的峰值信噪比PSNR，结果如图3所示。

图3(a)为用三种重构方法对Foreman QCIF序列的重构结果图，图3(b)为用三种重构方法对Foreman CIF序列的重构结果图。

从图3(a)和图3(b)中可以看出，本发明方法相比于迭代支撑集检测ISD方法和交替方向乘子法ADMM，有更高的重构图像峰值信噪比PSNR，这说明本发明能提高重构质量。

仿真3：取出采样率MR＝0.5时，用本发明方法、迭代支撑集检测ISD方法和交替方向乘子法ADMM三种重构方法重构Foreman QCIF序列的第69帧图像，同时取出Foreman QCIF序列的第69帧原始图像，如图4所示。其中：

图4(a)为原始图像，图4(b)为使用交替方向乘子法ADMM的重构图像，图4(c)为使用迭代支撑集检测ISD方法的重构图像，图4(d)为使用本发明方法的重构图像。

从图4中可以看出，本发明方法相比于迭代支撑集检测ISD方法和交替方向乘子法ADMM，重构的图像更加清晰，进一步说明本发明能有效提高图像重构质量。

Claims (2)

1.一种基于支撑集和信号值检测的视频压缩感知重构方法，包括以下步骤：

(1)将视频图像序列分为图像组GOP，即把视频图像序列的连续L帧分为一组，每一组的第一帧作为参考帧，其余L-1帧作为非参考帧，其中L为大于等于2的自然数；

(2)将每组视频图像中的参考帧和非参考帧分成n个大小为N×N，互不重叠的二维宏块B，其中N为正整数；

(3)用MR×N×N维的测量矩阵A对宏块B进行压缩感知采样，得到测量值b，并将该测量值b和测量矩阵A作为迭代过程的输入，其中MR为采样率；

(4)初始化：设支撑集符号表示空集，迭代次数l＝1，最大迭代次数K＝500，惩罚因子α⁰＝0，重构图像信号检测初值重构图像信号的原始残差初值r⁰＝∞,重构图像信号的对偶残差初值s⁰＝∞，重构图像信号的迭代原始变量初值x⁰＝0，重构图像信号的迭代变量初值z⁰＝0,重构图像信号的迭代对偶变量初值u⁰＝0,范数权值矩阵w＝I，I为单位阵，拉格朗日因子ρ＝1；

(5)依次更新重构图像信号的迭代原始变量x、重构图像信号的迭代变量z和重构图像信号的迭代对偶变量u，得到更新后的重构图像信号的迭代原始变量x^l+1、重构图像信号迭代变量z^l+1和重构图像信号的迭代对偶变量u^l+1；

(6)依次更新重构图像信号的支持集阈值ε^l+1、支撑集Λ_l+1、信号检测值和权值矩阵w^l+1，按如下步骤进行：

(6a)更新支持集阈值ε^l+1：在更新后的重构图像信号的迭代变量z^l+1中，寻找幅值最大的分量|z^l+1 _[i]|，其下标[i]表示该分量在更新后的重构图像信号的迭代变量z^l+1中的位置，当更新后的重构图像信号的迭代变量z^l+1中的相邻的两个分量幅值|z^l+1 _[i+1]|和|z^l+1 _[i]|的差值满足下式时：

$\left|{z^{l+1}}_{\&lsqb;i+1\&rsqb;}\right|-\left|{z^{l+1}}_{\&lsqb;i\&rsqb;}\right|>D\&CenterDot;\frac{\left|\right|z^{l+1}|{|}_{\mathrm{\&infin;}}}{n},$

将位置[i]所对应的幅值最大的分量|z^l+1 _[i]|的值作为支持集阈值：

ε^l+1＝|z^l+1 _[i]|，

其中，符号|·|表示取幅值，||·||_∞表示求无穷范数，D为给定的常数，n为更新后的重构图像信号迭代变量z^l+1的长度；

(6b)更新支持集Λ_l+1：将更新后的重构图像信号迭代变量z^l+1中所有分量幅值|z^l+1 _[i]|大于支持集阈值ε^l+1的分量位置下标i放入支撑集Λ_l+1中：

Λ_l+1＝{i:|z^l+1 _[i]|>ε^l+1}，

(6c)更新权值w_i ^l+1：用(6b)得到的支撑集Λ_l+1更新权值w_i ^l+1：将支撑集Λ_l+1内部位于位置i的权值w_i ^l+1设为1，其他位置的权值w_i ^l+1设为0：

$\begin{array}{ccc}{w}_i^{l+1}=1,& if& i\&Element;{\mathrm{\&Lambda;}}_{l+1}\end{array}$

$\begin{array}{ccc}{w}_i^{l+1}=0,& if& i\&Element;{\mathrm{\&Lambda;}}_{l+1}^C\end{array},$

其中上标“C”表示补集；

(6d)用更新后的重构图像信号迭代变量z^l+1更新信号检测值

${\widehat{\mathrm{\&mu;}}}^{l+1}=z^{l+1},$

(7)计算重构图像的原始残差r^l+1和对偶残差s^l+1：

$r^{l+1}=x^{l+1}-{\widehat{\mathrm{\&mu;}}}^{l+1}$

$s^{l+1}=\mathrm{\&rho;}({\widehat{\mathrm{\&mu;}}}^{l+1}-z^l),$

其中ρ为拉格朗日因子，z^l为上一次迭代得到的重构图像信号迭代变量；

(8)更新惩罚因子α^l+1：

${\mathrm{\&alpha;}}^{l+1}=\frac{C_{\mathrm{\&alpha;}}}{MR*\left(\right|\left|r^{l+1}\right|{|}_2+\left|\right|s^{l+1}\left|{|}_2\right)},$

其中C_α为常数，MR为采样率；

(9)判断终止条件并输出重构图像信号：

(9a)当重构图像的原始残差l₂范数||r^l+1||₂小于等于原始残差阀值ε^pri，并且重构图像的对偶残差l₂范数||s^l+1||₂小于等于对偶残差阀值ε^dual时，将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；

(9b)当步骤(9a)中的条件不满足时，即当重构图像的原始残差l₂范数||r^l+1||₂大于原始残差阀值ε^pri或者重构图像的对偶残差l₂范数||s^l+1||₂大于对偶残差阀值ε^dual时，迭代次数l＝l+1，并判断迭代次数l是否大于最大迭代次数K；

(9c)当迭代次数l大于等于最大迭代次数K时，将更新后的重构图像信号迭代变量z^l+1作为重构图像输出，终止迭代；反之，当迭代次数l小于最大迭代次数K时，跳转执行步骤(5)。

2.根据权利1所述的方法，其中步骤(5)所述的依次更新重构图像信号的迭代原始变量x、重构图像信号的迭代变量z和重构图像信号的迭代对偶变量u，按如下步骤进行：

(5a)对重构图像信号迭代原始变量x的仿射矩阵A^TA+ρI+α^lI进行乔列斯基分解，将其分解为一个上三角矩阵L和下三角矩阵L^T的乘积：

A^TA+ρI+α^lI＝L*L^T，

将上式中得到的上三角矩阵L和下三角矩阵L^T代入下式，计算得到更新后的重构图像信号迭代原始变量x^l+1：

$x^{l+1}={\left(L^T\right)}^{-1}\left(L^{-1}\right(A^{T}b+{\mathrm{\&alpha;}}^l{\widehat{\mathrm{\&mu;}}}^l+{\mathrm{\&rho;z}}^l-{\mathrm{\&rho;u}}^l\left)\right),$

其中，符号“-1”表示矩阵求逆，符号“T”表示矩阵转置，I表示单位阵，α^l为惩罚因子，为信号检测值，u^l表示第l次迭代后更新的重构图像的对偶变量；

(5b)将(5a)中得到的更新后的重构图像信号的迭代原始变量x^l+1代入下式，更新重构图像信号的迭代变量z，得到更新后的重构图像信号的迭代变量z^l+1，即：

$z^{l+1}=\arg {\min }_z\left(g\right(z)+\frac{\mathrm{\&rho;}}{2}||x^{l+1}-z+u^l|{|}_2^2),$

其中：g(z)＝∑_iw_i|z|_i，w_i表示加权权值，|z|_i表示重构图像信号迭代变量z的第i个分量的幅值；

(5c)将(5a)和(5b)中得到的更新后的重构图像信号的迭代原始变量x^l+1和更新后的重构图像信号迭代变量z^l+1代入下式，更新重构图像信号的对偶变量u：

u^l+1＝u^l+x^l+1-z^l+1。