CN107562692A - 一种基于能级跳跃的全局最优稀疏表示方法 - Google Patents

Abstract

本发明提供了一种基于能级跳跃的全局最优稀疏表示方法，步骤包括：由初始点出发根据AST的迭代公式计算局部最优稀疏解；吸收能量使得局部最优稀疏解跳到非稀疏解；利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏解；从更新点出发，根据AST的迭代公式计算下一个局部最优稀疏解；输出全局最优稀疏解为，利用全局最优稀疏解进行稀疏表示。该全局最优稀疏表示方法将一个局部最优稀疏解因吸收能量而被激发，它可跳出当前的吸引盆而进入具有更低能级的吸引盆，从而搜索更优的稀疏解，直至达到最低能级而获得全局最优稀疏解，从而可以方便地应用于现有的各类稀疏表示算法，帮助它们进一步搜索到全局最优解。

Description

一种基于能级跳跃的全局最优稀疏表示方法

技术领域

本发明涉及一种全局最优稀疏表示方法，尤其是一种基于能级跳跃的全局最优稀疏表示 方法。

背景技术

近年来，稀疏表示广泛应用于信号处理、图像处理、机器学习和计算可视化等领域，它 在理论研究和实际应用方面都取得了很多成果。从一个冗余字典中选取一组基向量a₁,…,a_n∈R^m构造基矩阵并近似表示采样向量b∈R^m，即

b＝Ax (1)

其中m称为采样个数，x∈Rⁿ是稀疏分解系数向量。稀疏表示的核心是从欠定线性方程 组(1)中求解出近似稀疏解x^*，并且x^*的非零分量个数为K，即||x^*||₀＝K。近似解的稀疏性可 以用不同范数来度量，有文献建议根据不同类型的范数将稀疏表示算法分为如下5类：l₀范 数、l₁范数、l_p(0＜p＜1)范数、l₂范数和l_2,1范数最优化问题。

为了求解如下的l₀最优化问题：

研究者设计了多种贪婪算法，例如正交匹配追踪(OMP)算法、子空间追踪(SP)算法、压缩 采样匹配追踪(CoSaMP)算法、基于回溯的追踪(BAOMP)算法和分段正交匹配追踪(OMPSt)算法。 但是上述贪婪算法仅仅选择K个合适的基来线性表示b，这K个基不一定是最稀疏的。有文 献指出下面的l₁最优化问题以高概率等价于l₀最优化问题：

现有的各种求解算法，例如基追踪(BP)算法、梯度投影稀疏重构(GPSR)算法、快速迭代 收缩阈值(FISTA)算法、最邻近算法、LASSO同伦算法和双扩张拉格朗日(DALM)方法，已广泛 用于问题(3)的求解。因为l₁最优化是全局不可导问题，所以上述算法的计算代价远远高于贪 婪算法。l_2,1最优化虽然克服了l₁最优化中异常值的难题，但是依然存在高计算代价的问题。 如果用l₂范数代替问题(3)中的l₁范数，则可用l₂最优化问题来获得b的线性表示。然而，l₂范 数的几何特性决定了l₂最优化无法获得理想的稀疏解。

因为l_p(0＜p＜1)范数可提供比其它范数更稀疏的度量，许多研究者考虑如下的l_p最优化问 题：

不难发现分段凸l_p最优化问题有不唯一的稀疏解，现有的欠定系统局灶解(FOCUSS)算法、 仿射尺度变换(Affine Scaling Transformation methodology,AST)算法、阈值算法和梯度 优化算法均可求解稀疏解，从而获得采样向量b的稀疏表示。

但是上述利用不同范数来求解稀疏表示的各种算法均存在着一个共同的问题，即它们获 得的稀疏解可能是局部最优稀疏解，而非全局最优稀疏解。实际问题中，求解全局最优稀疏 解却非常重要。例如在脑电波分析中，不同神经源节点的活动对应着不同身体反应。假设采 集的脑电波是少量未知神经源节点发出信号的线性混合，我们通过求解稀疏表示得到活动神 经源节点的位置，从而了解对应的身体反应。如果我们得到的是局部最优稀疏解，则此解的 非零分量位置与活动的神经源节点位置不一致，从而导致提供了错误的身体反应，严重降低 了脑电波分析的性能。在图像分类、脸部识别和可视跟踪等也会出现类似的问题。因此，全 局最优化一直是理论研究和实际应用中热点问题之一。

发明内容

本发明要解决的技术问题是现有的求解稀疏表示的各种算法获得的稀疏解可能是局部最 优稀疏解，而非全局最优稀疏解。

为了解决上述技术问题，本发明提供了一种基于能级跳跃的全局最优稀疏表示方法，包 括如下步骤：

步骤1，由初始点x₀出发根据AST的迭代公式计算局部最优稀疏解

步骤2，吸收能量ε_l使得局部最优稀疏解跳到非稀疏解其中新增加的能量分布在 最优稀疏解的零分量部分；

步骤3，从非稀疏解出发，利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏 解

步骤4，更新使得再从更新的x₀出发，根据AST的迭代公式计算下一个局部最优 稀疏解

步骤5，若 为误差限，则更新l为l+1，重复步骤1至步骤4，若则输出全局最优稀疏解为从而利用全局最优稀疏解进行稀疏表示。

作为本发明的进一步限定方案，步骤1中，AST的迭代公式为:

x_k+1＝W_k+1q_k+1

式中，W_k+1＝diag(|x_k(i)|^1-p/2)为对角尺度矩阵，q_k+1为仿射变换向量；

作为本发明的进一步限定方案，步骤2中，吸收能量ε_l使得局部最优稀疏解跳到非稀 疏解的具体步骤为：

步骤2.1，设的前s个分量是零分量，即：

式中，

步骤2.2，按照来分块A＝(A₁,A₂)和令使得同时将中零分量部分反转为并且需要满足：

步骤2.3，随机选取线性方程组的一个解v，将修正为使得 于是转变为且

作为本发明的进一步限定方案，步骤3中，利用同伦曲线获取一个与非稀疏解能量值 相等的非稀疏解的具体步骤为：

步骤3.1，构造具有参数t∈[0,1]的同伦映射：

式中，

步骤3.2，将同伦映射转换成微分方程的初值问题

式中，

步骤3.3，从初始点出发，应用修正的欧拉预估-牛顿校正法搜索最优解

其中

式中，t₀＝0＜t₁＜…＜t_j＜…＜t_J＝1以及步长Δt_j+1＝t_j+1-t_j，经由形成的同伦曲线 到达

本发明的有益效果在于：本文针对l_p最优化问题提出了基于能级跳跃的全局最优稀疏表 示算法，将一个局部最优稀疏解因吸收能量而被激发，它可跳出当前的吸引盆而进入具有更 低能级的吸引盆，从而搜索更优的稀疏解。因此，整个迭代过程如同下楼梯，迭代点从高能 级逐渐跳到低能级，直至达到最低能级而获得全局最优稀疏解。收敛性证明和数值算例都说 明本文算法可以有效地获得全局最优稀疏表示，从而可以方便地应用于现有的各类稀疏表示 算法，帮助它们进一步搜索到全局最优解。

附图说明

图1为本发明的方法流程图；

图2为本发明中目标函数的三维示例及相应的等高线图；

图3为本发明的能级跳跃过程的二维示例图；

图4为本发明的能级跳跃算法的一维示例图；

图5为本发明的收敛到全局最优稀疏解的示例图；

图6为本发明的收敛到局部最优稀疏解的示例图；

图7为本发明的收敛到局部最优稀疏解的示例图；

图8为本发明的收敛到局部最优稀疏解的示例图；

图9为p＝0.5时_m影响平均能级跳跃次数的曲线图；

图10为m＝3K时_p影响平均能级跳跃次数的曲线图。

具体实施方式

如图1所示，本发明提供了一种基于能级跳跃的全局最优稀疏表示方法，包括如下步骤：

步骤1，由初始点x₀出发根据AST的迭代公式计算局部最优稀疏解

步骤2，吸收能量ε_l使得局部最优稀疏解跳到非稀疏解其中新增加的能量分布在 最优稀疏解的零分量部分；

步骤3，从非稀疏解出发，利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏 解

步骤4，更新使得再从更新的x₀出发，根据AST的迭代公式计算下一个局部最优 稀疏解

步骤5，若则更新l为l+1，重复步骤1至步骤4，若则输出全局最优稀疏解为从而利用全局最优稀疏解进行稀疏表示。

作为本发明的进一步限定方案，步骤1中，AST的迭代公式为:

x_k+1＝W_k+1q_k+1 (7)

式中，W_k+1＝diag(|x_k(i)|^1-p/2)为对角尺度矩阵，q_k+1为仿射变换向量；

作为本发明的进一步限定方案，步骤2中，吸收能量ε_l使得局部最优稀疏解跳到非稀 疏解的具体步骤为：

步骤2.1，设的前s个分量是零分量，即：

式中，

步骤2.2，按照来分块A＝(A₁,A₂)和令使得同时将中零分量部分反转为并且需要满足：

步骤2.3，随机选取线性方程组的一个解v，将修正为使得 于是转变为且

如图2所示，给出了一个三维示例，其中分别对应三个不同能级，为全局最优 稀疏解。图2显示在第一个能级的吸收能量ε₁后跳到然而仍在的吸引盆边缘，未能进入另一个吸引盆。由于同一个能级存在着不同状态，这说明存在着与能量值相同的若 干非稀疏解，它们与位于不同的吸引盆。如果能够找到这些解，则等价于找到具有更低能 级的吸引盆，从而可以搜索到更稀疏的解。显然，新的稀疏解比更接近全局最优稀疏解。

进一步观察图2发现：目标函数的连续性使得不同吸引盆存在若干条相连通的等高线。 沿着等高线，可以到达非稀疏解从而进入第二个能级的吸引盆。但是，实际应用中等 高线不易获得，而利用同伦算法可以方便地建立从到的通路。

作为本发明的进一步限定方案，利用同伦算法求解如下优化问题，以寻找一个与它能量 值相等的非稀疏解

为此，引入同伦算法的一些定义和定理。

定义1：假设X,Y∈Rⁿ是非空集合，存在光滑映射f,g:X→Y。对任意(t,x)^T∈[0,1]×X，有 H(t,x)＝tf(x)+(1-t)g(x)∈Y，则光滑映射H:[0,1]×X→Y是f与g之间的同伦，其零集是

H^-1(0)＝{(t,x)^T∈[0,1]×Rⁿ|H(t,x)＝0} (11)

若g(x)＝x-x₀，则H称为定点同伦。

那么步骤3中，利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏解的具体步 骤为：

步骤3.1，根据定点同伦的定义，构造具有参数t∈[0,1]的同伦映射：

式中，

步骤3.2，将同伦映射转换成微分方程的初值问题

式中，

α_i＝p|u(i)|^p-2u(i)(i＝1,…,n),

步骤3.3，从初始点出发，应用修正的欧拉预估-牛顿校正法搜索最优解

式中，t₀＝0＜t₁＜…＜t_j＜…＜t_J＝1以及步长Δt_j+1＝t_j+1-t_j，经由形成的同伦曲线 到达

对应于图2，在图3中展示了能级跳跃过程的二维示例，其中分别位于三个不同吸 引盆。吸收能量后，跳到经由形成的同伦曲线到达且和有相同 的能量值；以为初始点，再次应用AST搜索公式s.t.Ax＝b的稀疏解； 若此解依然是局部最优稀疏解，则继续进行能级跳跃操作，直至搜索到全局最优稀疏解在图3中，经过2次能级跳跃，解序列收敛到并取由此可见，ELJ的能级跳跃 次数是有限的，因为公式s.t.Ax＝b仅有有限个稀疏解。

本发明对能级跳跃(ELJ)算法的收敛性进行如下验证：

先给出AST的收敛定理。

定理1：对任意的初始点x₀，AST求解的序列收敛到一个稀疏解x^*，且全局收敛率为2-p。

定理1保证了AST的全局收敛，我们据此考虑ELJ的全局收敛定理。

引理1：假设是公式s.t.Ax＝b的两个局部最优稀疏解，其中 及e_l+1＜e_l。给出能量值ε_l，则存在一个能量值为e_l+ε_l的非稀疏解

证明：为了便于说明，假设零分量集中在的前面，即按照对 A进行分块A＝(A₁,A₂)。由目标函数的连续性，附近存在一个非稀疏解 满足

同时，具体地，首先随机选择线性方程组的一个非 零解v；接着修正v为使得最后合并和得到能量 值为e_l+ε_l的非稀疏解

当吸收能量跳到后，我们根据如下定义和引理讨论同伦曲线的构造以及同伦算法的 收敛性。

定义2：假设是光滑映射。对任意x₀∈X，若雅克比矩阵都是行满秩，则x₀和y分别称为f的奇异点和奇异值。

引理2：假设是光滑映射，零是f的一个奇异值，并且f有一个零解x^*即f(x^*)＝0。 对任意x₀∈X，由式(11)中零集H^-1(0)的点可形成(0,x₀)^T和(1,x^*)^T之间一条有限同伦曲线。

定义1、定义2和引理2给出了同伦曲线存在的条件。根据引理2，构造从到的同伦 曲线。

定理2：对任意非稀疏向量u，是光滑映射。F有一个零解即则 对任意零集

H^-1(0)＝{(t,u)^T∈[0,1]×Rⁿ|H(u,t)＝tF(u)+(1-t)G(u)＝0} (18)

式中的点形成(0,x₀)^T和(1,x^*)^T间一条有限同伦曲线。存在[0,1]的一个划分 t₀＝0＜t₁＜…＜t_J＝1，由修正的欧拉预估-牛顿校正法求解的序列收敛到即

证明：由式(13)计算雅克比矩阵

其中前m行是公式s.t.Ax＝b中的行满秩矩阵A， (i＝1,…,n)。在实际应用背景下，(γ₁,…,γ_n)与前m行没有相关性，所以是行满秩矩阵。 由定义2、引理1和引理2可知零是F的奇异值，且F有一个零解即于是零集H^-1(0) 中的点可形成(0,x⁰)^T和(1,x^*)^T之间的一条有限同伦曲线。对[0,1]进行划分t₀＝0＜t₁＜…＜t_J＝1， 由修正的欧拉预估-牛顿校正法获得的序列收敛到即

依据上述讨论，ELJ的全局收敛定理如下。

定理3假设是公式s.t.Ax＝b的全局最优稀疏解。对任意初始点x₀， ELJ产生的序列收敛到其中是AST求解的局部最优稀疏解，且对应第l个能级。

证明 从全局收敛定理的三个条件来验证ELJ的收敛性。

i)收敛集。公式s.t.Ax＝b的所有稀疏解构成了一个解集

Λ＝{x:K≤||x||₀＜n,Ax＝b} (20)

Λ包含一个由ELJ求解的有界子集其中在第l个能级的是AST求解的局部 最优稀疏解。由有界收敛定理知序列存在极限。

ii)下降函数。公式s.t.Ax＝b的目标函数E^(p)(x)是一个下降函数， 所以序列对应的函数值序列满足

其中 是全局最优稀疏解。于是，ELJ是一个下降算法，且

图4给出了能级跳跃算法的一维示例，分段凸优化公式s.t.Ax＝b按 照分段方式搜索到全局最优解，即

iii)分段收敛率。计算局部最优稀疏解时，迭代过程分为AST和同伦算法两个阶段。定 理1指出AST的全局收敛率是2-p，而同伦算法是线性收敛。由算法设计方案可知ELJ是分 段收敛，其收敛率依赖于AST和同伦算法。

本发明的数值实验和结果分析如下：

下面，通过三个数值算例详细地说明基于能级跳跃的全局最优稀疏表示算法的可行性和 有效性。

算例1

应用AST求解公式(22)得到一个局部最优稀疏解吸收 能量后跳到再沿着同伦曲线到达非稀 疏解以作为初始点，再次应用AST 搜索到全局最优稀疏解从到实现了能级跳跃。算例1的收敛 过程说明了ELJ是一个可行、有效的全局最优稀疏表示方法。

算例2

其中随机矩阵A∈R^60×100(m＝60,n＝100)。设图5中全局最优稀疏解的能量值为 令采样向量生成不同的A，表1按照能级跳跃次数列举了ELJ的搜索 过程，其中每一行的能量值减少过程都对应着能级下降过程。例如，当L＝3时，能量值下降 过程是41.6117→37.8355→29.2400，即经过2次能级跳跃就能搜索到图6-8分别给出了局部 最优稀疏解其中与相一致。进一步地，表1说明ELJ的能级跳跃次数依赖于A的 性质。

表1针对不同随机矩阵的能级跳跃过程

在应用领域，压缩感知(Compressed Sensing,CS)理论源于稀疏表示。有文献提出利用l₁范 数最优化问题来求解稀疏向量x，并且指出充分的采样个数m＝cK(c＝3～4)是精确求解的基本 条件。显然，上述条件也是进行精确稀疏表示的要求。l_p范数的非凸性增加了稀疏表示的难 度，特别是采样个数不充分时。针对上述要求，下面数值实验测试ELJ在不同条件下的性能。

算例3

其中随机选取中非零分量的位置和幅值，随机矩阵A∈R^m×n(n＝300)及采样向量表1指出ELJ的性能依赖于A，因此针对相同的K,m,p，选择不同的A进行20次实验，用平 均能级跳跃次数来分析、测试稀疏表示的性能。图9显示当采样个数m逐渐增加时，AST可以搜索到更稀疏的解，所以ELJ的平均能级跳跃次数随之大大减少。即使采样个数不充足，例如m＝[2.5K]([·]为取整函数)，ELJ也能有效地求出全局最优稀疏解。另一方面，有文献指出p值大小也会影响AST的求解性能。令p∈[0.2,0.8]及m＝3K，针对相同的K，图10显示ELJ的平均能级跳跃次数随着p增大而快速减少，因此实际问题可优先选择p∈[0.5,0.9]，以减 少计算开销，并加速搜索到全局最优稀疏解。

本发明的有益效果：稀疏表示中求解全局最优稀疏解一直是一个难题，而传统的稀疏表 示算法容易收敛到局部最优稀疏解，从而不易选择最合适的基，影响了稀疏表示的精确性。 针对非凸l_p范数的全局最优化问题，本发明提出了一种新的能级跳跃(ELJ)算法，该算法激发 迭代点跳出局部最优稀疏解的吸引盆，沿着同伦曲线，进入具有更低能级的吸引盆。多次应 用仿射尺度变换算法(AST)计算出局部最优稀疏解序列，此能级下降的序列可收敛到全局最优 稀疏解。算法收敛性的证明保证了ELJ可获得全局最优稀疏表示，同时数值算例验证了ELJ 的可行性、有效性。显然，当传统的稀疏表示算法无法获得更稀疏的解时，ELJ可帮助它们 进一步搜索到全局最优稀疏解。

Claims (4)

1.一种基于能级跳跃的全局最优稀疏表示方法，其特征在于，包括如下步骤：

步骤1，由初始点x₀出发根据AST的迭代公式计算局部最优稀疏解

步骤2，吸收能量ε_l使得局部最优稀疏解跳到非稀疏解其中新增加的能量分布在最优稀疏解的零分量部分；

步骤3，从非稀疏解出发，利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏解

步骤4，更新使得再从更新的x₀出发，根据AST的迭代公式计算下一个局部最优稀疏解

步骤5，若 为误差限，则更新l为l+1，重复步骤1至步骤4，若则输出全局最优稀疏解为从而利用全局最优稀疏解进行稀疏表示。

2.根据权利要求1所述的基于能级跳跃的全局最优稀疏表示方法，其特征在于，步骤1中，AST的迭代公式为:

x_k+1＝W_k+1q_k+1

式中，W_k+1＝diag(|x_k(i)|^1-p/2)为对角尺度矩阵，q_k+1为仿射变换向量。

3.根据权利要求1所述的基于能级跳跃的全局最优稀疏表示方法，其特征在于，步骤2中，吸收能量ε_l使得局部最优稀疏解跳到非稀疏解的具体步骤为：

步骤2.1，设的前s个分量是零分量，即：

式中，

步骤2.2，按照来分块A＝(A₁,A₂)和令使得同时将中零分量部分反转为并且需要满足：

步骤2.3，随机选取线性方程组的一个解v，将修正为使得于是转变为且

4.根据权利要求1所述的基于能级跳跃的全局最优稀疏表示方法，其特征在于，步骤3中，利用同伦曲线获取一个与非稀疏解能量值相等的非稀疏解的具体步骤为：

步骤3.1，构造具有参数t∈[0，1]的同伦映射：

式中，

步骤3.2，将同伦映射转换成微分方程的初值问题

式中，

步骤3.3，从初始点出发，应用修正的欧拉预估-牛顿校正法搜索最优解

其中

式中，t₀＝0＜t₁＜…＜t_j＜…＜t_J＝1以及步长Δt_j+1＝t_j+1-t_j，经由形成的同伦曲线到达