CN105868162A - 一种黎曼流形上的快速优化方法 - Google Patents

Abstract

本发明公开一类复合函数在黎曼流形上的快速优化方法，其既能降低计算的复杂度，又能减少迭代步数，节约运算时间。其包括步骤：(1)给定一类黎曼流形上的复合目标函数；(2)采用近端黎曼梯度法，通过逐步迭代局部最优值对复合目标函数的最优值进行逼近；(3)给出初始点X₀，利用线搜索获得X₁。当k≥2时，用提升算子表示点X_k‑1指向X_k‑2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向，从点X_k‑1出发，沿着下降方向走一个指定步长(t_k‑1)/t_k+1，其中t₁＝1，生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k。再从Y_k出发，通过线搜索生成新的迭代点X_k；(4)当指定条件被满足，迭代停止。

Description

一种黎曼流形上的快速优化方法

技术领域

本发明属于计算机视觉和算法优化的技术领域，具体地涉及一类复合函数在黎曼流形上快速优化方法。

背景技术

黎曼流形上的优化问题已受到人们的广泛关注。黎曼优化是把有约束的问题，比如正交性约束，正定性约束，固定秩约束，通过分析约束条件的黎曼几何结构，转化成相应黎曼流形上的无约束优化问题，从而获得更精确的数值结果。目前，黎曼优化已经应用于机器学习，计算机视觉和数据挖掘，包括固定秩优化,黎曼字典学习,计算机视觉和张量聚类。

一般地，欧式空间中有约束的优化问题所在的空间维度远大于由约束所定义流形的维度。因此流形上的优化算法具有更低的计算复杂度和更良好的数值属性。黎曼流形上的优化方法在中进行了广泛的研究。事实上，基于欧式空间的优化方法，比如最速下降法、共轭梯度法、信赖域法、以及牛顿法已经推广到黎曼流形上，而且在近二十年中已经建立了比较完整的理论体系。目前一般的算法实现是公开可用的，详见http://www.manopt.org。

最速下降法是黎曼流形上的一个基本的优化方法。最速下降法虽然计算简单，但是收敛速度非常慢，特别是对于现代机器学习中的大规模复杂优化问题。相反，牛顿法和BFGS拟牛顿法(BFGS秩2更新)具有较高的收敛率，但在实际应用中，二阶Hessian矩阵信息的计算量大到难以使用。

为了获得一种方法既具备较高的收敛率，又可以避免计算Hessian矩阵的逆，Absil等提出黎曼流形上的信赖域方法。例如在中使用Grassmann流形上的信赖域方法对矩阵填充问题进行优化。信赖域方法在每一步迭代中都要解决黎曼牛顿方程，从而增加了运算的复杂度。Huang等推广对称秩1的信赖域方法到d-维黎曼流形上，由对称秩1矩阵更新生成近似的Hessian矩阵，避免求解黎曼牛顿方程。虽然其收敛性是超线性，但遗憾的是由于其自身的局限性并不能适用于矩阵流形上。

一般来说，使用二阶函数信息的优化算法比仅使用一阶函数信息的优化算法收敛速度更快，但同时也很大程度的增加了计算复杂度。黎曼流形上的Fletcher-Reeves共轭梯度法是使用一阶函数信息，达到超线性收敛，但没有达到想要的二阶收敛速度。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种黎曼流形上的快速优化方法，其既能降低计算的复杂度，又能减少迭代步数，节约运算时间。

本发明的技术解决方案是：这类复合函数在黎曼流形上的快速优化方法，其包括以下步骤：

(1)给定一类黎曼流形上的复合目标函数；

(2)采用近端黎曼梯度法，通过逐步迭代局部最优值(极小值)对复合目标函数的最优值进行逼近；

(3)给出初始点X₀，利用线搜索得出X₁。当k≥2时，用提升算子表示点X_k-1指向X_k-2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向，从点X_k-1出发，沿着下降方向走一个指定步长，这个步长是(tk-1)/t_k+1，其中t₁＝1，生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k。再从Y_k出发，通过线搜索生成新的迭代点X_k；

(4)当指定条件被满足，迭代停止。

其中表示黎曼流形，是流形在点X_k-1处的切空间。提升算子表示流形上的点X_k-2映射到切空间上的点，也可表示点在切空间上点X_k-1指向的向量。拉回函数表示把切空间上的点映射到流形中。

本发明针对黎曼流形上的复合目标函数，提出仅使用目标函数的一阶信息，对线性搜索实施加速策略，达到二阶收敛的效果。因为不使用函数的二阶信息，故能降低计算的复杂度；而且具有二阶的收敛率，故能减少迭代步数，节约运算时间。

具体实施方式

这类复合函数在黎曼流形上的快速优化方法，其包括以下步骤：

(1)给定一类黎曼流形上的复合目标函数；

(2)采用近端黎曼梯度法，通过逐步迭代局部最优值对复合目标函数的最优值进行逼近；

(3)给出初始点X₀，利用线搜索获得X₁。k≥2时，用提升算子表示点X_k-1指向X_k-2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向，从点X_k-1出发，沿着下降方向走一个指定步长，这个步长是(tk-1)/t_k＋1，其中t₁＝1，生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k。再从Y_k出发，通过线搜索生成新的迭代点X_k；

(4)当指定条件被满足，迭代停止。

其中表示黎曼流形，是流形在点X_k-1处的切空间。提升算子表示流形上的点X_k-2映射到切空间上的点，也可表示点在切空间上点X_k-1指向的向量。拉回函数表示把切空间上的点映射到流形中。

本发明针对黎曼流形上的复合目标函数，提出仅使用目标函数的一阶信息，对线性搜索实施加速策略，达到二阶收敛的效果，因为不使用函数的二阶信息，故能降低计算的复杂度；而且具有二阶的收敛率，故能减少迭代步数，节约运算时间。

优选地，所述步骤(1)中的复合目标函数为公式(1)

其中表示黎曼流形；是连续凸函数；是二阶连续可导的凸函数，存在一个有限的正实数L(f)，满足λ_max(H)≤L(f)，其中λ_max(H)是函数f的Hessian矩阵的最大奇异值；F(X)满足其中黎曼流形上的提升算子L_Y(X)表示把黎曼流形上的点X投影到切空间上的点，或表示为上Y指向L_Y(X)的向量。

优选地，所述步骤(2)中

对任意的α＞0和给定的点考虑目标函数F(X)＝f(X)+g(X)的二次近似

$Q_{\mathrm{\&alpha;}}(X,Y):=f\left(Y\right)+<gradf\left(Y\right),L_Y\left(X\right)>+\frac{\mathrm{\&alpha;}}{2}{||L_Y\left(X\right)||}_Y^2+g\left(X\right),$

其局部最优点记为P_α(Y)，令Y＝X_k-1，局部最优点为

X_k＝P_α(X_k-1) (2)

其中1/α表示步长，且α满足

F(P_α(X_k-1))≤Q_α(P_α(X_k-1)，X_k-1) (3)。

优选地，所述步骤(3)中第k步迭代的加速方向是指定步长是(t_k-1)/t_k＋1，其中t₁＝1，

优选地，该优化方法的收敛速度是二次的。

优选地，所述步骤(4)中的指定条件为以下任意一个条件，迭代停止：

(1)(F(X_k-1)-F(X_k))/F(X_k-1)≤∈₁；

(2)1/α_k≤∈₂；

(3)迭代次数≥N

其中F(X)表示目标函数值，1/α_k是第k步线搜索的步长，∈₁和∈₂表示容忍值,N是预先给定的最大迭代步数。

以下对本发明进行更详细的说明。

考虑复合的目标函数

其中表示黎曼流形。下面对目标函数做合理的假设：

(1)：g:是连续凸函数，但可能是非光滑的。

(2):f:是二阶连续可导的凸函数，存在一个有限的正实数L(f)，满足λ_max(H)≤L(f)，其中λ_max(H)是函数f的Hessian矩阵的最大奇异值。

(3)：F(X)满足其中L_Y(X)是黎曼流形上的提升算子，表示把黎曼流形上的点X投影到切空间上的点，也可以表示为上Y指向L_Y(X)的向量。

1近端黎曼梯度法(proximal Riemannian gradient method)

一般情况下直接求解目标函数(1)是比较困难的，比如矩阵填充和低秩表示的目标函数中。如果引入辅助变量，通常需要计算逆矩阵(逆矩阵的计算复杂度是)。采用近端黎曼梯度法，通过逐步迭代局部最优值对目标函数最优值进行逼近。

对任意的α＞0和给定的点考虑下面目标函数F(X)＝f(X)+g(X)的二次近似

$Q_{\mathrm{\&alpha;}}(X,Y):=f\left(Y\right)+<gradf\left(Y\right),L_Y\left(X\right)>+\frac{\mathrm{\&alpha;}}{2}{||L_Y\left(x\right)||}_Y^2+g\left(X\right),$

其局部最优点记为P_α(Y)，令Y＝X_k-1，局部最优点为

X_k＝P_α(Xk-1) (2)

其中1/α表示步长，且α满足

F(P_α(X_k-1))≤Qα、(P_α(X_k-1)，X_k-1) (3)

2快速优化算法

由(2)式生成的函数值数列{F(X_k)}是单调递减的.因为对任意的k≥1，都有

$F\left(X_k\right)\&le;Q_{{\mathrm{\&alpha;}}_k}(X_k,X_{k-1})\&le;Q_{{\mathrm{\&alpha;}}_k}(X_{k-1},X_{k-1})=F\left(X_{k-1}\right).---\left(4\right)$

对于优化算法，特别关注的是收敛速度。而由(3)(4)式得到收敛的数列{X_k}和单调下降的函数值数列{F(X_k)}，其收敛速度是线性的。希望通过加速优化算法，改善{F(X_k)}的收敛速度。根据欧式空间的加速算法,研究黎曼流形上的加速算法。考虑到黎曼流形并不是线性空间，申请人提出给出初始点X₀，利用线搜索得出X₁。当k≥2时，用提升算子表示点X_k-1指向X_k-2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向。从点X_k-1出发，沿着下降方向走一个特殊的步长(关于步长的设置，取辅助参数t₁＝1，则第k步迭代时所需步长是(t_k-1)/t_k+1。)，生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k。接下来利用(2)式把X_k-1替换成Y_k，生成新的迭代点X_k。下面给出了定理1保证快速优化算法的收敛速度是二次的。

定理1数列{X_k}和{F(X_k)}是由快速优化算法生成，点X_*是{x_k}的收敛点。则对于任意的k≥1，都有下式成立

$F\left(X_k\right)-F\left(X_{*}\right)\&le;\frac{2\mathrm{\&eta;}L\left(f\right){||L_{X_{*}}\left(X_0\right)||}_{X_{*}}^2}{{(k+1)}^2}\&CenterDot;$

其中表示提升算子在X_*处的范数。

3停止条件

当下列任意一个条件被满足，迭代将停止。

1.(F(X_k-1)-F(X_k))/F(X_k-1)≤∈₁；

2.1/α_k≤∈₂；

3.迭代次数≥N.

其中F(X)表示目标函数值，1/α_k是第k步线搜索的步长，∈₁和∈₂表示容忍值,N是预先给定的最大迭代步数。

本文在模拟数据，两个人脸数据库做了相应的实验。这些实验说明了快速优化方法的有效性。其中，利用模拟数据进行低秩矩阵填充实验时，提出LRGeomFOA(Fast Optimization algorithm for low-rank completion)方法,涉及的对比方法有：qGeomMC(A quotient geometry for low-rankmatrix completion),LRGeomCG(Conjugate gradient mothod on geometrymanifold for low-rank matrix completion)和LRGeomSD(Speed descentmethod on geometry manifold for low-rank matrix completion)。在人脸数据库上进行了低秩表示实验，提出了SP-RPRG(ALM)方法,涉及到的对比方法有LRR(Low-rank representation),SP-RPRG(Subspace pursuitrobust proximal Riemannian gradient)。并对SP-RPRG和SP-RPRG(ALM)两种方法分别基于共轭梯度法和快速优化方法做了对比实验。

1矩阵填充

考虑矩阵填充的目标函数其中是部分元素缺失的矩阵，仅在集合{1，...m}×{1，...n}的子集合Ω的元素位置上已知矩阵A的元素。且投影算子P_Ω表示当(i，j)∈Ω时，P_Ω(X_i，j)＝X_i，j，否则为0。

附图说明

图1是qGeomMC、LRGeomCG、LRGeomSD、LRGeomFOA四种方法的实验结果比较图。

实验中，一般取m＝n，过采样因子OS(Oversampling factor)大于2。从图1b、1d中，两次实验结果可以得出快速优化方法用时最少。从图1a、1c中可以得出，与用一阶函数信息的方法比较迭代步数最少(qGeomMC用到了二阶信息)。这说明了快速优化方法的有效性。

2 Extended Yale B和COIL-20数据库上的聚类

实验中应用了以下两个数据库：

◆Extended Yale B数据库

(http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html)

◆COIL-20数据库

(http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.p hp)

选择Extended Yale B数据库前10个人的640张正面人脸图像作为实验数据(每人64张图片)。每幅图像的像素由192×168下采样到48×42。然后向量化为2016维的向量。

Columbia Object Image Library(COIL-20)数据库包含1440张图片，其中有20个不同种类的物体，通过不同的的角度每个物体采集72副图像。每幅图像的像素是128×128，下采样到32×32。然后向量化为1024维的向量。

考虑的低秩表示模型是

其中||X||_*表示矩阵X的核范数，D表示数据矩阵，||E||₂₁表示矩阵的正则项，表示最大秩为r的低秩矩阵曲体(Low-rank matrix variety)。该模型通过增广拉格朗日法(ALM)转化成

$F(X,E,U)={||X||}_{*}+\mathrm{\&lambda;}{||E||}_{21}+<U,D-DX-E>+\frac{\mathrm{\&rho;}}{2}{||D-DX-E||}_F^2,$

其中U是拉格朗日乘子，〈·，·〉表示内积，λ，ρ＞0是惩罚参数。通过交替迭代法求解，其中变量是黎曼子流形的闭集，可以保证有最优解。而的几何特征已经给出，因此求解变量X可以运用加速优化算法。参数E，U是有封闭解的。

在Extended Yale B数据库上的人脸聚类实验中，对LRR程序设定参数λ＝0.1，在SP-RPRG程序中设置参数λ＝0.01，ρ＝1，以及在SP-RPRG(ALM)程序中设置参数λ＝0.001，ρ＝0.5。

表1中，Extended Yale B数据库上前C＝{2，3，5，8，10}类的聚类误差率(％)，以及运行的时间(秒)。

表1

在COIL-20数据库上的物体聚类实验中，随机选取2到11类，每类从72张样本中随机选36张样本作为实验数据，重复实验50次得出表2的结果。其中对LRR程序设定参数λ＝0.1，在SP-RPRG程序中设置参数λ＝0.001，ρ＝2，以及在SP-RPRG(ALM)程序中设置参数λ＝0.001，ρ＝1。

表2

从表1和表2中可以看出本文提出的快速方法用在SP-RPRG和SP-RPRG(ALM)中都取得较好的效果。而且本文提出的SP-RPRG(ALM)方法在实验中的误差率也有显著减低。这说明本发明的方法和SP-RPRG(ALM)是有意义的。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (6)

1.一类复合函数在黎曼流形上的快速优化方法，其特征在于：其包括以下步骤：

(1)给定一类黎曼流形上的复合目标函数；

(2)采用近端黎曼梯度法，通过逐步迭代局部最优值对复合目标函数的最优值进行逼近；

(3)给出初始点X₀,利用线搜索得出X₁；当k≥2时，用提升算子表示点X_k-1指向X_k-2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向，从点X_k-1出发，沿着下降方向走一个指定步长(t_k-1)/t_k+1其中t₁＝1，生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k；再从Y_k出发，通过线搜索生成新的迭代点X_k；

(4)当指定条件被满足，迭代停止。

其中表示黎曼流形，是流形在点X_k-1处的切空间；提升算子表示流形上的点X_k-2映射到切空间上的点，或表示点在切空间上点X_k-1指向的向量；拉回函数表示把切空间上的点映射到流形中。

2.根据权利要求1所述的黎曼流形上的快速优化方法，其特征在于：所述步骤(1)中的复合目标函数为公式(1)

其中表示黎曼流形；是连续凸函数；是二阶连续可导的凸函数，存在一个有限的正实数L(f),满足λ_max(H)≤L(f)，其中λ_max(H)是函数f的Hessian矩阵的最大奇异值；F(X)满足其中X，L_Y(X)是黎曼流形上的提升算子，表示把黎曼流形上的点X投影到切空间上的点，或表示为上Y指向L_Y(X)的向量。

3.根据权利要求2所述的黎曼流形上的快速优化方法，其特征在于：所述步骤(2)中

对任意的α＞0和给定的点考虑目标函数F(X)＝f(X)+g(X)的二次近似

$Q_{\mathrm{\&alpha;}}(X,Y):=f\left(Y\right)+<gradf\left(Y\right),L_Y\left(X\right)>+\frac{\mathrm{\&alpha;}}{2}\left|\right|L_Y\left(X\right)|{|}_Y^2+g\left(X\right),$

其局部最优点(极小值点)，记为P_α(Y)，令Y＝X_k-1，局部最优点为

X_k=P_α(X_k-1) (2)

其中1/α表示步长，且α满足

F(P_α(X_k-1))≤Q_α(P_α(X_k-1)，X_k-1) (3)。

4.根据权利要求3所述的黎曼流形上的快速优化方法，其特征在于：给出初始点X₀，利用线搜索得出X₁；当k≥2时，用提升算子表示点X_k-1指向X_k-2的向量，而且这个向量是一个上升方向，它的负方向就是一个下降方向，从点X_k-1出发，沿着下降方向走一个指定步长(t_k-1)/t_k+1，其中t₁＝1，从而生成新的点 然后通过拉回函数把点从映射到黎曼流形上，记为Y_k；再从Y_k出发，通过线搜索生成新的迭代点X_k。

5.根据权利要求4所述的黎曼流形上的快速优化方法，其特征在于：该优化方法的收敛速度是二次的。

6.根据权利要求5所述的黎曼流形上的快速优化方法，其特征在于：所述步骤(4)中的指定条件为以下任意一个条件，迭代停止：

(1)(F(X_k-1)-F(X_k))/F(X_k-1)≤∈₁；

(2)1/α_k≤∈₂；

(3)迭代次数≥N

其中F(X)表示目标函数值，1/α_k是第k步线搜索的步长，∈₁和∈₂表示容忍值,N是预先给定的最大迭代步数。