CN104765919A - 非光滑凸优化模型子问题的建模方法 - Google Patents

Abstract

本发明公开了一种非光滑凸优化模型子问题的建模方法，假设非光滑凸优化模型的定义形式是其中x＝(x₁,x₂,…,x_n)为变量元素，Ω为此问题的定义域，f(x)为非光滑凸问题，min表示求最小值含义，采用光滑化技术后，它的子问题形式为即关于变量z＝(z₁,z₂,…,z_n)求其最小值，其中Rⁿ是n维实数向量空间，μ＞0是个实数，本发明通过非光滑凸优化模型子问题本身的性质来实现，打破传统的利用次梯度的方式，根据共轭梯度技术的搜索方向来执行。同时方法具有结构简单容易操作和存储量低适合大规模问题等优点，来实现方法的有益效果。

Description

非光滑凸优化模型子问题的建模方法

技术领域

本发明涉及采用共轭梯度建模方法等低存储方法机制实现非光滑凸优化模型子问题求解，尤其涉及一种非光滑凸优化模型子问题的建模方法。

背景技术

非光滑优化模型在最优控制、金融、图像处理、化学、工业、工程和物理学等众多领域都有广泛的应用背景。因为非光滑问题的梯度值不存在，很难采用有效地优化算法来求解，所以含有次梯度值的方法应运而生，但是次梯度的计算非常复杂，需要根据极限的定义式来获得，因此非光滑模型一直被认为是最为困难的优化问题之一。关于非光滑凸优化模型，因为函数本身具有凸性，先将此问题采用一定的技术光滑化，然后利用光滑优化算法进行求解，但是在将非光滑问题光滑化时，会产生一个子问题，这个子问题的求解也相当繁琐，要利用次梯度值来实现，可次梯度的求解非常麻烦，这大大的影响了非光滑凸优化模型子问题的求解效率。

发明内容

本发明的出发点就是为了克服这个屏障，设计一个不需要次梯度的优化方法，以实现非光滑凸优化模型子问题的高效快速的求解。

为达到上述技术目的，本发明采用了非光滑凸优化模型子问题的建模方法，假设非光滑凸优化模型的定义形式是(P):其中x＝(x₁,x₂,…,x_n)为变量元素，Ω为此问题的定义域，f(x)为非光滑凸问题，min表示求最小值含义，采用光滑化技术后，它的子问题形式为(sP):即关于变量z＝(z₁,z₂,…,z_n)求其最小值，其中Rⁿ是n维实数向量空间，μ＞0是个实数，||·||²表示欧氏2-范数，对任意x∈Rⁿ的欧氏2-范数定义为 ${\left|\right|x\left|\right|}^2=x_1^2+x_2^2+...+x_n^2;$

内积的含义：向量x与z的内积定义为x·z＝x₁×z₁+x₂×z₂+…+x_n×z_n，即对应元素相乘之后求和，子问题(sP)表示对于主问题(P)中任给的x都要求出相应的z，且z最终的结果应与x有关，子问题(sP)关于变量z是连续可微的(连续且其梯度存在)，设计成数值优化方法，还要给出下列假设，变量z的第k次迭代点用表示，第k次搜索方向为第k次搜索步长为α^k＞0是实数；所述方法具体步骤如下：

步骤一：对主函数中的xⁱ∈Ω，任选常数μ＞0和初始点z¹∈Rⁿ，定义初始的搜索方向 $d^1=-\frac{\left|\right|x^i-z^1\left|\right|}{\mathrm{\μ}},$ 令k＝1；

步骤二：判断终止条件是否满足，若满足停止，不满足进入步骤三；

步骤三：沿着方向d^k按确定步长α^k；

步骤四：设定下一迭代点为x^k+1＝x^k+α^kd^k；

步骤五：获得新的函数值和梯度值，若终止条件满足，方法停止，否则确定新的搜索方向 $d^{k+1}=-\frac{\left|\right|x^i-z^{k+1}\left|\right|}{\mathrm{\μ}}+{\mathrm{\β}}^k{d}^k;$

步骤六：令k＝k+1转步骤三。

本发明的优点和效果是：通过非光滑凸优化模型子问题本身的性质来实现，打破传统的利用次梯度的方式，根据共轭梯度技术的搜索方向来执行。同时方法具有结构简单容易操作和存储量低适合大规模问题等优点，来实现方法的有益效果。

附图说明

图1所示的是本发明的方法流程图；

具体实施方式

本发明技术方案实施的主要技术步骤如流程图1所示，具体内容如下：

在步骤一中，主函数中的xⁱ∈Ω，在此方法中可以认为是常数，这需根据主函数调用本子问题的当时的点决定，μ＞0是常数，一般取大于0小于10之间的数，不需要太大；z¹∈Rⁿ是任选的一组n维向量，当然选择与xⁱ有关的向量也可以，如取z¹＝3xⁱ等均可；搜索方向的选取其实是子问题(sP):在z¹处的负梯度，因为子问题(sP)关于点z的梯度是然后取z＝z¹和x＝xⁱ即可；

在步骤二中，终止条件一般选用子问题的相邻两个迭代点的函数值之间的差小于某个很小的常数(如小于ε，ε取10^-4,10^-5,10^-8或其它值)，且迭代次数k不超过某个数(如k≤K_max，K_max取100,500,1000或其它值)，即是在步骤一中，首先令代码stop1＝1，在步骤二中的终止条件可以写成：若stop1≤ε或k＞K_max时，终止条件满足，否则就进入步骤三；

在步骤三中，因为此子问题(sP):可以看成是一个关于变量z的无约束最优化问题，我们获得步长α^k的方法可以有很多种，精确线搜索、SWP技术、WWP技术以及Armijo技术等，此处我们给出两种方式获得步长α^k：(1)方式一，寻找α^k满足下面两个不等式

F(z^k+α^kd^k)≤F(z^k)+σ₁α^k[d^k·▽F(z^k)],

d^k·▽F(z^k+α^kd^k)≥σ₂[d^k·▽F(z^k)]

其中 $F\left(z^k\right)=f\left(x^i\right)+\frac{\left|\right|x^i-z^k\left|\right|}{2\mathrm{\μ}},F(z^k+{\mathrm{\α}}^k{d}^k)=f\left(x^i\right)+\frac{\left|\right|x^i-(z^k+{\mathrm{\α}}^k{d}^k)\left|\right|}{2\mathrm{\μ}},$ $\▿F\left(z^k\right)=\frac{\left|\right|x^i-z^k\left|\right|}{\mathrm{\μ}}$ $\▿F(z^k+{\mathrm{\α}}^k{d}^k)=\frac{\left|\right|x^i-(z^k+{\mathrm{\α}}^k{d}^k)\left|\right|}{\mathrm{\μ}},$ 1＞σ₂＞σ₁＞0是常数，令 $\▿F\left(z^k\right)=\▿F^k=(g_1^k,g_2^k,g_3^k...,g_n^k),\▿F(z^k+{\mathrm{\α}}^k{d}^k)=\▿F^{k+1}=(g_1^{k+1},g_2^{k+1},g_3^{k+1}...,g_n^{k+1}),$ 则 $d^k\·\▿F\left(z^k\right)=d_1^k\×g_1^k+d_2^k\×g_2^k+...+d_n^k\×g_n^k,$ $d^k\·\▿F(z^k+{\mathrm{\α}}^k{d}^k)=d_1^k\×g_1^{k+1}+d_2^k\×g_2^{k+1}+...+d_n^k\×g_n^{k+1},$ 这两个不等式被称为WWP搜索技术。(2)方式二，寻找α^k满足下面一个不等式

F(z^k+α^kd^k)≤F(z^k)+γα^k[d^k·▽F(z^k)]

其中γ＞0是个常数，α^k在集合{1,ρ,ρ²,ρ³,…}中选取，ρ是大于0小于1之间的一个常数，此技术被称为Armijo线搜索技术。在编写算法的程序时，两种方式均可，常采用的是第二种方式，因为其更容易操作；

在步骤四中，确定了第k次的方向d^k和步长α^k之后，下一迭代点则取第k次迭代点z^k与方向与步长的乘积之和，即z^k+1＝z^k+α^kd^k；

在步骤五中，取 $\mathrm{stop}1=|F\left(z^k\right)-F(z^k+{\mathrm{\α}}^k{d}^k)|=|\frac{\left|\right|x^i-z^k\left|\right|}{2\mathrm{\μ}}-\frac{\left|\right|x^i-(z^k+{\mathrm{\α}}^k{d}^k)\left|\right|}{2\mathrm{\μ}}|,$ 若stop1≤ε或k＞K_max成立，方法终止；否则，新搜索方向其中β^k被称为共轭梯度参数，可以取 ${\mathrm{\β}}^k=\frac{\▿F(z^k+{\mathrm{\α}}^k{d}^k)\·[\▿F(z^k+{\mathrm{\α}}^k{d}^k)-\▿F\left(z^k\right)]}{\▿F\left(z^k\right)\·\▿F\left(z^k\right)}$ (称为PRP公式)，或 ${\mathrm{\β}}^k=\frac{\▿F(z^k+{\mathrm{\α}}^k{d}^k)\·\▿F(z^k+{\mathrm{\α}}^k{d}^k)}{\▿F\left(z^k\right)\·\▿F\left(z^k\right)}$ (称为FR公式)，或 ${\mathrm{\β}}^k=\frac{\▿F(z^k+{\mathrm{\α}}^k{d}^k)\·[\▿F(z^k+{\mathrm{\α}}^k{d}^k)-\▿F\left(z^k\right)]}{d^k\·[\▿F(z^k+{\mathrm{\α}}^k{d}^k)-\▿F\left(z^k\right)]}$ (称为HS公式)等等。实际计算中，常取PRP公式，因为其数值表现比较优越；

在步骤六中k＝k+1表示更新信息，即是第k+1次迭代的信息(迭代点、方向、函数值以及梯度值)均取代第k次迭代的信息，进入下次的程序运行进行循环操作；

为更好地说明该建模方法的有效性，我们给出一个非光滑模型问题进行检验，此模型的被称为Chained CB3I问题，数学模型形式如下：

$f\left(x\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\max \{x_i^4+x_{i+1}^2,{(2-x_i)}^2,2e^{-x_i+x_{i+1}}\},$ 初始点 $x_i^1=2.0,i=\mathrm{1,2},...,n.$

上述问题在实际中具有广泛的应用背景，如某公司要考虑进行投资选址，有众多的方案可选，可每种方案均具有一定的收益，那么公司会对比那种方案的收益最大，从而做出选择；针对上述问题，我们利用所给的建模方法进行计算，利用Matlab r2009a对算法编辑成程序，然后对模型求解，程序在Window XP操作系统，CPU E55072.27GHz,2.99内存下运行。方法中利用积极集方法进行求解，此处给出子问题所花费的迭代次数，现列举如下：

n	500	1000	3000
				Iteration	9	9	22
Iterfunction	39	39	63

表中n表示维数，即模型中变量的个数，Iteration表示需要的迭代次数，Iterfunction表示需要计算函数值次数。可得出方法对从变量从500到3000，需要的迭代次数和函数值的次数是可以接受的，此建模方法有效且效率很高。

Claims (1)

1.非光滑凸优化模型子问题的建模方法，其特征在于，假设非光滑凸优化模型的定义形式是(P):其中x＝(x₁,x₂,…,x_n)为变量元素，Ω为此问题的定义域，f(x)为非光滑凸问题，min表示求最小值含义，采用光滑化技术后，它的子问题形式为(sP):即关于变量z＝(z₁,z₂,…,z_n)求其最小值，其中Rⁿ是n维实数向量空间，μ＞0是个实数，||·||²表示欧氏2-范数，对任意x∈Rⁿ的欧氏2-范数定义为

内积的含义：向量x与z的内积定义为x·z＝x₁×z₁+x₂×z₂+…+x_n×z_n，即对应元素相乘之后求和，子问题(sP)表示对于主问题(P)中任给的x都要求出相应的z，且z最终的结果应与x有关，子问题(sP)关于变量z是连续可微的(连续且其梯度存在)，设计成数值优化方法，还要给出下列假设，变量z的第k次迭代点用表示，第k次搜索方向为第k次搜索步长为α^k＞0是实数；所述方法具体步骤如下：

步骤一：对主函数中的xⁱ∈Ω，任选常数μ＞0和初始点z¹∈Rⁿ，定义初始的搜索方向 $d^1=-\frac{\left|\right|x^i-z^1\left|\right|}{\mathrm{\μ}},$ 令k＝1；

步骤二：判断终止条件是否满足，若满足停止，不满足进入步骤三；

步骤三：沿着方向d^k按确定步长α^k；

步骤四：设定下一迭代点为x^k+1＝x^k+α^kd^k；

步骤五：获得新的函数值和梯度值，若终止条件满足，方法停止，否则确定新的搜索方向 $d^{k+1}=-\frac{\left|\right|x^i-z^{k+1}\left|\right|}{\mathrm{\μ}}+{\mathrm{\β}}^k{d}^k;$

步骤六：令k＝k+1转步骤三。