CN104809363A - 基于bk近似动态规划的三元复合驱优化方法 - Google Patents

Abstract

在三次采油阶段，三元复合驱因其能显著提高采收率而被广泛关注，为了合理规划生产策略，以实现利益最大化，本发明提出了一种基于BK近似动态规划的三元复合驱优化方法。该方法采用净现值为性能指标，以三元复合驱(即碱、表面活性剂、聚合物)的机理模型为基础，通过近似动态规划来逐步迭代逼近最优解。其中，对于近似动态规划的执行网络、模型网络和评价网络利用Kriging插值进行估计，首先选择高斯模型作为变差函数估计已知点到待估点的距离，再通过Bregman迭代对已知点的Bregman距离进行寻优，得到最优点和最优Kriging权值。最后利用该算法优化三元复合驱模型的注入浓度，得到最优注采策略。

Description

基于BK近似动态规划的三元复合驱优化方法

一、技术领域

本技术属于工业建模与优化技术，涉及利用Bregman迭代、Kriging插值和近似动态规划方法提高三元复合驱原油采收率，具体地说是一种基于BK近似动态规划的三元复合驱优化方法。

二、背景技术

石油开发在经历了天然开采的一次采油和水驱开采的二次采油之后，已经进入加入化学驱替剂的三次采油阶段。随着开采的进行，开采难度的加大，采收率越来越低，且油的品质逐渐下降，目前我国老油田含水率已高达80％以上，可采储量采出程度也已达63.1％，已进入高含水、高采出程度阶段。如何进一步提高采收率，大力发展三次采油技术已成为石油工业发展的当务之急。三元复合驱(碱/表面活性剂/聚合物)充分利用了驱替剂之间的作用机理，可能的改变油水粘度、波及系数及界面张力，能进一步提高采收率，因此被越来越多的油田采用。

目前关于三元复合驱提高采收率的研究主要从两个方面进行：1.从作用机理方面研究驱替剂之间的相互作用以及对原油物化参数的影响；2.基于机理模型，通过数值模拟软件模拟实验，人为选择相对较好的注采策略。然而，三元复合驱作用机理和模型过于复杂，难于求解，生产策略的制定过多依赖与操作者经验。因此，寻找合适的优化方法得到最优注采方案就显得尤为重要。

近似动态规划是近几年新兴起的一种动态规划算法，该方法能避免传统动态规划算法在求解模型过程中带来的计算复杂度，通过逐步迭代逼近非线性系统的最优控制解，从而简化计算，其基本思想是利用函数近似结构逼近动态规划方程中的性能指标函数和控制策略，以满足最优性原理从而获得最优控制和最优性能指标函数。在近似动态规划中，最常用的函数近似结构是神经网络，然而，三元复合驱是复杂分布参数系统，状态参数的分布有很明显的时空分布特征，一般的近似形式不能充分反映时空分布特性，Kriging插值是从变量的相关性和变异性出发，它认为样本之间是相关的，且这种相关性随相对距离和相对方向变化，是在有限区域内对区域化变量的取值进行无偏最优估计的一种方法。Kriging法的基本思想是：在考虑了信息样本的形状、大小及其待估区相互之间的空间分布等几何特征，以及变量的空间结构信息后，为了达到无偏差和最小估计方差，而对每个样本赋予一定的权值，利用加权平均值法对待估区的变量进行估计。在上述近似动态规划和Kriging相结合的算法中，如何更新权值使得系统在迭代过程中逼近最优解成为至关重要的问题。近几年刚兴起的Bregman迭代由于其相对一般优化方法存储空间小、计算量小、计算速度快而被广泛采用，本发明利用Bregman迭代寻找最优点，修正权值，通过定义和修正Bregman距离，实现近似动态规划的执行网络、模型网络和评价网络的逼近。综合上述特点，本发明提出了基于BK近似动态规划的三元复合驱优化方法，以得到最优注采策略，实现经济效益最大化。

三、发明内容

本发明的目的是提供一种基于BK近似动态规划的三元复合驱优化方法，其中B表示Bregman迭代，K表示Kriging插值。该方法采用净现值为性能指标，以三元复合驱(即碱、表面活性剂、聚合物)的机理模型为基础，通过Bregman迭代和Kriging插值修正近似动态规划，最后通过改进的近似动态规划算法求解最优注采策略。

本发明的目的通过以下技术方案来实现的：

该种基于BK近似动态规划的三元复合驱优化方法，包括以下内容：

1.建立三元复合驱优化模型

(1)性能指标

采用利润(净现值)最大作为性能指标，

       $\max J_{\mathrm{NPV}}={\∫}_0^{t_f}\underset{\mathrm{\Ω}}{\∫\∫\∫}{(1+r)}^{-t/t_a}[{\mathrm{\ξ}}_o\left(t\right)(1-f_w)q_{\mathrm{out}}-\mathrm{\Σ}{\mathrm{\ξ}}_p{q}_{\mathrm{in}}{c}_{\mathrm{pin}}]\mathrm{d\σdt}$ (利润最大)

其中，J_NPV为累积净现值，r为年折现率，t为时间(d)，t_a为一年的天数，q_in为水井的注入速度(1/d)，c_pin为驱替剂的注入浓度(g/L)，q_out出生产井的采出速度(1/d)，f_w(p,S_w,c_p)为生产井的含水率，ξ_p为各驱替剂的价格系数，ξ_o(t)表示原油价格系数。

(2)约束方程

约束方程主要由多元复合驱所服从的渗流物理方程决定，主要包括油相方程、水相方程以及驱替剂的吸附扩散方程等，这组方程是一组典型的抛物型偏微分方程。约束方程中还包括关于地质特性的代数方程组，主要包括：油水相对渗透率方程、驱替剂吸附方程、聚合物溶液的粘度(与聚合物的浓度、剪切速率和地层水矿化度等因素的关系)方程等，对于实际矿场来说，对应的代数方程需按照不同的地质条件，根据实验数据确定。

约束方程为多元复合驱的物理方程，包括油、水两相的渗流模型和驱替剂溶液的对流扩散吸附方程。

油相方程： $\▿\·[\frac{K{K}_{\mathrm{ro}}}{B_o{\mathrm{\μ}}_o}\▿(p_o-{\mathrm{\ρ}}_o\mathrm{gh})]-q_o=\frac{\∂}{\∂t}\left(\mathrm{\φ}\frac{S_o}{B_o}\right)$

水相方程： $\▿\·[\frac{K{K}_{\mathrm{rw}}}{B_w{\mathrm{\μ}}_w}\▿(p_w-{\mathrm{\ρ}}_w\mathrm{gh})]-q_w=\frac{\∂}{\∂t}\left(\mathrm{\φ}\frac{S_w}{B_w}\right)$

聚合物吸附扩散方程：

       $\▿\·(D_p{\mathrm{\φ}}_p{S}_w\▿c_p)+\▿\·[\frac{c_{p}K{K}_{\mathrm{rw}}}{R_k{B}_w{\mathrm{\μ}}_w}\▿(P_w-{\mathrm{\ρ}}_w\mathrm{gh})]-q_w{c}_{\mathrm{pw}}=\frac{\∂}{\∂t}\left(\frac{{\mathrm{\φ}}_p{S}_w{c}_p}{B_w}\right)+\frac{\∂\left({\mathrm{\ρ}}_R(1-\mathrm{\φ})C_{\mathrm{rp}}\right)}{\∂t}$

表面活性剂吸附扩散方程：

       $\▿\·(D_s\mathrm{\φ}{S}_w\▿c_s)+\▿\·[\frac{c_{s}K{K}_{\mathrm{rw}}}{R_k{B}_w{\mathrm{\μ}}_w}\▿(P_w-{\mathrm{\ρ}}_w\mathrm{gh})]-q_w{c}_{\mathrm{sw}}=\frac{\∂}{\∂t}\left(\frac{\mathrm{\φ}{S}_w{c}_s}{B_w}\right)+\frac{\∂\left({\mathrm{\ρ}}_R(1-\mathrm{\φ})C_{\mathrm{rs}}\right)}{\∂t}$

碱吸附扩散方程：

       $\▿\·(D_a\mathrm{\φ}{S}_w\▿c_a)+\▿\·[\frac{c_{a}K{K}_{\mathrm{rw}}}{R_k{B}_w{\mathrm{\μ}}_w}\▿(P_w-{\mathrm{\ρ}}_w\mathrm{gh})]-q_w{c}_{\mathrm{aw}}=\frac{\∂}{\∂t}\left(\frac{\mathrm{\φ}{S}_w{c}_a}{B_w}\right)+\frac{\∂\left({\mathrm{\ρ}}_R(1-\mathrm{\φ})C_{\mathrm{ra}}\right)}{\∂t}$

聚合物溶于水后，能使水相粘度大幅度增加，因而水相粘度主要受聚合物浓度的影响，表示为：其中，μ_w0为纯水的粘度，ap₁,ap₂,ap₃,sp为常系数，C_sep为含盐度。

聚合物溶液在多孔介质中运移时，由于水相粘度的增加和聚合物在岩石孔隙结构中的捕集作用，其所到之处会造成水相相对渗透率的下降，用渗透率下降系数表示为：

表面活性剂会影响油水界面张力，表现为

lnσ_wo＝a_i+b_iC_T

       $C_T=C_s{S}_w+\frac{C_s(1-S_w)}{K_s{\mathrm{\σ}}_{\mathrm{wo}}}$

残余油饱和度与毛管数的关系为：

毛管数为其中，C_Sor1,C_Sor1为系数，v_w为水相流速。

如果油相饱和度小于当前毛管数对应的残余油饱和度，则剩余的原油将不会被驱替，即k_ro＝0,ifS_w≥1-S_or。

当驱油体系中存在碱时，由于碱会与酸性物质发生反应生成一种表面活性剂，从而与表面活性剂驱油剂共同影响油水界面张力，即σ_wo＝σ_wo(C_s)A_st(C_a)。其中，σ_wo(C_s)为不含碱液时表面活性剂对油水的界面张力；A_st(C_a)为含碱液时的界面张力乘子，与碱液浓度有关。

各化学剂的吸附量主要受其浓度影响，采用Langmuir等温吸附公式式中，a_l,b_l为常系数。

当注入剂中存在碱液时，碱液会降低聚合物、表面活性剂在岩石表面的吸附作用，故聚合物和表面活性剂的吸附量则更新为其中，A_ad(C_a)为与碱液浓度相对应的吸附乘子。

辅助方程：S_o+S_w＝1，p_cow(S_w)＝p_o-p_w

初始条件： $p_o={(x,y,z,t)|}_{t=t_0}={p_o}^0,S_w{(x,y,z,t)|}_{t=t_0}={S_w}^0,c_{p,s,a}{(x,y,z,t)|}_{t=t_0}={c_{p,s,a}}^0$

边界条件： ${\frac{{\∂p}_o}{\∂n}|}_{\mathrm{\Ω}}=0,{\frac{{\∂c}_{p,s,a}}{\∂n}|}_{\mathrm{\Ω}}=0$

其中，表示Hamilton算子，在直角坐标系中p_o,p_w分别为油相和水相压力(MPa)，p_cow为毛管力(MPa)；S_o,S_w分别为油相和水相的饱和度；ρ_o,ρ_w,ρ_R分别油、水和岩石的密度(kg/m³)，B_o,B_w分别油和水的体积系数；K为渗透率(μm²)，k_ro,k_rw为油相和水相的相对渗透率；c_p,c_s,c_a分为聚合物、表面活性剂和碱的浓度(g/L)；μ_o,μ_p为油相和加入驱替剂后水相的粘度(mPa·s)；φ,φ_p分别为岩石的孔隙度和聚合物的孔隙度，g为重力加速度(m/s²)；h为深度(m)，向下为正；R_k为相对渗透率下降系数；C_rp,C_rs,C_ra分别为单位质量岩石吸附聚合物、表面活性剂和碱的质量(mg/g)；q_o,q_w分别为油相、水相在标准状态下的流速(1/day)，流出为正；c_pw,c_sw,c_aw分别为井筒中聚合物、表面活性剂和碱溶液的浓度(g/L)；D_p,D_s,D_a分别为聚合物、表面活性剂和碱的扩散系数(m²/s)；t为时间(day)；x,y,z为直角坐标系的三个方向，长度单位(m)。

多元复合驱是一种改性水驱，驱替剂的加入会引起水相粘度和相对渗透率随空间和时间的变化，所以上述方程都是非线性时变抛物型偏微分方程。同时约束方程中还包括描述驱替剂相关物理特性的代数方程，根据不同地质条件，需要根据实验数据进一步确定。

2.提出一种基于BK近似动态规划算法求解三元复合驱

基本思想为：通过近似动态规划来逐步迭代逼近最优解。其中，对于近似动态规划的执行网络、模型网络和评价网络利用Kriging插值进行估计，通过Bregman迭代对已知点的Bregman距离进行寻优，得到最优点和最优Kriging权值。最后利用该算法优化三元复合驱模型的注入浓度，得到最优注采策略。

对三元复合驱的机理模型进行有限差分离散化之后，可以转化为如下形式的动态系统：

x(k+1)＝f[x(k),u(k),k],k＝0,1,…

式中，x∈R^n×l表示系统的状态向量；u∈R^m表示控制输入，f是系统函数。系统相应的性能指标(净现值)可以写为如下形式：

       $J[x\left(k\right),k]=\underset{i=k}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\γ}}^{i-k}U[x\left(i\right),u\left(i\right),i]$

式中，U为效用函数；γ是折扣因子，且0<γ≤1；函数J是状态x(k)的代价函数。在近似动态规划优化过程中，模型网络、评价网络和执行网络同步进行训练。

以评价网络为例，该网络的输出是对理论输出J的估计，可以通过最小化以下误差实现。

       $\left|\right|E_c\left|\right|=\underset{k}{\mathrm{\&Sigma;}}{E}_c\left(k\right)=\frac{1}{2}\underset{k}{\mathrm{\&Sigma;}}{[\hat{J}\left(k\right)-U\left(k\right)-\mathrm{\&gamma;}\hat{J}(k+1)]}^2$

式中W_c代表评价网络的参数。效用函数是x(k),u(k),k的函数，当对于所有k都有E_c(k)＝0时，即

       $\hat{J}\left(k\right)=U\left(k\right)+\mathrm{\&gamma;}\hat{J}(k+1)=U\left(k\right)+\mathrm{\&gamma;}[U(k+1)+\mathrm{\&gamma;}\hat{J}(k+2)]=...=\underset{i=k}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&gamma;}}^{i-k}U\left(i\right)$

该估计式形式和性能指标的实际形式一致，因此通过定义E_c可以利用Kriging插值对网络进行估计得到一个最优或者次优解。

利用BK近似动态规划算法求解三元复合驱最优注采策略具体步骤如下：

步骤(1)三元复合驱数据预处理，控制u为驱替剂注入浓度，状态x为油藏网格浓度、含水饱和度、网格压力，性能指标J为净现值，初始化执行网络、模型网络和评价网络的权值，以及折扣因子γ，选择合适的变差函数；

步骤(2)采用Kriging插值对执行网络逼近，由状态x(k)和x(k-1)得到产生控制u(k)，计算效用函数U(k)；

步骤(3)采用Kriging插值对模型网络逼近，由状态x(k)和u(k)得到下一阶段状态x(k+1)；

步骤(4)采用Kriging插值对评价网络逼近，由状态x(k+1)得到性能指标

步骤(5)采用Bregman迭代，以网络误差最小为原则，寻找最优点，依次训练各网络的权值(即Kriging权值)；

步骤(6)判断训练是否失败，如失败，返回步骤(4)，重新训练；

步骤(7)返回步骤(2)进入下一次训练，若达到最大训练次数，训练结束。

3.利用Bregman迭代和Kriging插值对网络进行估计建模

估计建模的基本原理如下：

对于样本数据Z(u(i)),i＝1,…,n，在待估点Z(u(j))的Kriging估计量为(期望是m)：

       $Z_{\mathrm{BK}}^{*}\left(u\left(j\right)\right)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}\left(u\left(j\right)\right)Z\left(u\left(j\right)\right)+[1-\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}\left(u\left(j\right)\right)]m$

其中，λ_BK,i(u(j))＝λ_BK,i，是第i个样本的权值，由最小化方差求得：

       $\underset{{\mathrm{\&lambda;}}_{\mathrm{BK}}}{\min }{\mathrm{\&sigma;}}_{\mathrm{est}}^2={\mathrm{\&sigma;}}^2-2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}\mathrm{Cov}(Z\left(u\left(i\right)\right),Z\left(u\left(j\right)\right))+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{s=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}{\mathrm{\&lambda;}}_{\mathrm{BK},s}\mathrm{Cov}(Z\left(u\left(i\right)\right),Z\left(u\left(s\right)\right))$

其中的权值满足如下约束：

如果d_i<d_j，则λ_BK,i>λ_BK,s(i,s＝1,…,n)。

基于Bregman-Kriging的近似动态规划中，对Kriging权值和方差的计算如下：

将最小化方差进行变换，得：

       $\underset{\mathrm{\&xi;}}{\min }{\mathrm{\&sigma;}}_{\mathrm{est}}^2={\mathrm{\&sigma;}}^2-2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}\left(\mathrm{\&xi;}\right)\mathrm{Cov}(x\left(i\right),x\left(u\right))+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{s=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_{\mathrm{BK},i}{\left(\mathrm{\&xi;}\right)\mathrm{\&lambda;}}_{\mathrm{BK},s}\mathrm{Cov}(x\left(i\right),x\left(s\right))$

其中，ξ是由求解最小化问题得到的一个参数向量，即Kriging权值，公式中的λ_BK,i(ξ),i＝1,…,n具有如下性质：

λ_BK,i(ξ)是ξ中第(n-k_i+1)个最大的元。

其中k_i是数据链中第i个数据点到估计点的距离d_i的队列，d_i是所有距离经过升序排列后得到的向量(d₁,d₂,…,d_n)中的第i个元素。

利用Bregman迭代和Kriging插值对网络进行估计建模的具体步骤如下：

(1)选择高斯模型作为变差函数估计已知点到待估点的距离(d₁,d₂,…,d_n)，并将这些距离按升序进行排列，令k＝排序后距离的角标，高斯模型形式如下：

       $r\left(h\right)=\left\{\begin{array}{cc}0& h=0\\ c_0+c(1-e^{\frac{h^2}{a^2}}),& h>0\end{array}\right.,$ 其变程约为在原点处为抛物线型；

(2)利用Kriging插值求出一组权值λ_i，并对其进行降序排列，令λ＝(λ₁,λ₂,…,λ_n)，其中λ₁>λ₂>…>λ_n；

(3)令x(j)＝(a₁,a₂,…,a_n)，其中a_i＝λ_n-k(i)+1，k(i)是步骤(1)中k的第i个元素；

(4)定义Bregman距离D，计算x(j)点处的Bregman距离

(5)将x(j)点作为初始点，进行Bregman迭代，得到x′(j)；

(6)将步骤(5)中的元素按降序排列，使得x′(j)＝(b₁,b₂,…,b_n)，且b₁>b₂>…>b_n，令x(j+1)＝(b₁′,b₂′,…,b_n′)，其中，b₁′＝b_n-k(i)+1；

(7)计算x(j)与x(j+1)对应的函数值差的绝对值，即如果ff满足精度要求则结束循环，这时x(j+1)中的元就是我们需要的Kriging权值，否则继续下一步；

(8)将x(j+1)赋值给x(j)，从步骤(4)开始重复计算，直到ff满足精度要求为止，这时x(j+1)中的元就是我们需要的Kriging权值。

4.利用Bregman迭代寻找最优点

Bregman迭代正则化中一个重要概念首先是引进Bregman距离：

       $D_J^P(u,v)=J\left(u\right)-J\left(v\right)-<p,u-v>$

这里J(x)为Rⁿ→R的凸函数，而p∈Rⁿ为次微分中的一个次梯度。

事实上，并不是一个真正的距离，比如不满足对称性。但满足：且对于连接u,v的线段上的所有点w成立：

针对优化问题Bregman迭代正则化就是迭代地求解下面的优化问题：

       $u^{k+1}=\underset{u}{\min }\{\mathrm{\&mu;}{D}_J^{P^k}(u,u^k)+H\left(u\right)\},k=\mathrm{0,1,2},...$

其中 $u^0=p^0=0.$

本发明中利用Bregman迭代寻找最优点的具体过程如下：

(1)将待处理问题转化为的形式；

(2)初始化：k＝0,u⁰＝p⁰＝0；

(3)根据已知点u^k和u求出Bregman距离；

(4)计算下列迭代直到收敛

       $u^{k+1}=\underset{u}{\min }\{\mathrm{\&mu;}{D}_J^{P^k}(u,u^k)+H\left(u\right)\};$

       $p^{k+1}=p^k-\&dtri;H\left(u^{k+1}\right)\&Element;\&PartialD;J\left(u^{k+1}\right);$

(5)输出迭代结果u^k+1，即为最优点。

综上所述，本发明提出的一种基于BK近似动态规划的三元复合驱优化方法，避免了求解复杂三元复合驱数学模型，极大地简化了运算，该方法将近似动态规划的近似思想，Kriging插值的估计思想以及Bregman迭代正则化的寻优思想运用在三元复合驱注采方案的优化上，为油田提高原油产量，极大地获取经济效益提供了一种新的方法。

四、附图说明

图1是本发明的结构示意图

图2是利用Bregman迭代和Kriging插值对网络进行估计建模流程图

图3是利用Bregman迭代寻找最优点流程图

图4是利用BK近似动态规划求解三元复合驱最优注采策略流程图

五、具体实施方式

下面结合附图对本发明作进一步描述：

参照图4，本发明一种基于BK近似动态规划的三元复合驱优化方法具体实施过程如下：

(1)基于油藏渗流方程、驱替剂的对流吸附扩散方程、物化代数方程和驱替剂的相互影响，结合净现值最大化的性能指标，建立三元复合驱的优化模型，利用数值模拟软件得到样本数据，控制输入为各个驱替剂注入浓度，空间状态为网格浓度、含水饱和度和压力，性能指标为净现值；

(2)初始化执行网络、模型网络和评价网络的权值，以及折扣因子γ，选择高斯模型作为变差函数；

(3)由变差函数计算当前点与待估点的距离；

(4)采用Kriging插值对执行网络逼近，由状态参数x(k)和x(k-1)得到产生控制(驱替剂注入浓度)u(k)；

(5)计算效用函数U(k)；

(6)采用Kriging插值对模型网络逼近，由状态参数x(k)和驱替剂注入浓度u(k)得到下一阶段状态参数x(k+1)；

(7)采用Kriging插值对评价网络逼近，由三元复合驱状态参数x(k+1)得到净现值性能指标

(8)计算当前点与待估点的Bregman距离，将待处理问题转化为的形式使之符合Bregman寻优；

(9)采用Bregman迭代，以网络误差最小为原则，寻找最优点，依次训练各网络的权值(即Kriging权值)；

(10)判断训练是否失败，如失败，返回步骤(7)，重新训练；

(11)返回步骤(5)进入下一次训练，若达到最大训练次数，训练结束。

Claims (3)

1.基于BK近似动态规划的三元复合驱优化方法，其中B表示Bregman迭代，K表示Kriging插值。其特征在于：将Bregman迭代和Kriging插值相结合去改进近似动态规划算法，并用于求解三元复合驱最优注采策略；采用Kriging插值实现近似动态规划的执行网络、模型网络和评价网络；采用Bregman迭代对已知点的Bregman距离进行迭代寻优，获得最优Kriging权值。

2.基于BK近似动态规划的三元复合驱优化方法，其特征在于该方法依次含有以下步骤：

步骤(1)三元复合驱数据预处理，控制u为驱替剂注入浓度，状态x为油藏网格浓度、含水饱和度、网格压力，性能指标J为净现值，初始化执行网络和评价网络的权值，以及折扣因子γ，选择合适的变差函数；

步骤(2)采用Kriging插值对执行网络逼近，由状态x(k)和x(k-1)得到产生控制u(k)，计算效用函数U(k)；

步骤(3)采用Kriging插值对模型网络逼近，由状态x(k)和u(k)得到下一阶段状态x(k+1)；

步骤(4)采用Kriging插值对评价网络逼近，由状态x(k+1)得到性能指标

步骤(5)采用Bregman迭代，以网络误差最小为原则，寻找最优点，依次训练各网络的权值(即Kriging权值)；

步骤(6)判断训练是否失败，如失败，返回步骤(4)，重新训练；

步骤(7)返回步骤(2)进入下一次训练，若达到最大训练次数，训练结束。

3.基于BK的网络逼近方法，其特征在于该方法含有以下几个方面：

(1)选择高斯模型作为变差函数估计已知点到待估点的距离，具体模型如下：

$r\left(h\right)=\left\{\begin{array}{cc}0& h=0\\ c_0+c(1-e^{\frac{h^2}{a^2}}),& h>0\end{array}\right.,$ 其变程约为在原点处为抛物线型；

(2)定义Bregman距离这里J(x)为Rⁿ→R的凸函数，而p∈Rⁿ为次微分中的一个次梯度)，利用该距离通过Bregman迭代寻找最优点，训练网络权值，实现误差最小化；

(3)参考主元分析的思想，将已知点到待估点的距离进行升序、降序排列，在实施过程中可以根据实际需要，人为调整精度和计算复杂度。