CN111241752B - 一种基于数字孪生和强化学习的离心式叶轮综合优化方法 - Google Patents

Abstract

本发明涉及一种基于数字孪生和强化学习的离心式叶轮综合优化方法，包括步骤一：建立离心式叶轮CI的数字几何模型，离心式叶轮CI的初始叶型曲面的直纹曲面；步骤二：加工性能评估，生成所述直纹曲面在侧铣加工中的刀位面以及模拟侧铣加工轨迹，分析所述离心式叶轮CI可展直纹化前后加工性能的误差；步骤三：气动性能评估，对比分析所述离心式叶轮CI可展直纹化前后的气动性能的差异；步骤四：以所述加工性能和气动性能作为评价指标，结合强化学习制定优化方法，对所述离心式叶轮CI的数字几何模型的直纹曲面进行优化。基于数字孪生和强化学习，实现了对离心式叶轮CI数字几何模型、加工性能评估、气动性能评估一体的集成化设计与优化。

Description

一种基于数字孪生和强化学习的离心式叶轮综合优化方法

技术领域

本发明涉及小型燃气涡轮发动机或增压器用离心式叶轮优化领域，具体涉及到一种基于数字孪生和强化学习的离心式叶轮综合优化方法。

背景技术

离心式叶轮(Centrifugal Impeller，简称CI)因结构简单、小流量下效率高，成为小型燃气涡轮发动机或增压器等动力系统的核心转动部件。对于离心式叶轮CI来说，尽管效率、压比等性能参数尤为重要，但从应用对象的角度考虑，小型动力装置更看重的是制造成本。离心式叶轮CI的叶型曲面多为自由曲面，虽然设计自由度大，但只能采用相对效率较低的端铣法加工(铣刀底部作为主切削刃)。研究表明，当叶型曲面为可展的直纹曲面时，若采用侧铣加工方法，则刀具的包络面与被加工曲面相切，刀具侧刃为主切削刃，不仅加工效率高且表面质量好。因此对于自由曲面离心式叶轮CI(简称CI_FFSB)，提高加工性能的重要途径是通过几何优化的方法将自由曲面转化为近似可展直纹面，但叶型曲面的变形通常会造成离心式叶轮CI的气动性能下降。因此，几何造型设计时兼顾气动性能和加工性能是提升离心式叶轮CI集成化设计、降低制造成本的关键因素。

数字孪生(Digital Twin,DT)以数字化方式创建物理实体的虚拟模型,借助信息物理数据的融合模拟物理实体的行为,通过虚实交互反馈、数据融合分析、决策迭代优化等手段,为物理实体增加或扩展新的能力。数字孪生的多维性和实时性为离心式叶轮CI的一体化设计和综合优化提供了平台，在对叶轮型面可展直纹化后，其加工性能和气动性能优化不能兼得，通过对叶轮参数化模型进行直纹化，综合分析其气动性能和加工性能，实现几何造型、加工性能和气动性能的一致迭代优化，对于离心式叶轮集成化设计具有非常重要的意义。

目前，在离心式叶轮CI设计过程中兼顾气动性能和加工性能方面，现有研究成果大多只部分揭示可展直纹化对气动性能的影响规律，并没有从综合优化策略上出发找寻两者的最佳平衡点；其次，在离心式叶轮CI近似可展直纹化提升加工性能方面，现有的研究将叶轮型面直纹化后无法精确表达离心式叶轮CI直纹化前后曲面误差；现有的气动分析与制造性能评估耦合性差，单独分析不能进行统一考虑，信息数据不能及时共享。目前离心式叶轮CI叶型优化都是以气动分析为主，再进行加工性能分析，造成实际加工的叶片气动性能差，设计、仿真、制造流程繁琐，经济性差。

发明内容

本发明提出了一种基于数字孪生和强化学习的离心式叶轮综合优化方法，包括以下步骤：

一种基于数字孪生和强化学习的离心式叶轮综合优化方法，包括以下步骤：

步骤一：建立离心式叶轮CI的数字几何模型，对所述离心式叶轮CI进行可展直纹化，生成所述离心式叶轮CI的初始叶型曲面的直纹曲面；

步骤二：加工性能评估，生成所述直纹曲面在侧铣加工中的刀位面以及模拟侧铣加工轨迹，分析所述离心式叶轮CI可展直纹化前后加工性能的误差；

步骤三：气动性能评估，对比分析所述离心式叶轮CI可展直纹化前后的气动性能的差异；

步骤四：以所述加工性能和气动性能作为评价指标，结合强化学习制定优化方法，对所述离心式叶轮CI的数字几何模型的直纹曲面进行优化。

进一步，所述步骤一是采用NURBS曲线曲面构造方法离散离心式叶轮CI的初始叶型曲面引导线的方法进行可展直纹化，具体包括以下步骤：

步骤1：提取出所述初始叶型曲面的两条引导线并对其进行参数化，通过NURBS曲线曲面构造方法构造出叶型曲面U，V方向的等参数线，若U，V两个方向的参数线均不是直线，则需要进行可展直纹化；

步骤2：对两条所述引导线进行等参数、等次数、同方向离散，生成一系列等参数点，建立两条所述引导线上参数点的映射关系，通过建立基于多目标优化的非刚性配准模型，采用退火算法求解该模型得到点对的匹配关系；

步骤3：连接匹配的所述点对，生成直纹母线矢量族，再结合两条所述引导线即可生成原始叶型曲面的可展直纹曲面r(u,v)，其中u、v为可展直纹曲面径向和切向参数。

进一步，所述步骤二中进一步采用所述NURBS曲线曲面构造方法对刀位数据{p(u_i),b(u_i)}进行插值，其中u_i为强化学习i次迭代过程中u的参数值，所述刀位数据由加工仿真软件基于所述可展直纹曲面r(u,v)的数据得到；插值后生成B样条曲面形式的刀位面，实现可展直纹曲面的初始刀位面拟合和模拟加工轨迹矢量，具体步骤如下：

步骤1：计算沿刀轴矢量b(u_i)方向且距刀位点p(u_i)距离为l_A的刀具顶端点p_u(u_i)：

p_u(u_i)＝p(u_i)+l_Ab(u_i) (1)

步骤2：根据式(1),得到所有刀位点处刀具顶端点p_u(u_i)后，利用NURBS插值方法分别对刀位点{p(u_i)}和刀具顶端点{p_u(u_i)}进行曲线插值，得到刀位点和刀具顶端点的NURBS的B样条曲线表示为：

其中，d_j为NURBS的控制顶点，

为i次迭代中第j个刀具顶端点参数值，j，k为NURBS曲面u、v方向参数取值，且j＝1,……n，k＝1,……n，n为u、v方向选定的控制顶点的个数，N_j,k为NURBS曲面表达的基函数；

当进行上述刀位数据的曲线插值时，刀位点曲线g(u)和刀具顶端点曲线g_u(u)采用统一的节点矢量，且每一所述刀位点与其对应的所述刀具顶端点具有相同的参数值，以保证刀位点与刀具顶端点对应关系的正确性；因此，任意时刻的刀轴矢量，也是加工轨迹矢量，表示为：

步骤3：进一步结合所述可展直纹曲面r(u,v)，得到刀位面r_a(u,v)的表示方程为：

步骤4：将得到的所述刀位面偏置一个刀具半径R_c，得到刀具的包络面。

进一步，所述步骤二中使用不考虑刀具跳动的方法计算可展直纹化前后的误差，也就是离心式叶轮CI侧铣加工的几何误差，具体方法如下：

在侧铣加工中，几何误差定义为被加工表面与刀具包络面之间的距离，过被加工表面上一点P₁作刀位面的垂线并与刀具的理想包络面交于一点P₂，在刀位面上的垂足为P₃；在不考虑刀具跳动时，将P₁与P₂之间的距离定义为侧铣加工的几何误差ε:

使用Newton-Raphson迭代法计算侧铣加工几何误差，关键在于计算点P₁在刀位面上的垂点P₃，估算刀位面上的n×n个采样点，并从中找到距离P₁最近的采样点，将P₁的参数(u,v)作为投影点迭代计算的初始值；在第i步Newton迭代中，需要求解一个以x_i为未知量的2×2的线性方程系统：

其中，u_i，v_i表示强化学习i次迭代中NURBS可展直纹面u向和v向参数值，f_u、f_v为刀位面NURBS曲线函数表达式，g_u、g_v为刀具顶端点NURBS曲线函数表达式；

则第i+1次迭代的起始点(u_i+1,v_i+1)为

p_i为i步迭代中p点投影的坐标值，当满足如下收敛准则：

‖p_i-r(u_i,v_i)‖≤ε₁ (9)

‖(u_i+1-u_i)r_u(u_i,v_i)+(v_i+1-v_i)r_v(u_i,v_i)‖≤ε₃ (11)

其中，r_u、r_v为可展直纹NURBS曲面u、v方向的表达式，ε1、ε2、ε3表示收敛准则设定的误差；

将满足上述收敛准则的投影点的参数值(u_i,v_i)作为点P₃的参数值，进而代入到公式(6)得到所述几何误差值。

进一步，所述步骤三中利用三维仿真软件得到其气动性能仿真结果，选取压比和效率作为评估可展直纹化对离心式叶轮CI气动性能影响情况的参数，得到离心式叶轮CI可展直纹化前后的所述效率变化和所述压比变化与所述气动性能降低之间的关系，即，气动性能降低的评价函数：P＝δπ_c+λη_s，其中π_c代表压比的变化程度，η_s是代表效率的变化程度；其中，δ、λ是权重因子。

进一步，所述步骤四中建立基于强化学习的加工性能和气动性能的评估参数和评估准则，训练已有仿真数据并利用扩维方法寻找数据特征，基于训练结果兼顾加工性能最优和气动性能损失最低调整离心式叶轮CI的可展直纹化参数，借助专家知识和评估准则迭代优化离心式叶轮CI的加工性能和气动性能，在两者之间找到最佳的平衡点，并把最优模型的参数输出给离心式叶轮CI数字几何模型；

采用强化学习中的DDPG算法获得学习环境中Agent交互与协作的最佳策略，核心在于Actor网络和Critic网络，前者是涉及控制智能体行为的策略函数σ，后者涉及衡量这些行为好坏程度值的函数Q；利用Actor将数据先存入经验池,训练时从经验池中随机采样mini-batch数据，打乱离心式叶轮CI参数化的引导线之间的相关性，利用神经网络来模拟策略函数σ和好坏程度值的函数Q，并用深度学习的方法来训练，通过连续动作迭代优化离心式叶轮CI数字几何模型。

进一步，所述步骤四中的优化方法包括确定输入函数、回馈函数和输出函数：

输入函数的确定：所述两条边界引导线经过NURBS插值得到的B样条曲线分别为：

其中c_j和q_j表示两条边界引导线NURBS插值后的控制顶点；

基于上述的曲线参数，形成的一维向量作为输入函数：s＝[c₁,c₂,…,c_n,q₁,q₂,…,q_n](13)

回馈函数的确定：基于加工性能提升的评价函数：M＝αT+βε，其中T代表工时优化的程度，ε代表所述几何误差，α、β是权重因子；以及所述气动性能降低的评价函数：P＝δπ_c+λη_s；由于M和P都越小越好，与强化学习的最大化奖励的要求相违背，所以对回馈函数进行修正，以达到奖励累计目的，最终得到回馈函数作为回报值R：

R＝-f＝-(AM+BP) (14)

其中，字母A、B为权重因子；

输出函数的确定：将输入函数的变化量作为Actor网络学习的动作值a＝[Δc₁,Δc₂,...,Δc_n,Δq₁,Δq₂,...,Δq_n]，反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中，得到一个新的曲面信息以及新的值作为输出。

进一步，所述步骤四中对离心式叶轮CI数字几何模型的综合优化方法的具体步骤：

步骤1：以所述输入函数s_i＝[c₁,c₂,...,c_n,q₁,q₂,...,q_n]_i作为当前曲面状态；

步骤2：将NURBS曲线参数化的所述变化量作为Actor网络的动作值a_i＝[Δc₁,Δc₂,...,Δc_n,Δq₁,Δq₂,...,Δq_n]_i；另外，设定一个损失函数，用于动态更新模型训练参数，具体公式如下：

y_i＝(R_i+γQ′(s_i+1,σ′(s_i+1))) (16)

其中，N表示训练样本数，γ为DDPG算法中前一状态奖励值到下一状态奖励值衰变系数，取值0～1，Q′(s_i+1,σ′(s_i+1))代表i+1次迭代奖励累计函数，Q(s_i,a_i)为奖励累计函数，s_i+1是将所述动作值a_i反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到的更新之后的曲面状态，R_i为当前回报值，其计算方法为公式(14)，σ′(s_i+1)表示在新状态下目标策略网络预测出的新的曲面变化量，且s_i+1＝[c₁+Δc₁,c₂+Δc₂,...,c_n+Δc_n,q₁+Δq₁,q₂+Δq₂,...,q_n+Δq_n]_i+1；

步骤3：当前的叶轮曲面状态s_i反馈到网络之后，得到所述变化量a_i,所述a_i返回到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到一个新的状态s_i+1和新的回报值R_i+1，基于所述回报值R_i+1更新Actor网络权重因子，再更新Critic网络，一轮训练结束；

步骤4：重复迭代所述步骤四中的上述步骤2、3，直到Critic网络收敛，停止训练，将得到的最优值输出到离心式叶轮CI数字几何模型。

相比于现有技术，本发明的优点在于：

(1)通过构建离心式叶轮CI集成化设计数字孪生模型实现了对离心式叶轮CI数字几何模型、加工性能评估、气动性能评估一体的集成化设计与优化，解决了离心式叶轮CI设计过程中加工性能与气动性能之间耦合性差的问题。

(2)建立离心式叶轮CI参数化虚拟的数字几何模型，采用不考虑刀具跳动的加工分析方法结合NURBS曲面理论并基于点-面有向距离函数推导直纹化前后误差数学表达式。

(3)选取压比和效率等参数从气动性能和内部流场两方面综合评估可展直纹化对离心式叶轮CI气动性能的影响并做出对比，综合反映了离心式叶轮CI优化后的气动性能变化情况。

(4)以离心式叶轮CI的气动性能和加工性能作为评价指标，借助强化学习算法制定离心式叶轮CI的优化准则，利用神经网络来模拟策略函数和Q函数，并用深度学习的方法来训练，在高纬度的连续动作空间中得到离心式叶轮CI的优化决策，实现离心式叶轮CI叶型的迭代优化。

(5)通过构建离心式叶轮CI集成化设计数字孪生模型，以参数化的模型数据为公共参数在模型各模块中共享和有效实时数据传输，保证了离心式叶轮CI叶型迭代优化的一致性。

附图说明

图1为应用本发明方法的数字孪生模型原理图；

图2为离心式叶轮CI的基于NURBS曲线构造的直纹曲面示意图；

图3为刀位面与刀具包络面示意图；

图4为加工几何误差示意图；

图5为经过NURBS插值得到的两条边界引导线；

图6为基于强化学习的离心式叶轮CI叶型迭代优化方法流程图。

具体实施方式

下面将结合附图对本发明提出一种基于数字孪生和强化学习的离心式叶轮综合优化方法做进一步的详细说明。

将上述方法应用到现有的数字孪生模型中的原理图参见附图1，以离心式叶轮CI数字几何模型为连接数字孪生各模块的纽带，将其与加工性能优化模块和气动性能评估模块通过数据连接，并将加工性能和气动性能指标输入到强化学习中，借助强化学习制定优化准则实现离心式叶轮CI叶型迭代优化。基于数字孪生模型，借助专家知识和评估准则迭代优化离心式叶轮CI的加工性能和气动性能，在两者之间找到最佳的平衡点，得到其几何模型的最佳设计参数，实现了对离心式叶轮CI数字几何模型、加工性能评估、气动性能评估一体的集成化设计与优化。在数字孪生模型中还进一步对离心式叶轮CI的虚拟模型数据进一步通过实物和试验系统进行验证，根据验证结构进一步修正虚拟模型数据，此部分包括在本发明的方法之中。

本发明的一种基于数字孪生和强化学习的离心式叶轮综合优化方法具体包括：

步骤一：建立离心式叶轮CI的数字几何模型，对所述离心式叶轮CI进行可展直纹化，生成所述离心式叶轮CI的初始叶型曲面的直纹曲面；

步骤二：加工性能评估，生成所述直纹曲面在侧铣加工中的刀位面以及模拟侧铣加工轨迹，分析所述离心式叶轮CI可展直纹化前后加工性能的误差；

步骤三：气动性能评估，对比分析所述离心式叶轮CI可展直纹化前后的气动性能的差异；

步骤四：以所述加工性能和气动性能作为评价指标，结合强化学习制定优化方法，对所述离心式叶轮CI的数字几何模型的直纹曲面进行优化。

进一步，参见附图2，步骤一是采用NURBS曲线曲面构造方法离散离心式叶轮CI的初始叶型曲面引导线的方法进行可展直纹化，具体包括以下步骤：

步骤1:提取出所述初始叶型曲面的两条引导线并对其进行参数化，通过NURBS曲线曲面构造方法构造出叶型曲面U，V方向的等参数线，若U，V两个方向的参数线均不是直线，则需要进行可展直纹化；

步骤2:对两条所述引导线进行等参数、等次数、同方向离散，生成一系列等参数点，建立两条所述引导线上参数点的映射关系，通过建立基于多目标优化的非刚性配准模型，采用退火算法求解该模型得到点对的匹配关系，参见3所示；

步骤3：连接匹配的所述点对，生成直纹母线矢量族，再结合两条所述引导线即可生成原始叶型曲面的可展直纹曲面r(u,v)。

参见附图3和4，步骤二中进一步采用所述NURBS曲线曲面构造方法对刀位数据{p(u_i),b(u_i)}进行插值，所述刀位数据由加工仿真软件基于所述可展直纹曲面r(u,v)的数据得到；插值后生成B样条曲面形式的刀位面，实现可展直纹曲面的初始刀位面拟合和模拟加工轨迹矢量，具体步骤如下：

步骤1：计算沿刀轴矢量b(u_i)方向且距刀位点p(u_i)距离为l_A的刀具顶端点p_u(u_i)：

p_u(u_i)＝p(u_i)+l_Ab(u_i) (1)

步骤2：根据式(1),得到所有刀位点处刀具顶端点p(u_i)后，利用NURBS插值方法分别对刀位点{p(u_i)}和刀具顶端点{p_u(u_i)}进行曲线插值，得到刀位点和刀具顶端点的NURBS的B样条曲线表示为：

当进行上述刀位数据的曲线插值时，刀位点曲线g(u)和刀具顶端点曲线g_u(u)采用统一的节点矢量，且每一所述刀位点与其对应的所述刀具顶端点具有相同的参数值，以保证刀位点与刀具顶端点对应关系的正确性；因此，任意时刻的刀轴矢量，也是加工轨迹矢量，表示为：

步骤3：进一步结合所述可展直纹曲面r(u,v)，得到刀位面r_a(u,v)的表示方程为：

步骤3：将得到的所述刀位面偏置一个刀具半径R_c，得到刀具的包络面。

基于上述方法，借助NREC公司的MAX-5平台对直纹化后的离心式叶轮CI进行五轴侧铣加工仿真。使用刀具为Φ4球头刀，刀具长度50mm，斜度为0°，刀具伸出长度为32mm，刀齿数量为4，加工方式选择叶片精加工，余量为0。走刀方式选择A-B面连续加工，切削参数如表1所示。

表1叶片侧铣加工切削参数

五轴侧铣加工仿真结果表明，加工过程中没有发生全局干涉，刀路合理，表面光顺，无残留高度。

参见附图4，步骤二中还包括使用不考虑刀具跳动的方法计算可展直纹化前后的误差，也就是离心式叶轮CI侧铣加工的几何误差，具体方法如下：

在侧铣加工中，几何误差定义为被加工表面与刀具包络面之间的距离，过被加工表面上一点P₁作刀位面的垂线并与刀具的理想包络面交于一点P₂，在刀位面上的垂足为P₃；在不考虑刀具跳动时，将P₁与P₂之间的距离定义为侧铣加工的几何误差ε:

使用Newton-Raphson迭代法计算侧铣加工几何误差，关键在于计算点P₁在刀位面上的垂点P₃，估算刀位面上的n×n个采样点，并从中找到距离P₁最近的采样点，将P₁的参数(u,v)作为投影点迭代计算的初始值；在第i步Newton迭代中，需要求解一个以x_i为未知量的2×2的线性方程系统：

则第i+1次迭代的起始点(u_i+1,v_i+1)为

当满足收敛准则：

‖p_i-r(u_i,v_i)‖≤ε₁ (9)

‖(u_i+1-u_i)r_u(u_i,v_i)+(v_i+1-v_i)r_v(u_i,v_i)‖≤ε₃ (11)

将满足上述收敛准则的投影点的参数值(u_i,v_i)作为点P₃的参数值，进而代入到公式(6)得到所述几何误差值。

进一步，步骤三中利用三维仿真软件得到气动性能仿真数值结果，选取压比和效率作为评估可展直纹化对离心式叶轮CI气动性能影响情况的参数，得到离心式叶轮CI可展直纹化前后的所述效率变化和所述压比变化与所述气动性能降低之间的关系，即，气动性能降低的评价函数：P＝δπ_c+λη_s，其中π_c代表压比的变化程度，η_s是代表效率的变化程度；其中，δ、λ是权重因子。

对于权重因子的确定，属于根据常规气动性能的仿真试验结合必要的参数设置得到，例如，可通过基于三维雷诺平均N-S(Navier-Stokes)方程，湍流模型采用S-A(Spalart-Allmaras)方程模型，空间离散用中心差分格式。固壁面边界条件采用绝热壁面，设定最大迭代步数为1000，收敛残差为10^-6，CFL数设定为3。工质选取理想气体，将转子和静子的旋转交界面设定为周向守恒型连接面。进口按照轴向进气假设进气方向，如表2所示给定进口总温和总压，出口给定平均静压。

表2入口边界条件

某型号两级废气涡轮增压器作为离心式叶轮CI的载体，按照该型号增压器的工作特性分别给定4个工况下的转速：65000rpm、70000rpm、75000rpm、80000rpm。采用相同的进气总压条件，出口边界静压从堵塞工况(出口静压给定当地大气压)起，通过逐渐增大出口静压，测定其变工况流量特性。在仿真过程中，主要从气动性能和内部流场两方面分析压比和效率参数与气动性能降低之间的关系，具体对比分析试验此处无需列举。此处仅对其中一种通过仿真试验确定权重因子的方式进行列举，对于权重因子的确定还有其他本领域常用的方式方法，不限于上述内容。

步骤四中建立基于强化学习的加工性能和气动性能的评估参数和评估准则，训练已有仿真数据并利用扩维方法寻找数据特征，基于训练结果兼顾加工性能最优和气动性能损失最低调整离心式叶轮CI的可展直纹化参数，借助专家知识和评估准则迭代优化离心式叶轮CI的加工性能和气动性能，在两者之间找到最佳的平衡点，并把最优模型的参数输出给离心式叶轮CI数字几何模型；

采用强化学习中的DDPG算法获得学习环境中Agent交互与协作的最佳策略，核心在于Actor网络和Critic网络，前者是涉及控制智能体行为的策略函数σ，后者涉及衡量这些行为好坏程度值的函数Q；利用Actor将数据先存入经验池,训练时从经验池中随机采样mini-batch数据，打乱离心式叶轮CI参数化的引导线之间的相关性，利用神经网络来模拟策略函数σ和好坏程度值的函数Q，并用深度学习的方法来训练，通过连续动作迭代优化离心式叶轮CI数字几何模型。

进一步，步骤四中优化方法还包括确定输入函数、回馈函数和输出函数：

输入函数的确定：参见附图5，所述两条边界引导线经过NURBS插值得到的B样条曲线分别为：

基于上述的曲线参数，形成的一维向量作为输入函数：s＝[c₁,c₂,…,c_n,q₁,q₂,…,q_n](13)

回馈函数的确定：基于加工性能提升的评价函数：M＝αT+βε，其中T代表工时优化的程度，ε代表所述几何误差，α、β是权重因子，其可以根据常规加工仿真试验得到，此处无需具体列举试验方法和试验数据；以及所述气动性能降低的评价函数：P＝δπ_c+λη_s；由于M和P都越小越好，与强化学习的最大化奖励的要求相违背，所以对回馈函数进行修正，以达到奖励累计目的，最终得到回馈函数作为回报值R：

R＝-f＝-(AM+BP) (14)；

其中，字母A、B为权重因子；

输出函数的确定：将输入函数的变化量作为Actor网络学习的动作值a＝[Δc₁,Δc₂,...,Δc_n,Δq₁,Δq₂,...,Δq_n]，反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中，得到一个新的曲面信息以及新的回报值作为输出；

最后，参加附图6，步骤四中对离心式叶轮CI数字几何模型的综合优化策略的具体步骤为：

步骤1、以所述输入函数s_i＝[c₁,c₂,...,c_n,q₁,q₂,...,q_n]_i作为当前曲面状态；

步骤2、将NURBS曲线参数化的所述变化量作为Actor网络的动作值a_i＝[Δc₁,Δc₂,...,Δc_n,Δq₁,q₂,...,Δq_n]_i；另外，设定一个损失函数，用于动态更新模型训练参数，具体公式如下：

y_i＝(R_i+γQ′(s_i+1,σ′(s_i+1))) (16)

其中，N表示训练样本数，Q(s_i,a_i)为奖励累计函数，s_i+1是将所述动作值a_i反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到的更新之后的曲面状态，R_i为当前回报值，其计算方法为公式(14)，σ′(s_i+1)表示在新状态下目标策略网络预测出的新的曲面变化量，且s_i+1＝[c₁+Δc₁,c₂+Δc₂,...,c_n+Δc_n,q₁+Δq₁,q₂+Δq₂,...,q_n+Δq_n]_i+1；

步骤3、当前的叶轮曲面状态s_i反馈到网络之后，得到所述变化量a_i,所述a_i反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到一个新的状态s_i+1和新的回报值R_i+1，基于所述回报值R_i+1更新Actor网络权重因子，再更新Critic网络，一轮训练结束；

步骤4、重复迭代以上步骤2、3，直到Critic网络收敛，停止训练，将得到的最优值输出到建立叶轮离心式CI数字几何模型的参数化平台，实现对离心式CI数字几何模型的最优化。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (8)

1.一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，包括以下步骤：

步骤一：建立离心式叶轮CI的数字几何模型，对所述离心式叶轮CI进行可展直纹化，生成所述离心式叶轮CI的初始叶型曲面的直纹曲面；

步骤二：加工性能评估，生成所述直纹曲面在侧铣加工中的刀位面以及模拟侧铣加工轨迹，分析所述离心式叶轮CI可展直纹化前后加工性能的误差；

步骤三：气动性能评估，对比分析所述离心式叶轮CI可展直纹化前后的气动性能的差异；

步骤四：以所述加工性能和气动性能作为评价指标，结合强化学习制定优化方法，对所述离心式叶轮CI的数字几何模型的直纹曲面进行优化。

2.根据权利要求1所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤一是采用NURBS曲线曲面构造方法离散离心式叶轮CI的初始叶型曲面引导线的方法进行可展直纹化，具体包括以下步骤：

步骤1：提取出所述初始叶型曲面的两条引导线并对其进行参数化，通过NURBS曲线曲面构造方法构造出叶型曲面U，V方向的等参数线，若U，V两个方向的参数线均不是直线，则需要进行可展直纹化；

步骤2：对两条所述引导线进行等参数、等次数、同方向离散，生成一系列等参数点，建立两条所述引导线上参数点的映射关系，通过建立基于多目标优化的非刚性配准模型，采用退火算法求解该模型得到点对的匹配关系；

步骤3：连接匹配的所述点对，生成直纹母线矢量族，再结合两条所述引导线即可生成原始叶型曲面的可展直纹曲面r(u,v)，其中u、v为可展直纹曲面径向和切向参数。

3.根据权利要求2所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤二中进一步采用所述NURBS曲线曲面构造方法对刀位数据{p(u_i),b(u_i)}进行插值，其中u_i为强化学习i次迭代过程中u的参数值，所述刀位数据由加工仿真软件基于所述可展直纹曲面r(u,v)的数据得到；插值后生成B样条曲面形式的刀位面，实现可展直纹曲面的初始刀位面拟合和模拟加工轨迹矢量，具体步骤如下：

步骤1：计算沿刀轴矢量b(u_i)方向且距刀位点p(u_i)距离为l_A的刀具顶端点p_u(u_i)：

p_u(u_i)＝p(u_i)+l_Ab(u_i) (1)

步骤2：根据式(1)，得到所有刀位点处刀具顶端点p_u(u_i)后，利用NURBS插值方法分别对刀位点{p(u_i)}和刀具顶端点{p_u(u_i)}进行曲线插值，得到刀位点和刀具顶端点的NURBS的B样条曲线表示为：

其中，d_j为NURBS的控制顶点，

为i次迭代中第j个刀具顶端点参数值，j，k为NURBS曲面u、v方向参数取值，且j＝1，……n，k＝1，……n，n为u、v方向选定的控制顶点的个数，N_j，k为NURBS曲面表达的基函数；

当进行上述刀位数据的曲线插值时，刀位点曲线g(u)和刀具顶端点曲线g_u(u)采用统一的节点矢量，且每一所述刀位点与其对应的所述刀具顶端点具有相同的参数值，以保证刀位点与刀具顶端点对应关系的正确性；因此，任意时刻的刀轴矢量，也是加工轨迹矢量，表示为：

步骤3：进一步结合所述可展直纹曲面r(u，v)，得到刀位面r_a(u，v)的表示方程为：

步骤4：将得到的所述刀位面偏置一个刀具半径R_c，得到刀具的包络面。

4.根据权利要求3所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤二中使用不考虑刀具跳动的方法计算可展直纹化前后的误差，也就是离心式叶轮CI侧铣加工的几何误差，具体方法如下：

在侧铣加工中，几何误差定义为被加工表面与刀具包络面之间的距离，过被加工表面上一点P₁作刀位面的垂线并与刀具的理想包络面交于一点P₂，在刀位面上的垂足为P₃；在不考虑刀具跳动时，将P₁与P₂之间的距离定义为侧铣加工的几何误差ε：

使用Newton-Raphson迭代法计算侧铣加工几何误差，关键在于计算点P₁在刀位面上的垂点P₃，估算刀位面上的n×n个采样点，并从中找到距离P₁最近的采样点，将P₁的参数(u，v)作为投影点迭代计算的初始值；在第i步Newton迭代中，需要求解一个以x_i为未知量的2×2的线性方程系统：

其中，u_i，v_i表示强化学习i次迭代中NURBS可展直纹面u向和v向参数值，f_u、f_v为刀位面NURBS曲线函数表达式，g_u、g_v为刀具顶端点NURBS曲线函数表达式；

则第i+1次迭代的起始点(u_i+1,v_i+1)为

p_i为i步迭代中p点投影的坐标值，当满足如下收敛准则：

‖p_i-r(u_i,v_i)‖≤ε₁ (9)

‖(u_i+1-u_i)r_u(u_i,v_i)+(v_i+1-v_i)r_v(u_i,v_i)‖≤ε₃ (11)

其中，r_u、r_v为可展直纹NURBS曲面u、v方向的表达式，ε1、ε2、ε3表示收敛准则设定的误差；

将满足上述收敛准则的投影点的参数值(u_i,v_i)作为点P₃的参数值，进而代入到公式(6)得到所述几何误差值。

5.根据权利要求4所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤三中利用三维仿真软件得到其气动性能仿真结果，选取压比和效率作为评估可展直纹化对离心式叶轮CI气动性能影响情况的参数，得到离心式叶轮CI可展直纹化前后的所述效率变化和所述压比变化与所述气动性能降低之间的关系，即，气动性能降低的评价函数：P＝δπ_c+λη_s，其中π_c代表压比的变化程度，η_s是代表效率的变化程度；其中，δ、λ是权重因子。

6.根据权利要求5所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤四中建立基于强化学习的加工性能和气动性能的评估参数和评估准则，训练已有仿真数据并利用扩维方法寻找数据特征，基于训练结果兼顾加工性能最优和气动性能损失最低调整离心式叶轮CI的可展直纹化参数，借助专家知识和评估准则迭代优化离心式叶轮CI的加工性能和气动性能，在两者之间找到最佳的平衡点，并把最优模型的参数输出给离心式叶轮CI数字几何模型；

采用强化学习中的DDPG算法获得学习环境中Agent交互与协作的最佳策略，核心在于Actor网络和Critic网络，前者是涉及控制智能体行为的策略函数σ，后者涉及衡量这些行为好坏程度值的函数Q；利用Actor将数据先存入经验池,训练时从经验池中随机采样mini-batch数据，打乱离心式叶轮CI参数化的引导线之间的相关性，利用神经网络来模拟策略函数σ和好坏程度值的函数Q，并用深度学习的方法来训练，通过连续动作迭代优化离心式叶轮CI数字几何模型。

7.根据权利要求6所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤四中的优化方法包括确定输入函数、回馈函数和输出函数：

输入函数的确定：所述两条边界引导线经过NURBS插值得到的B样条曲线分别为：

其中c_j和q_j表示两条边界引导线NURBS插值后的控制顶点；

基于上述的曲线参数，形成的一维向量作为输入函数：s＝[c₁，c₂，...，c_n，q₁，q₂，...，q_n] (13)

回馈函数的确定：基于加工性能提升的评价函数：M＝αT+βε，其中T代表工时优化的程度，ε代表所述几何误差，α、β是权重因子；以及所述气动性能降低的评价函数：P＝δπ_c+λη_s；由于M和P都越小越好，与强化学习的最大化奖励的要求相违背，所以对回馈函数进行修正，以达到奖励累计目的，最终得到回馈函数作为回报值R：

R＝-f＝-(AM+BP) (14)

其中，字母A、B为权重因子；

输出函数的确定：将输入函数的变化量作为Actor网络学习的动作值a＝[Δc₁，Δc₂，...，Δc_n，Δq₁，Δq₂，...，Δq_n]，反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中，得到一个新的曲面信息以及新的值作为输出。

8.根据权利要求7所述的一种基于数字孪生和强化学习的离心式叶轮综合优化方法，其特征在于，所述步骤四中对离心式叶轮CI数字几何模型的综合优化方法的具体步骤：

步骤1：以所述输入函数si＝[c₁，c₂，...，c_n，q₁，q₂，...，q_n]_i作为当前曲面状态；

步骤2：将NURBS曲线参数化的所述变化量作为Actor网络的动作值a_i＝[Δc₁，Δc₂，...，Δc_n，Δq₁，Δq₂，...，Δq_n]_i；另外，设定一个损失函数，用于动态更新模型训练参数，具体公式如下：

y_i＝(R_i+γQ′(s_i+1，σ′(s_i+1))) (16)

其中，N表示训练样本数，γ为DDPG算法中前一状态奖励值到下一状态奖励值衰变系数，取值0～1，Q′(s_i+1，σ′(s_i+1))代表i+1次迭代奖励累计函数，Q(s_i，a_i)为奖励累计函数，s_i+1是将所述动作值a_i反馈到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到的更新之后的曲面状态，R_i为当前回报值，其计算方法为公式(14)，σ′(s_i+1)表示在新状态下目标策略网络预测出的新的曲面变化量，且s_i+1＝[c₁+Δc₁,c₂+Δc₂,...,c_n+Δc_n,q₁+Δq₁,q₂+Δq₂,...,q_n+Δq_n]_i+1；

步骤3：当前的叶轮曲面状态s_i反馈到网络之后，得到所述变化量a_i,所述a_i返回到基于NURBS构造的所述离心式叶轮CI可展直纹曲面中得到一个新的状态s_i+1和新的回报值R_i+1，基于所述回报值R_i+1更新Actor网络权重因子，再更新Critic网络，一轮训练结束；

步骤4：重复迭代所述步骤四中的上述步骤2、3，直到Critic网络收敛，停止训练，将得到的最优值输出到离心式叶轮CI数字几何模型。

Images