CN112327625B

CN112327625B - 基于机器学习的不确定系统模型预测控制参数整定方法

Info

Publication number: CN112327625B
Application number: CN202011264421.7A
Authority: CN
Inventors: 贺宁; 张梦芮
Original assignee: Xian University of Architecture and Technology
Current assignee: Xian University of Architecture and Technology
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2022-02-22
Anticipated expiration: 2040-11-12
Also published as: CN112327625A

Abstract

本发明公开了一种基于机器学习的不确定系统模型预测控制参数整定方法，包括以下步骤：1)获取系统模型预测控制的代价函数中的m维输出权重矩阵Q及n维输入权重矩阵R；2)获得输出序列及mn×L³组性能指标，其中，各组性能指标均为由输出的超调及调节时间构建的一组列向量，对于各组Q及R，分别求取最坏超调及最坏调节时间，然后将求取的最坏超调及最坏调节时间存储到矩阵F中；3)构建RBF神经网络，再利用建立的RBF神经网络计算最优性能指标；4)构建BP神经网络，然后利用BP神经网络求取性能标签；5)以性能标签作为寻优的依据，采用PSO寻优算法对不确定系统模型预测控制参数进行调节，该方法能够较为准确的实现对不确定系统模型预测控制参数的整定。

Description

基于机器学习的不确定系统模型预测控制参数整定方法

技术领域

本发明涉及一种不确定系统模型预测控制参数整定方法，具体涉及一种基于机器学习的不确定系统模型预测控制参数整定方法。

背景技术

模型预测控制(Model Predictive Control，MPC)是一种先进控制策略，其机理可以描述为：在每个采样时刻，根据获得的当前测量信息，在线求解一个有限时域开环优化问题，并将得到的控制序列的第一个元素作用于被控对象。在下一个采样时刻，重复上述过程：用新的测量值刷新优化问题并重新求解。

预测控制与传统PID控制、最优控制等算法有较大不同，尤其是其拥有众多控制器参数，需要结合实际控制需求进行选择。随着目前被控系统愈发复杂，其中经常存在输入输出耦合、外界干扰、时间滞后等因素，使得预测控制的参数调优变得十分困难。现有工业应用中的参数调优方法更多的是基于工程经验或是试错法，大大增加了参数设计的盲目性，同时耗费时间多，计算成本大。预测控制参数的取值直接影响控制效果，实际工程应用时由于参数设置不当会造成控制品质不佳，故针对预测控制参数调优的研究具有重要理论及应用价值。

此外，工业应用中被控对象模型一般由系统实际运行时所获得的输入输出数据辨识而得，由于系统工况的时变特性，以及测量噪声等干扰的存在，所获模型与实际被控对象间一般存在误差，即存在模型不确定性，这就要求控制系统具有良好的鲁棒性能。不确定系统的参数调节引入了额外的复杂性，往往只能基于有关该系统的专家经验进行调优，大大增加了调优成本。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在神经科学研究成果的基础上提出的。具有强大的自学习功能。使用机器识别技术对人类专家经验这一难以精确描述的非线性对象进行逼近，提出一种基于机器学习的不确定系统预测控制参数调优方法，从而提高系统的鲁棒控制性能，具有重要的意义。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于机器学习的不确定系统模型预测控制参数整定方法，该方法能够较为准确的实现对不确定系统模型预测控制参数的整定，节约时间及成本。

为达到上述目的，本发明所述的基于机器学习的不确定系统模型预测控制参数整定方法包括以下步骤：

1)获取系统模型预测控制的代价函数中的m维输出权重矩阵Q及n维输入权重矩阵R；

2)将不确定系统模型各参数的不确定区间等分L份，对于任一Q及R，遍历各组模型，获得输出序列及mn×L³组性能指标，其中，各组性能指标均为由输出的超调及调节时间构建的一组列向量，对于各组Q及R，分别求取最坏超调及最坏调节时间，然后将求取的最坏超调及最坏调节时间存储到矩阵F中；

3)以m维输出权重矩阵Q及n维输出权重矩阵R中的元素为输入，以矩阵F输出，构建RBF神经网络，再利用建立的RBF神经网络计算最优性能指标；

4)对矩阵F按列进行标签化，将所得行向量作为标签label，以矩阵F作为输入，以性能标签为输出构建BP神经网络，然后利用BP神经网络求取标签值；

5)以性能标签作为寻优的依据，采用PSO寻优算法对不确定系统模型预测控制参数进行调节，完成基于机器学习的不确定系统模型预测控制参数整定。

步骤1)中系统模型预测控制的代价函数为：

其中，Q表示输出权重矩阵，Q为m维方阵，R表示输出权重矩阵，R为n维方阵，y_ss表示输出的参考值，x(k)为状态量，u(k)为控制输入量，y(k)为被控输出量，其中，

步骤2)中构建的列向量为:

其中，σ表示各输出的超调值，t_s表示各输出的调整时间.

最坏超调的定义为：所有不确定响应的超调量的最大值，每个响应的超调量为响应的最大值减去终值再除以终值；

最坏调节时间的定义为：所有不确定响应的调节时间的最大值，每个响应的调节时间为响应到达和停留在预先规定的最终百分比范围内所需的时间。

步骤4)中BP神经网络的输入层节点数为性能指标的种类与系统输出维度的乘积，输出层节点数为1。

本发明具有以下有益效果：

本发明所述的基于机器学习的不确定系统模型预测控制参数整定方法在具体操作时，利用神经网络强大的数据处理能力与自学习功能实现对控制器参数的鲁棒调节，以系统在模型不确定性作用下的最差动态特性为依据进行控制器参数调节，有效地解决由于模型失配、外界扰动等引起的控制精度不高的问题，从而提高控制系统的鲁棒性，优化系统整体性能品质，另外，通过训练好的神经网络的非线性映射能力产生不确定系统的最差输出性能，以大幅降低预测控制参数调优在线计算量，节省时间提高效率。并且，通过对神经网络进行参数调优，相对于人工采用试错法或经验法进行调优，能显著减少调优时间及成本。由于神经网络在建立的过程中，可集合大量人类专家的经验，可以一定程度上减小人为调优的偶然性，使得调优结果更具有准确性。

附图说明

图1为RBF神经元的示意图；

图2为RBF神经网络的结构图；

图3为BP神经网络的结构图；

图4为PSO算法的流程图；

图5废水处理系统示意图；

图6基于机器学习的不确定系统模型预测控制参数调优的流程图；

图7为RBF网络训练结果验证图

图8为BP神经网络训练结果的方差图；

图9为BP神经网络训练结果的散点图；

图10为遗传算法参数寻优的结果图；

图11为暴力搜索参数寻优的结果图；

图12为寻优参数有效性验证的结果图。

具体实施方式

下面结合附图对本发明做进一步详细描述：

本发明所述的基于机器学习的不确定系统模型预测控制参数整定方法包括以下步骤：

1)通过神经网络建立控制器参数与具有模型不确定性的系统各输出时域性能指标之间的映射关系；

2)对时域鲁棒性能指标进行降维，获得性能标签；

3)基于性能标签与系统模型，确定不确定系统模型的控制参数；

一般的，具有m维输出、n维输入的系统的传递函数为：

系统模型为：

y(s)＝G(s)u(s)

其中，y(s)为系统模型的输出，u(s)为系统模型的输入，G(s)为系统模型的传递函数。

基于系统模型建立系统的状态空间方程为：

x(k+1)＝Ax(k)+Bu(k)

y(k)＝Cx(k)

其中，k表示离散时间序列，x(k)为状态量，u(k)为控制输入量，y(k)为被控输出量，A、B及C表示相应维度的状态矩阵。

系统模型的状态变量及输出变量在k+1时刻的预测值分别表示为：

x(k+1|k)＝Ax(k)+Bu(k)

y(k+1|k)＝Cx(k+1|k)＝C[Ax(k)+Bu(k)]

预测过程一直持续到预测时域P，则系统模型的状态量及输出变量预测值分别为：

将系统模型输出的预测值整理为：

Y(k)＝F_xx(k)+F_uU

其中，P为预测时域，M为控制时域

系统模型预测控制的代价函数为：

其中，Q表示输出权重矩阵，Q为m维方阵，R表示输出权重矩阵，R为n维方阵，y_ss表示输出的参考值，其中，

则预测算法的优化问题表示为：

minJ(Y(k),U)＝min(((Y(k)-Y_ss)^Tdiag{Q,Q,QΛQ}_Pm×Pm(Y(k)-Y_ss))+(U^Tdiag(R,R,RΛR)_Mn×MnU))

根据模型预测控制的基本原理，作用于被控系统的输入为在线求解优化问题得到的控制序列U的第一步u(k)作用于系统。

由此，代价函数J中的权重矩阵Q及R的取值影响代价函数的求解，进而影响被控系统输入量的取值；通过对Q和R中元素进行调节，使系统获得更好的控制性能。本发明主要考虑系统输出的相关特性，以输出超调量及调整时间作为表征系统控制性能的指标。超调量表征被调参数动态偏离给定值的最大程度，其中，超调量越大，系统偏离生产规定的状态越远，对部分有危险限制的控制系统是不允许的。调节时间为系统受到扰动后，被控变量恢复到新的平衡状态所经历的最短时间，调节时间反映了系统的响应速度。对于一个控制系统，期望的是超调量和调整时间都尽可能的小，因此需找到一组最合适的权重矩阵，使得各输出之间的成本效益平衡。

以一阶加滞后系统为例，具有系统模型不确定性的系统传递函数表示为：

其中

某些情况下，由于受环境变化及模型失配等问题的影响，G_p(s)无法被准确地建立，一般假设模型实际参数可能在一定范围内取值，即设定：

k_pij∈[k_pijmin,k_pijmax]，θ_pij∈[θ_pijmin,θ_pijmax]，τ_pij∈[τ_pijmin,τ_pijmax]，i＝1,2,3Λmj＝1,2,3Λn

此时令系统模型为：

y(s)＝G_p(s)u(s)

其中u(s)为系统的输出，u(s)为系统的输入，G_p(s)为系统的传递函数，基于此模型能够建立系统的状态空间方程，用于验证模型预测控制在实际系统上的控制效果。

通过与标称系统对应的状态空间方程求解目标函数获得最优控制序列，并将第一个分量应用于实际系统，如此往复循环，得被控系统的输出序列或输出曲线。

本发明通过神经网络建立最坏情况下系统输出性能指标来表征MPC对不确定系统的控制效果，具体过程为：

a)将不确定系统的模型各参数的不确定区间等分L份，共计mn×L³组数据，对于任意一组Q和R，遍历各组模型，获得输出序列及mn×L³组性能指标，每组性能指标包括每个输出的超调量、调节时间构成一组列向量，第l组模型参数对应的性能指标向量为：

遍历mn×L³组模型参数，以矩阵形式表示为:

对于每组控制器参数Q及R，在mn×L³组数据中，分别求得每个输出的最坏超调量及最坏调节时间作为该组参数对不确定系统的最差控制效果，其中，最坏超调、最坏调节时间的定义为：

最坏超调的定义为：所有不确定响应的超调量的最大值，每个响应的超调量为响应的最大值减去终值再除以终值。

最坏调节时间的定义为：所不确定有响应的调节时间的最大值，每个响应的调节时间为响应到达和停留在预先规定的最终百分比范围内所需的时间。

b)在使系统稳定的条件下，随机选取H组控制器权重矩阵，并将获得的最差性能指标存储在矩阵F中，即

F＝[F(1) F(2) F(3) Λ F(H)]

其中，F的第h个分向量

其中，σ表示各输出的超调值，t_s表示各输出的调整时间.；

c)对矩阵F按列标签化，标签越小，则表示该组控制性能越被接受，标签“0”表示最佳响应。

d)以Q和R中各元素为输入，对应的F中性能指标输出，建立神经网络，选取其中5组作为测试数据集，则学习样本数为H-5,具体建立步骤为：

1d)选择使用局部逼近网络RBF，以保证网络具有较快的学习收敛速度；根据样本规模，选择标准RBF网络或广义RBF网络，在保证不产生病态计算的前提下，以标准RBF网络为例。

2d)RBF神经网络的输入维度为m²+n²，即输入神经元个数为m²+n²；样本个数为H-5，隐层神经元的个数与学习样本数相等，即为H-5。

3d)隐含层与输入层全连接层内无连接，输入层到隐含层之间的权值固定为1，隐含层单元的激活函数采用高斯径向基函数，从而将低维空间的信息映射到高维空间。隐层到输出层的传输函数为线性的，此处的传递权值即为网络可调参数，训练过程中网络权值由线性方程组直接解出，高斯径向基函数为：

4d)通过对径向基函数的中心T_m、宽度σ_m及隐层与输出层的权重w_m的调整进行对RBF神经网络的训练。

5d)利用5组测试集样本对网络的精度进行测试。

e)以矩阵F为输入，矩阵label中的对应值为输出构建BP神经网络，具体步骤为：

e1)设定BP神经网络的输入层节点数为性能指标种类与系统输出维度的乘积，输出层节点数为1；根据经验公式得

其中δ∈[1,2,3Λ10]

求得网络隐层节点数，各神经元的激活函数选用Sigmoid函数；

e2)从H组数据中选取5组作为测试集，剩余H-5组作为训练集。

对输入输出进行归一化处理。

e3)给各连接权值分别赋一个区间(-1,1)内的随机数作为初始权值。预设计算精度值ξ及最大学习次数λ。

e4)选取某一样本，计算隐含层各神经元的输入和输出，并利用网络的期望输出及实际输出计算误差函数对输出层的偏导数，然后利用输出层各神经元偏导数与隐含层各神经元输出修正隐含层与输出层间的连接权值，利用隐含层各神经元偏导数与输入层各神经元输入修正隐含层与输入层间的连接权值。

e4)计算全局误差，判断网络误差是否满足要求，当误差达到预设精度或学习次数大于设定的最大次数，则结束算法，并转至步骤56)。否则，选取下一个学习样本，则转至步骤54)；

e5)利用5组测试集样本对网络的精度进行测试。

步骤3)中采用PSO寻优算法对控制器参数进行调节，以标签值作为寻优依据，在其到达预设精度或完成预设最大迭代次数后跳出PSO过程，具体过程为：

31)初始化例子相关参数。

32)评价每个粒子的初始适应值。

33)将初始适应值作为当前每个例子的最优值，并记录当前位置。

34)将最佳初始适应值作为当前全局最优值，并记录当前位置。

35)依据计算速度公式与位置公式进行计算。

36)比较当前适应值与之前的适应值，如果更优，再进行更新。

37)找到当前粒子群的全局最优。

重复步骤35)-步骤37)，直至达到最小误差或达到最大迭代次数为止。

实施例一

废水pH值中和过程系统由入口处废水流、缓冲液流以及酸性中和剂流在中和池中反应后得到输出口处废水流和储槽液位的高度，其中，以酸性中和剂流的流量和入口废水流的流量作为控制变量，输出口废水流的pH值和储槽液位的高度作为输出量，本发明通过模型预测控制器来控制其输入，并对控制器相关参数进行调优以达到调节废水pH值的目的，具体包括以下步骤

1)建立废水处理系统过程模型

11)采集系统的运行条件数据，包括入口处废水流的流量、酸性中和剂流的流量、输出口处废水流的pH值、储槽液位的高度及系统输出参考量。

12)基于所采集的数据，通过系统辨识方法获得系统模型为：

其中，k₁₁∈[-0.65,-0.3]，k₁₂∈[0.3,0.65]，k₂∈[0.89,1.1]，τ₁∈[85,95]τ₂∈[180,210]，θ₁＝30；

2)基于系统的标称模型构建状态空间表达式，在标称模型中，k₁₁₀＝-0.4，k₁₂₀＝0.4，k₂₀＝1，τ₁₀∈90，τ₂₀＝200，θ₁₀＝30；

状态空间表达式为：

x(k+1)＝Ax(k)+Bu(k)

y(k)＝Cx(k)

3)对废水处理系统模型未来的输出量进行预测，并建立模型预测控制算法的代价函数，得到最优控制序列；

废水处理系统模型的状态变量及输出变量在k+1时刻的预测值可以分别表示为：

x(k+1|k)＝Ax(k)+Bu(k)

y(k+1|k)＝Cx(k+1|k)＝C[Ax(k)+Bu(k)]

预测过程一直持续到预测时域P，本实施例中取为5，此时废水处理系统模型的状态量和输出变量预测值分别为：

模型输出预测值通过整理为:

Y(k)＝F_xx(k)+F_uU

其中，P为预测时域，M为控制时域，此系统中P＝M＝5；

4)预测控制代价函数为：

其中，Q表示输出权重矩阵，为m维方阵，R表示输入权重矩阵，为n维方阵，y_ss表示输出的参考值，其中，

则预测算法的优化问题表示为：

minJ(Y(k),U)＝min(((Y(k)-Y_ss)^Tdiag{Q,Q}(Y(k)-Y_ss))+(U^Tdiag(R,R)U))

将权重矩阵简化为：

Q＝q×E

R＝r×E

从而将可调节的参数从8维降为2维，为q和r，

结合预测方程求解得预测控制序列，并将第一个分量应用于模型不确定系统，完成控制器对系统的一次控制过程。

将不确定系统的模型各参数在其取值范围内等分5份，共计5×5×5×5×5×1＝3125组数据，对于任意一组q和r，遍历上述每组模型，得输出序列及3125组性能指标，每组性能指标包括ph的超调量、调节时间和level的超调量、调节时间，以此构成列向量，即

l＝1,2,3Λ3125

本实施例中采用超调量和调节时间作为MPC调优的性能指标，即使用最坏超调和最坏调节时间来衡量控制器表现。

对于每组控制器参数q和r，在3125组数据中，分别求得输出的最大超调量、最大调节时间作为该组参数对不确定系统的可能最差控制效果,具体操作为：对f矩阵按行求最大值。

5)在能使系统稳定的条件下，随机选取40组控制器参数q和r,完成步骤4)，并将获得的最大超调量与最大调节时间存储在矩阵F中，即

h＝1,2,3Λ40

6)对步骤4)中所得F按列标签化，所得行向量记为label：

label＝[label(1) label(2) label(3) Λ label(40)]

7)以q及r为输入，对应的F中性能指标为输出，建立RBF神经网络。40组样本中随机选取5组作为测试集，其余35组作为训练集，具体设定为：

71)RBF神经网络的输入维度为2，则输入神经元的个数为2；样本个数为35，隐层神经元的个数与学习样本数均为35。

72)隐含层与输入层全连接层内无连接，输入层到隐含层之间的权值固定为1，隐含层单元的激活函数采用常用的高斯径向基函数，隐层到输出层的传输函数是线性的，传递权值为网络可调参数。训练过程中网络权值由线性方程组直接解出，高斯径向基函数为：

其中h＝[1,2Λ35]

73)通过对径向基函数的中心T_h、宽度σ_h及隐层与输出层的权重w_h的调整进行对RBF神经网络的训练。

74)利用5组测试集样本对RBF神经网络的精度进行测试，图7为RBF，每个输出的不同曲线代表不同的模型参数，可以验证，RBF生成的性能指标为不确定系统可能产生的最坏情况。

在后续调参调用时，通过RBF神经网络建立的映射关系产生控制器参数对应的控制性能。

8)以步骤5)中得到的F矩阵为输入，性能标签为输出，构建BP神经网络，同样在40组样本中随机选取5组作为测试集，其余35组作为训练集，具体训练步骤如下：

81)设定BP神经网络的输入层节点数为4，输出层节点数为1，根据经验公式

其中δ∈[1,2,3Λ10]

得网络隐层节点数为5，各神经元激活函数选用Sigmoid函数；

82)从H组数据中选取5组作为测试集，剩余35组作为训练集，对输入输出进行归一化。

83)对各连接权值分别赋一个区间(-1,1)内的随机数作为初始权值，给定预设计算精度值0.0001及最大学习次数10000。

84)选取某一样本，计算隐含层各神经元的输入和输出，并利用网络期望输出及实际输出，计算误差函数对输出层的偏导数，然后利用输出层各神经元偏导数与隐含层各神经元输出修正隐含层与输出层间的连接权值，利用隐含层各神经元偏导数与输入层各神经元输入修正隐含层与输入层间的连接权值；

85)计算全局误差，判断网络误差是否满足要求，当误差达到预设精度或学习次数大于设定的最大次数，则转至步骤b6)，否则，则选取下一个学习样本，然后转至步骤b4)；

86)利用5组测试集样本对网络精度进行测试。

9)设计粒子寻优算法，利用粒子寻优算法获得最优控制效果的模型预测控制器参数

图8及图9分别为BP神经网络训练结果的方差与散点图，可知，在100000次训练左右时，训练样本值的误差收敛至预设精度0.0001，可为后续PSO寻优所用。

图10为采用粒子群算法的寻优方式获得的最优控制参数，随着迭代过程的进行，性能标签减小直至收敛，全局最优解为q＝8.5665，r＝4.54393,对应的标签值为0.3426，寻优时间为16s，验证了本发明的有效性，图11为采用暴力搜索的寻优方法获得的最优控制参数，全局最优解为q＝8.6，r＝4.6,对应的标签值为0.3450，寻优时间为85s，是PSO调参所需时间的5.31倍。相比于暴力搜索法，粒子群算法寻优具有更高的寻优精度，同时也大大减小了寻优时间。

图12为模拟将PSO寻优获得的控制器参数q和r应用至具有模型不确定性的系统上，系统的输出曲线，可以看到，系统输出在仿真时间内均可追上目标输出，并且，最大超调量，最大调节时间，达到对系统控制性能的要求，因此，通过本发明获得的控制器参数对污水处理不确定系统具有良好的控制效果，证明了本发明的有效性。

Claims

1.一种基于机器学习的不确定系统模型预测控制参数整定方法，其特征在于，包括以下步骤：

2)将不确定系统模型各参数的不确定区间等分L份，对于任一Q及R，遍历各组模型，获得输出序列及mn×L³组性能指标，其中，各组性能指标均为由输出的超调及调节时间构建的一组列向量，对于各组Q及R，分别求取最坏超调及最坏调节时间，然后将获得的最坏超调及最坏调节时间存储到矩阵F中；

3)以m维输出权重矩阵Q及n维输入权重矩阵R中的元素为输入，以矩阵F为输出，构建RBF神经网络，再利用建立的RBF神经网络计算最差性能指标；

4)对矩阵F按列进行标签化，将所得行向量作为性能标签，以矩阵F作为输入，以性能标签中对应的值为输出构建BP神经网络，然后利用BP神经网络求取标签值；

5)以性能标签作为寻优的依据，采用PSO寻优算法对不确定系统模型预测控制参数进行调节，完成基于机器学习的不确定系统模型预测控制参数整定；

步骤1)中系统模型预测控制的代价函数为：

其中，P为预测时域，M为控制时域，Q表示输出权重矩阵，Q为m维方阵，R表示输入权重矩阵，R为n维方阵，y_ss表示输出的参考值，x(k)为状态量，u(k)为控制输入量，y(k)为被控输出量，其中，

步骤2)中构建的列向量为:

其中，σ表示各输出的超调值，t_s表示各输出的调整时间。

2.根据权利要求1所述的基于机器学习的不确定系统模型预测控制参数整定方法，其特征在于，最坏超调的定义为：所有不确定响应的超调量的最大值，每个响应的超调量为响应的最大值减去终值再除以终值；

3.根据权利要求1所述的基于机器学习的不确定系统模型预测控制参数整定方法，其特征在于，步骤4)中BP神经网络的输入层节点数为性能指标的种类与系统输出维度的乘积，输出层节点数为1。