CN116719237A - 具有执行器故障的时滞间歇过程q学习最优跟踪控制方法 - Google Patents

Abstract

具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法，属于工业过程控制技术领域，该方法克服了传统控制方法中系统动态参数时变性的限制，具体的步骤如下：步骤一：描述了时滞间歇过程的状态空间表达形式，在此基础上建立了一个由状态增量和输出误差组成的新的系统模型；步骤二：引入时滞性能指标函数，设计了一种在具有时滞环境下能抵制部分执行器失效的控制律；步骤三：提出了具有执行器故障的非策略Q学习算法，通过不断迭代学习求解最优控制增益矩阵；此方法能够有效地处理在具有状态时滞的注塑成型过程中存在建模困难和具有重复性等复杂特性的难题，通过基于数据的方式，很好地降低了系统依赖于模型这一难点，也降低了计算的成本。

Description

具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法

技术领域

本发明属于工业过程控制技术领域，具体涉及具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法。

背景技术

在全球化和竞争激烈的市场环境下，各大行业需要不断提高生产效率和产品质量、降低生产成本，才能保持竞争力。为此，采用数字化、智能化、自动化等先进技术的工业生产方式已成为不可或缺的趋势。这种生产方式不仅能满足上述生产需求，还可以实现资源的高效利用和环境的可持续发展。

工业过程的生产方式可以分为连续生产过程和间歇生产过程。从原材料的投入到产品的输出是连续的、不间断的，这类工业过程被称为连续生产过程。然而随着社会的不断发展，可供选择的产品越来越广泛，市场需求变化迅速，人们越来越多的倾向于小规模多工序生产方式，间歇生产过程刚好满足这些需求，它主要是一种不断重复操作获得产品的加工过程。与连续生产过程不同的是，间歇过程具有重复性、快速性、低成本的独特性质，因而被广泛应用在各个领域，如：航空航天、交通运输、制造业等。化工、食品、饮料及医药领域中间歇生产过程的比例很高占。通过有效地控制间歇生产过程，各个行业可以提高生产效率、降低生产成本、提高产品质量，并增强市场竞争力。因此，研究间歇生产过程的控制方法对各个领域都非常有意义的。

鉴于在注塑成型生产过程中模型往往比较难以获得同时会有大量的数据产生并进行存储，这些数据包含时间方向和批次方向上的数据。那么在没有精确的过程模型的情况下，如何有效地利用数据直接设计注塑成型生产过程的控制器是非常重要的，因此依赖于数据的方法在时滞批处理的问题中更加适用。强化学习由于具有仅仅依赖于数据而没有先验信息的情况下，可以对复杂系统进行优化控制的优势，自发展以来，强化学习在具有状态时滞系统的最优跟踪控制问题方面也有着一定的研究。为此，针对具有状态时滞的间歇过程，研究一种基于强化学习的控制方法，能使系统不依赖于模型，仅仅依靠数据不断学习得到最优的控制律是非常重要的。

发明内容

本发明是针对具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法，属于工业过程控制技术领域，该方法克服了传统控制方法中系统动态参数时变性的限制，具体的步骤如下：步骤一：描述了时滞间歇过程的状态空间表达形式，在此基础上建立了一个由状态增量和输出误差组成的新的系统模型；步骤二：引入时滞性能指标函数，设计了一种在具有时滞环境下能抵制部分执行器失效的控制律；步骤三：提出了具有执行器故障的非策略Q学习算法，通过不断迭代学习求解最优控制增益矩阵。用注塑成型过程产生的数据进行多次学习后，可获得注塑成型过程的最优控制器增益，通过控制器增益可得到性能指标下的最优控制律，随后作用于执行器控制系统可使系统的输出逐渐跟踪上设定值。

本发明是通过以下技术方案实现的：

本发明是针对具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法，属于工业过程控制技术领域，该方法克服了传统控制方法中系统动态参数时变性的限制，具体的步骤如下：步骤一：描述了时滞间歇过程的状态空间表达形式，在此基础上建立了一个由状态增量和输出误差组成的新的系统模型；步骤二：引入时滞性能指标函数，设计了一种在具有时滞环境下能抵制部分执行器失效的控制律；步骤三：提出了具有执行器故障的非策略Q学习算法，通过不断迭代学习求解最优控制增益矩阵。用注塑成型过程产生的数据进行多次学习后，可获得注塑成型过程的最优控制器增益，通过控制器增益可得到性能指标下的最优控制律，随后作用于执行器控制系统可使系统的输出逐渐跟踪上设定值。

步骤一：描述了时滞间歇过程的状态空间表达形式，在此基础上建立了一个由状态增量和输出误差组成的新的系统模型；

首先，考虑一类具有状态时滞的间歇过程：

其中，t表示时间，和u_t＝[u_1t u_2t ... u_mt]^T∈R^m分别表示系统状态，系统输出，控制输入；表示时间延迟，A，A_d，B，C表示维数适当的系统矩阵，R表示为实数矩阵，n_x，n_y和m表示为实数矩阵R的适当维数；

根据(1)式，设计如下迭代学习控制律形式：

u_t＝u_t-1+u_Δt (2)

其中，u_Δt是t时刻与t-1时刻的控制输入之差；

对于期望输出轨迹y_d，在t时刻的跟踪误差变量和状态误差变量，在t-d时刻的状态误差变量分别可以表示为：

y_Δt＝y_d-y_t (3)

x_Δt＝x_t-x_t-1 (4)

x_Δt-d＝x_t-d-x_t-d-1 (5)

其中，x_t，x_t-1，x_t-d和x_t-d-1分别代表t时刻，t-1时刻，t-d时刻和t-d-1时刻的状态变量；

根据(1)至(5)式，可推导出一个新的增广模型如下：

其中， 和/>是维数适当的相关矩阵，X_t，X_t-d和u_Δt分别是新的系统模型在t时刻的状态变量，在t-d时刻的状态变量和t时刻的控制输入，R表示为实数矩阵，n+1表示为实数矩阵R的适当维数；

当执行器发生故障的时候，系统的控制输入u_t并不是总能达到期望值；对于执行器故障的情况，主要是分为三种情况：部分失效故障，停机故障和卡死故障；本文研究部分执行器故障的现象，通过定义α的取值范围来表示不同情况的故障类型，并采用故障模型为：

其中， α＝diag[α ₁ α ₂,…,α _m]，/>可见，/>为执行器正常情况，α_i＝0为执行器完全失效的情况，α_i＞0(α_i≠1)为执行器部分失效的情况；

那么公式(6)可以改写为：

步骤二：引入时滞性能指标函数，设计了一种在具有时滞环境下能抵制部分执行器失效的控制律；

根据以上对具有执行器故障的时滞间歇过程的描述，可以设计如下的性能指标；

其中，Q₁和Q₂分别是状态X_i和X_i-d的权重矩阵，R为正定矩阵，表示控制变量权重；

通过找到最优的控制策略，以保证系统输出y_t能够跟踪上理想的参考轨迹y_d；因此，控制策略可以表示为：

对比值函数，可以设计Q函数如下所示：

当控制器策略u_Δt最优时，通过对比值函数与Q函数，可以推导值函数与Q函数是相等，如式(12)：

定义如下二次函数：

V(X_t,X_t-d)＝V(X_t)+V(X_t-d) (13)

其中，V(X_t)＝X_t ^TP₁X_t，δ(r,k)＝X(t-d+i)-X(t-d+(i-1))，0≤i≤d；

当控制器策略最优时，最优时滞值函数的二次形式可以被描述为：

其中，τ₁＝P₁+d²P₃，τ₂＝P₂+(2dw-d)P₃，τ_n＝P₂+dP₃，τ_n+2＝-d²P₃，τ_2n-1＝-dP₃；

与时滞值函数相似，时滞Q函数可以二次型的表达式表示为如下：

因此，根据式(14)和式(15)之间的关系，可以得出P矩阵与H矩阵之间的关系如下：

通过分析P矩阵和H矩阵之间的关系，将扩展后的时滞状态空间方程式(8)代入式(11)和式(15)，H矩阵可以被表示为：

其中， *表示对称位置的转置值，为了简化表达，在H矩阵的各个分量的下角标中，用x₁表示X_t，用x_di表示X_t-i；其中，(i＝1,2,…,d)；

步骤三：提出了具有执行器故障的非策略Q学习算法，通过不断迭代学习求解最优控制增益矩阵；

采用动态规划方法，由式(11)、(12)和(15)得到基于最优Q函数的贝尔曼方程；

为了便于表述，将贝尔曼方程进一步化简为如下形式：

为了能够充分利用以前学习的数据，在时滞系统中引入了辅助变量从而得到新的时滞状态空间方程为：

其中，u_Δt是行为策略，用于生成系统数据/>是目标策略，通过使用行为策略生成的数据不断优化和更新，使目标策略收敛到最优值；

将式(20)代入到式(18)可得：

其中，

根据式(20)和式(21)，可进一步求得：

根据式(22)可以得到化简之后的最优贝尔曼方程如下所示：

根据克罗内克积的表达式，式(23)可以改写为：

其中，

通过上述计算，获得的控制器增益矩阵如下所示：

基于数据的非策略Q学习算法

步骤一：在系统上实施行为策略以产生所需数据，然后将数据存储进和/>中；

步骤二：选择合适的初始控制器增益矩阵，令和/>的初始值为零；

步骤三：利用采集并且存储在和/>中的数据，结合式(24)求解出L^j+1，通过式(25)和(26)更新控制器增益矩阵/>和/>

步骤四：当满足条件和/>时，停止迭代，其中，ε(ε≠0)为一个极小的非负数，停止迭代。如果不满足条件，算法跳回步骤二继续执行。

鲁棒稳定性分析

定理1：由式(8)所描述的一个具有执行器故障的时滞间歇过程，设计鲁棒最优控制输入，需要建立以下条件：

其中，δ_max(χ)，λ_min(χ)和λ_max(χ)分别为χ的最大奇异值，最小特征值和最大特征值，P和W是两个正定矩阵且满足：

其中，K^F由式(25)和(26)合并化简得出；

证明：首先式(8)描述的执行器故障的时滞间歇过程模型又可以等价于如下形式：

其中，是延迟算子；

由式(8)描述的时滞间歇过程如下：

由式(29)可知，闭环时滞间歇系统为：

李雅普诺夫函数为：

将式(31)代入式(32)，可以获得：

通过以上计算过程可以看出：

因此，结合上述不等式可以实现(28)中的不等式。其中，因此验证了定理1所成立的条件，进而完成了对系统的鲁棒稳定性分析。

本发明的优点与效果为：

本发明针对本章主要是针对具有执行器故障的时滞间歇过程，提出了一种新的非策略Q学习算法，该算法可以不依赖于系统模型参数，仅仅依靠系统动态过程产生的实时测量数据不断地学习得到最优控制器增益矩阵，进而得到最优控制律。本算法的优势在于：一方面克服了传统控制方法依赖精确系统模型参数的问题，一方面又区别于其他数据驱动的控制方法，该方法可在先验条件未知情况下，通过不断试错的方法找到最优的控制器增益矩阵。且该方法在系统存在状态时滞和执行器故障的情况下，仍然可以跟踪上期望输出轨迹并且有良好的控制效果。

附图说明

图1为H矩阵在故障因子α＝0.6时的收敛过程；

图2为H矩阵在故障因子α＝1时的收敛过程；

图3为H矩阵在故障因子α＝1.3时的收敛过程；

图4为控制器增益K₁在故障因子α＝0.6时的收敛过程；

图5为控制器增益K₂在故障因子α＝1时的收敛过程；

图6为控制器增益K₃在故障因子α＝1.3时的收敛过程；

图7控制输出y在故障因子α＝0.6时的跟踪曲线；

图8控制输出y在故障因子α＝1时的跟踪曲线；

图9控制输出y在故障因子α＝1.3时的跟踪曲线。

具体实施方式

为了进一步说明本发明，下面结合附图及实例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。

实施例1：

注塑成型是典型的间歇性生产过程，在塑料制品工业中占有重要的地位，它主要是由填充、包装和冷却三个阶段组成的，其中包装阶段是决定制品质量的重要阶段，而注射速度是其中的一个关键变量，它影响了溶体在型腔内的流动行为，为了保证产品质量，注射速度应该控制在给定的型材范围内。在这一部分中，为了验证本文所提出的非策略Q学习算法在执行器故障的时滞间歇过程中具有良好的控制效果，在这一部分中，以注塑成型为例，用所提出的控制方法来控制注塑成型生产过程中注射速度参数。

根据大量试验，注入速度对比例阀的响应被识别为一个自回归模型，转换成状态空间模型为式(35)所示：

我们将通过α的三种情况来分析所提算法对具有执行器故障的时滞间歇过程的跟踪控制效果。Case1：0＜α＜1，即执行器不存在故障的情况；Case2：α＝1即实际注射速度比最优情况快；Case3：α＞1即注射速度低于最优情况。在这里经过大量试验数据，可以确定注射阶段性能指标中的参数Q₁＝Q₂＝diag[2,2,2]，R＝1，输出的设定值为y_d＝40。给出初始H矩阵，我们发现无论在哪种情况下，经过多次迭代学习，矩阵H^j，和/>逐渐收敛到最优矩阵H,/>和/>最优矩阵表示为：

Case1：α＝0.6

Case2：α＝1

Case3：α＝1.3

在图1、2和3中，它们分别表示α＝0.6，α＝1，α＝1.3三种情况下H矩阵的收敛结果。从结果图可以发现，在这三种情况下，H矩阵逐渐收敛到最优的H，几乎不受执行器故障的影响。图4、5和6中分别表示α＝0.6，α＝1，α＝1.3三种情况下的控制器增益i＝1,2与最优控制器增益/>i＝1,2之间的差值绝对值的变化。从仿真结果图可以发现，无论在哪种执行器故障的情况下，/>i＝1,2都有很好的收敛效果。显然，本文所求控制器增益矩阵不受执行器故障的影响。本文的目的是验证所提出的算法能够跟踪上理想的设定值。图7、8和9分别是系统在三种执行器故障的情况下的系统输出曲线，可以看出，不管在哪一种故障的情况下，尽管系统输出在初始阶段有明显的振荡和超调，但随着时间的增加最终都可以跟踪上期望的输出轨迹。仿真结果表明了本文所提方法的可行性和有效性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.具有执行器故障的时滞间歇过程Q学习最优跟踪控制方法，具体步骤如下：

步骤一：描述了时滞间歇过程的状态空间表达形式，在此基础上建立了一个由状态增量和输出误差组成的新的系统模型；

首先，考虑一类具有状态时滞的间歇过程：

其中，t表示时间，和u_t＝[u_1t u_2t … u_mt]^T∈R^m分别表示系统状态，系统输出，控制输入；表示时间延迟，A，A_d，B，C表示维数适当的系统矩阵，R表示为实数矩阵，n_x，n_y和m表示为实数矩阵R的适当维数；

根据(1)式，设计如下迭代学习控制律形式：

u_t＝u_t-1+u_Δt (2)

其中，u_Δt是t时刻与t-1时刻的控制输入之差；

对于期望输出轨迹y_d，在t时刻的跟踪误差变量和状态误差变量，在t-d时刻的状态误差变量分别可以表示为：

y_Δt＝y_d-y_t (3)

x_Δt＝x_t-x_t-1 (4)

x_Δt-d＝x_t-d-x_t-d-1 (5)

其中，x_t，x_t-1，x_t-d和x_t-d-1分别代表t时刻，t-1时刻，t-d时刻和t-d-1时刻的状态变量；

根据(1)至(5)式，可推导出一个新的增广模型如下：

其中， 和/>是维数适当的相关矩阵，X_t，X_t-d和u_Δt分别是新的系统模型在t时刻的状态变量，在t-d时刻的状态变量和t时刻的控制输入，R表示为实数矩阵，n+1表示为实数矩阵R的适当维数；

当执行器发生故障的时候，系统的控制输入u_t并不是总能达到期望值；对于执行器故障的情况，主要是分为三种情况：部分失效故障，停机故障和卡死故障；本文研究部分执行器故障的现象，通过定义α的取值范围来表示不同情况的故障类型，并采用故障模型为：

其中， α＝diag[α ₁ α ₂,…,α _m]，/>可见，/>为执行器正常情况，α_i＝0为执行器完全失效的情况，α_i＞0(α_i≠1)为执行器部分失效的情况；

那么公式(6)可以改写为：

步骤二：引入时滞性能指标函数，设计了一种在具有时滞环境下能抵制部分执行器失效的控制律；

根据以上对具有执行器故障的时滞间歇过程的描述，可以设计如下的性能指标；

其中，Q₁和Q₂分别是状态X_i和X_i-d的权重矩阵，R为正定矩阵，表示控制变量权重；

通过找到最优的控制策略，以保证系统输出y_t能够跟踪上理想的参考轨迹y_d；因此，控制策略可以表示为：

对比值函数，可以设计Q函数如下所示：

当控制器策略u_Δt最优时，通过对比值函数与Q函数，可以推导值函数与Q函数是相等，如式(12)：

定义如下二次函数：

V(X_t,X_t-d)＝V(X_t)+V(X_t-d) (13)

其中，V(X_t)＝X_t ^TP₁X_t，δ(r,k)＝X(t-d+i)-X(t-d+(i-1))，0≤i≤d；

当控制器策略最优时，最优时滞值函数的二次形式可以被描述为：

其中，τ₁＝P₁+d²P₃，τ₂＝P₂+(2d²-d)P₃，τ_n＝P₂+dP₃，τ_n+2＝-d²P₃，τ_2n-1＝-dP₃；

与时滞值函数相似，时滞Q函数可以二次型的表达式表示为如下：

因此，根据式(14)和式(15)之间的关系，可以得出P矩阵与H矩阵之间的关系如下：

通过分析P矩阵和H矩阵之间的关系，将扩展后的时滞状态空间方程式(8)代入式(11)和式(15)，H矩阵可以被表示为：

其中， *表示对称位置的转置值，为了简化表达，在H矩阵的各个分量的下角标中，用x₁表示X_t，用x_di表示X_t-i；其中，(i＝1,2,…,d)；

步骤三：提出了具有执行器故障的非策略Q学习算法，通过不断迭代学习求解最优控制增益矩阵；

采用动态规划方法，由式(11)、(12)和(15)得到基于最优Q函数的贝尔曼方程；

为了便于表述，将贝尔曼方程进一步化简为如下形式：

为了能够充分利用以前学习的数据，在时滞系统中引入了辅助变量从而得到新的时滞状态空间方程为：

其中，u_Δt是行为策略，用于生成系统数据，/>是目标策略，通过使用行为策略生成的数据不断优化和更新，使目标策略收敛到最优值；

将式(20)代入到式(18)可得：

其中，

根据式(20)和式(21)，可进一步求得：

根据式(22)可以得到化简之后的最优贝尔曼方程如下所示：

根据克罗内克积的表达式，式(23)可以改写为：

其中，

通过上述计算，获得的控制器增益矩阵如下所示。