CN111367175A - 一种未知转移概率跳变系统的邻态偏差智能控制方法 - Google Patents

Abstract

本发明公开了一种未知转移概率跳变系统的邻态偏差智能控制方法，属于工程系统领域。所述方法包括：对于Markov跳变系统，其模态转移概率的不确定性由某一未知分布来描述，建立抗干扰控制问题模型；其次，构造模态依赖价值函数的更新形式；根据输入的控制策略获得模态轨迹，计算出邻态偏差，从而更新价值函数，直至收敛；最后，根据价值函数优化控制策略；重复上述过程直至控制策略收敛，从而得到能使系统闭环稳定且满足指定干扰抑制性能的控制器。本发明解决了在转移概率完全未知情形下Markov跳变系统的控制问题，具有十分重要的实际意义。

Description

一种未知转移概率跳变系统的邻态偏差智能控制方法

技术领域

本发明涉及一种未知转移概率跳变系统的邻态偏差智能控制方法，属于工程系统领域。

背景技术

数年来，Markov(马尔可夫)跳变系统控制问题一直是控制领域的研究热点之一。作为 一类典型的多模态随机系统，Markov跳变系统可以用来模拟具有突变特性的动态系统，一般 为受外部环境干扰或内部结构和参数的变化使系统具有随机突变特性的动态系统，如工业系 统、容错控制系统、网络控制系统等。转移概率作为系统的关键性因素，描述了模态跳变的 随机动态特性。

在转移概率已知或部分已知的条件下，针对Markov跳变系统的研究涉及控制领域的各个 方面，包括稳定性分析、估计、控制、滤波与优化等，已取得了不错的理论成果。然而，在 应用过程中，大多数实际系统的转移概率信息并不能提前获知，这使得用线性矩阵不等式或 黎卡提方程描述的传统控制方法具有其局限性。例如，在直流电机跳变电路控制系统中，系 统的电路模式会以一定概率跳变为不同的工作模式，不同的工作模式下电路有着不同的工作 特性，而这种情况下系统的转移概率往往事先未知。因此，在转移概率完全未知的情况下， 利用一定的智能学习手段，解决Markov跳变系统的控制问题，具有十分重要的应用价值和 必要性。

发明内容

针对实际工程应用中常见的Markov跳变系统的干扰抑制问题，本发明提出一种直流电 机跳变电路系统的邻态偏差智能控制方法，所述方法包括：

步骤一：建立直流电机跳变电路系统的离散化Markov跳变系统模型，所述Markov跳变 系统模型的模态转移概率满足分布函数，且分布的期望存在；针对所述直流电机Markov跳 变系统，在输入电压使系统满足均方稳定的条件下，给定系统抗干扰性能指数δ>0，寻求状 态反馈控制率u(k)＝F_ix(k)，其中，F_i为反馈控制器增益，也称控制策略；x(k)∈R_n是系统 的状态向量，为n维的实数矩阵；表示电流和电机的角速度；满足：

其中，k为离散时刻，z(k)是系统的被控输出，w(k)是系统的干扰信号，上标“T”为向量 转置符号；

步骤二：构建所述Markov跳变系统的模态依赖价值函数，所述模态依赖价值函数根据 模态不断更新，用于评价当前F_i的好坏；

当r(k)＝i时，r(k)为电机的i种工作状态；所述模态依赖价值函数为：

Y_i(t,k+1)＝Y_i(t,k)+γ_i(t)e_i(t,k)d(t,k)

Y_i(t,0)＝Y_i(t)，Y_i(t+1)＝Y_i(t,N(t))

其中，Y_i(t)为模态依赖价值函数，t为模态轨迹的数量，N(t)为第t条模态轨迹的长度， 步长γ_i(t)＝1/t；e_i(t,k)为资格系数；d(t,k)为邻态偏差；

步骤三：根据邻态偏差更新价值函数，直到每个模态下的模态依赖价值函数收敛；

步骤四：根据收敛的模态依赖价值函数更新控制策略，直至控制策略收敛，输出该控制 策略，即获得满足系统稳定和指定抗干扰性能的控制策略。

在本发明的一种实施方式中，所述Markov跳变系统为：

x(k+1)＝A(r(k))x(k)+B(r(k))u(k)+G(r(k))w(k)

z(k)＝C(r(k))x(k)+D(r(k))u(k)

其中，x(k)∈Rⁿ是系统的状态向量，为n维的实数矩阵，包括电流和电机的角速度；u(k) 是电路的输入电压，作为控制输入向量；w(k)是系统的干扰信号；z(k)是系统的被控输出；k 为离散时刻；A_r(k)，B_r(k)，G_r(k)表示系统的动态参数；C_r(k)和D_r(k)分别表示系统输出的状态加 权矩阵和输入加权矩阵；r(k)表示系统的模态，是在有限集合Θ＝{1,2,3,…,n}中随时间k取值 的离散Markov随机过程，分别表示电路中n种工作状态。

在本发明的一种实施方式中，所述模态转移概率定义为：

Pr(r(k+1)＝j|r(k)＝i,ξ_k)＝π_ij(ξ_k)

其中，π_ij(ξ_k)为从模态i跳变到模态j的转移概率，ξ_k是一个随机变量，描述了转移概 率的时变特性。

在本发明的一种实施方式中，所述资格系数为：

其中，

代表在第t条模态轨迹下第一次观测到模态i的时刻，λ为 权值率且满足0<λ≤1；

在本发明的一种实施方式中，当r(k)＝i时，分别用A_i，B_i，C_i，D_i，G_i表征A(r(k))，B(r(k))， C(r(k))，D(r(k))，G(r(k))；则邻态偏差，定义如下：

其中，

为回报函数，

δ为指定的系统抗 干扰性能指数，U_i为中间变量。

在本发明的一种实施方式中，所述转移概率的期望为：

π_ij＝E[π_ij(ξ_k)]

其中，随机变量ξ_k满足分布函数。

在本发明的一种实施方式中，所述更新价值函数包括以下步骤：

e.初始化能使系统闭环稳定的控制策略F_i(0)和U_i(0)，迭代次数l＝0，价值函数的初始值 为0；

f.从任意初始模态开始，每个模态下的资格系数初始值赋值为0；

g.将控制策略F_i(l)和U_i(l)带入系统，用状态观测器观测系统的状态值，进而根据已知 的系统参数获得系统当前的跳变模态；

h.由定义更新资格系数，计算出邻态偏差，从而更新模态依赖的价值函数；若价值函数 Y_i(t)收敛，则输出Y_i(t)；若不收敛，t＝t+1，返回步骤b，直至Y_i(t)收敛。

在本发明的一种实施方式中，所述根据价值函数优化控制策略包括：

设收敛的价值函数为Y_i(l)，则控制策略F_i和U_i的更新由下式给出：

F_i(l+1)＝-(I+H_iB_i)^-1H_iA_i

其中，

M_i＝G_i ^TY_i(l)[I+B_iB_i ^TY_i(l)]^-1

若满足||F_i(l+1)-F_i(l)||<ε，其中，ε为给定的精度系数，则F_i(l)即为满足要求的控制器 增益，系统抗干扰反馈控制率为u(k)＝F_i(l)x(k)；若不满足，则l＝l+1，将F_i(l)返回步骤b。

在本发明的一种实施方式中，所述分布函数为高斯分布或均匀分布或指数分布。

本发明的一种直流电机跳变电路系统的邻态偏差智能控制方法用于转移概率固定和时变 的不同情况下的Markov跳变系统。

有益效果：

本发明针对实际工程应用中的普遍存在的Markov跳变系统，如直流电机跳变电路系统， 在完全未知转移概率的条件下，利用邻态偏差智能学习的控制方法不仅使系统闭环稳定，而 且满足指定的干扰抑制性能要求，与现有技术相比的优点在于：

(1)本发明解决了在转移概率完全未知情形下Markov跳变系统的控制问题，具有十分 重要的实际意义；

(2)本发明可以处理转移概率时变的情形，且其时变信息不仅局限于高斯分布，也可以 是其他分布，如均匀分布、指数分布等，这相比于直接估计转移概率的方法有着明显的优势；

(3)本发明的价值函数更新算法是在线的，因此价值函数具有快速收敛特性。

附图说明

图1为实施例2的模态依赖价值函数的范数轨迹图。

图2为实施例2的闭环系统状态响应图；(a)为状态x₁的闭环系统状态响应图：(b)为 状态x₂的闭环系统状态响应图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。

实施例1

本实施例提供一种针对工程技术中直流电机跳变电路系统的控制问题，采用未知转移概 率跳变系统的邻态偏差智能控制方法，所述方法包括：

步骤一：建立直流电机跳变电路系统的离散化Markov跳变系统模型。首先，直流跳变 电路的电机动态描述为：

其中，r(t)＝1，2，3分别表示电机的三种功率模式下的工作状态：正常功率、低功率、中 等功率。不同工作模式下系统有着不同的参数。t为连续时间，u(t)为输入总电压，i为电机电 流，v(t)为电机角速度；K_m为电机负载常数，K_e为反电动势常数，K_d为阻尼常数，R_m为电路 连接总电阻，L为电感系数；J为机械惯性，包括电机电枢和轴的机械惯性；w(t)为系统干扰， 包括负载和系统摩擦。

以x(t)＝[i(t)，v(t)]为状态变量，得到状态空间模型：

其中，

将上述系统离散化，采样时间为h，得到离散化的直流电机的Markov跳变系统模型：

x(k+1)＝A_r(k)x(k)+B_r(k)u(k)+G_r(k)w(k)

z(k)＝C_r(k)x(k)+D_r(k)u(k)

其中，

A_r(k)＝Φ(h)|＝L^-1[(sI-M_r(t))^-1]|_h，

其中，x(k)∈Rⁿ，是系统的状态向量，包括电机电流i(k)和电机角速度v(k)；u(k)是电路 的输入电压，作为控制输入向量；w(k)是系统的干扰信号；z(k)是系统的被控输出；k为离散 时刻；A_r(k)，B_r(k)，G_r(k)表示系统的动态参数；C_r(k)和D_r(k)分别表示系统输出的状态加权矩阵 和输入加权矩阵；r(k)表示系统的模态，是在有限集合Θ＝{1,2,3}中随时间k取值的离散 Markov随机过程，分别表示电路中三种工作状态；模态转移概率定义为：

Pr(r(k+1)＝j|r(k)＝i,ξ_k)＝π_ij(ξ_k)

其中，π_ij(ξ_k)为从模态i跳变到模态j的转移概率，ξ_k是一个随机变量，描述了转移概 率的时变特性；为了方便起见，当r(k)＝i时，分别用A_i，B_i，C_i，D_i，G_i表征A_r(k)，B_r(k)，C_r(k)，D_r(k)，G_r(k)；

假设随机变量ξ_k满足一定的分布函数，如高斯分布、均匀分布等，且转移概率的期望存 在，则转移概率的期望为：

π_ij＝E[π_ij(ξ_k)]

抗干扰控制问题模型为：针对上述直流电机Markov跳变系统，旨在调节合适的输入电 压使系统满足均方稳定的条件下，给定系数δ>0，寻求状态反馈控制率u(k)＝F_ix(k)，满足：

步骤二：构建模态依赖价值函数；所述模态依赖价值函数根据模态不断更新，用于评价 当前动作(控制策略)的好坏；

当r(k)＝i时，所述Markov跳变系统的抗干扰控制问题的价值函数由下式给出：

Y_i(t,k+1)＝Y_i(t,k)+γ_i(t)e_i(t,k)d(t,k)

Y_i(t,0)＝Y_i(t)，Y_i(t+1)＝Y_i(t,N(t))

其中，Y_i(t)为价值函数，t为模态轨迹的数量，N(t)为第t条模态轨迹的长度，步长

γ_i(t)＝1/t；e_i(t,k)为资格系数：

其中，

代表在第t条模态轨迹下第一次观测到模态i的时刻，λ为 权值率且满足0<λ≤1；

d(t,k)为邻态偏差，定义如下：

其中，

为回报函数，

δ为指定的系统抗 干扰性能指数，F_i为反馈控制器增益，U_i为中间变量，F_i和U_i统称为控制策略。

步骤三：基于邻态偏差的价值函数更新算法，包括：

a.初始化能使系统闭环稳定的控制策略F_i(0)和U_i(0)，迭代次数l＝0，价值函数的初始值 为0；

b.从任意初始模态开始，每个模态下的资格系数初始值赋值为0；

c.将控制策略F_i(l)和U_i(l)带入系统，用状态观测器观测系统的状态值，进而根据已知 的系统参数获得系统当前的跳变模态；

d.由定义更新资格系数，计算出邻态偏差，从而更新模态依赖的价值函数；若价值函数 Y_i(t)收敛，则输出Y_i(t)；若不收敛，t＝t+1，返回步骤b，直至Y_i(t)收敛。

步骤四：优化控制策略，设步骤三中收敛的价值函数为Y_i(l)，则控制策略F_i和U_i的更新 由下式给出：

F_i(l+1)＝-(I+H_iB_i)^-1H_iA_i

其中，

M_i＝G_i ^TY_i(l)[I+B_iB_i ^TY_i(l)]^-1

若满足||F_i(l+1)-F_i(l)||<ε，其中，ε为给定的精度系数，则F_i(l)即为满足要求的控制器 增益，系统抗干扰反馈控制率为u(k)＝F_i(l)x(k)；若不满足，则l＝l+1，将F_i(l)返回步骤三 中的步骤b。

实施例2

本实施例针对直流电机跳变电路，提供一种未知转移概率跳变系统的邻态偏差智能控制 方法进行仿真实验验证，为了验证所提方法的有效性，该离散Markov跳变系统的参数描述 如下：

B₁＝B₂＝B₃＝(0 1)^T，

D₁＝D₂＝D₃＝(0 0 1)^T，G₁＝G₂＝G₃＝(0 0.1)^T。

不失一般性，选取转移概率矩阵服从高斯随机分布，随机性用如下高斯概率密度矩阵进 行描述：

其中，n(μ,σ)表示高斯转移概率密度函数，μ为均值，σ为方差。

选择模态轨迹长度K＝20，轨迹条数T＝500，权值率λ＝0.1，抗干扰性能指数δ＝1，根据 提出的方法，价值函数的收敛情况如图1所示。可以看出，各模态下的价值函数都快速收敛。 根据收敛的价值函数，最终得到的抗干扰控制器为：

F₁＝[2.4575,-2.6197]，F₂＝[4.2283,-3.8338]，F₃＝[-5.2250,5.7909]

假设系统初始状态x(0)＝[1,-1]^T，干扰输入w(k)＝0.2sin(0.01πk+0.1π)。将得到的控制器 应用于原系统进行仿真实验，得到系统的状态响应曲线如图2所示。可以看出，系统的各个 状态都趋向于0，表示系统满足均方稳定；且当时间趋于无穷大时，也能满足系统抗干扰性 能指标；可知，系统闭环稳定且满足指定的抗干扰性能要求。

需要强调的是，本发明涉及的技术并不仅适用于上述例子，这些技术可以用于任何适用 的线性Markov跳变系统，包括转移概率固定和时变的不同情况。

本发明的保护范围并不仅局限于上述实施例，凡是在本发明构思的精神和原则之内，本 领域的专业人员能够做出的任何修改、等同替换和改进等均应包含在本发明的保护范围之内。

Claims (10)

1.一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述方法包括：

步骤一：建立直流电机跳变电路系统的离散化Markov跳变系统模型，所述Markov跳变系统模型的模态转移概率满足分布函数，且分布的期望存在；针对所述直流电机Markov跳变系统，在输入电压使系统满足均方稳定的条件下，给定系统抗干扰性能指数δ>0，寻求状态反馈控制率u(k)＝F_ix(k)，其中，F_i为反馈控制器增益，也称控制策略；x(k)∈Rⁿ是系统的状态向量，为n维的实数矩阵，表示电流和电机的角速度；满足：

其中，k为离散时刻，z(k)是系统的被控输出，w(k)是系统的干扰信号，上标“T”为向量的转置；

步骤二：构建所述Markov跳变系统的模态依赖价值函数，所述模态依赖价值函数根据模态不断更新，用于评价当前F_i的好坏；

当r(k)＝i时，r(k)为电机的i种工作状态；所述模态依赖价值函数为：

Y_i(t,k+1)＝Y_i(t,k)+γ_i(t)e_i(t,k)d(t,k)

Y_i(t,0)＝Y_i(t)，Y_i(t+1)＝Y_i(t,N(t))

其中，Y_i(t)为模态依赖价值函数，t为模态轨迹的数量，N(t)为第t条模态轨迹的长度，步长γ_i(t)＝1/t；e_i(t,k)为资格系数；d(t,k)为邻态偏差；

步骤三：基于邻态偏差更新价值函数，直到每个模态下的模态依赖价值函数收敛；

步骤四：根据收敛的模态依赖价值函数更新控制策略，直至控制策略收敛，输出该控制策略，即获得满足系统稳定和指定抗干扰性能的控制策略。

2.如权利要求1所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述Markov跳变系统为：

x(k+1)＝A(r(k))x(k)+B(r(k))u(k)+G(r(k))w(k)

z(k)＝C(r(k))x(k)+D(r(k))u(k)

其中，x(k)∈Rⁿ是系统的状态向量，为n维的实数矩阵，包括电流和电机的角速度；u(k)是电路的输入电压，作为控制输入向量；w(k)是系统的干扰信号；z(k)是系统的被控输出；k为离散时刻；A_r(k)，B_r(k)，G_r(k)表示系统的动态参数；C_r(k)和D_r(k)分别表示系统输出的状态加权矩阵和输入加权矩阵；r(k)表示系统的模态，是在有限集合Θ＝{1,2,3,…,n}中随时间k取值的离散Markov随机过程，分别表示电路中n种工作状态。

3.如权利要求2所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述模态转移概率定义为：

Pr(r(k+1)＝j|r(k)＝i,ξ_k)＝π_ij(ξ_k)

其中，π_ij(ξ_k)为从模态i跳变到模态j的转移概率，ξ_k是一个随机变量，描述了转移概率的时变特性。

4.如权利要求1-3任一所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述资格系数为：

其中，

代表在第t条模态轨迹下第一次观测到模态i的时刻，λ为权值率且满足0<λ≤1。

5.如权利要求2所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，当r(k)＝i时，分别用A_i，B_i，C_i，D_i，G_i表征A(r(k))，B(r(k))，C(r(k))，D(r(k))，G(r(k))；则邻态偏差，定义如下：

其中，

为回报函数，

δ为指定的系统抗干扰性能指数，U_i为中间变量。

6.如权利要求1所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述转移概率的期望为：

π_ij＝E[π_ij(ξ_k)]

其中，随机变量ξ_k满足分布函数。

7.如权利要求5所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述更新价值函数包括以下步骤：

a.初始化能使系统闭环稳定的控制策略F_i(0)和U_i(0)，迭代次数l＝0，价值函数的初始值为0；

b.从任意初始模态开始，每个模态下的资格系数初始值赋值为0；

c.将控制策略F_i(l)和U_i(l)带入系统，用状态观测器观测系统的状态值，进而根据已知的系统参数获得系统当前的跳变模态；

d.由定义更新资格系数，计算出邻态偏差，从而更新模态依赖的价值函数；若价值函数Y_i(t)收敛，则输出Y_i(t)；若不收敛，t＝t+1，返回步骤b，直至Y_i(t)收敛。

8.如权利要求7所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述根据价值函数优化控制策略包括：

设收敛的价值函数为Y_i(l)，则控制策略F_i和U_i的更新由下式给出：

F_i(l+1)＝-(I+H_iB_i)^-1H_iA_i

其中，

M_i＝G_i ^TY_i(l)[I+B_iB_i ^TY_i(l)]^-1

若满足||F_i(l+1)-F_i(l)||<ε，其中，ε为给定的精度系数，则F_i(l)即为满足要求的控制器增益，系统抗干扰反馈控制率为u(k)＝F_i(l)x(k)；若不满足，则l＝l+1，将F_i(l)返回步骤b。

9.如权利要求1或6所述的一种直流电机跳变电路系统的邻态偏差智能控制方法，其特征在于，所述分布函数为高斯分布或均匀分布或指数分布。

10.权利要求1-9任一所述的一种直流电机跳变电路系统的邻态偏差智能控制方法用于转移概率固定和时变的不同情况下的线性Markov跳变系统。

Images