CN109270833A - 一种基于无刷直流电机q学习的变论域模糊控制方法 - Google Patents

Abstract

本发明公开了一种基于无刷直流电机Q学习的变论域模糊控制方法，该方法来进一步提高控制器的动静态性能，通过在变论域自适应模糊控制算法的基础上提出了一种利用伸缩因子、等比因子相互协调来调整论域的构想并结合强化学习理论中的Q‑Learning算法来对变论域自适应模糊PID控制进行了改进，使其具有在线寻优的能力。两种算法相互结合、补充，从而达到更好的PID控制参数调节效果，最后使得BLDCM控制系统具有更好地动静态性能。

Description

一种基于无刷直流电机Q学习的变论域模糊控制方法

技术领域

本发明涉及无刷直流电机控制领域，尤其涉及一种基于无刷直流电机Q学习的变论域模糊控制方法。

背景技术

无刷直流电机(BLDCM)具有结构简单、运行可靠、维护方便、调速范围宽、运行效率高、无励磁损耗等诸多优点，因而在各个工业领域中得到了广泛应用。BLDCM在交流伺服系统中通常作为一种直流伺服电机，但是具有多变量、非线性、强耦合等特点，而常规的PID控制算法解决的是线性时不变的控制问题，且参数已经事先整定，不能随被控对象的变化而调整，导致系统的的稳态精度和抗干扰性不高，因此常规的PID控制算法无法取得良好的控制性能。随着工业的发展需要，对BLDCM的控制性能也提出了更高的要求。为了提高BLDCM的控制性能，先进的智能控制算法在BLDCM控制系统中的应用将成为一个重要的发展方向和新型的研究热点。如今，很多智能控制算法譬如滑模变结构控制、神经网络控制、自适应控制、模糊控制等被逐渐应用到BLDCM控制系统中。其中，模糊控制不依赖于被控对象精确的数学模型，可以用语言式的模糊变量来描述系统，具有较佳的鲁棒性、适应性及容错性。因此，在BLDCM控制系统中，模糊控制算法成为了最为常用且最广泛的控制方法。但是，传统的模糊控制算法本身消除稳态误差的性能比较差且难以获得较高的控制精度。当模糊控制器一旦设计确定，其结构就不能在线修改，因而其自适应能力有限。针对此问题，一种变论域自适应模糊控制算法被提出，变论域自适应模糊控制算法对被控对象的数学模型无精确要求，且具有响应速度快、控制精度高、鲁棒性好、适应性强等特点。而且变论域自适应模糊控制算法主要通过伸缩因子来改变模糊控制器的初始论域，从而使初始论域可以随电机转速偏差和偏差变化率的变化而改变，因此，应用于BLDCM控制系统中的变论域模糊PID控制能够让转速输出具有响应速度快、无超调、控制精度高、转矩脉动小等优点。这为BLDCM在航空飞机、高精度伺服控制系统、智能机器人、数控车床、电动汽车等需要快速性能好、精度控制高、抗干扰能力强的应用场合提供了一种有效的解决方案。然而，当BLDCM外部环境改变或者本身电机参数发生变化时会导致原来的PID参数不再适应，从而引起BLDCM控制系统不稳定。虽然变论域自适应模糊PID控制算法能够让BLDCM控制系统具有更快的响应速度、更好的稳定性、更小的超调量和更强的自适应性，但是变论域自适应模糊PID控制器会随着时间的推移，控制器会发生“失真”现象，从而导致控制精度下降、快速性及抗干扰能力有所相对降低。

发明内容

根据现有技术存在的问题，本发明公开了一种基于无刷直流电机Q学习的变论域模糊控制方法，包括以下步骤：

S1：将电机转子的位置信号转换成电机的反馈转速值ω，设定电机系统的各项初始参数：

S2：对控制模糊控制算法进行模糊化处理：引入量化因子对输入变量进行基本论域到模糊论域的转换；

S3：对控制算法进行模糊推理决策：制定模糊控制规则，选取模糊语言变量，确定语言变量的隶属度函数，最后建立模糊控制规则，通过根据速度环中的实际转速和给定转速的误差大小及其误差变化率的趋势来确定输出量的大小，同时保证响应速度和限制超调；

S4：采用重心法法对ΔK_p、ΔK_i、ΔK_d的模糊输出量进行去模糊化得到ΔK_p、ΔK_i、ΔK_d的精确输出值；

S5：将模糊量进行清晰化处理实现模糊控制：在PID参数中引入清晰化比例因子求得PID参数的控制变化量；

S6：确定输入论域和输出论域的伸缩因子；

S7：采用马尔科夫决策过程对论域的伸缩因子进行参数优化。

进一步的，所述输入论域的伸缩因子采用如下方式函数：

a(x)＝1-λexp(-kx²)(λ∈(0,1),k>0) (7)

其中：x为输入误差变量e或者误差变化率ec，λ＝0.4，k＝0.6；

对于输出论域的伸缩因子，选用函数为

其中，0<T₁、T₂、T₃<1，E、EC、EI，为x，y，z初始论域。

进一步的，采用马尔科夫决策过程对论域的伸缩因子进行参数优化采用如下过程：对于MDP模型，采用下式：

将V^π(s_k)表示成递归的形式，如下式所示：

式中，r(s_k,a_k)代表从外界反馈过来的奖惩值，s_k+1是下一个状态，γ是折扣因子，一般情况下0<λ≤1。

由于采用了上述技术方案，本发明提供的一种基于无刷直流电机Q学习的变论域模糊控制方法，该方法来进一步提高控制器的动静态性能，通过在变论域自适应模糊控制算法的基础上提出了一种利用伸缩因子、等比因子相互协调来调整论域的构想并结合强化学习理论中的Q-Learning算法来对变论域自适应模糊PID控制进行了改进，使其具有在线寻优的能力。两种算法相互结合、补充，从而达到更好的PID控制参数调节效果，最后使得BLDCM控制系统具有更好地动静态性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中变论域模糊概念图

图2为本发明中基于Q-Learning算法的变论域模糊控制器结构图

图3为基于Q-Learning算法的变论域模糊PID无刷直流电机(BLDCM)控制系统

图4为本发明中Q-Learning算法程序流程图

图5为本发明中BLDCM在采用传统PID控制算法时的电机转速运行效果图

图6为本发明中BLDCM在采用模糊控制算法时的电机转速运行效果图

图7为本发明中BLDCM在采用变论域模糊控制算法时的电机转速运行效果图

图8为BLDCM在采用本法发明提出的Q-Learning变论域模糊控制算法时的电机转速运行效果图

图9为本发明中BLDCM在采用传统PID控制算法时的电磁转矩运行效果图

图10为本发明中BLDCM在采用模糊控制算法时的电磁转矩运行效果图

图11为本发明中BLDCM在采用变论域模糊控制算法时的电磁转矩运行效果图

图12为本发明中BLDCM在采用本法发明提出的Q-Learning变论域模糊控制算法时的电磁转矩运行效果图

具体实施方式

为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示的一种基于无刷直流电机Q学习的变论域模糊控制方法，此算法主要通过利用Q-Learning的强搜索能力与变论域模糊控制的优势相互结合来提高BLDCM控制系统的动静态性能及抗干扰能力。本发明所设计的基于Q-Learning算法的变论域模糊PID无刷直流电机控制系统整体框图如附图3所示，与传统BLDCM控制系统不同的是本发明主要通过在BLDCM双闭环控制系统速度环中引入Q-Learning变论域模糊控制算法来提高其整体性能。其中，附图2为本发明基于Q-Learning的变论域模糊控制算法结构框图，内部的小虚框代表模糊控制器。

下面结合附图以及实施例对本发明做进一步的说明。

第一步，将电机转子的位置信号转换成电机的反馈转速值ω，设定电机系统的各项初始参数，对控制模糊控制算法进行模糊化：设系统输入转速误差为e(t)，初始论域为(-e，e)；误差变化率为初始论域为(-ec，ec)，输出的PID参数调整量ΔK_p、ΔK_i、ΔK_d的基本论域分别为[-y_p，+y_p]，[-y_i，+y_i]和[-y_d，+y_d]。然后设误差和误差变化率所取的模糊子集的论域分别为[-m，+m]和[-n，+n]，输出的PID参数调整量所取的模糊子集的论域分别为[-l_p，+l_p]、[-l_i，+l_i]和[-l_d，+l_d]。引入量化因子来实现输入变量由基本论域到模糊论域的转换，一般用K来表示量化因子，误差的量化因子K_e和误差变化率的量化因子K_ec可由式(1)、式(2)来表示。

第二步，再对控制算法进行模糊推理决策：其核心在于制定模糊控制规则。模糊规则的选取过程分为三部分，选取适当的模糊语言变量，确定语言变量的隶属度函数，最后建立模糊控制规则。其中，模糊语言变量采用“负大、负中、负小、零、正小、正中、正大”来描述，一般用英文字母表示为{NB，NM，NS，ZE，PS，PM，PB}来简略表示。隶属度函数选择计算量小、灵敏度高的三角形函数作为输入和输出的隶属函数。最后建立模糊规则，通过根据速度环中的实际转速和给定转速的误差大小及其误差变化率的趋势来确定输出量的大小，同时保证响应速度和限制超调，以达到良好的控制效果。在总结专家知识的基础上总结操作人员的实践经验，并且进行大量仿真调试后得到的PID参数调整量ΔKp、ΔKi、ΔKd的控制规则。

第三步，解模糊：这些模糊推理语句对应输出ΔKp、ΔKi、ΔKd的模糊输出量不能直接去控制系统，必须进行解模糊处理。常用的解模糊控制方法有很多，目前常用的有加权平均法、最大隶属度法、加权平均法。其中，精度最高的是重心法，因此本文利用重心法进行去模糊化得到真正的ΔKp、ΔKi、ΔKd精确输出值，然后实现PID参数自整定。

式中，u^*为解模糊化后的精确输出量，u为输出变量的模糊值，μ(u)为对应的模糊隶属度函数。

第四步，将模糊量进行清晰化实现模糊控制。在PID参数中引入清晰化比例因子来求得PID参数的精确控制变化量。

附图2中间的虚线框代表变论域模糊控制器，是建立在模糊控制原理之上的一种控制器。模糊控制器根据PID参数整定经验获得的可行效果，但整定过程具有一定的盲目性，尽管初始论域、初始规则通过在线调整一般能保证系统的稳定性，但规则本身往往存在一定的粗糙性和冗余性，带来在线调整时间长等问题。而基于变论域的模糊控制器设计无需太多的领域专家知识，只需知道规则的大致趋势，论域的划分、隶属函数的选取成为次要的因素，这也相对增强了模糊控制系统的容错能力。论域调整规则为，放大量化因子相当于收缩输入论域；缩小量化因子相当于扩大输入论域。关键就在于怎么确定论域伸缩的合理机制，即确定适当的伸缩因子，使最终的控制效果能够最大限度满足要求，常用选择基于模糊的伸缩因子。

第五步，确定伸缩因子。对于输入论域的伸缩因子，选用函数为如下(x为输入误差变量e或者误差变化率ec)

a(x)＝1-λexp(-kx²)(λ∈(0,1),k>0) (7)

此处选择λ＝0.4，k＝0.6。

对于输出论域的伸缩因子，选用函数为

其中，0<T₁、T₂、T₃<1，E、EC、EI，为x，y，z初始论域，实际中由于误差和误差变变化率及累积误差存在内在联系，在实际应用中常把式(8)简化，直接取为β(x)、β(y)。

对于输出论域的伸缩因子，考虑K_p、K_i、K_d对控制性能的影响，采用原则为输出变量K_p和K_d的伸缩因子应具有与误差单调性一致的特性，而输出变量K_i的伸缩因子则应具有与误差的单调性反向的特性。为此，把式(8)简化后取：

β(K_p)＝β_p|e|；β(K_d)＝β_d|e|

经调试优化选择：

β_i＝8000，

而基于式(7)选择输入论域的伸缩因子，分析可知，k越小，a(x)越小，但a(x)变化越剧烈，而λ越大，a(x)越小，但同样变化剧烈，即论域压缩越明显，系统响应速度越快。因此通过选择较小的k和较大的λ，可以提高系统的响应速度。当然，实际系统中，两个参数的选择需要综合考虑系统的各项指标，而不是盲目追求某一项性能指标。因此本发明采用Q-Learning来对传统的BLDCM变论域模糊PID控制系统进行参数优化，目标是使系统的抗干扰性及其鲁棒性。

图2最外面的虚线框则代表基于Q-Learning算法的变论域模糊控制器。其中，Q-Learning算法属于强化学习算法的一种，它获取最佳控制策略的作用主要是通过奖惩函数和回报策略机制。而强化学习问题就是用马尔科夫决策过程(Markov Decision Process,，MDP)解决。马尔科夫决策过程是为了取得一个函数的最大值，而这个最大值主要是通过从学习中制定一个最佳策略而获得，即奖惩函数评价。

第六步，马尔科夫决策过程对参数进行优化。对于MDP模型，采用下式：

将V^π(s_k)表示成递归的形式，如下式所示：

式中，r(s_k,a_k)代表从外界反馈过来的奖惩值，s_k+1是下一个状态，γ是折扣因子，一般情况下0<λ≤1。

Q-Learning算法是一种与模型没有关系，并且属于值迭代的一种强化学习，它是开始建立一个初始的矩阵和奖惩矩阵，通过自身的算法不断学习，应用奖惩函数不断的更新Q矩阵以达到最终的目的。Q-Learning通过优化一个迭代计算的状态动作对值函数Q(s,a)获得最优策略，使得累积折扣报酬总和最大。Q-Learning的值函数定义如下：

Q-Learning算法主要是通过迭代计算这一数学方法来获得最佳的Q值，计算Q值迭代的公式如下所示：

式中，Q^k表示的最优函数Q^*的第k次迭代值；α(0<a<1)是代表着信任度多少的学习因子，一般情况下折扣因子都自行取值比较大，可以快速的收敛。Q函数在Matlab仿真软件里面主要通过look-up表格的方式实现，Q(s,a)(s∈S,a∈A)代表s状态下做出动作a的Q值。

Q算法的动作策略选择较为关键，合适的动作策略能提高学习的收敛效果。我们可以采用一种局域概率分布选择动作的追踪算法来构造动作选择策略。在该策略下，初始状态各动作被选择的概率相等，但随着动作值函数的不断迭代，越高的Q值的动作被选择的概率越大，故Q算法最终将收敛于Q矩阵代表的最优策略，该策略概率迭代公式如下：

式中，β(0<β<1)值的数值大小代表动作搜索速度的快慢，可以看出当β的值越接近1则说明现在的动作策略越接近贪婪策略。代表第k次迭代是状态s下选择动作a的概率。若探索和利用的次数达到某一临界值，Q^k收敛于最优函数Q^*。

为了证明本发明的优越性与先进性，分别对BLDCM控制系统在传统PID控制、模糊控制、变论域模糊控制、基于Q-Learning算法的变论域模糊控制下进行了算法验证，图5与图9、图6与图10、图7与图11、图8与图12是分别在四种不同控制算法下的转速与电磁转矩响应曲线。

图5与图9为BLDCM控制系统在采用传统PID控制算法时的转速与电磁转矩响应曲线变化情况，由曲线可以看出，本算法转矩脉动大、抗扰动性不强且超调量大。

图6与图10为BLDCM控制系统在采用模糊控制算法时的转速与电磁转矩响应曲线变化情况，由曲线可以看出，本算法能在一定程度上降低转矩脉动、提高系统的抗扰动性且减少超调量。

图7与图11为BLDCM控制系统在采用变论域模糊控制算法时的转速与电磁转矩响应曲线变化情况，由曲线可以看出，本算法能有效降低转矩脉动、提高系统的抗扰动性且减少了了超调量。

图8与图12为BLDCM控制系统在采用本发明提出的Q-Learning变论域模糊控制算法时的转速与电磁转矩响应变化情况，由曲线可以看出，本发明提出的算法能够让控制系统无超调、在相同的干扰情况下能比其它算法有着更强的抗干扰能力。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于无刷直流电机Q学习的变论域模糊控制方法，其特征在于：包括以下步骤：

S1：将电机转子的位置信号转换成电机的反馈转速值ω，设定电机系统的各项初始参数：

S2：对控制模糊控制算法进行模糊化处理：引入量化因子对输入变量进行基本论域到模糊论域的转换；

S3：对控制算法进行模糊推理决策：制定模糊控制规则，选取模糊语言变量，确定语言变量的隶属度函数，最后建立模糊控制规则，通过根据速度环中的实际转速和给定转速的误差大小及其误差变化率的趋势来确定输出量的大小，同时保证响应速度和限制超调；

S4：采用重心法法对ΔK_p、ΔK_i、ΔK_d的模糊输出量进行去模糊化得到ΔK_p、ΔK_i、ΔK_d的精确输出值；

S5：将模糊量进行清晰化处理实现模糊控制：在PID参数中引入清晰化比例因子求得PID参数的控制变化量；

S6：确定输入论域和输出论域的伸缩因子；

S7：采用马尔科夫决策过程对论域的伸缩因子进行参数优化。

2.根据权利要求1所述的一种基于无刷直流电机Q学习的变论域模糊控制方法，其特征还在于：所述输入论域的伸缩因子采用如下方式函数：

a(x)＝1-λexp(-kx²)(λ∈(0,1),k>0) (7)

其中：x为输入误差变量e或者误差变化率ec，λ＝0.4，k＝0.6；

对于输出论域的伸缩因子，选用函数为

其中，0<T₁、T₂、T₃<1，E、EC、EI，为x，y，z初始论域。

3.根据权利要求1所述的一种基于无刷直流电机Q学习的变论域模糊控制方法，其特征还在于：采用马尔科夫决策过程对论域的伸缩因子进行参数优化采用如下过程：对于MDP模型，采用下式：

将V^π(s_k)表示成递归的形式，如下式所示：

式中，r(s_k,a_k)代表从外界反馈过来的奖惩值，s_k+1是下一个状态，γ是折扣因子，一般情况下0<λ≤1。