CN103853046A

CN103853046A - 一种压电陶瓷驱动器的自适应学习控制方法

Info

Publication number: CN103853046A
Application number: CN201410051865.0A
Authority: CN
Inventors: 陈学松; 陈新; 陈新度; 刘强; 李克天; 王晗; 欧阳祥波
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2014-02-14
Filing date: 2014-02-14
Publication date: 2014-06-11
Anticipated expiration: 2034-02-14
Also published as: CN103853046B

Abstract

本发明是一种压电陶瓷驱动器的自适应学习控制方法。包括如下步骤：1）建立压电陶瓷驱动器的动态迟滞模型，设计人工神经网络与PID结合的控制方法；2）采用强化学习算法在线实现PID参数的自适应整定；3）采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近；4）径向基函数网络第一层输入系统误差、误差的一次差分和二次差分；5）强化学习中的执行器实现系统状态到PID三个参数的映射；6）强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。本发明解决压电陶瓷驱动器的迟滞非线性问题，提高压电陶瓷驱动平台的重复定位精度，消除压电陶瓷的迟滞非线性对系统的影响。

Description

一种压电陶瓷驱动器的自适应学习控制方法

技术领域

本发明是一种压电陶瓷驱动器的自适应学习控制方法，属于压电陶瓷驱动器的自适应学习控制方法的创新技术。

背景技术

压电陶瓷执行器具有定位精度高、驱动力大、响应速度快等优点，是目前超精密定位、微位移技术中比较理想的驱动元件。但是由于其本身固有的迟滞、非线性、蠕变等特性，使得微位移机构的重复性和精度降低，瞬态响应速度变慢，给压电陶瓷的应用造成了一定的困难。从控制设计方法上讲，提高压电陶瓷驱动器控制精度的重点和难点是克服其迟滞性的影响，目前，迟滞建模和参数辨识是主要的研究手段，如经典的Preisach模型，Prandtl-Ishinskii模型等，然而，当系统的非线性结构特征难以刻画时，传统的数学建模就很难真实反映压电陶瓷的动态特性。在基于神经网络的PID控制中，一般采用监督学习进行参数优化，而监督学习中的教师信号难以获取。Barto等提出的执行器-评价器学习算法，也称为自适应启发式评价算法，是一种重要的强化学习算法，它是一种随机最优控制方法，在人工智能和智能控制等领域得到广泛应用。

发明内容

本发明的目的在于考虑上述问题而提供一种压电陶瓷驱动器自适应学习控制方法。本发明是建立描述压电陶瓷迟滞动态特性的数学模型，并据此模型提出一种能提高压电陶瓷驱动系统的重复定位精度的方法。

本发明的技术方案是：本发明压电陶瓷驱动器的自适应学习控制方法，包括有如下步骤：

1）首先建立压电陶瓷驱动器的动态迟滞模型，再设计人工神经网络与PID结合的控制方法；

2）采用强化学习算法在线实现PID参数的自适应整定；

3）采用一个三层径向基函数网络同时对强化学习算法中执行器的策略函数和评价器的值函数进行逼近；

4）径向基函数网络第一层为输入层，分别输入系统误差、误差的一次差分和二次差分；

5）强化学习中的执行器实现系统状态到PID三个参数的映射；

6）强化学习中评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。

上述步骤1）人工神经网络与PID结合的控制方法具体包括如下步骤：

11）将前馈补偿PID控制算法进行离散化；

12）在反馈中，期望输入位移和实际的输出位移进行比较，所得的误差即为PID控制器的输入信号；

13）误差经过状态转换器转换成为强化学习控制算法所需要的状态向量；

14）由系统误差、误差的一次差分和二次差分组成的状态向量作为人工神经网络的输入层；

15）人工神经网络的隐层节点基函数选用高斯型核函数；

16）人工神经网络的输出层由执行器和评价器两部分组成，执行器部分输出PID的参数，评价器则输出值函数，用来判断执行动作的优劣。

上述步骤1）建立动态迟滞模型的过程如下：由于压电陶瓷下一时刻的输出位移量不仅取决于当前时刻的输入电压和输出位移，还与之前输入的历史有关，并且输出与输入信号的变化率有关，而压电陶瓷的迟滞特性是有记忆性、多映射的一种强非线性现象，需要构造一种算子使迟滞曲线的多映射转化为单值映射，故构造如下迟滞算子：

y (u) = (1 - e^{u_{p} - u}) - (u - u_{p}) + y (u_{p})

其中u为驱动电压，y(u)为相应的输出位移，u_p为历史输入电压的极值，y(u_p)为驱动电压，它是电压为u_p时的输出位移值，这样就通过迟滞算子实现了将输入电压与输出位移之间的单值映射，由此就得到了压电陶瓷驱动器的动态迟滞模型。

上述步骤11）将前馈补偿PID控制算法进行离散化中的PID控制器为增量式控制器。

上述步骤3）的径向基函数神经网络是一种多层前向神经网络。

上述压电陶瓷驱动器的控制系统采用的是一种将人工神经网络与传统的PID控制器相结合的控制方法。

上述建立动态迟滞模型的特征为：

111）由于压电陶瓷叠堆驱动器是由单片的压电陶瓷片并联而成（如图1所示），压电陶瓷片层间使用银、石墨合金作为内电极，每隔一层的内电极形成玻璃绝缘膜，再装上外电极，形成并联连接；

112）把压电陶瓷驱动器分成历史相关的迟滞非线性部分Γ(r,t)和二阶线性系统部分G的串联（如图2所示），这里的非线性部分表示迟滞特性，不是静态的，而是与历史相关的动态的迟滞特性。

上述强化学习算法是一种机器学习方法，它是一种自适应启发式评价算法，能对PID参数在线进行自适应调整。

本发明涉及一种压电陶瓷驱动器的自适应学习控制方法，该方法利用强化学习在线实现PID参数的自适应整定，采用一个径向基函数网络同时对执行器的策略函数和评价器的值函数进行逼近，径向基函数网络的输入为系统误差、误差的一次差分和二次差分，执行器实现系统状态到PID参数的映射，评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。该方法将人工神经网络与传统的PID控制器相结合，可以较好解决压电陶瓷驱动器的迟滞非线性问题，进而提高压电陶瓷驱动平台的重复定位精度，达到消除压电陶瓷的迟滞非线性对系统的影响。本发明是一种方便实用的可压电陶瓷驱动器的自适应学习控制方法。

附图说明

图1为压电陶瓷内部结构图；

图2为压电陶瓷内部结构等效图；

图3为一种压电陶瓷驱动器自适应学习控制结构图；

图4为径向基函数网络的学习过程图。

具体实施方式

实施例:

本发明压电陶瓷驱动器的自适应学习控制方法，包括有如下步骤：

2）采用强化学习算法在线实现PID参数的自适应整定；

5）强化学习中的执行器实现系统状态到PID三个参数的映射；

图1为压电陶瓷内部结构图，根据如图1所示的等效结构图，可以得到如图2所示的串联效果图。若把非线性部分看成是系统的扰动，则压电陶瓷驱动器的状态方程可表示如下的数学模型：

\{\begin{matrix} \overset{\cdot}{x} = Ax + bu + d \\ y = cx + n \\ u = Γ (f_{r}) \end{matrix}

其中，

A = [\begin{matrix} 0 & 1 \\ - \frac{1}{T^{2}} & \frac{2 ξ}{T} \end{matrix}], b = {[\begin{matrix} 0 & \frac{K}{T^{2}} \end{matrix}]}^{T},

c=[10]，x=[x₁x₂]^T，f_r,u,y∈R，f_r为压电陶瓷的参考输入，u为线性部分输入，y为压电陶瓷的输出。x₁为输出位移，x₂为速度，T为时间常数，ξ为系统阻尼因子，K为增益。

根据上述模型，设计了如图3和图4所示的一种压电陶瓷自适应学习控制方法，其中图3为PID控制结构框图，图4是径向基函数网络的学习过程。该方法是一种将人工神经网络与传统的PID控制器相结合的新颖控制方法，它利用强化学习在线实现PID参数的自适应整定，采用一个径向基函数网络同时对执行器的策略函数和评价器的值函数进行逼近，径向基函数网络的输入为系统误差、误差的一次差分和二次差分，执行器实现系统状态到PID参数的映射，评价器则对执行器的输出进行评判并且生成误差信号，利用该信号来更新系统的各个参数。

本发明压电陶瓷驱动器的自适应启发式控制方法，该方法首先需要建立迟滞数学模型，然后获取期望输出位移xd(t)和输入电压u(t)，在前馈中，根据动态迟滞模型，获得前馈补偿电压u_h(t)，在反馈中，期望输入位移和实际的输出位移比较，所得的误差e(t)即为PID控制器的输入信号，从而获得PID的补偿电压u_e(t)。在实际控制中采用离散化的控制算法，需要对前馈补偿PID控制算法进行离散化。增量式PID控制器由以下方程设计：

u(t)=u_h(t)+u_e(t)=u(t-1)+Δu(t)=u(t-1)+K(t)x(t)

=u(t-1)+k_I(t)x₁(t)+k_P(t)x₂(t)+k_D(t)x₃(t)

=u(t-1)+k_I(t)e(t)+k_P(t)Δe(t)+k_D(t)Δ²e(t)

其中，t表示采样的时刻，x(t)=[x₁(t),x₂(t),x₃(t)]^T=[e(t),Δe(t),Δ²e(t)]^T，这里e(t)=y_d(t)-y(t)，Δe(t)=e(t)-e(t-1)，Δ²e(t)=e(t)-2e(t-1)+e(t-2)分别表示系统的输出误差、误差的一次差分和二次差分。K(t)=[k_I(t),k_P(t),k_D]为PID参数向量。

如图3所示，误差e(t)=y_d(t)-y(t)经状态转换器转换成为执行器-评价器学习控制算法所需要的状态向量x(t)。这里执行器-评价器学习由三个模块组成：执行器、评价器和随机动作修正器，执行器用于进行控制电压估计，将系统状态变量映射为PID参数K'(t)=[k_I'(t),k'_P(t),k'_D(t)]，执行器输出的参数K'(t)不会直接参与到PID控制器的设计之中，而是由随机动作修正器根据评价器提供的估计信息进行随机修正，从而得到实际的PID参数值K(t)=[k_I(t),k_P(t),k_D(t)]。评价器接受系统的状态变量，对每个采样周期的每个时间段产生评判，经过处理之后产生时序误差，其中，时序误差直接提供给执行器和评价器，用于执行器和评价器更新各种参数。

如图4所示，执行器和评价器共享径向基函数网络的输入层和隐层的资源，不仅可以降低学习系统对存储空间的要求，同时还可以避免隐层节点输出的重复计算，从而提高系统的学习效率。

第一层：输入层。该层的每个输入节点代表状态向量x(t)=[x₁(t),x₂(t),x₃(t)]^T=[e(t),Δe(t),Δ²e(t)]^T∈R³的分量。

第二层，隐层。径向基函数网络隐层节点的基函数选用高斯型核函数，第j个隐节点的输出为：

Φ_{j} (t) \exp {- \frac{{| | x (t) - μ_{j} (t) | |}^{2}}{2 σ_{j}^{2} (t)}}, j = 1,2, . . ., h

其中，μ_j=[μ_1j,μ_2j,μ_3j]^T为第j个节点的中心向量，σ_j为第j个节点的宽度参数，h为隐节点个数。

第三层，输出层，由执行器和评价器两部分组成。执行器第m个输出节点的权值和到评价器的输出值函数V(t)分别由下面式子计算：

\begin{matrix} K_{m}^{'} (t) = Σ_{j = 1}^{h} w_{mj} (t) Φ_{j} (t), m = 1,2,3 \\ V (t) = Σ_{j = 1}^{h} v_{j} (t) Φ_{j} (t) \end{matrix}

其中，w_mj,v_j分别对应于隐层第j个节点到执行器的权值和到评价器输出节点的权值。

如图3所示，执行器的输出并不直接传递给PID控制器，而是在其输出的PID参数K'(t)上叠加一个高斯干扰η_k。高斯干扰的大小取决于V(t)，V(t)大则干扰小，反之则大。具体方法如下：

K(t)=K'(t)+η_K(0,σ_V(t))

其中，方差

σ_{V} (t) = \frac{1}{1 + \exp (2 V (t))} .

Claims

1.一种压电陶瓷驱动器的自适应学习控制方法，其特征在于包括有如下步骤：

2）采用强化学习算法在线实现PID参数的自适应整定；

5）强化学习中的执行器实现系统状态到PID三个参数的映射；

2.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤1）人工神经网络与PID结合的控制方法具体包括如下步骤：

11）将前馈补偿PID控制算法进行离散化；

15）人工神经网络的隐层节点基函数选用高斯型核函数；

3.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤1）建立动态迟滞模型的过程如下：由于压电陶瓷下一时刻的输出位移量不仅取决于当前时刻的输入电压和输出位移，还与之前输入的历史有关，并且输出与输入信号的变化率有关，而压电陶瓷的迟滞特性是有记忆性、多映射的一种强非线性现象，需要构造一种算子使迟滞曲线的多映射转化为单值映射，故构造如下迟滞算子：

y (u) = (1 - e^{u_{p} - u}) - (u - u_{p}) + y (u_{p})

4.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤11）将前馈补偿PID控制算法进行离散化中的PID控制器为增量式控制器。

5.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述步骤3）的径向基函数神经网络是一种多层前向神经网络。

6.根据权利要求1所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述压电陶瓷驱动器的控制系统采用的是一种将人工神经网络与传统的PID控制器相结合的控制方法。

7.根据权利要求3所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述建立动态迟滞模型的特征为：

8.根据权利要求1至6任一项所述的压电陶瓷驱动器自适应学习控制方法，其特征在于上述强化学习算法是一种机器学习方法，它是一种自适应启发式评价算法，能对PID参数在线进行自适应调整。