CN110869858B - 用于设定致动器控制系统的至少一个参数的方法和装置、致动器控制系统以及数据集 - Google Patents

Abstract

一种自动设定致动器控制系统(45)的至少一个参数(θ)的方法，所述致动器控制系统适于将致动器(20)的控制变量(x)控制至可预设的额定变量(xd)，其中所述致动器控制系统(45)适于，根据所述至少一个参数(θ)、所述额定变量(xd)和所述控制变量(x)生成操纵变量(u)并且根据所述操纵变量(u)控制所述致动器(20)，其中根据长期成本函数(R)来选择所述至少一个参数(θ)的新的值(θ*)，其中根据所述致动器(20)的控制变量(x)的概率分布(p)的预测时间演化(F)求得所述长期成本函数(R)，并且在此情况下将所述参数(θ)设置至所述新的值(θ*)。

Description

用于设定致动器控制系统的至少一个参数的方法和装置、致 动器控制系统以及数据集

技术领域

本发明涉及一种自动设定致动器控制系统的至少一个参数的方法、用于实施所述方法的一种计算机程序和一种学习系统、一种存储有所述计算机程序的机器可读存储介质、一种致动器控制系统，其参数以所述方法设定，以及一种包括所述参数的数据集。

背景技术

DE 102013212889A1揭示过一种创建控制函数的方法，以便借助至少一个操纵变量将物理单位的至少一个物理状态变量控制至至少一个预设的额定变量，包括如下步骤：

-提供用于映射物理单位的函数模型；

-提供具有控制参数的控制函数，其中此控制函数根据物理变状态变量生成操纵变量；以及

-基于求得的总成本调整此控制参数，其中由成本函数的函数值的组合形成总成本。

本发明的优点

相比而言，具有独立权利要求1的特征的所述方法的优点在于，能够在不同的致动器上最佳地设定致动器控制系统。有利改进方案参阅独立权利要求。

发明内容

本发明在第一方面中涉及一种自动设定致动器控制系统的至少一个参数的方法，所述致动器控制系统用于将致动器的控制变量控制至可预设的额定变量，其中所述致动器控制系统适于，根据所述至少一个参数、所述额定变量和所述控制变量生成操纵变量并且根据所述操纵变量控制所述致动器，其中根据长期成本函数来选择所述至少一个参数的新的值，其中根据所述致动器的控制变量的概率分布的预测时间演化求得所述长期成本函数，从而将所述参数设置至所述新的值。

其中，长期成本函数为在预期区间内求得的成本函数，也就是在这个预期区间内求得概率分布的预测时间演化并且又据此求得长期成本函数。

在一种有利改进方案中，设有模型。这个模型中特别是指高斯过程，优选稀疏(英文：sparse)高斯过程。在此情况下，借助这个模型求得预测时间演化。这一点使得所述方法极为高效。

在所述方面的一种改进方案中，可以根据被输往所述致动器的所述操纵变量，在所述致动器控制系统控制所述致动器的情况下调整所述模型。其中，同样根据总控制变量来调整该模型。“调整模型”可以指对表征该模型的特性的模型参数进行调整。

在调整模型后，根据致动器的控制变量的概率分布的预测演化再次求得至少一个参数的(最佳的)新的值(并且在此情况下，将该参数再次设置至这个新的值)。其中，根据经过调整的模型再次求得至少一个参数的新的值。

也就是说，在这个改进方案中，设有插入的方案，其中首先对模型进行改进(具体方式是在控制实际的致动器时以致动器控制系统观察该实际的致动器的特性)。随后，对致动器控制系统进行改进，具体方式是以模拟致动器的反应的方式通过模型来优化为致动器控制系统的控制策略设定参数的参数。可以多次重复实施改进模型和调整参数的这个次序。

这样处理的优点在于，渐进地改进模型和致动器控制系统，从而极好地调整致动器控制系统。

在另一特别有利的方面中，通过控制变量的可能的值的积分的近似值来求得所述控制变量的概率分布的期望时间演化，其中通过求数值积分来求得这个近似值。其中，“求数值积分”指近似法，其通过分析节点和附属于这些节点的节点权重上的被积函数来逼近积分。

其中，借助具有单个或多个时步的(高斯)过程来求得期望的时间演化。其中，高斯过程在时步的每个固定状态下模拟具有后续状态(也就是下一时步的状态)的对应的均值和对应方差的概率分布。

求数值积分的应用特别是结合高斯过程的应用的优点在于，该解法在数值上特别简单，其中逼近的精度同时也极高，使得以这种方式产生的致动器控制系统特别高效。

在一种有利改进方案中，根据控制变量的求得的特别是借助模型和/或致动器控制系统求得的时间演化，基于控制变量的由初始概率分布(虚拟)随机求得的初始值来求得节点的密度。也就是说，特别是从初始的概率分布中“采样”出初始值。也就是说，求得控制变量的时间演化(也就是状态空间中的轨迹)，控制变量在该演化的起始点上采用随机求得的初始值。随后，根据这个时间演化选择节点的密度。这一点使得节点的选择较为高效，因为控制变量的实际轨迹以适当的概率进入节点的选择。这样就能特别是确保在致动器控制系统的参数尚未被很好地调整情况下，所述方法同样可靠地起作用。

在一种改进方案中，也可以根据控制变量的求得的特别是借助模型和/或致动器控制系统求得的时间演化，基于作为控制变量的初始值的额定值来求得节点的密度。这一点的优点在于，可以特别高效地选择节点，因为在该方法收敛时，应认为，控制变量的实际轨迹处于控制变量采用额定值的轨迹附近。

具体而言，根据某个变量选择节点的密度，该变量表征在控制变量的一或数个求得的时间演化中，模型在控制变量的至少一个值上的平滑度。更精确而言，表达式“模型的光滑度”可以指模型预测的光滑度，也就是针对随后的下一时步所预测的概率分布的光滑度。其中，模型的较小光滑度表示，在时间演化中，在连续的时步之间存在与模型的光滑度具有更大值的情形相比更大的差。

这个表征模型的平滑度的变量特别是可以为高斯过程的方差，该方差对应于控制变量在求得的时间演化中采用的值中的至少一个。这个方差越大，模型的平滑度就越小。

以这种方式就能确保，如此地选择节点，使得特别是求数值积分中的近似值的误差极小。

为最佳地实施这一点，可以根据最小值在一个范围内选择节点的密度，其中这个最小值为控制变量的处于这个范围内的这些值上的表征模型的平滑度的变量中的最小值。也就是说，求得控制变量的一或数个时间演化作为控制变量所采用的离散序列的值。在此情况下，仅对该离散序列的值的处于上述范围内的这些值进行观察。这些值中的每个均对应于一个在这个位置上表征模型的平滑度的变量。从这些对应的值中选出最小值。

作为替代或补充方案，也可以根据节点在这个范围内的平均密度来选择节点在范围内的密度。特别是可以在节点的平均密度与最小值的商小于可预设的阈值，特别是值1的情况下，将节点的密度增大。这种方法可以特别简单地实施。

可以通过如下方式增大节点的密度：将供生成节点的规则应用的体积元素缩小，例如具体方式是，将现有的体积元素划分为数个更小的体积元素，随后，针对这些更小的体积元素中的每个借助用于生成节点的规则生成节点。

在另一方面中，可以根据求得权重的时间演化来求得数值积分的结果，其中权重由节点权重与在对应的节点上的概率密度的相应值的乘积得出。

这一点的优点在于，这些乘积的时间演化在每个时步中均可作为矩阵乘法特别高效地实施。其中，对描述概率密度的函数的分析在每个节点上仅实施一次。这个方法特别适于并行，从而特别高效地在一或数个GPU上实施。

在本发明的另一方面中，根据局部成本函数选择长期成本函数，其中根据高斯函数和/或多项式函数选择局部成本函数，该局部成本函数与操纵变量和可预设的额定值之间的差有关。例如可以选择成本函数作为由高斯函数和多项式函数组成的线性组合。成本函数的这种选择特别简单。

有利地，在另一方面中，借助限制函数将操纵变量限制在可预设的操纵变量范围内的值上。这一点能够特别简单地限定操纵变量。

本发明在另一方面中还涉及一种用于自动设定致动器控制系统的至少一个参数的学习系统，所述致动器控制系统适于将致动器的控制变量控制至可预设的额定变量，其中所述学习系统适于实施上述方法。

如前文所述，可以在一或数个GPU上高效地实施所述方法的各方面。因此，所述学习系统有利地包括用于实施所述方法的一或数个GPU。

附图说明

下面参照所附图式对本发明的实施方式进行详细说明。图中：

图1为学习系统与致动器之间的相互作用的示意图；

图2为所述学习系统的部分的结构的示意图；

图3为致动器控制系统与致动器之间的相互作用的示意图；

图4为训练所述致动器控制系统的方法的实施方式的流程图；

图5为求得概率密度的时间演化的方法的实施方式的流程图；

图6为求得节点的方法的实施方式的流程图。

具体实施方式

图1示出在其环境20内与学习系统40相互作用的致动器10。下文也将致动器10和环境20共同称为致动器系统。用传感器30检测致动器系统的状态，该传感器也可以由数个传感器形成。将传感器30的输出信号S传输至学习系统40。学习系统40由此测定出控制信号A，致动器10接收该控制信号。

致动器10例如可以指(半)自主机器人，例如(半)自主汽车、(半)自主割草机。同样可以指汽车的执行元件的驱动装置，例如用于怠速控制的节流阀或旁路调节器。同样可以指加热设备或加热设备的部件，例如阀门调节器。致动器10特别是同样可指更大的系统，例如汽车的内燃机或(视情况而定的混合)传动系，或者制动系统。

传感器30例如可以指一或数个视频传感器以及/或者一或数个雷达传感器以及/或者一或数个超声波传感器以及/或者一或数个位置传感器(例如GPS)。也可以采用其他传感器，例如温度传感器。

在另一实施例中，致动器10可以指制造机器人，在此情况下，传感器30例如可以指检测制造机器人的制造产品的特性光学传感器。

学习系统40在可选的接收单元50中接收传感器的输出信号S，该接收单元将输出信号S转化成控制值x(作为替代方案，也可以直接接收输出信号S作为控制值x)。控制值x例如可以为输出信号S的片段或后续处理。将控制值x输往控制器60，控制策略π在该控制器中实施。

在参数存储器70中保存有输往控制器60的参数θ。参数θ为控制策略π设定参数。参数θ可以指单个或多个参数。

区块90将可预设的额定变量xd输往控制器60。区块90例如可以根据区块90所规定的传感器信号来生成可预设的额定变量xd。区块90也可以从专用的存储区读出额定变量xd，额定变量保存在该存储区内。

根据控制策略π(θ)(从而根据参数θ)，控制器60由额定变量xd和控制变量x生成操纵变量u。例如可以根据控制变量x与额定变量xd之间的差x-xd求得这个操纵变量。

控制器60将操纵变量u传输至输出单元80，由该输出单元测定出控制信号A。例如可以首先对输出单元进行检查，查明操纵变量u是否处于可预设的值域内。若处于该值域内，则根据操纵变量u测定出控制信号A，具体方式是，根据操纵变量u，从特性曲线族中读出控制信号A。此为正常情况。而若求得操纵变量u并非处于该可预设的值域内，则控制信号A可以以某种方式构建，从而将致动器A转换成受保护模式。

接收单元50将控制变量x传输至区块100。控制器60同样将对应的操纵变量u传输至区块100。区块100对在一系列的时间点上接收的控制变量x和分别对应的操纵变量u的时间序列进行存储。在此情况下，区块100可以根据这些时间序列来调整模型g的模型参数Λ、σ_n、σ_f。将模型参数Λ、σ_n、σ_f输往区块110，该区块例如将这些模型参数存储在专用的存储位置上。下文还将在图4的步骤1030中详细描述这一点。

在一种实施方式中，学习系统40包括具有机器可读存储介质42的计算机41，从而在计算机41实施该学习系统的情况下使得这个计算器实施学习系统40的所描述的功能。计算机41在实施例中包括GPU 43。

可以将模型g用于优化控制策略π的参数θ。这一点示意性地绘示在图2中。

在一个区块中存储有控制参数x的初始概率分布p(x₀)。区块110由此求得第一权重向量α₁并且将这个第一权重向量α₁传输至区块160。求得第一权重向量α₁的函数和实施方式在下文的图5的步骤1500中有所描述。

区块120同样将模型参数Λ、σ_n、σ_f传输至区块160。区块160由第一权重向量α₁和模型参数Λ、σ_n、σ_f求得一系列的权重向量α₁、α₂、…α_T并且传输给区块150。

区块120同样将模型参数Λ、σ_n、σ_f传输至区块140。区块130求得噪声方差Σ_∈和最大分区深度(Partitionierungstiefe)Lmax(例如通过设置这些值并且从存储器中的专用存储位置读出这些值)，并且将其传输至区块140。参数存储器70将参数θ传输至区块140，区块90将额定值xd传输至区块140。

区块140从这些值求得节点ξ_i和附属的节点权重w_i。这个求得的算法的实施方式绘示在图6中。将测得的节点ξ_i和附属的节点权重w_i传输给区块150。

区块150由此求得新的参数θ*。这一点在图4的步骤1050有所描述。将新的参数θ*传输给参数存储器70，在该处用新的参数θ*的相应值替换参数θ的值。

图2所示的区块可以为学习系统40的部分，并且在该处如结合图1所描述的那样被实施为计算机程序的部分且被存储在机器可读存储介质42上。

图3绘示出致动器控制系统45与致动器10的相互配合。致动器控制系统45的结构和其与致动器10和传感器30的相互作用大体上与学习系统40的结构相同，因此，在此仅描述不同之处。不同于学习系统40，致动器控制系统45不具任何区块100和区块110。因此，不将变量传输至区块100。致动器控制系统45的参数存储器70中保存有参数θ，例如如图4所示，借助本发明的方法求得这些参数。

图4绘示出本发明的方法的实施方式。首先(1000)将参数θ设置至初始值。其中，可以将参数θ随机初始化，但也可以固定地预设参数。

随后，(1010)控制器60如图1中所描述的那样根据控制策略π(θ)生成操纵变量u，其用来如图1中所描述的那样控制致动器10。致动器10通过环境20与传感器30相互作用，控制器60间接或直接地接收传感器的传感器信号S作为控制变量x。

区块100接收并聚合(1020)操纵变量u和控制变量x的时间序列，这些操纵变量和控制变量共同地各产生一对z控制变量x与操纵变量x，z＝(x¹,…,x^D,u¹…u^F)^T。

其中，D为控制变量x的维度，F为操纵变量u的维度，也就是

随后，(1030)根据这个状态轨迹以某种方式调整高斯过程g，使得其间连续的时间点t、t+1适用

x_t+1＝x_t+g(x_t,u_t) (1)。

其中

u_t＝π_θ(x_t) (1')。

高斯过程g的协方差函数k例如通过以下公式给出：

其中，参数

为信号方差，

为用于D+F输入维度中的每个的平方长度尺度

的集合。

协方差矩阵K通过以下公式定义：

K(Z,Z)_i,j＝k(zⁱ,z^j) (3)。

在此情况下，高斯过程g通过两个函数表征：均值μ和方差Var，其通过以下公式给出：

其中，y通常通过yⁱ＝f(zⁱ)+∈ⁱ给出，具有白噪声∈ⁱ。

随后，根据对(zⁱ,yⁱ)以已知方式调整参数Λ、σ_n、σ_f，具体方式是将对数边缘似然函数最大化。

随后，(1040)(如图6所描述的那样)求得节点ξ_i和附属的节点权重w_i。此外，从存储区读出前视距离T，并且(如图5所描述的那样)求得权重向量α_i。

随后，(1050)求得新的最佳参数θ*。为此，使用预定义的局部成本函数r(x)，其例如可以通过特性曲线族或数学函数定义。

针对变量n＝1…N的每个值求得局部成本函数r的一个估计预期值E：

E_x～φn[r(x)]＝∫r(x)φ_n(x)dx (6)

其中，基本函数φ_n(x)通过以下公式给出：

φ_n(x)＝p(x_t+1＝x|x_t＝ξ_n) (7)

也就是说，通过具有均值ξ_n+μ(ξ_n)和方差Var(ξ_n)的正态分布给出。

最后，由此求得近似值

为此，使用针对每个时间步长t测得的权重向量α_t＝(α_t,1,…α_t,n)和上述预期值E：

这个近似值

为借助成本函数R的数值积分的逼近，该成本函数通过以下公式给出：

预期值E的求得需要通过针对每个时间点t的概率分布p(x_t))的积分。这一点在解析中无法求得闭式解，因为从时步t至下一时步t+1的概率分布p的时间演化通过以下公式给出：

p(x_t+1)＝∫p(x_t+1|x_t)p(x_t)dx_t (10)

因此，必须通过数值逼近法来求解这个方程式。求得概率分布p的这个时间演化的许多方法均面临在不进行极高强度计算的情况下实现足够的精度的挑战。借助求数值积分的方法意外地实现了这些目标。

新的参数θ*通过以下公式(1060)求得：

这一点例如可以借助梯度下降法实施，其中求得数值梯度或预设解析梯度。同样可以采用探索性方法(explorative Verfahren)。用新的参数θ*替代参数θ。

随后，(1070)可选地检查求得参数θ的方法是否收敛。若并未收敛(“n”)，则分叉回步骤1010。而在收敛(“j”)的情况下，得出最佳参数θ，且该方法结束(1080)。当然，也可以在单独一次迭代法后结束该方法。

图5绘示出求得权重向量α_t的方法。

首先(1500)由预设的初始概率分布p(x₀)求得权重向量α₁，根据如下公式：

α_1,i＝w_i·p(x₀＝ξ_i) (12)

随后(1510)，求得矩阵

M＝diag(w)Φ (13)

借助

diag(w)_i,j＝w_iδ_i,j (14)

以及

Φ_i,j＝φ_j(ξ_i) (15)。

最后(1520)，以迭代法产生权重向量α₂,…α_T，借助

α_t+1＝Mα_t (16)。

由此，这个方法结束。

图6绘示出求得节点ξ_i和附属的节点权重w_i的方法。

首先，将控制变量x的所有可能的值的状态空间X分布初始化。例如可以将初始分布选择为状态空间X的平凡分布，也就是完全不对状态空间X进行划分，而是通过整个状态空间X给出分布。

将分子s初始化为值s＝1。根据用于状态空间X的数值积分规则(例如开普勒酒桶规则(Kepler'schenFassregel)、梯形规则、辛普森规则或高斯求积)求得节点ξ_i和附属的节点权重w_i。

随后(2010)检查分子s是否达到最大分区深度Lmax。若达到最大分区深度则结束步骤中的方法(2100)。

否则，采用额定值xd作为用于控制变量x的值τ′₀，并且借助公式(1)、(1')求得时间演化τ′₀,τ′₁…τ′_T(2020)。

随后，可选地同样根据初始概率分布p(x₀)随机选出用于控制变量x的另一个值τ₀，并且借助公式(1)、(1')类似于步骤2020地求得另一时间演化τ₀,τ₁,…τ_T(2030)。

随后，将另一分子l初始化为值l＝1(2040)，并且检查(2050)该另一分子l是否达到分子s的值。若达到，则紧接步骤2060，其中分子s增加一，并且分叉回步骤2010。若未达到，则求得(2070)数值ρ_l(τ)，其表征节点ξ_i的密度是否适当。例如可以根据如下公式求得该数值：

其中，X_l为状态空间X的分区的第l个分体积元素，Vol(X_l)为体积，且N_l为其中的节点ξ_i的数目。随后，检查(2070)是否这个变量ρ_l(τ)<1，其中也可以采用其他阈值作为值“1”。

在是(“j”)的情况下，将分体积元素X_l分解成数个较小的分体积元素(2080)，例如具体方式是，将分体积元素X_l沿其一个维度或沿其所有维度平分。在此情况下，将与分体积元素X_l相关的节点ξ_i和附属的节点权重w_i移除，并且为新产生的较小的分体积元素添加节点ξ_i和附属的节点权重w_i。随后，紧接步骤2090，其中另一分子l增加一。随后，分叉回步骤2050。

若步骤2070中的检查表明，未满足条件(“n”)，则直接紧接步骤2090。

Claims (13)

1.一种自动设定致动器控制系统的至少一个参数（θ）的方法，所述致动器控制系统适于将致动器的控制变量（x）控制至可预设的额定变量（xd），其中所述致动器控制系统适于，根据所述至少一个参数（θ）、所述额定变量（xd）和所述控制变量（x）生成操纵变量（u）并且根据所述操纵变量（u）控制所述致动器，

其中根据长期成本函数（R）来选择所述至少一个参数（θ）的新的值（θ*），其中根据所述致动器的控制变量（x）的概率分布（p）的预测时间演化（F）求得所述长期成本函数（R），并且在此情况下将所述参数（θ）设置至所述新的值（θ*）；

其中通过所述控制变量（x）的可能的值的积分的近似值来求得所述控制变量（x）的概率分布（p）的期望时间演化（F），其中通过求数值积分来求得所述近似值；

其中根据所述控制变量（x）的求得的借助模型（g）和/或所述致动器控制系统求得的时间演化（τ1 … τT），基于所述控制变量（x）的由初始概率分布（p(x0)）随机求得的初始值（τ0）来求得节点（ξ）的密度；

其中同样根据所述控制变量（x）的求得的借助所述模型（g）和/或所述致动器控制系统求得的时间演化（τ'1 … τ'T），基于作为所述控制变量（x）的初始值（τ'0）的额定值（xd）来求得所述节点（ξ）的密度；

其中根据某个变量（Var）选择所述节点（ξ）的密度，所述变量表征在所述控制变量（x）的所述求得的时间演化中，所述模型（g）在所述控制变量（x）的至少一个值（τ0 … τT, τ'0… τ'T）上的平滑度。

2.根据权利要求1所述的方法，其中根据所述致动器的模型（g），高斯过程，有利地稀疏高斯过程求得预测时间演化（F）。

3.根据权利要求2所述的方法，其中根据在控制所述致动器时借助所述致动器控制系统输往所述致动器的操纵变量（u）和在此情况下得出的控制变量（x）来调整所述模型（g），其中在调整所述模型（g）后，根据所述致动器的控制变量（x）的概率分布（p）的预测演化（F）再次求得所述至少一个参数（θ）的新的值（θ*），其中，根据所述经过调整的模型（g）再次求得所述至少一个参数（θ）的新的值（θ*）。

4.根据权利要求1所述的方法，其中根据最小值（minVar）在一个范围（X_i）内选择节点（ξ）的密度，其中所述最小值（minVar）为所述控制变量（x）的处于所述范围（X_i）内的所述值（τ0 … τT, τ'0 … τ'T）上的表征所述模型的平滑度的变量（Var）中的最小值。

5.根据权利要求1所述的方法，其中同样根据节点（ξ）在范围（X_l）内的平均密度来选择所述节点（ξ）在范围（X_l）内的密度。

6.根据权利要求4所述的方法，其中在节点（ξ）的平均密度与所述最小值（minVar）的商小于可预设的阈值的情况下，将节点（ξ）的密度增大。

7.根据权利要求1所述的方法，其中根据求得权重（α_i）的时间演化来求得所述数值积分的结果，其中所述权重（α_i）由节点权重（w_i）与在对应的节点（ξ_i）上的概率密度（p）的相应值的乘积得出。

8.根据权利要求1所述的方法，其中根据局部成本函数（r）选择所述长期成本函数（R），其中根据与操纵变量（x）和可预设的额定值（xd）之间的差相关的高斯函数和/或多项式函数选择所述局部成本函数（r）。

9.根据权利要求1所述的方法，其中借助限制函数（σ）将所述操纵变量（u）限制在可预设的操纵变量范围内的值上。

10.一种用于自动设定致动器控制系统的至少一个参数（θ）的学习系统，所述致动器控制系统适于将致动器的控制变量（x）控制至可预设的额定变量（xd），其中所述学习系统适于实施根据权利要求1所述的方法。

11.一种用于自动设定致动器控制系统的至少一个参数（θ）的学习系统，所述致动器控制系统适于将致动器的控制变量（x）控制至可预设的额定变量（xd），其适于实施根据权利要求7所述的方法，其中借助GPU实施所述方法。

12.一种机器可读存储介质，根据实施权利要求1所述的方法的计算机程序存储在所述存储介质上。

13.一种致动器控制系统，其适于将致动器的控制变量（x）控制至可预设的额定变量（xd），其中所述致动器控制系统适于，根据所述至少一个参数（θ）、所述额定变量（xd）和所述控制变量（x）生成操纵变量（u）并且根据所述操纵变量（u）控制所述致动器，其特征在于，所述至少一个参数（θ）是借助根据权利要求1所述的方法设定的。

Images