CN111105037A - 用于通过高斯过程进行机器学习的方法 - Google Patents

用于通过高斯过程进行机器学习的方法 Download PDF

Info

Publication number
CN111105037A
CN111105037A CN201911017023.2A CN201911017023A CN111105037A CN 111105037 A CN111105037 A CN 111105037A CN 201911017023 A CN201911017023 A CN 201911017023A CN 111105037 A CN111105037 A CN 111105037A
Authority
CN
China
Prior art keywords
training
value
determined
computer
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911017023.2A
Other languages
English (en)
Inventor
D.雷布
A.德尔
B.拉基奇
S.格尔温
J.维诺格拉斯卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN111105037A publication Critical patent/CN111105037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01N—GAS-FLOW SILENCERS OR EXHAUST APPARATUS FOR MACHINES OR ENGINES IN GENERAL; GAS-FLOW SILENCERS OR EXHAUST APPARATUS FOR INTERNAL COMBUSTION ENGINES
    • F01N11/00—Monitoring or diagnostic devices for exhaust-gas treatment apparatus, e.g. for catalytic activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

用于通过高斯过程进行机器学习的方法。计算机实现的用于通过高斯过程GP进行机器学习的方法，具有如下步骤：选择精度目标，选择通过超参数来参数化的先验GP族，获得训练数据集，选择GP参数化来建模，在使用训练数据集、先验GP族和精度目标的情况下通过优化PAC贝叶斯界限训练所述GP，并且通过经训练的GP预测接下来的预期的值。

Description

用于通过高斯过程进行机器学习的方法
技术领域
本发明涉及一种用于利用高斯过程进行数据建模的方法；一种利用该方法训练过的系统；一种计算机程序，所述计算机程序包括指令，所述指令设置为，当所述计算机程序在计算机上实施时实施所述方法；一种可机器读取的存储介质，在所述存储介质上存储有计算机程序；和一种计算机，其设置为实施所述方法。
背景技术
如例如从M.Seeger的“PAC-Bayesian Generalization Error Bounds forGaussian Process Classification”(Journal of Machine Learning Research3，233-269(2002))中所已知的那样，高斯过程(GP)可以用于在受监控的学习中进行建模。利用所述高斯过程可以掌握大的数据量，但高斯过程在安全攸关的应用中的使用并不是最优的，因为并不能够确保良好的表现。GP尤其是由于其非参数的特征而是有用的，并且尽管GP作为概率原理的模型具有内在的模糊程度，但是该模糊允许在迄今未处理的数据的情况下不必然推断出GP的效率、例如建模品质。
例如，在通过优化边缘概率(英语：marginal likelihood)拟合大量的超参数时，可以观测所谓的过拟合(英语：overfitting)。尽管完整贝叶斯方程、即利用对超参数边缘化缩小了该风险，但该方程产生不能承受的运行时间，因为相关的预测分布普遍不再可解析地处理。此外，该方法并非自动地得到安全保证或泛化保证(Verallgemeinerungsgarantie)。
发明内容
本发明的优点
具有独立权利要求1的特征的方法是一种用于训练GP和鉴于PAC贝叶斯界限的泛化性能通过直接优化PAC贝叶斯界限来稀疏地(dünnbesetzt)逼近GP的方法。该方法是稳健的并且得到相对于其他传统GP方案显著更佳的泛化保证。尤其是，因为不需要(超)参数的边缘化，所以新方法与具有这种边缘化的方法相比更为高效。
该方法因此不使用完整的贝叶斯方案以避免过拟合，而是代替于此使泛化界限最小化，以便确保不出现过拟合。由此避免计算密集的边缘化。
公开了用于GP模型的新类型的学习目标，其为了将来的预测允许严谨的和数量上良好的性能保证。这种严谨的保证是统计学习原理的对象。然而由于用于GP的经典的均匀学习保证作为非参数的模型不提供断言，所以这种对学习的保证不能在这些模型的情况下使用。代替于此，传统的优化目标是经验的风险最小化(英语(regularized)empiricalrisk minimization(ERM)((正则化)经验风险最小化))、最大概率估计(MLE)或变分推断(VI)。
而更好的非均匀保证在PAC贝叶斯原理内开发(PAC＝英语：Probablyapproximately correct，概率近似正确)。所述保证特别根据概率原理的方法如GP来定制，并且可以提供窄的泛化界限，如例如在GP分类、概率原理的支持向量机器方法(SVM)、线性分类器或随机神经网络中。
到目前为止，PAC贝叶斯界限大多用于泛化性能的结论评估，而几乎不通过PAC贝叶斯界限的优化来检查学习。
本公开将PC贝叶斯界限用于GP的训练，例如用于回归情况、用于分类或其他类型的受监控的学习。尤其是，作为基本的用于保证良好泛化的方法，提出通过将PAC贝叶斯上限B(Q)直接最小化到预测器的真正未来风险R(Q)上来学习完全的和稀疏的GP预测器Q。
在此，在PAC贝叶斯原理中的KL散度(Kullback-Leibler散度)KL(Q‖P)对于许多GP对P、Q当其具有相同的超参数时可以解析地评估。这尤其是涉及常见的稀疏的GP变量，如例如“Deterministic Training Conditional(DTC)(确定性训练条件)”、“FullyIndependent Training Conditional(FITC)(完全独立的训练条件)”和“VariationalFree Energy(VFE)(变分自由能)”。它们因此可以用于新的PAC贝叶斯学习方法，其中在计算稀疏GP时的优点与原理性保证组合。在此，在PAC贝叶斯界限中不同的可能类型的参数(超参数、感应的点、观测噪声、自由形式参数)中的仅仅一些造成增大。根据公开内容， GP学习直接基于反二进制KL散度并且不基于到目前为止所使用的更宽松的界限，如其例如由Pinsker不等式产生的那样。
GP学习方法可以如上文所提到地例如使用在归回任务中，而PAC贝叶斯界限到目前为止仅被使用在分类情况中。然而因为PAC贝叶斯界限对于具有可能不受限的损失函数的回归而言要求关于(未知的)数据分布的子高斯假设，所以使用用于回归的一般的受限的损失函数，以便如在正则PAC原理中那样保持分布自由。
该学习目的展现了稳健的优化特性并且类似其他GP方法地缩放至更大的数据集。在实际应用中，通过公开的方法展现出更好的风险界限，在许多情况下与传统方法相比和相对于传统方法改善了两倍的保证，其中感应点的数量提高。
GP的强度在于，GP由于其非参数的特征可以与不同的数据大小匹配。
本发明的公开内容
在一般的PAC贝叶斯原理中和在按标准的受监控的学习中，使用具有N个训练数据(xi，yi)∈X×Y(i＝1，...，N)的集S，以便在假设空间
Figure RE-GDA0002362359690000031
中进行训练，所述假设空间是函数X→Y的空间的子集。允许如下学习算法，该学习算法代替单个假设h输出关于假设
Figure RE-GDA0002362359690000032
的分布Q。为了量化假设h描述数据有多好，将受限的损失函数l：Y×Y→[0，1]假设为是给定的，所述损失函数在不限制一般性的情况下假定归一化到区间[0，1]上。
Figure RE-GDA0002362359690000033
测量预测
Figure RE-GDA0002362359690000034
多好地将实际输出参量y*逼近输入参量x*。假设h的经验风险RS(h)于是定义为平均训练损失
Figure RE-GDA0002362359690000035
如在传统PAC原理中那样，假设(未知的)基于数据集X×Y的分布μ＝μ(x，y)并且将(真实)风险定义为R(h)：＝∫dμ(x，y)l(y，h(x))。为了量化输出关于假设的分布Q的随机学习算法的品质，经验的风险和真实的风险如下定义：
[等式A：]
Figure RE-GDA0002362359690000036
[等式B：]
Figure RE-GDA0002362359690000037
利用上述等式表达针对训练分布或实际分布的平均损失，所述平均损失也称作Gibbs风险，其中在预测之前从分布Q中得到假设h。
在下文中探讨回归情况，即
Figure RE-GDA0002362359690000038
是实数的集合。针对该情况的损失函数例如是
Figure RE-GDA0002362359690000039
其中函数r±规定区间，在该区间之外预测
Figure RE-GDA00023623596900000310
视为不足的。类似于ε支持向量回归，在此情况下例如可以使用r±(y*)：＝y*±ε，其中在训练之前规定的期望精度目标ε＞0。在任何情况下，期望值都经由在等式A和B中的h～Q减小到一维积分，因为 h(x*)在每个x*处都是实数值的随机变量。
代替随机预测器h(x*)其中h～Q，有时对确定性的贝叶斯预测器
Figure RE-GDA00023623596900000311
感兴趣。在 GP回归中，该确定性的贝叶斯预测器简单地等于输入值x*处的预测平均值
Figure RE-GDA00023623596900000312
对应的贝叶斯风险定义为
Figure RE-GDA00023623596900000313
尽管PAC贝叶斯原理并不直接得到针对RBay(Q)的界限而是仅仅得到针对R(Q)的界限，但是可容易看出，如果
Figure RE-GDA00023623596900000317
在
Figure RE-GDA00023623596900000314
中近似凸面并且
Figure RE-GDA00023623596900000315
的分布关于其平均值对称(例如高斯分布)，则RBay(Q)≤2R(Q)。因此，在
Figure RE-GDA00023623596900000316
以下的针对R(Q)的上限B(Q)隐含针对RBay(Q)≤2B(Q)＜1的非平凡的界限。
在下文中应通过使合适的风险界限最小化来训练GP Q。由于GP的概率原理的特征，使用用于随机预测器的泛化界限，所述泛化界限本来就常常得到比用于确定性预测器的泛化界限更好的保证。在此，使用PAC贝叶斯界限。
PAC贝叶斯原理为：针对值在区间[0，1]中的每个损失函数l，针对每个分布μ，针对所有
Figure RE-GDA0002362359690000041
针对关于假设集合
Figure RE-GDA0002362359690000042
的每个分布P和针对每个δ∈(0，1]，以下具有至少 1-δ的概率的等式适合于训练数据S～μN的集：
[等式C：]
Figure RE-GDA0002362359690000043
根据随机预测器Q的基于训练数据集S的经验风险RS(Q)为该原理给出针对随机预测器Q 的真实风险R(Q)的概率原理的上限(泛化保证)。这要求，在使用训练数据的集S之前确定在假设空间
Figure RE-GDA0002362359690000044
中的分布P，并且适合于
Figure RE-GDA0002362359690000045
上的每个分布Q的真实风险R(Q)。在下文中，根据传统的术语表，在PAC贝叶斯环境中P也称先验分布(即在先的分布)并且Q也称后验分布(即较晚的分布)。界限包含如下项，该项可以解释为假设分布Q的复杂度，即KL散度(Kullback-Leibler散度)
Figure RE-GDA0002362359690000046
其中值在[0，+∞]中。界限也包含二进制KL散度
Figure RE-GDA0002362359690000047
针对q，p∈[0，1]定义，确切而言其关于第二自变量(针对q∈[0，1]，ε∈[0，∞]))的(上方的)取反kl-1：
[等式D：]kl-1(q，ε)：＝max{p∈[0，1]：kl(q||p)≤ε}，
该第二自变量等于明确地确定的p∈[q，1]，其满足kl(q||p)＝ε。
等式D的右侧可以向上通过
Figure RE-GDA0002362359690000051
限制，然而该公式大于1并且由此可以表示平凡的(trivial)界限。此外，完整的PAC贝叶斯原理同时得到R(Q)的下限，然而该下限并不重要，因为这里应实现使风险上限最小化。尽管可以实现所述界限的进一步精细化(但所述精细化只是边缘的)，但这里还考虑来自等式C的无参数的界限。
如果通过θ∈Θ参数化的可数的族Pθ用于具有超参数的GP学习，则可以将上述分析泛化，其方式是：确定关于Θ的概率分布pθ并且先验分布定义为P：＝∑θpθPθ。如果Θ是有限集合，则均匀分布
Figure RE-GDA0002362359690000052
是典范的选择。如果使用如下情形：
Figure RE-GDA0002362359690000053
适用于每个θ∈Θ，则PAC贝叶斯原理得到在关于 S～μN的至少1-δ的概率的情况下，如下等式适用：
[等式E：]
Figure RE-GDA0002362359690000054
来自等式E的界限同时适用于所有Pθ和所有Q。因此，不仅可以关于θ而且可以关于Q来优化，以便获得具有至少1-δ的置信的最佳泛化保证。B(Q)在此用于训练。
本发明的示例性的应用例如是对车辆在实际行驶运行中的排放(RDE排放)的建模。在此情况下，可以获得对于排放的可靠的保证，即可以确保，排放以大概率不超过边界值G。
另一应用例如是对自主车辆的评价。代替排放在此情况下评价危险状态的定量的量度(Maβ)，其不允许超过边界值。该量度例如表明，车辆的各个系统具有何种状态，例如不应超过距道路边缘的最小间距(例如0.1米)，或距任意其他车辆的最小间距(例如0.2 米)。
另一应用例如是预测电池组的充电状态或基于历史数据预测电池组的剩余运行持续时间，如例如从最后一次充电循环起的使用，或环境数据，如例如温度、负荷或充电电流。
另一应用例如是雨刷器的生产，其中，其中一个预测器Q利用来自生产线的大量数据来训练。由此，可以以高可靠性来预测，生产线在接下来的时间段(例如在接下来的30分钟中)多稳定地工作。
因此在本发明的一个方面中提出了一种用于确定至少部分利用内燃机驱动的机动车在实际行驶运行中的排放值(英语：Real Driving Emissions(RDE)(实际行驶排放))的方法。在此情况下，提供表征机动车的行驶周期的轨迹。所述轨迹可以借助传感器被实际记录，或是计算机生成的。现在，对于可靠地确定排放值决定性的是，提供借助所描述的学习方法训练过的高斯过程。由此，对所确定的排放值的保证是可行的。
为此，借助GP确定机动车在驶过所提供的轨迹时的相应的排放值，并且在实际行驶运行中的排放值根据所确定的排放值来确定。即，所提供的轨迹优选是实际在实际行驶运行中可能的轨迹的统计学上合适的采样，使得特别可靠地确定在实际行驶运行中的排放值。
在另一方面中，提出了一种用于确定技术设备的可靠性的方法。在此情况下，提供技术设备的运行周期，也即技术设备的运行状态的时间序列。可靠性例如可以是表征技术设备的失效安全性的参量，或是表征技术设备的运行安全性的参量。现在，对于可靠地确定可靠性决定性的是，提供借助所描述的学习方法训练过的高斯过程。该高斯构成设置为，根据输送给其的轨迹确定如下参量，所述参量表征所述技术设备在驶过相应的输送给所述技术设备的轨迹时的可靠性。借助所述GP在驶过所提供的轨迹时确定参量并且根据所确定的参量确定可靠性。由于所使用的训练方法，关于如此确定的可靠性做出安全断言是可行的。
在另一方面中，然后可以提出一种用于运行技术设备的方法，其方式是所提供的轨迹中的至少一个轨迹是实际由技术设备驶过的轨迹，并且其中根据所确定的可靠性相应地操控技术设备。
如果确定了所确定的可靠性表明担心技术设备失灵，例如因为所确定的表征可靠性的数值离开表征为“安全”的可预设的范围，则技术设备可以转变到安全的运行模式中。
附图说明
本发明的实施例在附图中示出并且在后续的描述中予以详细阐述。其中：
图1示出了根据本发明的用于训练高斯过程的方法的流程100。
具体实施方式
根据上面的阐述，在回归
Figure RE-GDA0002362359690000071
中损失函数的几个示例：
Figure RE-GDA0002362359690000072
Figure RE-GDA0002362359690000073
针对几个所选择的ε＞0；和
Figure RE-GDA0002362359690000074
针对几个所选择的函数
Figure RE-GDA0002362359690000075
在分类时，示例性的损失函数是
Figure RE-GDA0002362359690000076
(在二进制情况下 y∈{-1，+1})。
在此有利的是，能够例如解析地或以足够的数字精度(针对所有固定的x，y)来计算或有效地近似
Figure RE-GDA0002362359690000077
和其与关于v∈的单变量高斯分布
Figure RE-GDA0002362359690000078
的平均值a和方差b有关的导数。这可以针对所有上述的损失函数部分通过使用误差函数来实现。
根据图1，在利用GP建模时通过正定的核K：
Figure RE-GDA0002362359690000079
和在输入集X上的平均值函数m：
Figure RE-GDA00023623596900000710
规定先验分布
Figure RE-GDA00023623596900000711
在传统的完整GP 回归中，在假定训练初始数据
Figure RE-GDA0002362359690000081
以无关和相同地分布的高斯概率
Figure RE-GDA0002362359690000082
是fN＝(f(x1)，...，f(xN))的带有干扰的版本，于是选择经学习的分布Q作为贝叶斯后验分布。在该假设的情况下，Q又是GP：
[等式F：]
Figure RE-GDA0002362359690000083
Figure RE-GDA0002362359690000084
其中
Figure RE-GDA0002362359690000085
和mN＝(m(x1)，...，m(xN))。使用等式F，以便针对新输入值x*∈X进行f(x*)的(随机)预测。
在PAC贝叶斯界限的环境中，重要的是，针对每个按照等式F具有先验分布P和对应的后验分布Q的完整的GP，在上述原理和在等式F中出现的KL散度KL(Q||P)可以根据有限维的(N维的)矩阵来确定。这能够实现有效地确定PAC贝叶斯界限并且基于此通过所述PAC贝叶斯界限的优化来训练GP。更确切而言，可以容易地表明：这样的P和Q具有相同的条件分布P(f|fN)＝Q(f|fN)，因此直接计算得到
Figure RE-GDA0002362359690000086
这不同于等式F中的Q(f)与yN或σn无关。由此，适用
[等式G：]KL(Q||P)＝KL(Q(fN)Q(f|fN)||P(fN)P(f|fN))＝KL(Q(fN)||P(fN))
[等式H：]
Figure RE-GDA0002362359690000091
其中在最后的步骤中使用在正态分布
Figure RE-GDA0002362359690000092
和
Figure RE-GDA0002362359690000093
之间的KL散度的已知公式并且执行简单的化简。
完整GP的训练目标是针对对先验分布
Figure RE-GDA0002362359690000094
的族进行参数化的超参数θ和针对噪声水平σn选择“良好的”值。这些值接着被用于利用来自等式F的对应的后验分布
Figure RE-GDA0002362359690000095
进行预测。根据
Figure RE-GDA0002362359690000096
的二次指数核在此情况下可以被使用，其中
Figure RE-GDA0002362359690000097
是信号方差并且li是长度尺度，并且将平均值函数置于零。超参数是
Figure RE-GDA0002362359690000098
(SE-ARD-核)或当所有长度尺度 l1＝…＝ld≡l假设为相等(非ARD)时是
Figure RE-GDA0002362359690000099
该方法现在在于，参数θ和σn通过使来自等式E的上限
Figure RE-GDA00023623596900000910
最小化来训练，并且因此选择具有最好的泛化性能保证的GP预测器
Figure RE-GDA00023623596900000911
所述泛化性能保证通过PAC贝叶斯界限来保证。在此情况下，σn不是超参数，因为先验分布Pθ与σn无关，并且σn因此对增强表达
Figure RE-GDA00023623596900000912
ln|Θ|无贡献；确切而言参数σn是在后验分布
Figure RE-GDA00023623596900000913
中的自由参数。两个项
Figure RE-GDA0002362359690000101
和
Figure RE-GDA0002362359690000102
(来自等式H)以及其导数可以高效地计算，使得基于梯度的优化可以用于使关于θ和σn的等式F的右侧
Figure RE-GDA0002362359690000103
最小化。
经训练的超参数θ可以从离散集合Θ选择，所述离散集合必须与训练数据S无关地规定。这通过如下方式实现，即ln θ＝(ln θ1，...，ln θT)的T分量中的每一个在基于梯度的最小化之后离散化到网格状的(G+1)元的集合
Figure RE-GDA0002362359690000104
的接下来的点上，使得在优化目标
Figure RE-GDA0002362359690000105
中使用
Figure RE-GDA0002362359690000106
SE-ARD核包括 T＝d+1参数，而标准SE核包括T＝2参数。示例性地，ln Θ的每个分量可以四舍五入到在范围[-6，+6]中的两个小数位上，即L＝6，G＝1200。这样的离散化常常对
Figure RE-GDA0002362359690000107
的预测品质有可忽略的影响，而较粗的离散化(即较小的|Θ|)常常既不显著地改善界限也不显著地改善优化。
核函数、平均值函数或超参数的离散集合的示例是如下，其中
Figure RE-GDA0002362359690000108
其中输入维度d∈ -m(x)＝0(标准平均值函数)。
-m(x)通过关系
Figure RE-GDA00023623596900001012
的物理模型给定。
Figure RE-GDA0002362359690000109
其中超参数是
Figure RE-GDA00023623596900001010
并且||·||表示
Figure RE-GDA00023623596900001011
中的欧几里德间距(或马哈拉诺比斯距离)。
Figure RE-GDA0002362359690000111
其中超参数是
Figure RE-GDA0002362359690000112
-针对离散化Θ，每个分量θi可以如下离散化到θ：
Figure RE-GDA0002362359690000113
其中L＞0和G∈，例如L＝6，G＝1201，使得 |Θ|≤7.1×(θ的分量的数量)，其中|Θ|表示离散化集Θ的大小(基数)。
应指出的是，在训练数据集已知之前，应采取到目前为止的选择以便保证一致的学习结果。因此，可以考虑训练数据集的以后不应用于训练的部分。所采取的选择也可以与S 有关，但经学习的假设可能并不服从通过训练目标建议的一致的保证。
尽管事实是等式E中的界限以置信值1-δ适于来自先验GP族中的每个Pθ和每个分布Q，但在前面的阐述中在使用来自等式F的Pθ和对应的
Figure RE-GDA0002362359690000114
之后上限仅仅关于参数θ，σn优化。有效地计算KL(Q||P)(其中依靠特性Q(f|fN)＝P(f|fN)以及P(fN)和 Q(fN)的高斯形式(参见等式G和H))的必要性起有限作用。然而，基于这两个要求，可以考虑GP的通用对P，Q连带可有效计算的KL(Q||P)，使得可以更广泛地应用学习方法，尤其也应用于稀疏的GP方法。
代替如上文从训练集S获取的点x1，...，xN，从输入空间中可以选择任意数量M的点
Figure RE-GDA0002362359690000115
这些点也称感生的点。此外，每个高斯分布
Figure RE-GDA0002362359690000121
可以根据函数值fM：＝(f(z1)，...，f(zM))来选择，其中每个
Figure RE-GDA0002362359690000122
并且正半定矩阵
Figure RE-GDA0002362359690000123
关于fM的分布Q可以通过使用来自先验分布的条件分布Q(f|fM)＝P(f|fM)而扩展到来自X的所有输入参量上(参见上文)。这得到如下预测性的GP：
[等式I：]
Figure RE-GDA0002362359690000124
Figure RE-GDA0002362359690000125
其中
Figure RE-GDA0002362359690000126
和mM：＝(m(z1)，...，m(zM))。在与针对等式G和H类似的理由的情况下得到：
[等式J：]
Figure RE-GDA0002362359690000127
Figure RE-GDA0002362359690000128
因此，在等式E中可以有效地优化先验分布Pθ和相关的后验分布
Figure RE-GDA0002362359690000129
其方式是：感应点的数量M和位置z1，...，zM以及参数aM和BMM与超参数θ一起变化。优化可以通过使用Sherman-Morrison-Woodbury公式组织为，使得与针对如上文所描述的完整 GP的O(N3)和O(N2)相比，针对每个梯度步骤需要时间O(NM2+M3)和存储器 O(NM+M2)。针对M＜＜N，产生大的节省。
几个传统的稀疏的GP方法是上述公式的特殊情况，其方式是根据训练数据集S选择确定的aM和BMM，使得仅仅可自由选择感应点z1，...，zM和几个其他参数，如例如
Figure RE-GDA0002362359690000131
[等式K：]
Figure RE-GDA0002362359690000132
其中
Figure RE-GDA0002362359690000133
其中
Figure RE-GDA0002362359690000134
Figure RE-GDA0002362359690000135
和Λ＝diag(λ1，...，λN)是对角线N×N矩阵，该矩阵的项是
Figure RE-GDA0002362359690000136
如果设置α＝1，则这对应于FITC近似，而α＝0得到根据VFE和DTC的方法。替选地，也可以利用α在两个选项之间线性地内插。稀疏的GP的另一形式对应于BMM＝0，在所述稀疏的GP中潜在的函数值fM是固定的并且通过其并未边缘化，然而这经由等式J导致发散的KL(Q||P)＝∞并且因此导致在等式 C和E中的平凡界限。
用于稀疏的GP的学习方法于是遵循与上文介绍的相同步骤：针对在优化等式E之后适当地离散化的超参数θ，必须估算增强项
Figure RE-GDA0002362359690000137
在此应注意的是，θ仅仅包含先验超参数，但不包含来自等式K的参数z1，...，zM，aM，BMM，σn，α，所述等式K同样被优化。数量M同样可以变化并且在此确定计算资源。此外，优化不仅可以离散地或连续地实施。在关于正半定矩阵BMM优化时，可以使用参数化BMM＝LLT连带下三角矩阵
Figure RE-GDA0002362359690000141
优化目的和优化方法的示例例如是关于连续的参数θ，ρ的B(Q)的基于梯度的优化，其中尽管如此θ必须在预定义的集Θ中具体化。在此情况下，不需要离散化所获得的值ρ。对于θ，ρ也可以应用其他选择方法：每个选择都得到对于泛化风险R(Q)的有效上限(参见等式 B)。用于损失函数和其导数的上述示例的整体对于RS(Q)是有用的。也可以计算或分析导数kl-1(针对基于梯度的优化)。此外，也可以使用弛豫的(即较大的)目标如例如 BPin(Q)，而不是B(Q)。
关于本发明的应用，在对车辆在实际行驶运行中的排放(RDE排放)建模时例如在如下参数下获得对排放的可靠保证，即确保排放以大的概率不超过边界值G：
上述方法可以与损失函数
Figure RE-GDA0002362359690000142
一起使用以便给出在典型行驶周期中 RDE排放的严格保证。RDE排放可以关于所选的阈值G变化。在此情况下，在第一步骤中需要数量为D的行驶周期，所述行驶周期对于行驶周期分布(具有精度δTV，例如在整个变化距离中)是典型的，针对所述行驶周期分布要执行RDE验证。这些行驶周期可以源自之前记录的行驶周期集和/或由其产生。该方法能够实现可以继续RDE验证，而不必测量在实际测试行驶时的排放(实际测试行驶仅能够受限地针对每种特定的发动机布置实施)。该方法从步骤1中的和在步骤2中在对排放进行仿真时的多个典型的行驶周期的可用性获益。
GP在使用训练集的情况下来训练，这可以包括该方法的步骤110至150，所述训练集对于待测试的发动机布置而言是特定的。GP Q被输出，其可以针对每个行驶周期x输出(相关的)排放
Figure RE-GDA0002362359690000143
ε表示GP建模精度(损失函数
Figure RE-GDA0002362359690000144
)并且δ∈(0，1] 表示用于建模的置信参数。
在步骤1中现在例如从之前记录的集选择或通过行驶周期发生器产生数量为D的行驶周期x1，...，xD，所述行驶周期对于RDE行驶周期分布是典型的，具有精度δTV。于是，选择阈值G，例如目标排放值。
在可以包括步骤160的多次实施的步骤2中，针对行驶周期x1，...，xD中的每一个使用GP，以便预测排放
Figure RE-GDA0002362359690000151
在包括保证的分析和确定的步骤3中，在使用统计标准技术(尤其Clopper-Pearson Lemma)的情况下可以从数量为d的所预测的超过值G-ε的排放
Figure RE-GDA0002362359690000152
连带D，δ，δTV和其他置信水平δCP中给出对于违反RDE要求的典型行驶周期的部分的严格保证(上限)。当δ，δTV，δCP为小时，该保证可以以高概率存在。
在评价自主车辆时，评价危险状态的定量量度，该定量量度不允许超过边界值。这例如表明，车辆的各个系统具有何种状态，例如不应低于距道路边缘的最小间距(例如0.1米)或距任何其他车辆的最小间距(例如0.2米)。
在此情况下，与上文相比通过危险性的定量量度替代排放(即真实的排放值y，所预测的排放值
Figure RE-GDA0002362359690000153
和排放阈值G)，所述定量量度例如表明自主行驶的系统(或其子系统之一)距故障的状态多近。这样的量度必须在考虑到具体应用的情况下来选择，例如距道路边缘的最小间距，其在每个行驶周期中不允许低于特定的阈值，例如0.1米。或者距任意其他在道路上的车辆的最小间距在每个行驶周期中不允许低于特定的阈值，例如0.2米。
针对数量为D的所选择的行驶周期可以预测危险值，使得通过GP方法可以获得针对危险值的严格保证(直至±ε，并且其中概率≥1-δ)。随后同样可以通过统计标准技术(尤其是Clopper-Pearson Lemma)获得保证。
在使用对于要测试的自主行驶的系统特定的训练集的情况下来训练GP，这可以包括该方法的步骤110至150。输出GP Q，其可以针对每个行驶周期x输出危险值
Figure RE-GDA0002362359690000161
ε表示GP建模精度(损失函数
Figure RE-GDA0002362359690000162
)，并且δ∈(0，1]表示用于GP建模的置信参数。
在步骤1中，现在例如从之前记录的集中选择或通过行驶周期发生器产生数量为D的行驶周期x1，...，xD，所述行驶周期是典型的行驶周期，具有精度δTV。随后，选择阈值 G，例如代表危险量度。
在可以包括步骤160的多次实施的步骤2中，针对行驶周期x1，...，xD中的每一个使用GP，以便预测危险值
Figure RE-GDA0002362359690000163
在包括保证的分析和确定的步骤3中，在使用统计标准技术(尤其Clopper-Pearson Lemma)的情况下可以从数量为d的所预测的超过值G-ε的排放
Figure RE-GDA0002362359690000164
连带D，δ，δTV和其他置信水平δCP中给出对于超过危险值G的典型行驶周期的部分的严格保证(上限)。当δ，δTV，δCP为小时，该保证可以以高概率存在。
该方法也可以应用以便基于历史数据(如例如从最后一次充电周期起的使用或环境数据如例如温度、负荷或充电电流)预测电池组的充电状态或其剩余运行持续时间。
为此，基于输入值x(例如电池组历史、环境参数)和对应的输出值y(例如充电状态、剩余运行持续时间)的多次(N)测量来训练GP Q，这可以包括该方法的步骤110至 150。作为损失函数可以使用
Figure RE-GDA0002362359690000165
具有精度目标ε和期望的置信参数δ。该训练步骤仅仅在开始时实施。后续的步骤可以实施为循环，直至电池组运行持续时间结束。
在步骤1中，在具体应用中如例如电池组运行的车辆中，例如从传感器或存储器设备读入输入值x。这样的输入值以传统方式在该方法运行时间期间重复地接收。
在步骤2中，通过经训练的GP从输入值x中预测输出值
Figure RE-GDA0002362359690000171
在步骤3中，如果所预测的
Figure RE-GDA0002362359690000172
超过或低于之前所选的阈值G，则给出信号(例如报警灯)，以便向用户报警，所述用户通过例如关断消耗器(如例如无线电或空调设备)或切换到或接入到替选的能量源(如例如混合驱动车辆中的内燃机)改变电池组负荷。
在步骤1之前进行的GP学习算法的本质确保了，针对每个预测
Figure RE-GDA0002362359690000173
具有最小概率 1-δ的算法最大算错值±ε。因此，可以给出统计保证，使得如果实际电池组状态(即实际输出值y)低于G-ε，则不进行在步骤3中触发的处理，并且相反地，如果电池组状态高于 G+ε，则在步骤中触发处理。因此可以确保系统如所规定地工作。
在雨刷器的生产中，以来自生产线的大量数据训练预测器Q。由此，可以以高可靠性预测，在接下来的时间段中(例如在接下来的30分钟中)生产线将多稳定地工作。因此，可以使用上文所描述的用于GP建模的方法(该方法在有新数据的情况下提供关于预测性能的可证明的统计保证)，以便从大量的生产线数据(从例如雨刷器生产)中训练GP预测器 Q，以便预测，在即将来临的时长(例如接下来的30分钟)中生产线将多稳定。在预测生产线将足够稳定地工作时(即距GP损失函数有足够大的间距ε和距PAC贝叶斯目标有足够大的置信值1-δ)，监控人员可以减小其注意力或维护工作力度，并且跟踪其他作业或插入停顿。
因为静止状态造成高费用，因此仅当存在关于生产线的正确运行方式的严格保证时考虑减小监控工作力度。这通过上文所描述的学习方法来实现。在此情况下，应注意任务中的不对称性：如果生产线故障，监控的减小可造成潜在高的一次性费用，而连续的监控在尽管生产线完美地运转的情况下具有小得多的灾难性的结果。
为此，基于输入值x(例如温度T和与生产机器有关的参数κ)和对应的输出值y(例如所生产的部件的质量)的多次(N)测量在第一步骤中训练GP Q，这可以包括该方法的步骤110至150。作为损失函数可以使用
Figure RE-GDA0002362359690000181
具有精度目标ε和期望的置信参数δ。该训练步骤仅仅在开始时实施，但必要时以后可以以后在循环中以更大的数据基础重复。
在步骤2中，经训练的GP在当前所预测的温度发展中和针对不同的可设定的参数设定κi来分析，以便针对接下来的M个玻璃片找出最优的(良好的)参数设定κ，使得达到(i)低的所预测的次品率(GP手段)和(ii)经训练的GP具有低的所保证的损失(即适用的预测)。
在步骤3中，为(人类)操作人员建议用于接下来的M个要制造的玻璃片的参数κ。此外，使操作人员能接触到置信估计，所述置信估计关于GP预测多可靠地能在时间窗M 中达到所估计的低次品率。
如果该置信估计达到或超过预设定的值，则例如绿色灯可发光。操作人员现在可以基于置信估计判断，是否可以让机器无人看管。
在步骤4中，在机器如所设定的那样工作和生产新的部件之后，可以测量新的部件的质量，并且测量y可以作为附加的数据用于利用放大的训练数据来重新或进一步训练GP。由此，GP预测随时间变得更好，尤其是在GP起初并不精确或可靠地预测的参数空间的部分中。
随后，要么可以遵循步骤1，否者在循环中重新遵循步骤2和3。

Claims (15)

1.计算机实现的用于确定至少部分地以内燃机驱动的机动车在实际行驶运行中的排放值（英语：“Real Driving Emissions（实际行驶排放，RDE）”）的方法，其中提供表征所述机动车的行驶周期的轨迹，并且其中提供高斯过程GP，所述高斯过程根据输送给其的轨迹确定机动车在驶过相应的输送给所述机动车的轨迹时的排放，并且其中借助所述GP确定机动车在驶过所提供的轨迹时的相应的排放值，并且其中在实际行驶运行中的排放值根据所确定的排放值来确定，其特征在于，在使用训练数据集、先验GP族和精度目标的情况下通过优化PAC贝叶斯界限（150）从GP参数化中训练所述GP。
2.计算机实现的用于确定技术设备的可靠性的方法，所述技术设备尤其是机动车的机组，其中提供表征所述技术设备的运行周期、尤其是机动车的行驶周期的轨迹，并且其中提供高斯过程GP，所述高斯过程根据输送给其的轨迹确定如下参量，所述参量表征所述技术设备、尤其是机动车的机组在驶过相应的输送给所述技术设备的轨迹时的可靠性，并且其中借助所述GP分别根据所提供的轨迹确定所述参量，并且其中根据所确定的参量确定可靠性，其特征在于，在使用训练数据集、先验GP族和精度目标的情况下通过优化PAC贝叶斯界限（150）从GP参数化中训练所述GP。
3.根据权利要求2所述的方法，其中所述技术设备是机动车的机组，并且所述机组包括用于至少半自主地运行所述机动车的系统和/或用于为所述机动车的电动机馈电的电池组。
4.根据权利要求2所述的方法，其中所述技术设备是生产机器。
5.用于运行技术设备的方法，其中借助根据权利要求2至4中任一项所述的方法确定所述技术设备的可靠性，其中所提供的轨迹中的至少一个包括实际由技术设备驶过的轨迹，并且其中根据所确定的可靠性相应地操控所述技术设备。
6.根据权利要求5所述的方法，其中当所确定的可靠性表明担心所述技术设备失灵时，所述技术设备转变到安全运行模式中。
7.根据权利要求1至6中任一项所述的计算机实现的方法（100），其中所述方法（100）还包括如下步骤：
在训练GP之前选择精度目标（110）；
在训练GP之前选择先验GP族（120），所述先验GP族通过超参数来参数化；
在训练GP之前获得训练数据集（130）；
在训练GP之前选择用于建模（140）的GP参数化；
响应于新的输入值
Figure DEST_PATH_IMAGE001
的获得通过经训练的GP预测（160）接下来的预期的值。
8.根据权利要求1至7中任一项所述的计算机实现的方法（100），其中所述精度目标可以包括损失函数和置信参数，其中所述损失函数与建模任务有关，其中所述建模任务是分类、回归或受监控学习的其他任务中的一项。
9.根据权利要求1至8中任一项所述的计算机实现的方法（100），其中用于建模（140）的GP参数化是完整GP、自由的稀疏GP或稀疏GP的特定参数化中的一项，所述稀疏GP的特定参数化如例如确定性训练条件DTC、完全独立的训练条件FITC或变分自由能VFE。
10.根据权利要求1至9中任一项所述的计算机实现的方法（100），其中所述超参数对核函数和平均值函数进行参数化并且超参数的可能值在预定义的表中。
11.根据权利要求1至10中任一项所述的计算机实现的方法（100），其中借助GP所预测的值是如下之一：
车辆在实际行驶运行中的排放（英语：“Real Driving Emissions（实际行驶排放，RDE）”），
自主车辆的危险状态的定量值，
涉及电池组的充电状态或电池组的剩余运行持续时间的值，和
涉及生产和尤其是雨刷器的生产的值。
12.包括GP的系统，在使用训练数据集、先验GP族和精度目标的情况下通过优化PAC贝叶斯界限（150）从GP参数化中训练所述GP。
13.计算机程序，其包括指令，所述指令设置为当所述计算机程序在计算机上实施时实施根据权利要求1至11中任一项所述的方法。
14.机器可读的存储介质，在其上存储有根据权利要求13所述的计算机程序。
15.设置为执行根据权利要求1至11中任一项所述的方法的设备。
CN201911017023.2A 2018-10-25 2019-10-24 用于通过高斯过程进行机器学习的方法 Pending CN111105037A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018218263.9 2018-10-25
DE102018218263.9A DE102018218263A1 (de) 2018-10-25 2018-10-25 Verfahren zum Maschinenlernen durch Gaußsche Prozesse

Publications (1)

Publication Number Publication Date
CN111105037A true CN111105037A (zh) 2020-05-05

Family

ID=70416795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911017023.2A Pending CN111105037A (zh) 2018-10-25 2019-10-24 用于通过高斯过程进行机器学习的方法

Country Status (2)

Country Link
CN (1) CN111105037A (zh)
DE (1) DE102018218263A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505936A (zh) * 2020-06-09 2020-08-07 吉林大学 一种基于高斯过程pid控制参数的自动安全整定方法
CN113111928A (zh) * 2021-04-01 2021-07-13 中国地质大学（北京） 一种基于地学数据库的半监督学习矿产资源定量预测方法
CN113236403A (zh) * 2021-04-13 2021-08-10 联合汽车电子有限公司 混合气偏差自学习方法、系统以及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651134A (zh) * 2020-12-29 2021-04-13 浙江天行健智能科技有限公司 基于高斯过程回归的转向路感模拟方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505936A (zh) * 2020-06-09 2020-08-07 吉林大学 一种基于高斯过程pid控制参数的自动安全整定方法
CN111505936B (zh) * 2020-06-09 2021-10-01 吉林大学 一种基于高斯过程pid控制参数的自动安全整定方法
CN113111928A (zh) * 2021-04-01 2021-07-13 中国地质大学（北京） 一种基于地学数据库的半监督学习矿产资源定量预测方法
CN113111928B (zh) * 2021-04-01 2023-12-29 中国地质大学（北京） 一种基于地学数据库的半监督学习矿产资源定量预测方法
CN113236403A (zh) * 2021-04-13 2021-08-10 联合汽车电子有限公司 混合气偏差自学习方法、系统以及可读存储介质
CN113236403B (zh) * 2021-04-13 2022-03-11 联合汽车电子有限公司 混合气偏差自学习方法、系统以及可读存储介质

Also Published As

Publication number Publication date
DE102018218263A1 (de) 2020-04-30

Similar Documents

Publication Publication Date Title
CN111105037A (zh) 用于通过高斯过程进行机器学习的方法
Jouin et al. Particle filter-based prognostics: Review, discussion and perspectives
KR102468895B1 (ko) 배터리의 상태를 추정하는 방법 및 장치
Khelif et al. RUL prediction based on a new similarity-instance based approach
EP3722894B1 (en) Control and monitoring of physical system based on trained bayesian neural network
EP3250965B1 (en) Methods and systems for detecting, classifying and/or mitigating sensor error
Louen et al. A new framework for remaining useful life estimation using support vector machine classifier
CN102859158A (zh) 用于计算控制用的输出参量的控制设备和方法
CN112149821A (zh) 用于估计神经网络的全局不确定性的方法
Adhikari et al. Machine learning based data driven diagnostics & prognostics framework for aircraft predictive maintenance
Yan et al. Low-cost adaptive lebesgue sampling particle filtering approach for real-time li-ion battery diagnosis and prognosis
Chen et al. Predicting air compressor failures using long short term memory networks
Yongxiang et al. An ensemble model for engineered systems prognostics combining health index synthesis approach and particle filtering
EP3783538A1 (en) Analysing interactions between multiple physical objects
CN117330963B (zh) 储能电站故障检测方法、系统及设备
TV et al. Data-driven prognostics with predictive uncertainty estimation using ensemble of deep ordinal regression models
US20210133567A1 (en) Determining an output signal by aggregating parent instances
US20220036181A1 (en) System and method for training a neural ode network
EP3929824A2 (en) Robust multimodal sensor fusion for autonomous driving vehicles
Wang et al. Prediction-based reachability analysis for collision risk assessment on highways
Mustafa et al. Assured learning‐enabled autonomy: A metacognitive reinforcement learning framework
CN115186727A (zh) 用于图像分类的不确定性评估的方法、设备和计算机程序
Bluvband et al. Critical zone recognition: Classification vs. regression
Vachtsevanos et al. Prognosis: Challenges, Precepts, Myths and Applications
US11983625B2 (en) Robust multimodal sensor fusion for autonomous driving vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination