CN114722995A - 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法 - Google Patents

训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法 Download PDF

Info

Publication number
CN114722995A
CN114722995A CN202210000802.7A CN202210000802A CN114722995A CN 114722995 A CN114722995 A CN 114722995A CN 202210000802 A CN202210000802 A CN 202210000802A CN 114722995 A CN114722995 A CN 114722995A
Authority
CN
China
Prior art keywords
neural
data
network
covariance
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210000802.7A
Other languages
English (en)
Inventor
A·卢克
M·坎德米尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN114722995A publication Critical patent/CN114722995A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法。根据各种实施方式提供一种用于训练神经随机微分方程的神经漂移网络和神经扩散网络的方法。该方法具有：从训练传感器数据中绘制训练轨迹，基于所述训练数据点，所述训练轨迹针对初始时间点包含所述训练数据点，借助于神经网络为所述预测时间点序列的每个预测时间点确定在该预测时间点的数据点均值和数据点协方差。该方法还具有确定由所确定的数据点均值和所确定的数据点协方差给出的预测时间点的数据点分布提供在预测时间点的训练数据点这一概率对所述神经漂移网络和所述神经扩散网络的权重的依赖性，以及适配所述神经漂移网络和所述神经扩散网络以提高所述概率。

Description

训练神经随机微分方程的神经漂移网络和神经扩散网络的设 备和方法
技术领域
各种实施例一般地涉及用于训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法。
背景技术
神经网络被称为神经随机微分方程，所述神经网络具有根据随机微分方程对漂移项和扩散项建模的子网络。这样的神经网络使得能够在多个时间步长上预测值（例如温度、材料特性、速度等），所述预测可以用于相应的控制（例如生产过程或车辆的控制）。
为了进行准确的预测，需要对神经网络、即两个子网络（漂移网络和扩散网络）进行稳健的训练。为此，有效且稳定的方法是值得期待的。
发明内容
根据各种实施方式，提供了一种用于训练神经随机微分方程的神经漂移网络和神经扩散网络的方法。该方法具有从训练传感器数据中绘制训练轨迹，其中所述训练轨迹对预测时间点序列中的每个预测时间点都具有训练数据点，以及基于所述训练数据点——所述训练轨迹针对初始时间点包含所述训练数据点，为所述预测时间点序列的每个预测时间点确定在该预测时间点的数据点均值和数据点协方差。这通过从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差来进行，所通过的方式是：根据神经漂移网络的每个层的输入数据确定神经漂移网络的每个层的导数的期望值，根据所述神经漂移网络的输入数据从所述神经漂移网络的所述层的导数的所确定的期望值中确定所述神经漂移网络的导数的期望值，并且从根据所述神经漂移网络的输入数据确定的所述神经漂移网络的导数的期望值中确定下一个预测时间点的数据点均值和数据点协方差。该方法还包括：确定由所确定的数据点均值和所确定的数据点协方差给出的预测时间点的数据点分布提供在预测时间点的训练数据点这一概率对所述神经漂移网络和所述神经扩散网络的权重的依赖性，以及适配所述神经漂移网络和所述神经扩散网络以提高所述概率。
上述训练方法使得能够对神经随机微分方程的神经漂移网络和神经扩散网络进行确定性训练（即对该神经网络的权重进行确定性推断）。在此保留了神经随机微分方程的强度，即神经随机微分方程的非线性，但实现了稳定的训练，并且因此特别是即使针对长的预测时间点序列（例如，针对长的预测间隔）也能有效和鲁棒地提供准确预测。
下面给出各种实施例。
实施例1是如上所述的训练方法。
实施例2是根据实施例1所述的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差包括：
基于所述预测时间点的数据点均值和数据点协方差，为所述预测时间点确定所述神经漂移网络的每层输出的均值和协方差；以及
从为所述预测时间点确定的所述神经漂移网络的所述层的数据点均值和数据点协方差中确定所述下一个预测时间点的数据点均值和数据点协方差。
明显地，根据各种实施方式执行逐层矩匹配（英语：layer-wise momentmatching）。因此，矩可以通过这些神经网络确定性地传播，并且不需要采样来确定这些神经网络的输出分布。
实施例3是根据实施例1或2所述的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差包括：
基于所述预测时间点的数据点均值和数据点协方差，为所述预测时间点确定所述神经扩散网络的每层输出的均值和协方差；以及
从为所述预测时间点确定的所述神经扩散网络的所述层的数据点均值和数据点协方差中确定所述下一个预测时间点的数据点均值和数据点协方差。
通过这种方式，也可以确定性和高效地确定所述扩散网络对所述下一个预测时间点的数据点协方差的贡献。
实施例4是根据实施例1至3之一的方法，其中通过乘以所述神经漂移网络的所述层的导数的所确定的期望值的导数来根据所述神经漂移网络的输入数据确定所述神经漂移网络的导数的期望值。
这使得能够从各个层的梯度中精确和简单地计算完整网络的梯度。
实施例5是根据实施例1至4之一的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点协方差包括：
通过将所述预测时间点的数据点协方差乘以根据所述神经漂移网络的输入数据所述神经漂移网络的导数的期望值，确定针对所述预测时间点所述神经漂移网络的输入和输出之间的协方差；以及
从针对所述预测时间点所述神经漂移网络的输入和输出之间的协方差中确定所述下一个预测时间点的数据点协方差。
该过程使得能够有效确定神经漂移网络的输入和输出之间的协方差。这对于训练非常重要，因为该协方差不一定是半定的，并且不准确的确定可能导致数值不稳定。
实施例6是根据实施例1至5之一的方法，包括（仅）由ReLU激活、Dropout（丢失）层和用于仿射变换的层形成所述神经漂移网络和所述神经扩散网络。
由这种类型的层来构建神经网络使得能够根据所述层的输入精确确定层的输出导数的梯度而无需采样。
实施例7是根据实施例1至6之一的方法，包括形成所述神经漂移网络和所述神经扩散网络，使得在所述神经漂移网络中ReLU激活、Dropout层和用于仿射变换的层交替。
这确保了数据点的正态分布假设是合理的，并且因此可以通过说明在预测时间点的数据点均值和数据点协方差来高准确度地说明在预测时间点的数据点分布。
实施例8是用于控制机器人设备的方法，包括：
根据按照实施例1至7之一的方法训练神经随机微分方程；
测量表征所述机器人设备的状态和/或处于所述机器人设备环境中的一个或多个对象的传感器数据；
将所述传感器数据输送给所述随机微分方程以产生回归结果；以及
使用所述回归结果控制所述机器人设备。
实施例9是被设置为执行根据实施例1至7之一的方法的训练设备。
实施例10是一种用于机器人设备的控制设备，所述控制设备被设置为执行根据实施例8的方法。
实施例11是一种具有程序指令的计算机程序，当所述程序指令由一个或多个处理器执行时，所述程序指令使得所述一个或多个处理器执行根据实施例1至8之一的方法。
实施例12是一种计算机可读存储介质，其上存储有程序指令，当所述程序指令由一个或多个处理器执行时，所述程序指令使得所述一个或多个处理器执行根据实施例1至8之一的方法。
附图说明
本发明的实施例在图中示出并且在下面得到更详细的解释。在附图中，相同的附图标记在多个视图中通常涉及相同的部分。附图不一定按比例绘制，而是其中重点通常放在本发明原理的表示上。
图1示出了自主驾驶情况下回归的示例。
图2说明了用于从前一时间点的数据点分布的矩来确定一时间点的数据点分布的矩的方法。
图3示出了说明用于训练神经随机微分方程的神经漂移网络和神经扩散网络的方法的流程图。
具体实施方式
各种实施方式，特别是下面描述的实施例，可以借助于一个或多个电路来实现。在一个实施方式中，“电路”可以理解为任何类型的逻辑实现实体，该实体可以是硬件、软件、固件或其组合。因此在一个实施方式中，“电路”可以是硬连线逻辑电路或可编程逻辑电路，例如诸如微处理器的可编程处理器。“电路”也可以是由处理器实现或执行的软件，例如任何类型的计算机程序。与替代实施方式一致地，可以将以下更详细地描述的相应功能的任何其他类型的实现理解为“电路”。
图1示出了自主驾驶情况下回归的示例。
在图1的示例中，诸如汽车、运货车或摩托车的车辆101具有车辆控制装置102。
车辆控制装置102包含诸如处理器（例如CPU（中央处理单元））103的数据处理组件和用于存储控制软件和数据的存储器104，车辆控制装置102根据所述控制软件工作，并且处理器103依据所述数据运行。
在该示例中，存储的控制软件具有指令，当所述指令由处理器103执行时，所述指令促使所述处理器实现回归算法105。
存储在存储器104中的数据可以包含来自一个或多个传感器107的输入传感器数据。一个或多个传感器107可以包含例如测量车辆101的速度的传感器，以及表示道路曲率（所述道路曲率可以例如从通过用于确定行驶方向的对象识别而被处理的图像传感器数据中导出）、道路状态等的传感器数据。从而所述传感器数据例如可以是多维的（曲率、道路状态、……）。回归结果例如可以是一维的。
车辆控制装置102处理所述传感器数据并确定回归结果，例如最大速度，并且可以基于所述回归结果控制车辆。例如，如果所述回归结果表明最大速度高于车辆101的测量的当前速度，则所述车辆可以激活制动器108。
回归算法105可以具有机器学习模型106。可以使用训练数据来训练机器学习模型106以作出预测（例如，最大速度）。
一种广泛使用的机器学习模型是深度神经网络（英语：deep neural network）。深度神经网络被训练为实现将输入数据（换句话说：输入模式）非线性地转换为输出数据（输出模式）的函数。
根据各种实施方式，所述机器学习模型具有神经随机微分方程。
非线性时不变随机微分方程（SDE）具有以下形式
Figure 772762DEST_PATH_IMAGE002
在此，
Figure DEST_PATH_IMAGE003
是对相应向量场的确定性分量建模的漂移函数，并且
Figure 811607DEST_PATH_IMAGE004
是对随机分量建模的扩散函数。dt是时间增量，并且
Figure DEST_PATH_IMAGE005
表示维纳（Wiener）过程。
SDE典型地无法以解析方式求解。数值求解方案典型地使用时域的离散化和以时间步长过渡的近似。为此的可能性是Euler-Maruyama(EM)离散化
Figure 591344DEST_PATH_IMAGE006
其中
Figure 986553DEST_PATH_IMAGE008
该求解方法从初始状态
Figure DEST_PATH_IMAGE009
开始，并且在最后一个时间步长之后的最终状态
Figure 863243DEST_PATH_IMAGE010
例如是回归结果。
术语“神经随机微分方程”是指
Figure DEST_PATH_IMAGE011
和（可能）
Figure 685705DEST_PATH_IMAGE012
由权重为θ和ϕ的神经网络（NN）给出的情况。即使对于适度的NN架构，神经随机微分方程也可能具有数千个自由参数（即权重），这使得从训练数据中找到这些权重（即推断）成为一项艰巨的任务。
下面假设借助于最大似然估计（MLE）找到神经随机微分方程的参数，即通过
Figure DEST_PATH_IMAGE013
。
这使得可以从数据中一起学习θ和ϕ。替代地，也可以执行变化推断，例如根据
Figure 15055DEST_PATH_IMAGE014
其中
Figure DEST_PATH_IMAGE015
和
Figure 276272DEST_PATH_IMAGE016
是先验漂移。
期望相似度的估计典型地不可能以解析方式进行。此外，基于采样的近似典型地会导致不稳定的训练，并导致预测不准确的神经网络。
根据各种实施方式，避免了采样的这些不期望的效应，并且说明了一种用于推断对漂移函数和扩散函数建模的神经网络的权重的确定性过程。
根据各种实施方式，该过程包括将数值上可操作（英语：tractable，易处理）的过程密度用于建模，对维纳过程w边缘化并且对状态
Figure DEST_PATH_IMAGE017
的不确定性边缘化。状态的不确定性来自(i)原始分布
Figure 945151DEST_PATH_IMAGE018
以及扩散项
Figure DEST_PATH_IMAGE019
。
应该注意的是，为了简单起见，丢弃了神经网络的权重的先验分布。然而所描述的方案也可以用于贝叶斯神经网络。这种先验分布不一定必须通过权重来给出，而是也可以以微分方程的形式存在。
根据各种实施方式，
Figure 832DEST_PATH_IMAGE020
用作过程分布，这导致具有随时间变化的均值和协方差的高斯过程近似。
例如，如果使用间隔[0,T]的K个步长的时间离散化，即
Figure DEST_PATH_IMAGE021
，则过程变量
Figure 817478DEST_PATH_IMAGE022
(也称为状态）具有分布
Figure DEST_PATH_IMAGE023
。该分布序列的元素可以通过正向（即在索引增加的方向）上的递归矩匹配（英语：moment matching（矩匹配））来近似。
假设变量
Figure 554490DEST_PATH_IMAGE024
在时间点
Figure DEST_PATH_IMAGE025
具有高斯分布，该高斯分布的密度为
Figure 140192DEST_PATH_IMAGE026
，
其中从所述分布（或密度）在前一时间点
Figure DEST_PATH_IMAGE027
的已经匹配的矩确定矩
Figure 632353DEST_PATH_IMAGE028
。
假设所述密度在下一个时间点的前两个矩等于前两个矩在对当前时间点的状态积分之后向前经过一个EM(Euler-Maruyama)步长：
Figure DEST_PATH_IMAGE029
Figure 873979DEST_PATH_IMAGE030
在此情况下，对前一时间点的依赖性通过
Figure DEST_PATH_IMAGE031
建立。
现在成立的是：如果
Figure 214349DEST_PATH_IMAGE032
遵循EM离散化，则上面给出的前两个矩的更新规则满足以下具有边缘化维纳过程
Figure DEST_PATH_IMAGE033
的解析形式：
Figure 857820DEST_PATH_IMAGE034
其中
Figure 255303DEST_PATH_IMAGE036
并且Δt是不依赖于
Figure DEST_PATH_IMAGE037
的时间步长。
为了获得确定性的推断方法，在这两个方程中必须关于
Figure 46542DEST_PATH_IMAGE017
进行积分。由于该积分在正常情况下无法以解析方式求解，因此使用数值近似。
为此，根据各种实施方式，扩展所述矩匹配，使得两个矩
Figure 125356DEST_PATH_IMAGE038
（它们清楚地反映当前状态下的不确定性）通过两个神经网络（这些神经网络对漂移函数和扩散函数建模）传播。这在下面也称为逐层矩匹配（Layerwise Moment Matching，LMM）。
图2说明了用于从前一时间点的矩
Figure 623333DEST_PATH_IMAGE038
确定一时间点的矩
Figure DEST_PATH_IMAGE039
的方法。
神经SDE200具有对漂移项建模的第一神经网络201和对扩散项建模的第二神经网络202。
在使用协方差运算Cov(⋅,⋅)的双线性的情况下，上述方程可以改写为
Figure DEST_PATH_IMAGE041
其中
Figure 457297DEST_PATH_IMAGE042
称为
Figure DEST_PATH_IMAGE043
。如果扩散项
Figure 407936DEST_PATH_IMAGE044
是对角的，则可以借助于LMM来估计该扩散项的中心矩。然而，无法借助于常见的LLM技术估计交叉协方差
Figure DEST_PATH_IMAGE045
（除了在微不足道的情况下之外）。不保证该交叉协方差是半正定的，并且因此不准确的估计可能导致
Figure 352758DEST_PATH_IMAGE046
变得奇异的，这影响了数值稳定性。
在下文中，神经网络201、202的第l层的输出称为
Figure DEST_PATH_IMAGE047
。（根据LLM过程）将该输出建模为具有均值
Figure 767559DEST_PATH_IMAGE048
和协方差
Figure DEST_PATH_IMAGE049
的多元高斯分布。索引l=0用于（相应的）神经网络201、202的第一层的输入。
为了使LMM可应用，变换关键项
Figure 710107DEST_PATH_IMAGE045
的形式。这是通过应用Stein引理来进行的，借助于Stein引理可以将该项写为
Figure DEST_PATH_IMAGE051
因此，该问题简化为确定关于神经网络201的梯度的期望值
Figure 148042DEST_PATH_IMAGE052
，其中g=fθ。（这里使用“梯度”，即使fθ典型地是向量值并且因此
Figure DEST_PATH_IMAGE053
具有矩阵的形式，即雅可比矩阵；因此一般地也使用术语“导数”）。
在神经网络的情况下，函数g(x)是L个函数（神经网络的每一层一个函数）的连结，即
Figure 630975DEST_PATH_IMAGE054
对于合适的层下式成立：
Figure 103545DEST_PATH_IMAGE056
为了确定期望值的这种嵌套，假设
Figure DEST_PATH_IMAGE057
的分布（称为
Figure 279312DEST_PATH_IMAGE058
）为高斯分布。中间结果
Figure 204542DEST_PATH_IMAGE060
用于确定
Figure DEST_PATH_IMAGE061
和
Figure 428850DEST_PATH_IMAGE062
。然后通过前向模式微分确定每一层关于正态分布的期望梯度。根据一个实施方式，将仿射变换、ReLU激活和Dropout用作合适的函数
Figure DEST_PATH_IMAGE063
，对于这些合适的函数可以在正态分布的输入情况下估计
Figure 385672DEST_PATH_IMAGE048
和
Figure 670023DEST_PATH_IMAGE049
并且可以确定期望梯度
Figure 82549DEST_PATH_IMAGE064
。也可以使用其他类型的函数或NN层。
仿射变换根据
Figure DEST_PATH_IMAGE065
与权重矩阵
Figure 172865DEST_PATH_IMAGE066
和偏差
Figure DEST_PATH_IMAGE067
将输入
Figure DEST_PATH_IMAGE069
映射为输出
Figure 354448DEST_PATH_IMAGE070
。在高斯分布的输入情况下，输出也是高斯分布的，具有矩
Figure 606438DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
和期望梯度
Figure 506260DEST_PATH_IMAGE074
。
输入
Figure 72371DEST_PATH_IMAGE069
的ReLU激活的输出是
Figure DEST_PATH_IMAGE075
。由于ReLU激活的非线性，在高斯分布的输入情况下所述输出一般不是高斯分布的，但其矩可以被估计为
Figure DEST_PATH_IMAGE077
其中
Figure DEST_PATH_IMAGE079
其中ϕ和Φ表示标准正态分布随机变量的密度和累积分布函数，以及
Figure 436356DEST_PATH_IMAGE080
其中又可以估计A和Q。
期望梯度的次对角线项为零，并且对角线项是Heaviside函数的期望：
Figure DEST_PATH_IMAGE081
。
在Dropout的情况下，独立地为每个激活通道从Bernouli分布
Figure 796930DEST_PATH_IMAGE082
中提取（即采样）多元变量
Figure DEST_PATH_IMAGE083
并且应用非线性
Figure 246366DEST_PATH_IMAGE084
，其中'⊙'表示Hadamard乘法，并且其中p被重新缩放以获得所述期望值。可以通过下式估计输出的均值和协方差
Figure 616168DEST_PATH_IMAGE086
期望梯度等于恒等式
Figure 506763DEST_PATH_IMAGE088
。
Dropout使得任意分布p(x)的输入
Figure DEST_PATH_IMAGE089
的分量能够被近似去相关，因为由于
Figure 366135DEST_PATH_IMAGE090
（分别逐个分量地查看）而导致
Figure DEST_PATH_IMAGE091
。然而，对角线外的项可能不等于零，使得仅仅近似地去相关。如果通过仿射变换处理Dropout层
Figure 974971DEST_PATH_IMAGE092
的近似去相关输出，则假设以下输出
Figure DEST_PATH_IMAGE093
对应于独立分布的随机变量的总和，并且因此（根据中心极限值定理）假设为高斯分布。
因此对于每个k和神经漂移网络201，将矩
Figure 210780DEST_PATH_IMAGE094
用作神经漂移网络201的输入203的矩
Figure DEST_PATH_IMAGE095
，并且根据以上规则从中确定这些层的输出204、205、206的矩
Figure 221461DEST_PATH_IMAGE096
、
Figure DEST_PATH_IMAGE097
、
Figure 189417DEST_PATH_IMAGE098
。这些矩用于确定期望值和协方差207以及用于确定期望梯度208。
此外，对于扩散网络202，还确定
Figure DEST_PATH_IMAGE099
和
Figure 347866DEST_PATH_IMAGE100
，并且从所有这些结果209中确定下一个时间点k+1的矩
Figure 59470DEST_PATH_IMAGE039
。
在下文中，以伪代码形式说明使用训练数据集
Figure DEST_PATH_IMAGE101
来训练NSDE的算法。
Figure 989905DEST_PATH_IMAGE102
将训练轨迹的MLE的结果用于匹配
Figure DEST_PATH_IMAGE103
的到目前为止的估计，直到满足收敛标准为止，例如，
Figure 128762DEST_PATH_IMAGE104
只有少量变化（或者，替代地达到最大迭代次数）。
函数DNSDE_Stein以伪代码如下所示：
Figure DEST_PATH_IMAGE105
（zentriert：集中）
“针对”循环中的第四行是Stein引理的应用。下一行确定
Figure 712190DEST_PATH_IMAGE106
。
函数DriftMomente&Jac以伪代码如下所示：
Figure DEST_PATH_IMAGE107
函数DiffusionMoments以伪代码如下所示：
Figure 24223DEST_PATH_IMAGE108
在上面的伪代码中，矩（从初始时间点k=1到结束时间点k=K）和协方差（从初始时间点k=1到结束时间点k=K）称为
Figure DEST_PATH_IMAGE109
和
Figure 9496DEST_PATH_IMAGE110
。初始时间点的矩为m1和P1。在上述算法中，
Figure DEST_PATH_IMAGE111
和
Figure 381572DEST_PATH_IMAGE112
用于以观察到的初始状态
Figure DEST_PATH_IMAGE113
为条件（针对第n个训练数据集）。在此情况下，ϵ是小的数，例如
Figure 452296DEST_PATH_IMAGE114
。在上例中，扩散函数
Figure 505703DEST_PATH_IMAGE012
的输出矩阵是对角的，并且其二阶矩同样是对角的。函数DriftMomente&Jac和DiffusionMomente借助于LMM针对具有如下矩的输入来估计漂移网络201和扩散网络202的输出的前两个矩：两个函数通过它们的自变数获得所述矩。此外，在该示例中假设神经网络201、202被构建为，使得ReLU激活、Dropout层和仿射变换交替，从而仿射变换的输出近似于正态分布。在评估DriftMomente&Jac时，在前向模式下估计期望梯度
Figure 345483DEST_PATH_IMAGE052
。对于Dropout层和仿射变换，期望梯度与输入的分布无关。只有在ReLU激活的情况下，期望梯度才取决于输入分布（该输入分布近似于正态分布）。
在上面的伪代码中使用了类Schicht（层），其中假设该类具有函数erwarteter_ Gradient（期望梯度） 和nächste_Momente（接下来的矩），这些函数为层的输出和期望梯度的矩实现了上面针对不同层说明的方程。
总之，根据各种实施方式提供了一种如图3中所示的方法。
图3示出流程图300，其说明了用于训练神经随机微分方程的神经漂移网络和神经扩散网络的方法。
在301中，从训练传感器数据中绘制（英文：采样，例如随机选择）训练轨迹，其中该训练轨迹对于预测时间点序列中的每一个预测时间点具有一个训练数据点。
在302中，基于该训练数据点——所述训练轨迹针对初始时间点包含该训练数据点，为预测时间点序列的每个预测时间点确定在该预测时间点的数据点均值和数据点协方差。
这是通过从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差来进行的，所通过的方式是
•根据神经漂移网络的每个层的输入数据确定神经漂移网络的每个层的导数的期望值；
•根据所述神经漂移网络的输入数据从确定的所述神经漂移网络的层的导数的期望值中确定所述神经漂移网络的导数的期望值；以及
•从根据所述神经漂移网络的输入数据确定的所述神经漂移网络的导数的期望值中确定下一个预测时间点的数据点均值和数据点协方差。
在303中，确定由所确定的数据点均值和所确定的数据点协方差给出的预测时间点的数据点分布提供在预测时间点的训练数据点这一概率对所述神经漂移网络和所述神经扩散网络的权重的依赖性。
在304中，适配漂移神经网络和扩散神经网络以提高所述概率。
换言之，根据各种实施方式，通过使用神经网络（漂移网络和扩散网络）的导数的期望值来确定不同时间步长处的数据点分布的矩。这些导数的期望值首先逐层确定，然后组合成神经网络的导数的期望值。
根据各种实施方式，然后通过逐层的（例如递归的）矩匹配来确定不同时间步长处的数据点分布的矩。明确地说，根据各种实施方式，数据点分布的矩（以及因此数据点的不确定性）通过层传播并随着时间步长而传播。
这针对训练数据执行，并且优化了神经网络的参数（权重），例如借助于最大似然估计。
经过训练的神经随机微分方程可以用于控制机器人设备。
“机器人设备”可以理解为任何物理系统（具有运动受控的机械部件），如由计算机控制的机器、车辆、家用电器、电动工具、制造机器、个人助理或访问控制系统。
所述控制可以基于传感器数据进行。所述传感器数据（以及相对应地包含在训练数据中的传感器数据）可以来自各种传感器，如摄像机、雷达、LiDAR（激光雷达）、超声波、运动、声学、热图像等，例如关于系统状态以及配置的传感器数据。所述传感器数据可以以（例如标量）时间序列的形式存在。
实施方式可以特别是用于训练机器学习系统并且自主地控制机器人，以在不同场景下实现不同的操纵任务。特别地，可以应用用于控制和监视例如在传送带中的操纵任务的执行的实施方式。这些实施方式例如可以无缝集成到用于控制过程的传统GUI中。
经过训练的神经随机微分方程例如可以用于在物理或化学过程中预测传感器数据，例如温度或材料特性等。
在这样的上下文中，实施方式也可以用于异常检测。例如，可以对时间序列执行OOD（Out of Distribution，分布之外）检测。为此，例如借助于经过训练的神经随机微分方程来预测数据点（例如传感器数据）的分布的均值和协方差，并且确定所测量的传感器数据是否遵循该分布。在偏差太大的情况下，可以将此视为存在异常的迹象，并且例如相对应地控制机器人设备（例如停止传送带）。
可以根据应用情况设计训练数据集。所述训练数据集典型地包含大量训练轨迹，这些训练轨迹包含例如相应传感器数据（温度、速度、位置、材料特性等）的时间变化过程。所述训练数据集可以通过实验或通过模拟来创建。
根据一个实施方式，该方法是计算机实现的。
尽管已经主要参考特定实施方式示出和描述了本发明，但是本领域技术人员应当理解，在不偏离由后面的权利要求定义的本发明的精神和范围的情况下，可以对设计和细节进行无数改变。因此，本发明的范围由所附权利要求确定，并且意图包括落入权利要求的字面含义或等效范围内的所有变化。

Claims (12)

1.一种用于训练神经随机微分方程的神经漂移网络和神经扩散网络的方法，包括：
从训练传感器数据中绘制训练轨迹，其中所述训练轨迹对预测时间点序列中的每个预测时间点都具有训练数据点；
基于所述训练数据点，所述训练轨迹针对初始时间点包含所述训练数据点，为所述预测时间点序列的每个预测时间点确定在该预测时间点的数据点均值和数据点协方差，这通过从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差来进行，所通过的方式是
根据所述神经漂移网络的每个层的输入数据确定所述神经漂移网络的每个层的导数的期望值；
根据所述神经漂移网络的输入数据从所述神经漂移网络的所述层的导数的所确定的期望值中确定所述神经漂移网络的导数的期望值；并且
从根据所述神经漂移网络的输入数据确定的所述神经漂移网络的导数的期望值中确定下一个预测时间点的数据点均值和数据点协方差；以及
确定由所确定的数据点均值和所确定的数据点协方差给出的预测时间点的数据点分布提供在预测时间点的训练数据点这一概率对所述神经漂移网络和所述神经扩散网络的权重的依赖性，以及
适配所述神经漂移网络和所述神经扩散网络以提高所述概率。
2.根据权利要求1所述的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差包括：
基于所述预测时间点的数据点均值和数据点协方差，为所述预测时间点确定所述神经漂移网络的每层输出的均值和协方差；以及
从为所述预测时间点确定的所述神经漂移网络的所述层的数据点均值和数据点协方差中确定所述下一个预测时间点的数据点均值和数据点协方差。
3.根据权利要求1或2所述的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点均值和数据点协方差包括：
基于所述预测时间点的数据点均值和数据点协方差，为所述预测时间点确定所述神经扩散网络的每层输出的均值和协方差；以及
从为所述预测时间点确定的所述神经扩散网络的所述层的数据点均值和数据点协方差中确定所述下一个预测时间点的数据点均值和数据点协方差。
4.根据权利要求1至3中任一项所述的方法，其中通过乘以所述神经漂移网络的所述层的导数的所确定的期望值的导数来根据所述神经漂移网络的输入数据确定所述神经漂移网络的导数的期望值。
5.根据权利要求1至4中任一项所述的方法，其中从预测时间点的数据点均值和数据点协方差中确定下一个预测时间点的数据点协方差包括：
通过将所述预测时间点的数据点协方差乘以根据所述神经漂移网络的输入数据所述神经漂移网络的导数的期望值，确定针对所述预测时间点所述神经漂移网络的输入和输出之间的协方差；以及
从针对所述预测时间点所述神经漂移网络的输入和输出之间的协方差中确定所述下一个预测时间点的数据点协方差。
6.根据权利要求1至5中任一项所述的方法，包括由ReLU激活、Dropout层和用于仿射变换的层形成所述神经漂移网络和所述神经扩散网络。
7.根据权利要求1至6中任一项所述的方法，包括形成所述神经漂移网络和所述神经扩散网络，使得在所述神经漂移网络中ReLU激活、Dropout层和用于仿射变换的层交替。
8.一种用于控制机器人设备的方法，包括：
根据按照权利要求1至7中任一项所述的方法训练神经随机微分方程；
测量表征所述机器人设备的状态和/或处于所述机器人设备环境中的一个或多个对象的传感器数据；
将所述传感器数据输送给所述随机微分方程以产生回归结果；以及
使用所述回归结果控制所述机器人设备。
9.一种训练设备，其被设置为执行根据权利要求1至7中任一项所述的方法。
10.一种用于机器人设备的控制设备，所述控制设备被设置为执行根据权利要求8所述的方法。
11.一种计算机程序，具有程序指令，当所述程序指令由一个或多个处理器执行时，所述程序指令使一个或多个处理器执行根据权利要求1至8中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有程序指令，当所述程序指令由一个或多个处理器执行时，所述程序指令使一个或多个处理器执行根据权利要求1至8中任一项所述的方法。
CN202210000802.7A 2021-01-05 2022-01-04 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法 Pending CN114722995A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021200042.8 2021-01-05
DE102021200042.8A DE102021200042A1 (de) 2021-01-05 2021-01-05 Vorrichtung und Verfahren zum Verfahren zum Trainieren des neuronalen Driftnetzwerks und des neuronalen Diffusionsnetzwerks einer neuronalen stochastischen Differentialgleichung

Publications (1)

Publication Number Publication Date
CN114722995A true CN114722995A (zh) 2022-07-08

Family

ID=82020532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210000802.7A Pending CN114722995A (zh) 2021-01-05 2022-01-04 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法

Country Status (3)

Country Link
US (1) US20220215254A1 (zh)
CN (1) CN114722995A (zh)
DE (1) DE102021200042A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579217A (zh) * 2023-05-30 2023-08-11 兰州理工大学 一种基于数字孪生的控制阀流致振动疲劳寿命预测方法
CN117910367A (zh) * 2024-03-20 2024-04-19 浙江大学 一种基于物理信息神经网络的电力系统受扰轨迹预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579217A (zh) * 2023-05-30 2023-08-11 兰州理工大学 一种基于数字孪生的控制阀流致振动疲劳寿命预测方法
CN117910367A (zh) * 2024-03-20 2024-04-19 浙江大学 一种基于物理信息神经网络的电力系统受扰轨迹预测方法
CN117910367B (zh) * 2024-03-20 2024-05-28 浙江大学 一种基于物理信息神经网络的电力系统受扰轨迹预测方法

Also Published As

Publication number Publication date
US20220215254A1 (en) 2022-07-07
DE102021200042A1 (de) 2022-07-07

Similar Documents

Publication Publication Date Title
Sammaknejad et al. A review of the expectation maximization algorithm in data-driven process identification
Gedon et al. Deep state space models for nonlinear system identification
EP3629246B1 (en) Systems and methods for neural architecture search
CN109074518B (zh) 多个本征值的量子相位估计
Boots et al. Hilbert space embeddings of predictive state representations
CN111178385B (zh) 一种鲁棒在线多传感器融合的目标跟踪方法
Mishra et al. Enhancing accuracy of deep learning algorithms by training with low-discrepancy sequences
Munos Policy gradient in continuous time
Zhang et al. Bayesian inference for state-space models with student-t mixture distributions
Doerr et al. Optimizing long-term predictions for model-based policy search
CN114722995A (zh) 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法
CN112055863A (zh) 用于确定神经网络的网络配置的方法和设备
WO2020149971A2 (en) Robust and data-efficient blackbox optimization
Wiedemann et al. Probabilistic modeling of gas diffusion with partial differential equations for multi-robot exploration and gas source localization
EP3783538A1 (en) Analysing interactions between multiple physical objects
Cheng et al. Human motion prediction using adaptable neural networks
CN112836439A (zh) 用于处理传感器数据的方法和设备
Wischnewski et al. Real-time learning of non-Gaussian uncertainty models for autonomous racing
Lan et al. Learning a dynamical system model for a spatiotemporal field using a mobile sensing robot
Grebe et al. Observability-aware trajectory optimization: Theory, viability, and state of the art
Catanach et al. Bayesian updating and uncertainty quantification using sequential tempered mcmc with the rank-one modified metropolis algorithm
Dutordoir et al. Deep Gaussian process metamodeling of sequentially sampled non-stationary response surfaces
JP7148445B2 (ja) 情報推定装置及び情報推定方法
Amelina et al. The method of averaged models for discrete-time adaptive systems
Catanach Computational methods for Bayesian inference in complex systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination