CN112836439A - 用于处理传感器数据的方法和设备 - Google Patents

用于处理传感器数据的方法和设备 Download PDF

Info

Publication number
CN112836439A
CN112836439A CN202011329844.2A CN202011329844A CN112836439A CN 112836439 A CN112836439 A CN 112836439A CN 202011329844 A CN202011329844 A CN 202011329844A CN 112836439 A CN112836439 A CN 112836439A
Authority
CN
China
Prior art keywords
determining
neural network
sensor data
states
end state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011329844.2A
Other languages
English (en)
Inventor
A·卢克
M·坎德米尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112836439A publication Critical patent/CN112836439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/08—Fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Fluid Mechanics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Analysis (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Abstract

根据各种实施例，提供了用于处理传感器数据的方法和设备，所述方法包括：接收输入传感器数据；从作为初始状态的输入传感器数据开始确定多个结束状态，包括针对每个结束状态确定状态序列，其中确定状态序列包括针对以初始状态开始直到结束状态的序列的每个状态，第一贝叶斯神经网络响应于输入相应状态来确定漂移项样本；第二贝叶斯神经网络响应于输入相应状态来确定扩散项样本；以及通过对随机微分方程进行采样来确定后续状态，所述随机微分方程包括作为漂移项的漂移项样本和作为扩散项的扩散项样本。所述方法进一步包括从所确定的多个结束状态确定结束状态概率分布，以及从结束状态概率分布确定输入传感器数据的处理结果。

Description

用于处理传感器数据的方法和设备
技术领域
本公开涉及用于处理传感器数据的方法和设备。
背景技术
传感器数据的回归分析结果可以应用于各种控制任务。例如，在自主驾驶场景中，车辆可以执行对指示道路曲率的传感器数据的回归分析以导出最大速度。然而，在许多应用中，相关的不仅有结果是什么（例如上面示例中的最大速度），而且还有结果有多确定。例如，在自主驾驶场景中，车辆控制器应当在相应地控制车辆之前，将最大可能的最大速度的预测是否具有足够的确定性考虑在内。
Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud的出版物“Neural Ordinary Differential Equations”（NeurIPS，2018）引入了一种管控常微分方程（ODE）动力学的神经网络，作为学习系统中的通用构造块。输入模式被设置为该ODE的初始值。然而，这是完全确定性的动力学系统，因此它不能表达不确定性。
发明内容
鉴于上述情况，为输出提供不确定性信息的灵活的机器学习方法是合期望的。
具有独立权利要求1（对应于下面的示例1）和独立权利要求7（对应于下面的示例7）的特征的方法和设备允许通过将流动力学（flow dynamics）建模为随机微分方程（SDE）并且量化预测不确定性，而与确定性方法相比实现改进的鲁棒性。具体地，通过在SDE的漂移和扩散项上分配贝叶斯神经网络（BNN）来改进鲁棒性。通过以该方式使用BNN，引入了来自BNN权重的第二随机性源（除了用于扩散的维纳过程之外），所述第二随机性源改进鲁棒性和预测不确定性分配的质量。
另外，与基于丢弃（dropout）的方法相比，根据独立权利要求的方法和设备不需要手动丢弃率调整，并且提供比固定率丢弃更丰富的解族（solution family）。
在下文中，给出了各种示例。
示例1是一种用于处理传感器数据的方法，所述方法包括接收输入传感器数据；从作为初始状态的输入传感器数据开始确定多个结束状态，包括针对每个结束状态确定状态序列，其中确定状态序列包括针对以初始状态开始直到结束状态的序列的每个状态，第一贝叶斯神经网络响应于输入相应状态来确定漂移项样本；第二贝叶斯神经网络响应于输入相应状态来确定扩散项样本；以及通过对随机微分方程进行采样来确定后续状态，所述随机微分方程包括作为漂移项的漂移项样本和作为扩散项的扩散项样本；从所确定的多个结束状态确定结束状态概率分布；以及从结束状态概率分布确定输入传感器数据的处理结果。
示例2是根据示例1的方法，进一步包括使用随机梯度朗之万（Langevin）动力学来训练第一贝叶斯神经网络和第二贝叶斯神经网络。
SGLD允许推断模型参数，规避诸如近似分布的有限表达性之类的变分推断的缺点。
示例3是根据示例1或2的方法，其中处理结果包括控制值和关于控制值的不确定性信息。
不确定性信息允许标识模型的错误预测（或至少是模型对于其不确信的预测），并且因此避免错误的控制决策。
示例4是根据示例3的方法，其中确定结束状态概率分布包括估计结束状态的均值向量和协方差矩阵，并且其中从结束状态概率分布确定处理结果包括从结束状态的所估计的均值向量确定预测均值以及从结束状态的所估计的协方差矩阵确定预测方差。
向量取值的结束状态因此可以被降低到一维值（包括在方差方面的不确定性信息），其可以例如用于致动器控制。
示例5是根据示例4的方法，其中确定处理结果包括通过线性层处理所估计的均值向量和所估计的协方差矩阵，所述线性层执行所估计的均值向量到一维预测均值的仿射映射以及所估计的协方差矩阵到一维预测方差的线性映射。
处理结果的线性推导允许不确定性信息从结束状态概率分布到处理结果的适当传播。
示例6是根据示例1至5中任一个的方法，包括使用处理结果控制致动器。
基于第一示例的方法控制致动器允许确保例如车辆的安全控制。
示例7是适于执行根据示例1至6中任一个的方法的神经网络设备。
示例8是一种软件或硬件代理、特别是机器人，其包括适于提供传感器数据的传感器和根据示例7的神经网络设备，其中所述神经网络设备被配置为执行传感器数据的回归或分类。
示例9是根据示例8的软件或硬件代理，包括致动器和控制器，所述控制器被配置为使用来自神经网络设备的输出来控制至少一个致动器。
示例10是一种包括计算机指令的计算机程序，所述计算机指令当由计算机执行时，使计算机执行根据示例1至6中任一个的方法。
示例11是一种包括计算机指令的计算机可读介质，所述计算机指令当由计算机执行时，使计算机执行根据示例1至6中任一个的方法。
附图说明
在附图中，相同的参考符号贯穿不同的视图一般指代相同的部分。附图不一定是按比例的，而是一般将重点置于说明本发明的原理上。在以下描述中，参考以下附图描述了各个方面，其中：
图1示出了用于自主驾驶场景中的回归的示例。
图2示出了根据实施例的机器学习模型的图示。
图3示出了图示根据实施例的用于处理传感器数据的方法的流程图。
具体实施方式
以下详细描述参考了附图，附图通过图示的方式示出了其中本发明可以被实践的本公开的具体细节和方面。在不脱离本发明的范围的情况下，可以利用其他方面，并且可以进行结构、逻辑和电气改变。本公开的各个方面不一定相互排斥，因为本公开的一些方面可以与本公开的一个或多个其他方面相组合以形成新的方面。
在下文中，将更详细地描述各种示例。
图1示出了用于自主驾驶场景中的回归的示例。
在图1的示例中，例如汽车、货车或摩托车之类的车辆101被提供有车辆控制器102。
车辆控制器102包括例如处理器（例如CPU（中央处理单元））103之类的数据处理组件、以及存储器104，该存储器104用于存储车辆控制器102根据其进行操作的控制软件和处理器103对其进行操作的数据。
在该示例中，存储的控制软件包括指令，该指令当由处理器103执行时，使处理器实现回归算法105。
存储在存储器104中的数据可以包括来自一个或多个传感器107的输入传感器数据。例如，一个或多个传感器107可以包括测量车辆101速度和表示道路曲率的传感器数据（其可以例如从由用于确定道路方向的对象检测处理的图像传感器数据中导出）、道路状况等的传感器。因此，传感器数据例如可以是多维的（曲率、道路状况……）。回归结果例如可以是一维的。
车辆控制器102处理传感器数据并且确定例如最大速度之类的回归结果，并且可以使用回归结果控制车辆。例如，如果回归结果指示高于车辆101的测量当前速度的最大速度，则它可以致动中断108。
回归算法105可以包括机器学习模型106。可以使用训练数据来训练机器学习模型106以做出预测（诸如最大速度）。由于与控制任务相关的安全问题，可以选择机器学习模型106，其不仅输出回归结果，而且还输出其对回归结果的确定性的指示。当控制车辆101时，控制器102可以将该确定性考虑在内，例如，在预测的确定性低（例如在预定阈值以下）的情况下，即使它在预测的最大速度以下也制动。
广泛使用的机器学习模型是深度神经网络。深度神经网络被训练成实现将输入数据（换言之，输入模式）非线性变换成输出数据（输出模式）的函数。如果神经网络作为残差神经网络，则它的处理流水线可以被视为跨偶数时间间隔被离散化的ODE（常微分方程）系统。在连续时间ODE方面重新表述该模型被称为神经ODE。
根据各种实施例，提供了一种通用贝叶斯神经模型（其例如可以用作机器学习模型106），其包括求解SDE（统计微分方程）作为用以对激活图的流进行建模的中间步骤。SDE的漂移函数和扩散函数被实现为贝叶斯神经网（BNN）。
根据神经-ODE方法，神经网络的处理被公式表示为：
Figure 295010DEST_PATH_IMAGE001
，
其中
Figure 680992DEST_PATH_IMAGE002
反映神经网络的参数，并且
Figure 54204DEST_PATH_IMAGE003
是层
Figure 183834DEST_PATH_IMAGE004
的输出。这可以解释为用于求解具有步长大小为1的ODE的显式欧拉方案。
利用该解释，上面的方程可以被重新公式表示为：
Figure 467048DEST_PATH_IMAGE005
。
因此，ODE演算可以用于通过神经网络进行传播。为了使该方程为随机的，考虑随机常微分方程。以一般形式，它们被给出为：
Figure 882986DEST_PATH_IMAGE006
。
该方程由漂移
Figure 618861DEST_PATH_IMAGE007
和扩散
Figure 411236DEST_PATH_IMAGE008
管控，漂移
Figure 548957DEST_PATH_IMAGE007
对确定性部分进行建模，扩散
Figure 637261DEST_PATH_IMAGE008
对随机部分进行建模。对于
Figure 860431DEST_PATH_IMAGE009
，获得标准的ODE。求解上面的方程需要针对布朗运动
Figure 190919DEST_PATH_IMAGE010
积分，所述布朗运动
Figure 448725DEST_PATH_IMAGE010
反映微分方程的随机部分。该微分方程的一种常见且容易的近似方法是欧拉-丸山（Euler-Maruyama）方案：
Figure 472044DEST_PATH_IMAGE011
Figure 182511DEST_PATH_IMAGE012
是具有以下性质的高斯随机变量：
Figure 192056DEST_PATH_IMAGE013
。
当变量
Figure 429002DEST_PATH_IMAGE014
是向量
Figure 233010DEST_PATH_IMAGE015
时，该近似也成立。在这种情况下，扩散项是输入和时间的矩阵取值函数
Figure 56872DEST_PATH_IMAGE016
，并且对应的
Figure 870107DEST_PATH_IMAGE017
被建模为独立于P的维纳过程
Figure 961560DEST_PATH_IMAGE018
，其中
Figure 202048DEST_PATH_IMAGE019
作为P维单位矩阵。
如上面所陈述的，根据各种实施例，
Figure 887107DEST_PATH_IMAGE020
和
Figure 363088DEST_PATH_IMAGE021
各自由相应的贝叶斯神经网络（BNN）提供，其中计算
Figure 184414DEST_PATH_IMAGE022
的BNN的权重由
Figure 986016DEST_PATH_IMAGE024
标示，并且计算
Figure 892793DEST_PATH_IMAGE025
的BNN的权重由
Figure 408350DEST_PATH_IMAGE026
标示。权重可以至少部分地在BNN之间共享，即
Figure 349761DEST_PATH_IMAGE027
。
结果得到的概率性机器学习模型可以通过下式来描述
Figure 197631DEST_PATH_IMAGE028
。
第一行是关于SDE参数（在这种情况下是BNN的权重）的先验，第二行是SDE的解，并且最后一行是适合于机器学习模型的输出空间的可能性。𝑇是对应于模型容量的流的持续时间。
图2示出了机器学习模型的图示。
输入是向量x。
对于作为初始条件的（输入观察）向量x，表示连续时间激活图h(t)的随机过程201的实现被确定为SDE的解。从1到T的所有t的h(t)（其中例如
Figure 716337DEST_PATH_IMAGE029
）可以被看作输入模式x在每一时刻t处的潜在表示。机器学习模型进行该确定的部分被称为差分贝叶斯神经网（DBNN）。它包括相应地提供SDE的均值项和扩散项的BNN 202、203（每个将h(t)和t取作输入）。DBNN输出一个输出值h(T)（其可以是与输入向量x相同维度的向量）。
取决于应用，附加的（例如线性）层204计算模型的输出y，例如对于输入传感器数据向量x的回归结果。该附加层204可以特别地将h(T)（其可以被看作结束状态）的维度降低到期望的输出维度，例如从向量h(T)生成实数y。
随机过程的概率分布由下式给出
Figure 409487DEST_PATH_IMAGE030
其中
Figure 64459DEST_PATH_IMAGE031
是对应于维纳过程
Figure 83231DEST_PATH_IMAGE033
的布朗运动。应当注意的是，在方程右手侧的第二个积分是伊藤积分，不像第一个积分。相关的SDE是
Figure 89233DEST_PATH_IMAGE034
其中𝑚(.,.)是管控动力学流的漂移项，并且𝐿(.,.)是扩散项，其使运动在每一刻抖动。概率
Figure 586073DEST_PATH_IMAGE035
不具有跨所有神经网架构一般化的封闭式表达。然而，可能的是通过诸如欧拉-丸山之类的离散化规则从其取得近似样本。
根据一个实施例，作为应变方法，根据下式通过蒙特卡罗积分将随机过程排除在可能性之外，
Figure 502077DEST_PATH_IMAGE036
其中
Figure 798408DEST_PATH_IMAGE037
是第m次欧拉-丸山平局在时间T的实现。在已经将随机过程积分出来的情况下，可以通过关于
Figure 167073DEST_PATH_IMAGE038
的近似后验推断问题来训练模型。对随机过程h的样本驱动的解自然地集成到马尔可夫链蒙特卡罗（MCMC）方案中。根据一个实施例，具有块衰减结构的随机梯度朗之万动力学（SGLD）用于受益于作为子例程的梯度下降算法（其对有效地训练神经网络是必要的）。
在下文中，描述了一种用于模型的训练算法，即用于监督式学习以从训练数据（包括多个小批次）确定θ 1 和θ 2 的算法。
Figure 326659DEST_PATH_IMAGE040
应当注意的是，可以使用反向传播来确定梯度
Figure 362748DEST_PATH_IMAGE041
。进一步应当注意的是，θ 1 的概率分布和θ 2 的概率分布可以通过存储最新迭代（例如针对最后的100i）的值来确定，以到达经训练的BNN 202、203。
对于回归，附加的线性层204被置于h(T)上方，以便匹配输出维数。由于分布
Figure 316797DEST_PATH_IMAGE042
的性质可以在均值
Figure 172758DEST_PATH_IMAGE043
和协方差（的乔莱斯基分解（Choleskydecompose））
Figure 276980DEST_PATH_IMAGE044
Figure 761051DEST_PATH_IMAGE045
方面来被估计。两个矩可以被确定，并且然后通过线性层204传播。因此，预测均值被建模为
Figure 26947DEST_PATH_IMAGE046
，并且预测方差被建模为
Figure 996303DEST_PATH_IMAGE047
。在假设不相关的激活图维度的情况下，将
Figure 638637DEST_PATH_IMAGE048
设计为对角矩阵是可能的。
此外，可以通过在
Figure 242793DEST_PATH_IMAGE049
的乔莱斯基分解上分配DBNN输出来使
Figure 679591DEST_PATH_IMAGE050
参数化，或者可以采取形式
Figure 369198DEST_PATH_IMAGE052
的任何其他结构。当选择P < D时，可能的是严重地减小高维输入的可学习参数的数量。
总之，根据各种实施例，提供了如图3中所图示的方法。
图3示出了图示根据实施例的用于处理传感器数据的方法的流程图300。
在301中，接收输入传感器数据。
在302中，从作为初始状态的输入传感器数据开始确定多个结束状态。
这包括针对每个结束状态确定状态序列，其中确定状态序列包括针对以初始状态开始直到结束状态的序列的每个状态，
第一贝叶斯神经网络响应于输入相应状态来确定漂移项样本；
第二贝叶斯神经网络响应于输入相应状态来确定扩散项样本；和
通过对随机微分方程进行采样来确定后续状态，所述随机微分方程包括作为漂移项的漂移项样本和作为扩散项的扩散项样本。
在303中，从确定的多个结束状态确定结束状态概率分布。
在304中，从结束状态概率分布确定输入传感器数据的处理结果。
根据各种实施例，换言之，在求解随机微分方程的每个步骤处，使用BNN来提供漂移项和扩散项。除了通过求解随机微分方程（通过对布朗运动进行采样）而提供的不确定性信息之外，由BNN（通过对BNN权重进行采样）提供的不确定性信息也为处理结果提供信息，该处理结果例如是回归结果，例如用于取决于传感器数据来控制设备。
图3的方法可以在将输入模式映射到输出模式的所有学习系统中用作通用构造块。它可以充当中间处理步骤，其提供丰富的映射族，然后可以将其参数调整到特定的数据集。只要可以使用前馈神经网络，就可以使用图3的方法。此外，它在安全关键的应用中尤其有用，在安全关键的应用中，在取决于计算机系统的预测采取下游行动之前，该预测需要被证实，或者需要考虑其不确定性。
特别地，图3的方法可以应用于所有监督式学习设定中，在监督式学习设定中，可以针对输出表达可能性分布（例如针对连续输出的正态分布，针对离散输出的多项式分布）。此外，它可以应用于其中潜在表示与观察具有相同维数的任何生成方法中。它可以进一步应用于在推断问题（诸如变分推断）中使用合成BNN权重分布作为近似分布的超网中。应用的示例是图像分割和强化学习。
图3的方法可以由包括一个或多个数据处理单元的一个或多个计算机执行。术语“数据处理单元”可以理解为允许数据或信号处理的任何类型的实体。例如，可以根据由数据处理单元执行的至少一个（即，一个或多于一个）具体功能来处置数据或信号。数据处理单元可以包括模拟电路、数字电路、复合信号电路、逻辑电路、微处理器、微控制器、中央处理单元（CPU）、图形处理单元（GPU）、数字信号处理器（DSP）、可编程门阵列（FPGA）集成电路或其任何组合，或者由它形成。实现相应功能的任何其他方式（其将在下面更详细地描述）也可以被理解为数据处理单元或逻辑电路。将理解的是，本文详细描述的一个或多个方法步骤可以由数据处理单元通过由数据处理单元执行的一个或多个具体功能来执行（例如来实现）。
第一贝叶斯神经网络和第二贝叶斯神经网络可以通过针对多个训练数据单元中的每一个，将训练数据单元针对输入传感器训练数据的处理结果与训练数据单元的参考值进行比较来训练。
一般地，图3的方法可以用于从输入传感器数据生成控制数据，例如用于控制机器人的数据。术语“机器人”可以理解为指代任何物理系统（具有其移动被控制的机械部件），诸如计算机控制的机器、车辆、家用器具、电动工具、制造机器、个人助理或访问控制系统。
神经网络可以用于对数据进行回归或分类。术语分类被理解为包括语义分割，例如图像的语义分割（其可以被视为逐像素分类）。术语分类也被理解为包括检测，例如对象的检测（无论该对象是否存在，其都可以被视为分类）。回归特别地包括时间序列建模。
尽管本文已经说明和描述了具体实施例，但是本领域的普通技术人员将领会，在不脱离本发明的范围的情况下，多种替代和/或等同的实现方式可以代替所示出和描述的具体实施例。本申请意图覆盖本文讨论的具体实施例的任何改编或变型。因此，意图本发明仅由权利要求及其等同物来限制。

Claims (11)

1.一种用于处理传感器数据的方法，所述方法包括：
接收输入传感器数据；
从作为初始状态的输入传感器数据开始确定多个结束状态，包括针对每个结束状态确定状态序列，其中确定状态序列包括针对以初始状态开始直到结束状态的序列的每个状态，
第一贝叶斯神经网络响应于输入相应状态来确定漂移项样本；
第二贝叶斯神经网络响应于输入相应状态来确定扩散项样本；和
通过对随机微分方程进行采样来确定后续状态，所述随机微分方程包括作为漂移项的漂移项样本和作为扩散项的扩散项样本；
从所确定的多个结束状态确定结束状态概率分布；以及
从结束状态概率分布确定输入传感器数据的处理结果。
2.根据权利要求1所述的方法，进一步包括：
使用随机梯度朗之万动力学训练第一贝叶斯神经网络和第二贝叶斯神经网络。
3.根据权利要求1或2所述的方法，其中处理结果包括控制值和关于控制值的不确定性信息。
4.根据权利要求3所述的方法，其中确定结束状态概率分布包括估计结束状态的均值向量和协方差矩阵，并且其中从结束状态概率分布确定处理结果包括从结束状态的所估计的均值向量确定预测均值以及从结束状态的所估计的协方差矩阵确定预测方差。
5.根据权利要求4所述的方法，其中确定处理结果包括通过线性层处理所估计的均值向量和所估计的协方差矩阵，所述线性层执行所估计的均值向量到一维预测均值的仿射映射以及所估计的协方差矩阵到一维预测方差的线性映射。
6.根据权利要求1至5中任一项所述的方法，包括使用处理结果控制致动器。
7.一种适于执行根据权利要求1至6中任一项的方法的神经网络设备。
8.一种软件或硬件代理、特别是机器人，包括
适于提供传感器数据的传感器；和
根据权利要求7的神经网络设备，其中所述神经网络设备被配置为执行传感器数据的回归或分类。
9.根据权利要求8所述的软件或硬件代理，包括致动器和控制器，所述控制器被配置为使用来自神经网络设备的输出来控制至少一个致动器。
10.一种包括计算机指令的计算机程序，所述计算机指令当由计算机执行时，使计算机执行根据权利要求1至6中任一项的方法。
11.一种包括计算机指令的计算机可读介质，所述计算机指令当由计算机执行时，使计算机执行根据权利要求1至6中任一项的方法。
CN202011329844.2A 2019-11-25 2020-11-24 用于处理传感器数据的方法和设备 Pending CN112836439A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19211130.0 2019-11-25
EP19211130.0A EP3825921A1 (en) 2019-11-25 2019-11-25 Method and device for processing sensor data

Publications (1)

Publication Number Publication Date
CN112836439A true CN112836439A (zh) 2021-05-25

Family

ID=68655319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329844.2A Pending CN112836439A (zh) 2019-11-25 2020-11-24 用于处理传感器数据的方法和设备

Country Status (4)

Country Link
US (1) US20210158158A1 (zh)
EP (1) EP3825921A1 (zh)
KR (1) KR20210064070A (zh)
CN (1) CN112836439A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361596A (zh) * 2021-06-04 2021-09-07 安徽农业大学 一种传感器数据增广方法、系统及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230057100A1 (en) * 2021-08-20 2023-02-23 Robert Bosch Gmbh Method and system for a continuous discrete recurrent kalman network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361596A (zh) * 2021-06-04 2021-09-07 安徽农业大学 一种传感器数据增广方法、系统及存储介质
CN113361596B (zh) * 2021-06-04 2022-10-04 安徽农业大学 一种传感器数据增广方法、系统及存储介质

Also Published As

Publication number Publication date
KR20210064070A (ko) 2021-06-02
US20210158158A1 (en) 2021-05-27
EP3825921A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
Lughofer On-line active learning: A new paradigm to improve practical useability of data stream modeling methods
Beck et al. Prior and posterior robust stochastic predictions for dynamical systems using probability logic
Bect et al. Sequential design of computer experiments for the estimation of a probability of failure
US11275381B2 (en) Control and monitoring of physical system based on trained Bayesian neural network
TWI612433B (zh) 整體式學習預測裝置與方法、以及非暫存電腦可讀的儲存媒介
Shouzhen et al. Linguistic induced generalized aggregation distance operators and their application to decision making
CN112836439A (zh) 用于处理传感器数据的方法和设备
CN115812180A (zh) 使用奖励预测模型的机器人控制的离线学习
Grande et al. Online regression for data with changepoints using Gaussian processes and reusable models
EP3467836A2 (en) Particle simulation method, simulation apparatus, and program
Look et al. Differential bayesian neural nets
CN114722995A (zh) 训练神经随机微分方程的神经漂移网络和神经扩散网络的设备和方法
EP3783538A1 (en) Analysing interactions between multiple physical objects
JP2020191088A (ja) 半定値計画問題を解く層を有するニューラルネットワーク
Khedher et al. Improving Decision-Making-Process for Robot Navigation Under Uncertainty.
US20210350231A1 (en) Predicting a state of a computer-controlled entity
US20230120256A1 (en) Training an artificial neural network, artificial neural network, use, computer program, storage medium and device
Acharya et al. Learning to forecast aleatoric and epistemic uncertainties over long horizon trajectories
US20200134498A1 (en) Dynamic boltzmann machine for predicting general distributions of time series datasets
Herbst et al. Online Recognition of fuzzy time series patterns
US20220036181A1 (en) System and method for training a neural ode network
CN115186727A (zh) 用于图像分类的不确定性评估的方法、设备和计算机程序
Wong et al. Hybrid data regression model based on the generalized adaptive resonance theory neural network
Wolfe et al. Approximate predictive state representations
Wissing et al. Development and test of a lane change prediction algorithm for automated driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination