CN112149820A - 用于训练人工神经网络的方法、人工神经网络和相应计算机程序 - Google Patents

用于训练人工神经网络的方法、人工神经网络和相应计算机程序 Download PDF

Info

Publication number
CN112149820A
CN112149820A CN202010587004.XA CN202010587004A CN112149820A CN 112149820 A CN112149820 A CN 112149820A CN 202010587004 A CN202010587004 A CN 202010587004A CN 112149820 A CN112149820 A CN 112149820A
Authority
CN
China
Prior art keywords
neural network
artificial neural
training data
data set
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010587004.XA
Other languages
English (en)
Inventor
O·维勒斯
S·祖德霍尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN112149820A publication Critical patent/CN112149820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Feedback Control In General (AREA)

Abstract

一种用于借助训练数据组来训练人工神经网络、尤其贝叶斯神经网络的方法，该方法具有根据损失函数来匹配人工神经网络的参数的步骤，其中，该损失函数包括第一项，该第一项表示对训练数据组的通过人工神经网络的分类与训练数据组的期望分类之间的距离的下边界的估计。此外，损失函数包括第二项，该第二项构型成使得通过人工神经网络的不同样本来调节训练数据组中的偶然不确定性的差异。

Description

用于训练人工神经网络的方法、人工神经网络和相应计算机 程序
技术领域
本发明涉及一种用于训练人工神经网络的方法、一种人工神经网络、一种人工神经网络的应用、一种相应的计算机程序、一种机器可读的存储介质和一种相应的设备。
本发明的优选应用领域是自主系统领域、尤其至少部分自动化驾驶领域。
至少部分自动化驾驶意味着控制车辆，其中，由至少一个车辆系统接管至少部分的或全部的驾驶任务。如果接管全部的驾驶任务，则涉及全自动化或高度自动化运行的车辆。车辆通过如下方式来自动化地行驶：车辆例如通过相应的环境传感装置自主地识别道路走向、其他交通参与者或障碍物，并且至少部分地在车辆中计算相应的控制指令以及将这些控制指令传递给车辆中的执行器，由此，相应地影响车辆的行驶过程。人类驾驶员在全自动化或高度自动化运行的车辆中不再参与驾驶任务。
随着从以驾驶员全部注意力为前提的驾驶员辅助系统(所谓的1级和2级驾驶员辅助系统)逐步地向全自动化驾驶(所谓的3级至级5的驾驶员辅助系统)切换，产生关于系统安全性的基本问题。尤其将深度人工神经网络(Deep Neutral Network，DNN)用于对安全重要相关的任务(例如对象的识别和分类)产生了关于系统安全的全新问题。
在此，可以将车辆理解为陆地载具、飞行器、宇宙飞船和水上载具，所述车辆尤其包括轿车、载重货车、公共汽车、短驳车、两轮车、轮船、飞机、直升机和无人机。
背景技术
由C.Guo、G.Pleis、Y.Sun和K.Q.Weiterger的《现代神经网络的标定》(ArXiv电子版，2017年6月)中已知，深度神经网络(Deep Neutral Network，DNN)的输出概率没有被很好地校准。这意味着，用于对象识别的DNN仅说明其已识别的内容，但并不说明这种识别的确定性。在可靠的自动化驾驶中，了解识别模型在何种程度上是不确定的是至关重要的。例如，自动化运行的车辆虽然将前方的对象识别为行人，但是在其位置方面是不确定的。在这种情况下，系统可以提前警告驾驶员并且要求接管驾驶任务或制动，以便避免致命事故。
由A.Kenndall和Y.Gal的《在贝叶斯深度学习中我们需要什么样的不确定性》(CoRR,vol.abs/1703.04977，2017年，在线获取自http://arxiv.org/abs/1703.04977)已知，存在与人工神经网络相关联的两种类型的不确定性。认知不确定性(EpistemischeUnsicherheit)或模型不确定性说明人工神经网络的输出在其训练数据方面的不确定性。另一方面，偶然不确定性(Aleatorische Unsicherheit)反映输出中基于所处理的数据缺陷的不确定性。
这例如可能是传感器缺陷(例如噪声、运动模糊)等。因此，(不属于训练数据组的一部分的)异常对象的观察例如可能导致高的认知不确定性。而远处对象的观察可能导致较高的偶然不确定性。对于可靠的自动化驾驶而言，在用于对象识别的人工神经网络中考虑两种类型的不确定性是必不可少的，因为认知不确定性是对识别模型的边界的度量，而偶然不确定性是对对象跟踪情况下的传感器噪声的度量。作者建议，人工神经网络借助无监督损失强调(Verlustakzentuierung)来学习偶然不确定性。目前，这实际上是训练人工神经网络来预测偶然不确定性的标准方法。
由Y.Gal和Z.Ghahramani的《Dropout贝叶斯近似：见解和应用》(深度学习工作室，ICML，2016年)，以及C.Blundell,J、Cornebise,K Kavukcuoglou和D.Wiestra的《在神经网络中的重量不确定性》(ArXiv电子版，2015年5月)已知，贝叶斯神经网络适用于对认知不确定性进行建模。这通过使用概率分布替代点估计作为人工神经网络的权重来进行。
用于训练偶然不确定性的已知方法的缺点在于：不能确保所输出的偶然不确定性是否还包含认知的部分。
发明内容
在这种背景下，本发明提出一种用于借助训练数据组来训练人工神经网络的方法，所述方法具有根据损失函数来匹配人工神经网络的参数的步骤，其中，损失函数包括第一项，该第一项表示对训练数据组的通过人工神经网络的分类与训练数据组的期望分类之间的距离的下边界(英：Expected Lower Bound,ELBO)的估计。
本发明基于以下认知：偶然不确定性σ2仅取决于在运行时存在的输入数据(例如摄像机图像、雷达信号等)，并且不取决于作为基础的训练数据。为了确定贝叶斯神经网络中的认知不确定性，分别由权重的概率分布(所谓的贝叶斯神经网络样本)得出实现方案，并且借助此来确定人工神经网络的多个可能输出。然后，通过不同输出的方差来估计认知不确定性。由于偶然不确定性仅取决于输入数据，因此偶然不确定性应随不同输出变化而保持恒定。
因此，本发明提出，损失函数包括第二项，该第二项构型成使得通过人工神经网络的不同样本来调节训练数据组中的偶然不确定性的差异。
这意味着，在训练期间，通过不同的输出来“惩罚(bestrafen)”偶然不确定性的差异。
由此以有利的方式实现：如果在训练期间σ2的输出不仅表示偶然不确定性，则“惩罚”σ2的输出。由此，将偶然不确定性与认知不确定性彼此分开。因此，可以以可信的方式对认知不确定性进行建模。这具有如下优点：在训练过程期间，可以借助认知不确定性来估计针对何种情况还存在不充分的训练数据。此外，其还可以分析神经网络性能不佳的原因。这可以用于回答如下问题：是否存在不充分的训练数据，或者，传感器信息是否不允许更好的结论。
在此，损失函数可以理解为如下函数：该函数表示通过经训练的人工神经网络待实现的输出与通过待训练的人工网络输出的输出之间的距离。
通常，将对数似然函数、尤其负对数标准似然函数(标准负对数似然函数)用作损失函数。
在此，人工神经网络应理解为：由用于信息处理的人工神经元构成的网络。人工神经网络基本上经历三个阶段。在初始阶段中，通常根据任务预给定基础拓扑。随后是训练阶段，在该训练阶段中，借助训练数据教导基本拓扑来高效地解决任务。在训练阶段中，也可以对网络的拓扑进行匹配。训练数据的特征在于，对于输入数据而言，通常存在期望的输出数据。最后是应用阶段，在应用阶段中，将经教导的网络应用于如下输入数据：对于所述输入数据而言不存在期望的输出数据。然后，经教导的网络的输出数据表示根据任务所寻求的输出数据。
可以将贝叶斯神经网络训练为人工神经网络。贝叶斯神经网络的特征在于，人工神经网络的权重不是作为固定值说明，而是作为权重值的概率分布说明。
如果权重值的概率分布如此构型，使得认为平均值的概率为1，则存在具有固定权重值的“正常的”人工神经网络。
贝叶斯人工神经网络的实施方式形成一种混合形式，这种混合形式具有权重作为权重值概率分布并且具有权重作为固定权重值。
为了训练贝叶斯人工神经网络，必须在训练时对网络进行采样。这表示，从概率分布出发，必须确定权重wi的具体值，这些具体值构成贝叶斯网络的样本t。
用于训练贝叶斯神经网络的标准损失函数是对下边界(ELBO)的估计：
Figure BDA0002554173110000041
在此：
θ：权重的概率分布的参数
w(t)：样本t的权重
D：训练数据
T：所有采样的总数量
-log P(x)：负对数标准似然函数(英：Standard Negative Log LikelihoodFunction)
q：变化后验，即权重的近似后验概率
训练数据组D可以理解为如下数据组：其用于训练人工神经网络。通常，训练数据组涉及带注释的、即带标签的数据。也就是说，在数据组的相应日期，通过人工神经网络待获得的结果y是已知的，并且这种结果用于与通过待训练的网络生成的输出
Figure BDA0002554173110000042
进行比较。基于期望的结果y与所产生的输出
Figure BDA0002554173110000043
的比较，根据损失函数来对待训练的网络的参数的进行匹配。
在用于对象识别的传统深度人工神经网络(Deep Neutral Networks，DNN)中，网络预测所谓的边界框
Figure BDA0002554173110000051
(通常由四个参数表示，例如左上角的x和y坐标以及宽度w和高度h)。为了如此训练人工神经网络，使得预测所需的边界框y，应使反映网络
Figure BDA0002554173110000052
的预测与目标值y(也被称为标签)之间的距离的损失函数最小化。例如，如果使用L1损失函数，则通过最小化以下损失函数来训练网络：
Figure BDA0002554173110000053
为了预测偶然不确定性，将网络的输出建模为正态分布，并且网络还附加地输出值σ2，其代表预测的方差。因此，所输出的方差σ2的高的值表示高的偶然不确定性，反之亦然。为了训练人工神经网络来预测该方差，根据以下的函数为标准损失函数扩展方差预测：
Figure BDA0002554173110000054
为了不仅将偶然不确定性而且将认知不确定性结合到一个模型中，可以通过如下方式来接近组合的不确定性U：对模型进行预确定数量T的采样，其中，将偶然不确定性平均化，并且借助以下函数来计算用于预测的方差：
Figure BDA0002554173110000055
根据本发明的方法的一种实施方式，第一项表示下边界(英：Expected LowerBound，ELBO)。
第一项可以包括规则化部分和负对数标准似然函数(英：Standard Negative LogLikelihood Function)。
根据本发明的方法的一种实施方式，第二项表示训练数据组的方差确定与训练数据组的在待训练的贝叶斯神经网络的所有生成样本上的平均方差确定之间的平方距离。
根据该实施方式的一种构型，第二项包括超参数α。
超参数在此理解为如下参数：该参数本身并不描述待训练的人工神经网络，而是例如被用于控制待训练的网络的训练过程。常见的超参数是所谓的学习率(英：LearningRate)，其表示每个学习过程的网络匹配的量度。另一传统的超参数是训练纪元(Trainingsepochen)的数量。其中，一个纪元表示训练数据的总遍历(Gesamtdurchlauf)。
在本发明中，超参数控制第二项对损失函数结果的影响，并且因此说明对偶然误差的“惩罚”或考虑的量度。
根据本发明的方法的一种实施方式，借助损失函数根据以下规则来估计下边界：
Figure BDA0002554173110000061
在此：
α：人工神经网络的超参数
θ：权重的概率分布的参数
σ2：方差
w(t)：样本t的权重
D：训练数据
T：所有采样的总数量
-log P(x)：负对数标准似然函数(英：negative loglikelihood
function)
q：变化后验，即权重的近似后验概率
本发明的另一方面是一种计算机程序，其设置用于实施本发明的方法的一种实施方式的所有步骤。
本发明的另一方面是一种机器可读的存储介质，其上存储有根据本发明的计算机程序。
本发明的另一方面是一种借助本发明的方法的一种实施方式所训练的人工神经网络。
本发明的另一方面是根据本发明的人工神经网络的一种应用，该人工神经网络用于控制技术系统、尤其机器人、车辆、工具或工具机。
如此训练的人工神经网络优选用于技术系统(尤其机器人、车辆、工具或工具机)，以便根据输入参量来确定输出参量。作为人工神经网络的输入参量可以考虑使用传感器数据或根据传感器数据求取的参量。传感器数据可以来自技术系统的传感器或者由技术系统从技术系统外部接收。根据人工神经网络的输出参量，通过技术系统的计算单元借助操控信号来操控技术系统的至少一个执行器。因此，例如可以控制机器人或车辆的运动，或者对车辆的驱动单元或驾驶员辅助系统进行控制。
在分析处理传感器数据时，按照根据本发明的用于训练人工神经网络的方法所训练的人工神经网络除了提供至类别的分配之外，还提供关于该分配的确定性(Sicherheit)的说明。
因此，在应用这种网络来控制技术系统时，除了类别分配之外还可以考虑分配的确定性。因此，可以为技术系统提供可靠的控制。
本发明的另一方面是另一计算机程序，其设置用于实施根据本发明的人工神经网络用于控制根据本发明的机器的应用的所有步骤。
本发明的另一方面是另一机器可读的存储介质，在该存储介质上存储有根据本发明的另一计算机程序。
本发明的另一方面是一种用于控制机器的设备，该设备设置用于按照本发明来使用根据本发明的人工神经网络。
附图说明
以下借助附图详细描述本发明的实施方式。
图1示出一般的控制系统；
图2示出控制系统的一个实施例；
图3示出控制系统的另一实施例；
图4示出控制系统的另一实施例；
图5示出控制系统的另一实施例；
图6示出控制系统的另一实施例；
图7示出控制系统的另一实施例；
图8示出控制系统的另一实施例；
图9示出用于训练根据本发明的人工神经网络的方法的一个实施例的流程图；
图10示出根据本发明的人工神经网络的示意图。
具体实施方式
图1示出执行器10在其周围环境20中与控制系统40或技术系统40的交互。执行器10和周围环境20也一起被称为执行器系统。在优选规则的时间间隔内，借助传感器30来检测执行器系统的状态，该状态也可以通过多个传感器说明。将传感器30的传感器信号S(或在多个传感器的情况下各个传感器信号S)传输给控制系统40。因此，控制系统40接收传感器信号S的序列。控制系统40由此求取操控信号A，该操控信号被传输给执行器10。
传感器30是检测周围环境20的状态并且将其作为传感器信号传输的任意传感器。所述传感器例如可以是成像传感器(尤其光学传感器，例如图像传感器或视频传感器)或雷达传感器或超声传感器或激光雷达传感器。所述传感器也可以是声学传感器，其例如接收结构声音
Figure BDA0002554173110000081
或语音信号。所述传感器同样可以涉及位置传感器(例如GPS)或运动学传感器(例如单轴或多轴的加速度传感器)。表征执行器10在周围环境20中的取向的传感器(例如罗盘)也是可能的。检测环境20的化学组成的传感器(例如氧传感器)也是可能的。替代地或附加地，传感器30也可以包括信息系统，该信息系统求取关于执行器系统的状态的信息(例如天气信息系统，其求取周围环境20中的天气的当前或将来的状态)。
控制系统40在可选的接收单元50中接收传感器30的传感器信号S的序列，该接收单元将传感器信号S的序列转换成输入信号序列x(替代地也可以直接分别将传感器信号S作为输入信号x)。输入信号x例如可以是传感器信号S的区段或进一步处理。输入信号x例如可以包括图像数据或图像或者视频拍摄的单个帧。换句话说，根据传感器信号S来求取输入信号x。将输入信号x提供给人工神经网络60。
优选通过参数θ使人工神经网络60参数化，该参数例如包括权重w11至wnm，这些存储在参数存储器P中并且由参数存储器提供。
人工神经网络60由输入信号x求取输出信号y。通常，输出信号y对输入信号x的分类信息进行编码。将输出信号y提供给可选的变换单元80，该变换单元由此求取操控信号A，该操控信号被提供给执行器10，以便相应地操控执行器10。
执行器10接收操控信号A，被相应地操控并且执行相应的动作。执行器10在此可以包括(不一定在结构上集成的)操控逻辑电路，该操控逻辑电路由操控信号A求取第二操控信号，借助该第二操控信号随后操控执行器10。
在另一实施方式中，控制系统40包括传感器30。在另一实施方式中，控制系统40替代地或附加地还包括执行器10。
在另一优选实施方式中，控制系统40包括单个或多个处理器45和至少一个机器可读的存储介质46，在该存储介质上存储有指令，当在处理器45上执行该指令时，该指令促使控制系统40实施用于控制控制系统40的方法。
在替代实施方式中，设置显示单元10a作为执行器10的替代或附加。
图2示出一个实施例，在该实施例中，控制系统40用于控制至少部分自主的机器人(在此为至少部分自动化的机动车100)。
传感器30可以涉及结合附图1所述的传感器中的一个，优选涉及一个或多个优选布置在机动车100中的视频传感器、或者一个或多个雷达传感器、或者一个或多个超声传感器、或者一个或多个激光雷达传感器、或者一个或多个位置传感器(例如GPS)。
人工神经网络60例如可以由输入数据x探测在至少部分自主的机器人周围环境中的对象。输出信号y可以涉及如下信息：所述信息表征对象在至少部分自主的机器人的周围环境中所处的位置。然后，可以根据该信息或相应于该信息来求取输出信号A。
优选布置在机动车100中的执行器10例如可以涉及机动车100的制动装置、驱动装置或转向装置。然后，可以如此求取操控信号A，使得如此操控一个或多个执行器10，使得(尤其当涉及确定类别的对象、例如行人时)机动车100例如阻止与由人工神经网络60辨识出的对象的碰撞。换句话说，可以根据所求取的类别或者相应于所求取的类别来求取操控信号A。
替代地，至少部分自主的机器人也可以涉及另一移动机器人(未示出)，例如涉及通过飞行、漂浮、下潜或迈步而行进的移动机器人。移动机器人例如也可以涉及至少部分自主的割草机或至少部分自主的清洁机器人。在这些情况下，也可以如此求取操控信号A，使得如此操控移动机器人的驱动装置或转向装置，使得至少部分自主的机器人例如阻止与借助人工神经网络60所辨识出的对象的碰撞。
在另一替代方案中，至少部分自主的机器人也可以涉及园艺机器人(未示出)，该园艺机器人借助成像传感器30和人工神经网络60来求取周围环境20中的植物的类型或状态。于是，执行器10例如可以涉及化学品的施加装置。可以根据所求取的植物的类型或状态来求取操控信号A，使得施加化学品的相应于所求取的类型或所求取的状态的量。
在另一替代方案中，至少部分自主的机器人也可以涉及家用器具(未示出)、尤其洗衣机、灶具、烤炉、微波炉或洗碗机。借助传感器30(例如光学传感器)可以检测借助家用器具处理的对象的状态——例如在洗衣机的情况下检测处于洗衣机中的洗涤物的状态。然后，可以借助人工神经网络60求取该对象的类型或状态，并且由输出信号y表征所述类型或状态。然后，可以如此求取操控信号A，使得根据所求取的对象的类型或状态来操控家用器具。例如，在洗衣机的情况下，可以根据位于洗衣机中的洗涤物的材料来操控洗衣机。然后，可以根据洗涤物的已经求取到的材料来选择操控信号A。
图3示出一个实施例，在该实施例中，控制系统40用于操控制造系统200的工具机11，其方式是：操控控制该工具机11的执行器10。工具机11例如可以涉及用于冲压、锯切、钻孔或切割的机器。
传感器30可以涉及结合图1所述的传感器中的一种，优选涉及例如检测制造产品12的特性的光学传感器。可能的是，根据制造产品12的所求取的特性来操控控制工具机11的执行器10，从而工具机11相应地实施该制造产品12的后续加工步骤。也可能的是，传感器30求取由工具机11加工的制造产品12的特性，并且根据此来匹配工具机11的用于后续的制造产品的操控。
图4示出一个实施例，在该实施例中，控制系统40用于控制个人助理250。传感器30可以涉及结合图1所述的传感器中的一种。传感器30优选是声学传感器，其接收用户249的语音信号。替代地或附加地，传感器30也可以设置用于接收光学信号——例如用户249的手势的视频图像。
控制系统40根据传感器30的信号来求取个人助理250的操控信号A，其方式例如是：人工神经网络执行姿态识别。然后，将所求取的操控信号A传输给个人助理250并且因此相应地操控个人助理。所求取的操控信号A尤其可以如此选择，使得其相应于由使用者249所推测的期望操控。可以根据由人工神经网络60所识别的手势来求取这种推测的期望操控。然后，控制系统40可以根据所推测的期望操控来选择用于传输给个人助理250的操控信号A，或者根据所推测的期望操控250来选择用于传输给个人助理的操控信号A。
这种相应的操控例如可以包含：个人助理250从数据库中调用信息并且将所述信息可接受地呈现给用户249。
作为个人助理250的替代，也可以设置家用器具(未示出)——尤其洗衣机、炉灶、烤炉、微波炉或洗碗机，以便相应地进行操控。
图5示出一个实施例，在该实施例中，控制系统40用于控制进入系统300。所述进入系统300可以包括物理进入控制(例如门401)。传感器30可以涉及结合图1所述的传感器中的一种、优选涉及光学传感器(例如用于检测图像或视频数据)，该传感器设置用于检测脸部。借助人工神经网络60可以解读所检测的图像。例如可以求取人员的身份。执行器10可以是锁，其根据操控信号A准许或者不准许进入控制(例如将门401打开或不打开)。为此，可以根据人工神经网络60的解读(例如根据所求取的人的身份)来选择操控信号A。还可以设置逻辑进入控制来替代物理进入控制。
图6示出一个实施例，在该实施例中，控制系统40用于控制监测系统400。该实施例与图5中所示的实施例的区别在于，设置显示单元10a来替代执行器10，该显示单元由控制系统40操控。例如，人工神经网络60可以求取由光学传感器拍摄的对象是否是可疑的
Figure BDA0002554173110000111
然后可以如此选择操控信号A，使得显示单元10a彩色突出地显示该对象。
图7示出一个实施例，在该实施例中，控制系统40用于控制医学成像系统500——例如MRT、X射线或超声波设备。传感器30例如可以通过成像传感器提供，通过控制系统40来操控显示单元10a。例如可以由人工神经网络60来求取由成像传感器所拍摄的区域是否是突出的，然后如此选择操控信号A，使得显示单元10a彩色突出地显示该区域。
图8示意性地示出训练系统140的一个实施例，该训练系统用于借助训练方法来训练人工神经网络60。训练数据单元150求取适合的输入信号x，其被提供给人工神经网络60。例如，训练数据单元150访问其中存储有训练数据D的组的计算机实现的数据库，并且从训练数据D的组中随机选择输入信号x。可选地，训练数据单元150还求取分配给输入信号x的期望的或“实际的”输出信号y，这种输出信号被提供给评估单元180。
人工神经网络x设置用于由提供给它的输入信号x求取所属的输出信号
Figure BDA0002554173110000121
这些输出信号
Figure BDA0002554173110000122
被提供给评估单元180。
评估单元180例如可以借助与输出信号
Figure BDA0002554173110000123
和期望的输出信号y相关的损失函数I(英：Loss Function)来表征人工神经网络60的性能。可以根据损失函数I来优化参数θ。
在另一优选实施例中，训练系统140包括一个或多个处理器145以及至少一个机器可读的存储介质146，在该存储介质上存储有指令，当在处理器145上实施所述指令时，所述指令促使控制系统14实施训练方法。
图9示出根据本发明的用于训练人工神经网络60的方法900的一个实施例的流程图。
在步骤901中，根据损失函数I来匹配待训练的人工神经网络60的参数θ，其中，损失函数I包括第一项，该第一项表示训练数据组D的通过人工神经网络60的分类
Figure BDA0002554173110000124
与训练数据组D的期望分类y之间的距离的下边界(英：Expected Lower Bound，ELBO)。
此外，损失函数I包括第二项，该第二项构型成使得通过人工神经网络60的不同样本来调节训练数据组D中的偶然不确定性σ2的差异。
图10示出根据本发明的人工神经网络60的示意图。所示的人工神经网络60涉及贝叶斯神经网络60。
贝叶斯神经网络60中的权重w11-wnm作为概率分布说明。出于图示原因，在图2中模型的权重w11-wnm作为高斯分布呈现。
该示意图示出贝叶斯神经网络60，其不仅输出偶然不确定性σ2而且输出作为网络输出的方差
Figure BDA0002554173110000125
的认知不确定性。
借助训练数据D来训练人工神经网络60。
通过对模型的权重w11-wnm进行采样，将认知不确定性的值与各个输出维度
Figure BDA0002554173110000126
的方差分离。
应该注意的是，偶然不确定性σ2应独立于权重w11-wnm的相应样本t，因为该偶然不确定性仅描述训练数据D中固有的不确定性。
通过“惩罚”或考虑待训练的人工神经网络60的相应样本t的输出中的偶然不确定性σ2的变化，可以将该偶然不确定性σ2与认知不确定性分开。这因此导致具有更高系统可靠性的人工神经网络60。因为一方面已知通过网络60表示的模型的边界，并且另一方面可以通过相应的训练或通过相应的训练数据来对已知的边界做出反应。

Claims (12)

1.一种用于训练人工神经网络(60)的方法(900)，所述人工神经网络尤其是贝叶斯神经网络，所述方法用于借助训练数据组(D)来控制技术系统(40)，所述方法具有根据损失函数(I)来匹配所述人工神经网络的参数的步骤(901)，其中，所述损失函数(I)包括第一项，所述第一项表示对所述训练数据组(D)的通过所述人工神经网络(60)的分类
Figure FDA0002554173100000012
与所述训练数据组(D)的期望分类(y)之间的距离的下边界(ELBO)的估计，其特征在于，所述损失函数(I)包括第二项，所述第二项构型成使得通过所述人工神经网络(60)的不同样本(t)来调节所述训练数据组(D)中的偶然不确定性的差异。
2.根据权利要求1所述的方法(900)，其中，所述第一项表示所述下边界(ELBO)，尤其其中，所述第一项包括规则化部分和负对数标准似然函数。
3.根据权利要求1或2所述的方法(900)，其中，所述第二项表示所述训练数据组(D)的方差确定与所述训练数据组(D)的在所述贝叶斯神经网络(60)的所有样本上的平均方差确定之间的平方距离。
4.根据权利要求3所述的方法(900)，其中，所述第二项包括超参数(α)。
5.根据以上权利要求中任一项所述的方法(900)，其中，借助所述损失函数(I)根据以下规则来估计所述下边界(ELBO)：
Figure FDA0002554173100000011
其中，θ是权重w(t)的概率分布的参数，w(t)是样本t的权重，D是训练数据，T是样本的总数，q是变化后验、尤其是所述权重(w(t))的近似后验概率。
6.一种计算机程序，所述计算机程序设置用于实施根据权利要求1至5中任一项所述的方法(900)的所有步骤。
7.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求6所述的计算机程序。
8.一种人工神经网络(60)，所述人工神经网络尤其是贝叶斯神经网络，所述人工神经网络借助根据权利要求1至5中任一项所述的方法(900)所训练。
9.一种根据权利要求8所述的人工神经网络(60)的应用，所述人工神经网络尤其是贝叶斯神经网络，所述人工神经网络用于控制技术系统、尤其机器人、车辆、工具或工具机(11)。
10.一种计算机程序，所述计算机程序设置用于实施根据权利要求8所述的人工神经网络(60)的根据权利要求9所述的应用的所有步骤，所述人工神经网络用于控制技术系统。
11.一种机器可读的存储介质，在所述存储介质上存储有根据权利要求10所述的计算机程序。
12.一种用于控制技术系统的设备，所述设备设置用于按照权利要求9来使用根据权利要求8所述的人工神经网络(60)。
CN202010587004.XA 2019-06-28 2020-06-24 用于训练人工神经网络的方法、人工神经网络和相应计算机程序 Pending CN112149820A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019209457.0A DE102019209457A1 (de) 2019-06-28 2019-06-28 Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
DE102019209457.0 2019-06-28

Publications (1)

Publication Number Publication Date
CN112149820A true CN112149820A (zh) 2020-12-29

Family

ID=73747217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010587004.XA Pending CN112149820A (zh) 2019-06-28 2020-06-24 用于训练人工神经网络的方法、人工神经网络和相应计算机程序

Country Status (3)

Country Link
US (1) US11699075B2 (zh)
CN (1) CN112149820A (zh)
DE (1) DE102019209457A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115453889A (zh) * 2022-10-12 2022-12-09 安徽机电职业技术学院 一种基于神经网络的数控车床控制信号设置方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019209457A1 (de) * 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
US11893495B2 (en) * 2019-09-05 2024-02-06 Schlumberger Technology Corporation Dual neural network architecture for determining epistemic and aleatoric uncertainties
CN117540626B (zh) * 2023-10-30 2024-05-14 南通大学 一种基于贝叶斯神经网络的固定翼无人机态势预测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124448A1 (en) * 2015-10-30 2017-05-04 Northrop Grumman Systems Corporation Concurrent uncertainty management system
US10127795B1 (en) * 2017-12-31 2018-11-13 Lyft, Inc. Detecting and handling material left in vehicles by transportation requestors
US11829886B2 (en) * 2018-03-07 2023-11-28 International Business Machines Corporation Epistemic and aleatoric deep plasticity based on sound feedback
US10657676B1 (en) * 2018-06-28 2020-05-19 Snap Inc. Encoding and decoding a stylized custom graphic
US10943154B2 (en) * 2019-01-22 2021-03-09 Honda Motor Co., Ltd. Systems for modeling uncertainty in multi-modal retrieval and methods thereof
US11209345B1 (en) * 2019-05-29 2021-12-28 Northrop Grumman Systems Corporation Automatic prognostic qualification of manufacturing products
EP3757895B1 (en) * 2019-06-28 2024-09-04 Robert Bosch GmbH Method for estimating a global uncertainty of a neural network
DE102019209457A1 (de) * 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
KR20190106861A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법
US11790369B2 (en) * 2020-09-03 2023-10-17 Capital One Services, Llc Systems and method for enhanced active machine learning through processing of partitioned uncertainty
US20210103487A1 (en) * 2020-12-18 2021-04-08 Intel Corporation Systems, methods, and devices for reducing systemic risks

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115453889A (zh) * 2022-10-12 2022-12-09 安徽机电职业技术学院 一种基于神经网络的数控车床控制信号设置方法及系统

Also Published As

Publication number Publication date
US11699075B2 (en) 2023-07-11
US20200410342A1 (en) 2020-12-31
DE102019209457A1 (de) 2020-12-31

Similar Documents

Publication Publication Date Title
EP3757895B1 (en) Method for estimating a global uncertainty of a neural network
CN112149820A (zh) 用于训练人工神经网络的方法、人工神经网络和相应计算机程序
Bagnell et al. Learning for autonomous navigation
CN109109863B (zh) 智能设备及其控制方法、装置
Manderson et al. Vision-based autonomous underwater swimming in dense coral for combined collision avoidance and target selection
CN112085165A (zh) 一种决策信息生成方法、装置、设备及存储介质
CN112668602A (zh) 用于确定传感器的数据集的品质等级的方法、设备和机器可读的存储介质
US11899750B2 (en) Quantile neural network
CN111661045A (zh) 训练用于察觉碰撞的轨迹预测的生成器单元和鉴别器单元
CN116617011B (zh) 基于生理信号的轮椅操控方法、装置、终端及介质
Jiao et al. End-to-end uncertainty-based mitigation of adversarial attacks to automated lane centering
US11960292B2 (en) Method and system for developing autonomous vehicle training simulations
US20230038337A1 (en) Method and device for evaluating an image classifier
US11992943B2 (en) Method for optimizing a policy for a robot
US20210287093A1 (en) Device and method for training a neuronal network
Santos et al. Model-based and machine learning-based high-level controller for autonomous vehicle navigation: lane centering and obstacles avoidance
CN113449585A (zh) 用于运行分类器的方法和设备
Cai et al. Deep Reinforcement Learning With Multiple Unrelated Rewards for AGV Mapless Navigation
Gao et al. Efficient hierarchical reinforcement learning for mapless navigation with predictive neighbouring space scoring
US20230229939A1 (en) Method and device for ascertaining a fusion of predictions relating to sensor signals
CN111930117B (zh) 一种基于转向的横向控制方法、装置、设备和存储介质
US20240109557A1 (en) Systems and methods for distribution-aware goal prediction for modular autonomous vehicle control
US20220327332A1 (en) Method and device for ascertaining a classification and/or a regression result when missing sensor data
US20230030474A1 (en) Method and system for developing autonomous vehicle training simulations
EP4293633A1 (en) Assisted vehicle operation based on dynamic occupancy grid maps including semantic information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination