CN111656362A - 基于声音反馈的认知的和偶然的深度可塑性 - Google Patents

基于声音反馈的认知的和偶然的深度可塑性 Download PDF

Info

Publication number
CN111656362A
CN111656362A CN201980009715.4A CN201980009715A CN111656362A CN 111656362 A CN111656362 A CN 111656362A CN 201980009715 A CN201980009715 A CN 201980009715A CN 111656362 A CN111656362 A CN 111656362A
Authority
CN
China
Prior art keywords
computer
neural network
artificial neural
uncertainty
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980009715.4A
Other languages
English (en)
Other versions
CN111656362B (zh
Inventor
A·鲍曼
S·哈梅
M·福斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN111656362A publication Critical patent/CN111656362A/zh
Application granted granted Critical
Publication of CN111656362B publication Critical patent/CN111656362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了在人工神经网络中模拟不确定性。通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容。通过在传感器数据的前向传播期间从人工神经网络的每个相应层中丢弃所选节点并且测量丢弃的节点对人工神经网络的输出数据的影响，来模拟认知不确定性，以测量人工神经网络所不知道的内容。基于模拟偶然不确定性和认知不确定性的影响来执行与对象相对应的动作。

Description

基于声音反馈的认知的和偶然的深度可塑性
技术领域
本公开一般涉及深度学习，并且更具体地涉及在训练人工神经网络时模拟不确定性，以便预测神经网络在以后的真实世界应用期间在不确定性中产生准确结果的能力。
背景技术
深度学习是基于算法集合的机器学习的分支，该算法集合试图通过使用由多个非线性变换组成的人工神经网络架构来对数据中的高级抽象进行建模。这种机器学习可以是监督的或无监督的。深度学习架构已经被应用于诸如例如音频识别、计算机视觉、语音识别和自然语言处理之类的领域，其中这些架构已经产生了与人类专家相当的结果，并且在一些情况下优于人类专家。
深度学习使用多个处理节点层的级联来进行特征提取和变换。每个连续的节点层使用来自前一节点层的输出作为输入。深度架构被组织为图(graph)。图中的节点由边或链路连接，以将在源处计算的激活传播到目的地节点。每条边具有确定连接的相对强度和符号的权重，并且每个节点将激活函数应用于传入激活的所有加权和。例如，激活函数被给定为硬阈值、S形函数或双曲正切。
这种深度架构通过考虑示例而渐进地学习并提高任务的性能，通常没有特定任务的编程。例如，在音频识别中，这些深度架构可以通过分析已经被手动标记为“恐慌”或“无恐慌”的声音样本并且使用结果来标识其他声音输入中的恐慌人群，来学习标识指示人群中的恐慌的声音。这些深度架构能够在没有关于人群的任何先验知识的情况下做到这一点。相反，这些深度架构从它们处理的训练数据中演化它们自己的相关特性集合。然而，由于测量误差或不考虑当前模型所不知道的内容，当前的深度架构模型在现实环境中不能很好地执行。换言之，这些当前深度架构模型在真实世界环境中的不确定性的高水平和不断变化的幅度下不能很好地执行。
发明内容
根据一个说明性实施例，提供了一种用于模拟人工神经网络中的不确定性的计算机实现的方法。计算机通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容。计算机通过在传感器数据的前向传播期间从人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对人工神经网络的输出数据的影响，来模拟认知不确定性，以测量人工神经网络所不知道的内容。计算机基于模拟偶然不确定性和认知不确定性的影响，执行与发送传感器数据并且在真实世界环境中操作的对象相对应的动作。根据其它说明性实施例，提供了用于模拟人工神经网络中的不确定性的计算机系统和计算机程序产品。因此，说明性实施例能够在数据和传感器不确定性期间跨越在真实世界环境中操作的许多各种类型的平台执行，诸如自主交通工具、机器人助理、无人机等。结果，说明性实施例能够在它们各自环境中的数据和传感器不确定性期间执行的同时提高这些各种类型的平台的性能。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机通过使用对应于真实世界环境的传感器数据选择将从人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及对于人工神经网络的每个相应层：由计算机标识对应于特定层的概率密度函数；以及由计算机基于将传感器数据的强度水平应用于与该特定层相对应的概率密度函数来选择将从该特定层被随机丢弃的节点。
优选地，本发明提供了一种方法，该方法还包括：由计算机基于模拟偶然不确定性和认知不确定性来生成人工神经网络的输出。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机使用对应于真实世界环境的经标记的传感器数据样本来运行包括多个隐藏层的人工神经网络；以及由计算机利用人工神经网络的所获得的输出，来基于目标输出与所获得的输出之间的增量确定模型误差。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机将人工神经网络的所获得的输出输入到与多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所获得的输出在真实世界环境中的出现概率来生成节点之间的边权重调整。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机通过人工神经网络反向传播模型误差，以基于每个相应节点对模型误差的贡献水平来更新多个隐藏层中的节点之间的边权重；以及由计算机将边权重调整添加到多个隐藏层中的每个相应隐藏层中的节点之间的经更新的边权重，以模拟偶然不确定性。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机从在真实世界环境中操作的对象接收传感器数据；由计算机确定传感器数据的强度水平；以及由计算机确定传感器数据的强度水平是否大于或等于指示未知事件的发生的强度水平阈值水平。
优选地，本发明提供了一种计算机实现的方法，还包括：响应于计算机确定传感器数据的强度水平大于或等于指示未知事件的发生的强度水平阈值水平，由计算机将传感器数据输入到包括多个隐藏层的人工神经网络中，每个隐藏层包括多个节点；以及由计算机对传感器数据执行蒙特卡罗丢弃采样，以确定多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃，以模拟未知事件。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机选择多个隐藏层中的隐藏层；以及由计算机标识与多个隐藏层中的所选择的隐藏层相对应的概率密度函数，该概率密度函数对人工神经网络的输出进行建模。
优选地，本发明提供了一种计算机实现的方法，还包括：由计算机基于将传感器数据的强度水平应用于所标识的概率密度函数，来选择将被随机丢弃的所选择的隐藏层内的节点；以及由计算机丢弃所选隐藏层内的所选择的节点，以模拟与未知事件相关联的认知不确定性。
从第二方面来看，本发明提供了一种用于模拟人工神经网络中的不确定性的计算机系统，该计算机系统包括：总线系统；被连接到总线系统的存储设备，其中存储设备存储程序指令；以及处理器，其被连接到总线系统，其中处理器执行程序指令以：通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；通过在传感器数据的前向传播期间从人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对人工神经网络的输出数据的影响，来模拟认知不确定性，以测量人工神经网络不知道的内容；以及基于模拟偶然不确定性和认知不确定性的影响，执行与发送传感器数据并且在真实世界环境中操作的对象相对应的动作。
优选地，本发明提供一种计算机系统，其中处理器还执行程序指令以：通过使用对应于真实世界环境的传感器数据选择将从人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及对于人工神经网络的每个相应层：标识对应于特定层的概率密度函数；以及基于将传感器数据的强度水平应用于与该特定层相对应的概率密度函数来选择将从该特定层被随机丢弃的节点。
优选地，本发明提供一种计算机系统，其中处理器还执行程序指令以：基于模拟偶然不确定性和认知不确定性来生成人工神经网络的输出。
优选地，本发明提供一种计算机系统，其中处理器还执行程序指令以：使用对应于真实世界环境的经标记传感器数据样本来运行包括多个隐藏层的人工神经网络；以及利用人工神经网络的所获得的输出，来基于目标输出与所获得的输出之间的增量确定模型误差。
优选地，本发明提供一种计算机系统，其中处理器还执行程序指令以：将人工神经网络的所获得的输出输入到与多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所获得的输出在真实世界环境中的出现概率来生成节点之间的边权重调整。
从第三方面来看，一种用于模拟人工神经网络中的不确定性的计算机程序产品，计算机程序产品包括具有与其一起体现的程序指令的计算机可读存储介质，程序指令由计算机可执行以使计算机执行方法，方法包括：由计算机通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；由计算机通过在传感器数据的前向传播期间从人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对人工神经网络的输出数据的影响，来模拟认知不确定性，以测量人工神经网络不知道的内容；以及由计算机基于模拟偶然不确定性和认知不确定性的影响，执行与发送传感器数据并且在真实世界环境中操作的对象相对应的动作。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机通过使用对应于真实世界环境的传感器数据选择将从人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及对于人工神经网络的每个相应层：由计算机标识对应于特定层的概率密度函数；以及由计算机基于将传感器数据的强度水平应用于与该特定层相对应的概率密度函数来选择将从该特定层被随机丢弃的节点。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机基于模拟偶然不确定性和认知不确定性来生成人工神经网络的输出。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机使用对应于真实世界环境的经标记的传感器数据样本来运行包括多个隐藏层的人工神经网络；以及由计算机利用人工神经网络的所获得的输出，来基于目标输出与所获得的输出之间的增量确定模型误差。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机将人工神经网络的所获得的输出输入到与多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所获得的输出在真实世界环境中的出现概率来生成节点之间的边权重调整。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机通过人工神经网络反向传播模型误差，以基于每个相应节点对模型误差的贡献水平来更新多个隐藏层中的节点之间的边权重；以及由计算机将边权重调整添加到多个隐藏层中的每个相应隐藏层中的节点之间的经更新的边权重，以模拟偶然不确定性。
优选地，本发明提供了一种计算机程序产品，还包括：由计算机从在真实世界环境中操作的对象接收传感器数据；由计算机确定传感器数据的强度水平；以及由计算机确定传感器数据的强度水平是否大于或等于指示未知事件的发生的强度水平阈值水平。
优选地，本发明提供了一种计算机程序产品，还包括：响应于计算机确定传感器数据的强度水平大于或等于指示未知事件的发生的强度水平阈值水平，由计算机将传感器数据输入到包括多个隐藏层的人工神经网络中，每个隐藏层包括多个节点；以及由计算机对传感器数据执行蒙特卡罗丢弃采样，以确定多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃，以模拟未知事件。
从另一个角度来看，本发明提供了一种用于模拟人工神经网络中的不确定性的计算机实现的方法，该计算机实现的方法包括：由计算机通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；以及由计算机基于模拟偶然不确定性的影响，来执行与发送传感器数据并且在真实世界环境中操作的对象相对应的动作。
从另一个角度来看，本发明提供了一种用于模拟人工神经网络中的不确定性的计算机实现的方法，该计算机实现的方法包括：由计算机通过在对应于在真实世界环境中操作的对象的数据的前向传播期间从人工神经网络的每一层中丢弃所选择的节点、并且测量丢弃的节点对人工神经网络的输出的影响，来模拟认知不确定性，以测量人工神经网络不知道的内容；以及由计算机基于模拟认知不确定性的影响，来执行与在真实世界环境中操作的对象相对应的动作。
根据又一说明性实施例，提供了一种用于模拟人工神经网络中的不确定性的计算机实现的方法。计算机通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容。计算机基于模拟偶然不确定性的影响，来执行与发送传感器数据并且在真实世界环境中操作的对象相对应的动作。
根据又一说明性实施例，提供了一种用于模拟人工神经网络中的不确定性的计算机实现的方法。计算机通过在对应于在真实世界环境中操作的对象的数据的前向传播期间从人工神经网络的每一层中丢弃所选择的节点、并且测量丢弃的节点对人工神经网络的输出的影响，来模拟认知不确定性，以测量人工神经网络所不知道的内容。计算机基于模拟认知不确定性的影响，来执行与在真实世界环境中操作的对象相对应的动作。
这些备选的说明性实施例通过仅模拟偶然不确定性或认知不确定性来减少计算机资源使用。另外，传感器不确定性和数据不确定性两者可能不存在于真实世界应用中。结果，这些备选的说明性实施例更适合于在仅存在传感器不确定性或仅存在数据不确定性的情况下执行。
附图说明
图1是其中可以实现说明性实施例的数据处理系统的网络的图形表示；
图2是其中可以实现说明性实施例的数据处理系统的示意图；
图3是图示根据说明性实施例的用于基于模拟不确定性的经训练的人工神经网络的输出来执行动作的过程的流程图；
图4是图示根据说明性实施例的用于模拟偶然不确定性的过程的流程图；
图5是图示根据说明性实施例的用于模拟认知不确定性的过程的流程图；以及
图6是图示根据说明性实施例的用于训练人工神经网络的过程的流程图。
具体实施方式
本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
计算机可读存储介质可以是能够保留和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码设备，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过导线传输的电信号。
本文描述的计算机可读程序指令可以从计算机可读存储介质被下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，被下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言(包括面向对象的编程语言，诸如Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络被连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用因特网服务提供方通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的组件。这些计算机可读程序指令还可以被存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
附图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能性和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的(多个)逻辑功能的一个或多个可执行指令。在一些备选实现中，框中所注明的功能可以不按附图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时被执行，或者这些框有时可以以相反的顺序被执行，这取决于所涉及的功能性。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由专用的基于硬件的系统来实现，该专用的基于硬件的系统执行指定功能或动作或执行专用硬件和计算机指令的组合。
现在参考附图，并且特别地，参考图1和图2，提供了可以实现说明性实施例的数据处理环境的示意图。应当理解，图1和图2仅意味着作为示例，而不旨在断言或暗示关于其中可以实现不同实施例的环境的任何限制。可以对所描绘的环境进行许多修改。
图1描绘了其中可以实现说明性实施例的数据处理系统的网络的图形表示。网络数据处理系统100是其中可以实现说明性实施例的计算机、数据处理系统和其它设备的网络。网络数据处理系统100包含网络102，其是用于在网络数据处理系统100内被连接在一起的计算机、数据处理系统和其它设备之间提供通信链路的介质。网络102可以包括连接，诸如例如有线通信链路、无线通信链路和光纤电缆。
在所描绘的例子中，服务器104和服务器106连同存储装置108一起连接到网络102。服务器104和服务器106可以是例如具有到网络102的高速连接的服务器计算机。另外，服务器104和服务器106可以向客户端110、112和114提供服务集合。例如，服务器104和服务器106可以在人工神经网络中模拟偶然不确定性和认知不确定性，以在客户端110、112和114操作的真实世界环境中的不确定性期间产生准确的输出。此外，应当注意，服务器104和服务器106可以各自表示数据中心中的服务器集群。或者，服务器104和服务器106可以是云环境中的服务器。此外，服务器104和服务器106可以向客户端110、112和114提供其他信息，例如应用和程序。
客户端110、客户端112和客户端114也连接到网络102。客户端110、112和114是服务器104和/或服务器106的客户端。在该示例中，客户端110、112和114分别被图示为交通工具、飞行器和机器人，具有到网络102的无线和有线通信链路。然而，应当注意，客户端110、112和114仅作为示例。换言之，客户端110、112和114可以包括具有到网络102的有线或无线通信链路的其他类型的设备或机器，诸如，例如，水运工具、计算机、智能电话、智能手表、智能电视、智能电器、游戏设备、信息亭等。
此外，客户端110、客户端112和客户端114分别包括传感器116、传感器118和传感器120。传感器116、传感器118和传感器120各自表示一个或多个传感器的集合。该传感器的集合可以包括例如成像传感器(诸如静止和视频相机)、声音捕获传感器(诸如麦克风)、地理定位传感器(诸如全球定位系统(GPS)收发器)、光检测和测距(LiDAR)传感器、雷达传感器等。
客户端110、112和114将从传感器116、118和120获得的关于其相应真实世界操作环境的传感器数据传输到服务器104和/或服务器106，以用于评估在其相应环境内发生的未知事件或情况。服务器104和/或服务器106将传感器数据输入到经训练的人工神经网络中，该人工神经网络模拟偶然不确定性和认知不确定性，以产生准确的输出。基于由经训练的人工神经网络生成的输出，服务器104和/或服务器106可以基于输出在特定环境的正常范围之外来执行动作。动作可以是服务器104向客户端110的操作者发送警报。另一个动作可以是服务器106自动控制客户端112。
存储装置108是能够以结构化格式或非结构化格式存储任何类型的数据的网络存储设备。另外，存储装置108可以表示多个网络存储设备。此外，存储装置108可以存储多个客户端的标识符；人工神经网络；概率密度函数；等等。此外，存储单元108可以存储其它类型的数据，诸如可以包括用户名、口令和与系统用户和管理员相关联的生物测定数据的认证或凭证数据。
另外，应当注意，网络数据处理系统100可以包括任何数量的附加服务器、客户端、存储设备和未示出的其他设备。位于网络数据处理系统100中的程序代码可以被存储在计算机可读存储介质上，并下载到计算机或其它数据处理设备以供使用。例如，程序代码可以被存储在通信服务器104上的计算机可读存储介质上，并且通过网络102被下载到客户端110以便在客户端110上使用。
在所描绘的示例中，网络数据处理系统100可以被实现为多个不同类型的通信网络，诸如例如因特网、内联网、局域网(LAN)和广域网(WAN)。图1仅旨在作为示例，而不是作为对不同说明性实施例的架构限制。
现在参考图2，根据说明性实施例描绘了数据处理系统的示意图。数据处理系统200是诸如图1中的服务器104的计算机的示例，实现说明性实施例的过程的计算机可读程序代码或指令可以位于其中。或者，数据处理系统200可以在诸如图1中的客户端110的设备或机器中被实现。在该说明性示例中，数据处理系统200包括通信结构202，其提供处理器单元204、存储器206、持久性存储装置208、通信单元210、输入/输出(I/O)单元212和显示器214之间的通信。
处理器单元204用于执行可以被加载到存储器206中的软件应用和程序的指令。处理器单元204可以是一个或多个硬件处理器设备的集合，或者可以是多处理器核，这取决于特定的实现。此外，处理器单元204可以包括图形处理单元。
存储器206和持久性存储装置208是存储设备216的示例。计算机可读存储设备是能够存储信息的任何硬件，所述信息诸如例如但不限于数据、功能形式的计算机可读程序代码和/或在瞬时基础和/或持久基础上的其他合适的信息。此外，计算机可读存储设备不包括传播介质。在这些示例中，存储器206可以是例如随机存取存储器，或者任何其他合适的易失性或非易失性存储设备。取决于特定的实现，持久性存储装置208可以采取各种形式。
在该示例中，持久性存储装置208存储不确定性管理器218。然而，应当注意，即使不确定性管理器218被图示为驻留在持久性存储装置208中，但是在备选说明性实施例中，不确定性管理器218可以是数据处理系统200的单独组件。例如，不确定性管理器218可以是被耦合到通信结构202的硬件组件，或者是硬件和软件组件的组合。在另一个备选说明性实施例中，不确定性管理器218的第一部分可以位于数据处理系统200中，并且不确定性管理器218的第二部分可以位于第二数据处理系统中，诸如图1中的服务器106或客户端112，在又一个备选说明性实施例中，不确定性管理器218可以位于客户端设备中，而不是数据处理系统200中，或者除了数据处理系统之外。
不确定性管理器218控制模拟人工神经网络220中的偶然不确定性和认知不确定性的过程，以在真实世界环境中的不确定性期间产生具有增加的准确度的输出。不确定性描述了涉及模糊和/或未知信息的情况。换言之，不确定性是缺乏确定性或有限知识的状态，其中不可能准确地描述当前状态、未来结果或多于一个可能结果。不确定性量化是定量表征以及减少计算和真实世界应用中的不确定性，以确定如果系统的一些方面不是精确已知的，特定结果有多大可能。不确定性的测量可以包括可能的状态或结果的集合，其中，将概率指派给每个可能的状态或结果。这也可以包括将概率密度函数应用于连续变量。
不确定性可以被分类成两个类别。一个类别是偶然不确定性，另一类别是认知不确定性。偶然不确定性与统计不确定性有关，并且代表每次运行相同的过程或实验时不同的未知数。偶然不确定性测量不能从数据中理解的，但是可以通过无限感测来解释。例如，传感器图像中的遮挡可能发生，因此诸如人工神经网络220之类的模型不具有来自传感器的所有所需信息。例如，自主交通工具可能需要知道到收费亭的距离，但是自主交通工具的成像传感器不能检测到收费亭，因为半挂牵引车在该交通工具前方将收费亭与成像传感器遮挡。结果，需要测量模型从数据中不理解的内容，并且需要仿真无限制的感测。
认知不确定性与系统误差或测量不准确度有关。认知不确定性测量模型不知道什么，但是可以通过无限数据来解释。例如，模型可能不知道某些数据，诸如以32英尺每秒平方的加速度落到地面上的物体的阻力(例如，空气阻力)。作为另一个示例，模型可能从传感器接收不准确的数据，因为传感器由于故障或干扰而没有正确地起作用。结果，需要测量模型从数据中不知道的内容，并且需要仿真无限的数据。
在现实生活应用中，通常存在两种不确定性。换言之，通常在现实生活应用中，存在数据不确定性和传感器不确定性。不确定性量化用于将认知不确定性减少到偶然不确定性。取决于应用，可以相对直接地执行对偶然不确定性的量化。经常使用诸如蒙特卡罗方法的技术。蒙特卡罗方法是从数据集中随机选择数据子集的计算算法。蒙特卡罗方法有助于对输入中具有显著不确定性的现象进行建模。换言之，蒙特卡罗采样的目标是通过数据的随机采样来更好地理解系统。说明性实施例可以利用蒙特卡罗方法来从概率分布生成随机抽取。在这种情况下，蒙特卡罗采样提供用于模拟认知不确定性的数据。
概率分布提供了在过程或实验中不同可能结果的出现概率。换言之，概率分布是根据事件概率的随机现象的描述。根据样本空间定义概率分布，样本空间是所观察的随机现象的所有可能结果的集合。连续概率分布通常由概率密度函数描述。
连续随机变量的概率密度函数是以下函数：该函数在样本空间中的任何给定样本或点处(即，由连续随机变量取得的可能值的集合)的值可以被解释为提供随机变量的值将等于该样本的相对似然性。换言之，虽然连续随机变量取任何特定值的绝对似然性是零(0)，因为开始时候存在可能值的无限集合，但是在随机变量的任何特定提取中，在两个不同样本处的概率密度函数的值可以用于推断与另一样本相比随机变量将有多大可能等于一个样本。因此，概率密度函数用于指定随机变量落在特定数值范围内的概率，而不是取任何一个值。
不确定性管理器218通过仿真无限感测来模拟偶然不确定性，以测量人工神经网络220从传感器数据中不能理解的内容。不确定性管理器218通过在人工神经网络220的输出数据的反向传播期间将随机值添加到人工神经网络220中的节点之间的边权重，并且测量节点之间的添加的随机边权重值对输出数据的影响，来仿真无限感测。换言之，不确定性管理器218对节点之间的边进行权重调整以补偿传感器数据的缺乏。
不确定性管理器218仿真认知不确定性，以通过仿真无限数据来测量人工神经网络220不知道什么。不确定性管理器218通过在传感器数据的前向传播期间从人工神经网络220中的每一层丢弃随机节点，并且测量丢弃的随机节点对人工神经网络220的输出的影响，来仿真无限数据。换言之，不确定性管理器218取出在人工神经网络220中产生“内部损伤”的节点，以补偿数据的缺乏。不确定性管理器218通过使用输入传感器数据，诸如来自一个或多个传感器的集合的一个或多个声音或噪声的集合和/或一个或多个图像的集合，来选择将从人工神经网络220中的每个层被随机丢弃的节点，所述输入传感器数据对应于用于蒙特卡洛丢弃采样的真实世界环境。对于人工神经网络220的每个相应层，不确定性管理器218标识概率密度函数236中对应于特定层的概率密度函数，并且基于应用输入到所标识的概率密度函数中的传感器数据(例如，声音)的强度水平来选择将在该特定层中被丢弃的节点。
概率密度函数236包括多个不同类型的概率密度函数。另外，人工神经网络220中的每个相应隐藏层对应于概率密度函数236中的不同类型的概率密度函数。概率密度函数236中的不同类型的概率密度函数可以包括例如包裹柯西概率密度函数(PDF)、Weibull_max PDF、Weibull_min PDF、Wald PDF、Venises PDF、TukeyLambda PDF、T PDF、半圆形PDF、Rayleigh PDF、Rdist PDF、Pearson3 PDF、Mielke PDF、Maxwell PDF、逻辑PDF、LaplacePDF、Hyesecant PDF、Gamma PDF、Gennorm PDF、Foldnorm PDF、Fisk PDF、余弦PDF、ChiPDF、反正弦PDF、Anglit PDF、Alpha PDF等。
不确定性管理器218基于模拟的偶然不确定性和认知不确定性生成人工神经网络220的输出。不确定性管理器218利用人工神经网络220的输出来确定是否基于该输出执行动作，这考虑了真实世界环境中的不确定性。由不确定性管理器218执行的动作可以是例如向诸如设备或机器的对象的操作者或用户发出警报，该对象正在将传感器数据作为输入发送到人工神经网络220并且正在真实世界环境中操作。或者，由不确定性管理器218执行的动作可以是控制在真实世界环境中操作的设备或机器，以管理、控制、减轻或消除不确定性的影响，并且因此增加真实世界环境中的设备或机器的性能。该设备或机器可以是例如自主或半自主交通工具，诸如小汽车、卡车、货车、公共汽车、火车等，自主或半自主飞行器，诸如飞机、喷气机、直升机、无人机等，自主或半自主水运工具，诸如船、舰、潜艇等，自主或半自主机器人助理，诸如工业机器人助理、手术机器人助理、军用机器人助理、家用机器人助理等。
人工神经网络220是数据处理算法。在一个备选的说明性实施例中，人工神经网络220是硬件处理设备。人工神经网络220可以表示任何类型的人工神经网络，诸如例如，残差神经网络、卷积神经网络、递归神经网络、随机神经网络等。
人工神经网络220被组织成多个层，诸如层222。层222包括输入层224、隐藏层226和输出层228。层222中的每个层由多个互连的节点组成，诸如节点230，其包含激活功能。节点的激活功能定义了给定输入的情况下该节点的输出。数据模式经由输入层224被呈现给人工神经网络220，其传达给隐藏层226中的一个或多个隐藏层，其中实际数据处理经由节点230之间的加权边或连接(诸如包括权重234的边232)来执行。隐藏层226是输入数据的内部表示。隐藏层226然后链接到输出层228，在那里输出答复。
人工神经网络220根据人工神经网络220所呈现的输入数据模式来修改边232的权重234。人工神经网络220经由随每个历元(epoch)或周期(即，不确定性管理器218每次以新的输入数据模式运行人工神经网络220)发生的受监督的过程通过输出的前向激活流和权重调整的后向传播来学习。换言之，这是两步过程，其中不确定性管理器218经由前向传播将数据输入馈送到人工神经网络220中，并且在经由激活函数变换数据输入之前与初始随机权重相乘。一旦前向传播完成，反向传播步骤通过计算生成误差的权重234的导数并调整它们来测量从最终输出到预期输出的误差。换言之，反向传播通过计算损失函数的梯度来调整权重。一旦调整了权重，人工神经网络220重复前向传播和后向传播步骤的过程，以最小化错误率，直到收敛为止。
更简单地，当人工神经网络220最初被呈现数据模式时，人工神经网络220做出关于其可能是什么的随机猜测。然后，人工神经网络220确定其答复与实际答复的距离，并对边232的权重234进行适当的调整。在每个隐藏层节点内是激活函数，诸如S形函数、线性函数或修正线性单元，其极化网络活动并帮助其稳定。一旦训练了人工神经网络220，不确定性管理器218就利用人工神经网络220作为分析工具来生成模拟的偶然不确定性238和模拟的认知不确定性240。不确定性管理器218利用蒙特卡罗方法242来生成模拟的认知不确定性240。前向传播运行的输出然后是数据的预测模型，其代替先前的值。
对象244表示在真实世界环境246中操作的设备或机器。对象244经由诸如图1中的网络102的网络被连接到数据处理系统200。对象244可以是例如图1中的客户端114，其被图示为机器人设备。在这种情况下，例如，真实世界环境246可以是工业生产线。对象244包括至少一个传感器，诸如图1中的传感器120，其生成传感器数据248。传感器数据248是对应于真实世界环境246的信息。
另外，对象244将传感器数据248作为输入发送到人工神经网络220。传感器数据248可以是例如由被连接到在真实世界环境246中操作的对象244的传感器(诸如麦克风)拾取的声音或音频数据。传感器数据248还包括强度水平250。强度水平250表示对应于传感器数据248的强度水平。例如，声音强度水平或声学强度水平是声音强度相对于参考值的水平。
基于人工神经网络220的输出，不确定性管理器218响应于输出在真实世界环境246的正常值或期望值之外而执行动作252。例如，不确定性管理器218可以向对象244的操作者或用户发送警报。或者，不确定性管理器218可以接管对象244的操作控制，以例如防止或减少对对象244或真实世界环境246中的其他对象或人的损害，提高对象244的性能，降低对对象244或真实世界环境246中的人的风险水平，警告人真实世界环境246中的未知事件，等等。
在该示例中，通信单元210提供经由网络(诸如图1中的网络102)与其它计算机、数据处理系统、设备和机器的通信。通信单元210可以通过使用物理和无线通信链路提供通信。物理通信链路可以利用例如导线、电缆、通用串行总线或任何其它物理技术来建立用于数据处理系统200的物理通信链路。无线通信链路可以利用例如短波、高频、超高频、微波、无线保真(Wi-Fi)、蓝牙技术、全球移动通信系统(GSM)、码分多址(CDMA)、第二代(2G)、第三代(3G)、第四代(4G)、4G长期演进(LTE)、高级LTE或任何其它无线通信技术或标准来建立用于数据处理系统200的无线通信链路。
输入/输出单元212允许与可以被连接到数据处理系统200的其它设备输入和输出数据。例如，输入/输出单元212可以提供连接，用于通过小键盘、键盘、鼠标和/或某种其它合适的输入设备的用户输入。显示器214提供向用户显示信息的机制，并且可以包括触摸屏能力，以允许用户通过例如用户接口或输入数据进行屏幕上的选择。
用于操作系统、应用和/或程序的指令可以位于存储设备216中，其通过通信结构202与处理器单元204通信。在该说明性示例中，指令以功能形式位于持久性存储装置208上。这些指令可以被加载到存储器206中以便由处理器单元204运行。不同实施例的过程可以由处理器单元204使用计算机实现的指令来执行，所述指令可以位于诸如存储器206的存储器中。这些程序指令被称为程序代码、计算机可用程序代码或计算机可读程序代码，其可以由处理器单元204中的处理器读取和运行。在不同的实施例中，程序指令可以被包含在不同的物理计算机可读存储设备上，诸如存储器206或持久性存储装置208。
程序代码254以功能形式位于可选择性地移除的计算机可读介质256上，并且可以被加载到或传送到数据处理系统200以便由处理器单元204运行。程序代码254和计算机可读介质256形成计算机程序产品258。在一个示例中，计算机可读介质256可以是计算机可读存储介质260或计算机可读信号介质262。计算机可读存储介质260可以包括例如光盘或磁盘，其被插入或放置到作为持久性存储装置208的一部分的驱动器或其他设备中，以便传送到作为持久性存储装置208的一部分的诸如硬盘驱动器的存储设备上。计算机可读存储介质260还可以采取持久性存储装置的形式，诸如被连接到数据处理系统200的硬盘驱动器、拇指驱动器或闪存。在一些实例中，计算机可读存储介质260可以不是从数据处理系统200可移除的。
或者，程序代码254可以使用计算机可读信号介质262被传送到数据处理系统200。计算机可读信号介质262可以是例如包含程序代码254的传播数据信号。例如，计算机可读信号介质262可以是电磁信号、光信号和/或任何其他合适类型的信号。这些信号可以通过通信链路传输，诸如无线通信链路、光纤电缆、同轴电缆、电线和/或任何其他合适类型的通信链路。换言之，在说明性示例中，通信链路和/或连接可以是物理的或无线的。计算机可读介质还可以采用非有形介质的形式，诸如包含程序代码的通信链路或无线传输。
在一些说明性实施例中，程序代码254可以通过网络从另一设备或数据处理系统通过计算机可读信号介质262被下载到持久性存储装置208，以供在数据处理系统200内使用。例如，存储在数据处理系统中的计算机可读存储介质中的程序代码可以通过网络从数据处理系统被下载到数据处理系统200。提供程序代码254的数据处理系统可以是服务器计算机、客户端计算机或能够存储和传送程序代码254的一些其它设备。
为数据处理系统200示出的不同组件不意味着对可以实现不同实施例的方式提供架构限制。不同的说明性实施例可以在包括除了或代替为数据处理系统200说明的那些组件的数据处理系统中被实现。图2中所示的其它组件可以与所示的说明性示例不同。可以使用能够执行程序代码的任何硬件设备或系统来实现不同的实施例。作为一个例子，数据处理系统200可以包括与无机组件集成的有机组件和/或可以完全由除了人之外的有机组件组成。例如，存储设备可以由有机半导体构成。
作为另一个例子，数据处理系统200中的计算机可读存储设备是可以存储数据的任何硬件装置。存储器206、持久性存储装置208和计算机可读存储介质260是有形形式的物理存储设备的示例。
在另一示例中，总线系统可以用于实现通信结构202，并且可以包括一个或多个总线，诸如系统总线或输入/输出总线。当然，总线系统可以使用任何合适类型的架构来实现，该架构提供在附接到总线系统的不同组件或设备之间的数据传输。另外，通信单元可以包括用于传送和接收数据的一个或多个设备，诸如调制解调器或网络适配器。此外，存储器可以是例如存储器206或高速缓存，诸如在可以存在于通信结构202中的接口和存储器控制器集线器中找到的。
数据科学和人工智能领域正进入由深度学习引领的黄金时代。深度学习神经网络刚开始利用增强技术来从其环境中学习。然而，由于测量误差或考虑当前模型不知道什么，当前模型不能在真实世界环境中很好地执行。说明性实施例提供了类似于真实世界应用的逼真训练环境。使用说明性实施例，人工神经网络能够在不确定性的高水平和不断变化的幅度下进行推理，并且人类将具有这些人工神经网络在不确定性期间将如何执行的更好的想法。
说明性实施例提供了一种通过深度学习可塑性来模拟偶然不确定性和认知不确定性的方式。此外，说明性实施例使用从真实世界环境获得的诸如声音数据之类的传感器反馈来确定真实世界环境中的未知事件或破坏的类型。因此，说明性实施例能够在跨越许多各种类型的平台的数据和传感器不确定性期间执行，所述平台诸如自主交通工具、机器人助理、无人机等。事实上，使用说明性实施例的人工神经网络的每个训练时期将揭示由于不确定性的新结果或结局。
现在参考图3，根据说明性实施例示出了图示用于基于模拟不确定性的经训练的人工神经网络的输出来执行动作的过程的流程图。图3所示的过程可以在计算机中实现，诸如例如图1中的服务器104或图2中的数据处理系统200。或者，图3所示的过程可以在包括某种类型的数据处理系统或计算机的设备或机器中实现，诸如图1中的客户端110。
该过程开始于计算机通过在人工神经网络的输出数据的反向传播期间将随机值添加到人工神经网络中的节点之间的边权重、并且测量向节点之间的边权重添加的随机值对输出数据的影响，来模拟偶然不确定性，以测量人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容(步骤302)。计算机通过使用对应于真实世界环境的传感器数据来选择将从人工神经网络的每一层被随机丢弃的节点，以用于蒙特卡罗丢弃采样，并且对于人工神经网络的每一相应层，计算机标识对应于特定层的概率密度函数，并且基于将传感器数据的强度水平应用于与该特定层相对应的概率密度函数，来选择将从该特定层被随机丢弃的节点(步骤304)。
计算机通过在传感器数据的前向传播期间从人工神经网络的每个相应层中丢弃所选择的节点、并且测量丢弃的节点对人工神经网络的输出数据的影响，来模拟认知不确定性，以测量人工神经网络所不知道的内容(步骤306)。计算机基于模拟偶然不确定性和认知不确定性来生成人工神经网络的输出(步骤308)。计算机基于模拟偶然不确定性和认知不确定性的人工神经网络的输出，执行与发送传感器数据并在真实世界环境中操作的对象相对应的动作(步骤310)。此后，该过程终止。
然而，应当注意，数据不确定性和传感器不确定性两者可能不存在于所有现实生活应用中。结果，一个备选说明性实施例可以仅模拟偶然不确定性，以测量当仅存在传感器不确定性时，人工神经网络根据从在真实世界环境中操作的对象接收的传感器数据而不理解的内容。另一备选说明性实施例可以当仅存在数据不确定性时仅模拟认知不确定性，以测量人工神经网络从对应于在真实世界环境中操作的对象的数据中不知道的内容。此外，通过仅模拟偶然不确定性或认知不确定性的备选说明性实施例，与模拟偶然不确定性和认知不确定性两者相比，这些备选说明性实施例节省了处理器、存储器和网络资源。
现在参考图4，根据说明性实施例示出了图示用于模拟偶然不确定性的过程的流程图。图4所示的过程可以在计算机中实现，诸如例如图1中的服务器106或图2中的数据处理系统200，或者，图4所示的过程可以在包括某种类型的数据处理系统或计算机的设备或机器中实现，诸如图1中的客户端112。
人工神经网络通过反向传播损失函数或误差来学习，所述损失函数或误差是通过人工神经网络的目标输出和获得的输出之间的差异。说明性实施例基于每个节点对误差的贡献量来更新人工神经网络中的节点之间的每条边上的权重。通过模拟偶然不确定性，说明性实施例使用以下公式将权重调整(例如，ε)添加到更新的权重：
Figure BDA0002595375340000221
换言之，说明性实施例利用ε作为误差的乘数。说明性实施例从与人工神经网络的每个相应隐藏层相对应的每个不同概率密度函数检索ε的值。说明性实施例可以利用多个不同类型的概率密度函数，诸如，例如，对应于人工神经网络的三十个不同隐藏层的三十个不同类型。
该过程开始于计算机运行人工神经网络时，该人工神经网络包括使用对应于真实世界环境的标记的传感器数据样本的多个隐藏层(步骤402)。计算机利用人工神经网络的所获得的输出，基于目标输出和所获得的输出之间的增量来确定模型误差(步骤404)。计算机将人工神经网络的所获得的输出输入到与多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所获得的输出在真实世界环境中的出现概率来生成节点之间的边权重调整(步骤406)。
计算机通过人工神经网络反向传播模型误差，以基于每个相应节点对模型误差的贡献水平来更新多个隐藏层中的节点之间的边权重(步骤408)。计算机将边权重调整添加到多个隐藏层中的每个相应隐藏层中的节点之间的更新的边权重，以模拟偶然不确定性(步骤410)。此后，该过程终止。
现在参考图5，根据说明性实施例示出了图示用于模拟认知不确定性的过程的流程图。图5所示的过程可以在计算机中实现，诸如例如图1中的服务器104或图2中的数据处理系统200，或者，图5所示的过程可以在包括某种类型的数据处理系统或计算机的设备或机器中实现，诸如图1中的客户端114。
说明性实施例可以利用例如基于声音的丢弃采样来对事件不确定性进行建模。说明性实施例可以利用从真实世界环境获得的声纹来设置人工神经网络中的每个隐藏层的丢弃学习速率。例如，说明性实施例可以利用声音分析器来测量来自真实世界环境中的人群的噪声，以生成与噪声相对应的多个标签。说明性实施例可以将标签输入到word2vector神经网络中以生成单词向量，然后将单词向量连同人群噪声的音位图一起输入到声音强度分类器中。由声音强度分类器生成的合成噪声强度分数提供蒙特卡罗丢弃采样期间的采样幅度。采样的幅度首先与将从人工神经网络中被丢弃的节点的数量相关，然后与要取得多少样本相关。结果，在训练期间，人工神经网络将仿真模拟人工神经网络不知道内容的节点的丢失。经训练的人工神经网络的输出将包含认知误差评估。
当计算机从在真实世界环境中操作的对象接收传感器数据时，过程开始(步骤502)。计算机确定传感器数据的强度水平(步骤504)。计算机确定传感器数据的强度水平是否大于指示未知事件发生的强度水平阈值水平(步骤506)。
如果计算机确定传感器数据的强度水平小于指示发生未知事件的强度水平阈值水平(步骤506的‘否’输出)，则过程返回到步骤502，其中计算机继续接收传感器数据。如果计算机确定传感器数据的强度水平大于或等于指示发生未知事件的强度水平阈值水平，则步骤506的输出为‘是’，然后计算机将传感器数据输入到包括多个隐藏层的人工神经网络中，每个隐藏层包括多个节点(步骤508)。
之后，计算机对传感器数据执行蒙特卡罗丢弃采样，以确定多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃以模拟未知事件(步骤510)。计算机在多个隐藏层中选择隐藏层(步骤512)。计算机标识与多个隐藏层中的所选隐藏层相对应的概率密度函数，该概率密度函数对人工神经网络的输出进行建模(步骤514)。
计算机基于将传感器数据的强度水平应用于所标识的概率密度函数，来选择将被随机丢弃的所选隐藏层内的节点(步骤516)。计算机丢弃所选隐藏层内的所选节点，以模拟与未知事件相关联的认知不确定性(步骤518)。随后，计算机确定在多个隐藏层中是否存在另一隐藏层(步骤520)。
如果计算机确定在多个隐藏层中确实存在另一隐藏层，步骤520输出为‘是’，则过程返回到步骤512，其中计算机选择另一隐藏层。如果计算机确定在多个隐藏层中不存在另一隐藏层(步骤520的‘否’输出)，则此后过程终止。
现在参考图6，根据说明性实施例示出了图示用于训练人工神经网络的过程的流程图。图6所示的过程可以在计算机中实现，诸如例如图1中的服务器104或图2中的数据处理系统200。或者，图6所示的过程可以在包括某种类型的数据处理系统或计算机的设备或机器中实现，诸如图1中的客户端114。
当计算机接收用于人工神经网络的训练样本时(步骤602)，该过程开始。计算机通过人工神经网络前向传播训练样本(步骤604)。计算机反向传播人工神经网络的输出(步骤606)。
另外，计算机从真实世界环境接收声音数据(步骤608)。计算机基于声音数据确定采样率(步骤610)。然后，计算机基于反向传播和所确定的采样率来设置蒙特卡罗采样参数和扩散参数(步骤612)。
对于人工神经网络的每层，计算机标识对应的概率密度函数(PDF)(步骤614)。使用扩散参数，计算机随机选择人工神经网络的每一层中的节点(步骤616)。使用蒙特卡罗采样参数，计算机移除每个概率密度函数中未采样的区域(步骤618)。计算机计算在区域移除之后的每个概率密度函数中新区域与旧区域的比率(步骤620)。计算机将该比率添加到被随机选择的每个节点的所有输入边权重(步骤622)。
此外，计算机使用损失函数确定训练误差(步骤624)。计算机将训练误差输入到用于数据遮挡的每个概率密度函数中(步骤626)。计算机基于每个概率密度函数的每个输出计算边权重的额外误差调整(步骤628)。计算机使用额外的误差调整来调整节点之间的边权重(步骤630)。
计算机继续训练人工神经网络(步骤632)。此后，该过程终止。
因此，本发明的说明性实施例提供了一种计算机实现的方法、计算机系统和计算机程序产品，用于在训练人工神经网络时模拟不确定性，以便预测神经网络在以后的真实世界应用期间在不确定性中产生准确结果的能力。已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离所描述的实施例的范围的情况下，许多修改和变化对于本领域的普通技术人员将是明显的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。

Claims (25)

1.一种用于模拟人工神经网络中的不确定性的计算机实现的方法，所述计算机实现的方法包括：
由计算机通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；
由所述计算机通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
2.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机通过使用对应于所述真实世界环境的所述传感器数据选择将从所述人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及
对于所述人工神经网络的每个相应层：
由所述计算机标识对应于特定层的概率密度函数；以及
由所述计算机基于将所述传感器数据的强度水平应用于与所述特定层相对应的所述概率密度函数来选择将从所述特定层被随机丢弃的所述节点。
3.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性来生成所述人工神经网络的输出。
4.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机使用对应于所述真实世界环境的经标记的传感器数据样本来运行包括多个隐藏层的所述人工神经网络；以及
由所述计算机利用所述人工神经网络的所获得的输出，来基于目标输出与所述所获得的输出之间的增量确定模型误差。
5.根据权利要求4所述的计算机实现的方法，还包括：
由所述计算机将所述人工神经网络的所述所获得的输出输入到与所述多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所述所获得的输出在所述真实世界环境中的出现概率来生成节点之间的边权重调整。
6.根据权利要求5所述的计算机实现的方法，还包括：
由所述计算机通过所述人工神经网络反向传播所述模型误差，以基于每个相应节点对所述模型误差的贡献水平来更新所述多个隐藏层中的节点之间的边权重；以及
由所述计算机将所述边权重调整添加到所述多个隐藏层中的每个相应隐藏层中的节点之间的经更新的所述边权重，以模拟所述偶然不确定性。
7.根据权利要求1所述的计算机实现的方法，还包括：
由所述计算机从在所述真实世界环境中操作的所述对象接收所述传感器数据；
由所述计算机确定所述传感器数据的强度水平；以及
由所述计算机确定所述传感器数据的所述强度水平是否大于或等于指示未知事件的发生的强度水平阈值水平。
8.根据权利要求7所述的计算机实现的方法，还包括：
响应于所述计算机确定所述传感器数据的所述强度水平大于或等于指示未知事件的发生的所述强度水平阈值水平，由所述计算机将所述传感器数据输入到包括多个隐藏层的所述人工神经网络中，每个隐藏层包括多个节点；以及
由所述计算机对所述传感器数据执行蒙特卡罗丢弃采样，以确定所述多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃，以模拟所述未知事件。
9.根据权利要求8所述的计算机实现的方法，还包括：
由所述计算机选择所述多个隐藏层中的隐藏层；以及
由所述计算机标识与所述多个隐藏层中的所选择的所述隐藏层相对应的概率密度函数，所述概率密度函数对所述人工神经网络的输出进行建模。
10.根据权利要求9所述的计算机实现的方法，还包括：
由所述计算机基于将所述传感器数据的所述强度水平应用于所标识的所述概率密度函数，来选择将被随机丢弃的所选择的所述隐藏层内的节点；以及
由所述计算机丢弃所选择的所述隐藏层内的所选择的所述节点，以模拟与所述未知事件相关联的认知不确定性。
11.一种用于模拟人工神经网络中的不确定性的计算机系统，所述计算机系统包括：
总线系统；
被连接到所述总线系统的存储设备，其中所述存储设备存储程序指令；以及
处理器，其被连接到所述总线系统，其中所述处理器执行所述程序指令以：
通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；
通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
12.根据权利要求11所述的计算机系统，其中所述处理器还执行所述程序指令以：
通过使用对应于所述真实世界环境的所述传感器数据选择将从所述人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及
对于所述人工神经网络的每个相应层：
标识对应于特定层的概率密度函数；以及
基于将所述传感器数据的强度水平应用于与所述特定层相对应的所述概率密度函数来选择将从所述特定层被随机丢弃的所述节点。
13.根据权利要求11所述的计算机系统，其中所述处理器还执行所述程序指令以：
基于模拟所述偶然不确定性和所述认知不确定性来生成所述人工神经网络的输出。
14.根据权利要求11所述的计算机系统，其中所述处理器还执行所述程序指令以：
使用对应于所述真实世界环境的经标记传感器数据样本来运行包括多个隐藏层的所述人工神经网络；以及
利用所述人工神经网络的所获得的输出，来基于目标输出与所述所获得的输出之间的增量确定模型误差。
15.根据权利要求14所述的计算机系统，其中所述处理器还执行所述程序指令以：
将所述人工神经网络的所述所获得的输出输入到与所述多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所述所获得的输出在所述真实世界环境中的出现概率来生成节点之间的边权重调整。
16.一种用于模拟人工神经网络中的不确定性的计算机程序产品，所述计算机程序产品包括具有与其一起体现的程序指令的计算机可读存储介质，所述程序指令由计算机可执行以使所述计算机执行方法，所述方法包括：
由所述计算机通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；
由计算机通过在所述传感器数据的前向传播期间从所述人工神经网络的每个相应层中丢弃所选择的节点并且测量丢弃的节点对所述人工神经网络的所述输出数据的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性的影响，执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
17.根据权利要求16所述的计算机程序产品，还包括：
由所述计算机通过使用对应于所述真实世界环境的所述传感器数据选择将从所述人工神经网络的每一层中被随机丢弃的节点以用于蒙特卡罗丢弃采样；以及
对于所述人工神经网络的每个相应层：
由所述计算机标识对应于特定层的概率密度函数；以及
由所述计算机基于将所述传感器数据的强度水平应用于与所述特定层相对应的所述概率密度函数来选择将从所述特定层被随机丢弃的所述节点。
18.根据权利要求16所述的计算机程序产品，还包括：
由所述计算机基于模拟所述偶然不确定性和所述认知不确定性来生成所述人工神经网络的输出。
19.根据权利要求16所述的计算机程序产品，还包括：
由所述计算机使用对应于所述真实世界环境的经标记的传感器数据样本来运行包括多个隐藏层的所述人工神经网络；以及
由所述计算机利用所述人工神经网络的所获得的输出，来基于目标输出与所述所获得的输出之间的增量确定模型误差。
20.根据权利要求19所述的计算机程序产品，还包括：
由所述计算机将所述人工神经网络的所述所获得的输出输入到与所述多个隐藏层中的每个相应隐藏层相对应的每个不同类型的概率密度函数中，以基于所述所获得的输出在所述真实世界环境中的出现概率来生成节点之间的边权重调整。
21.根据权利要求20所述的计算机程序产品，还包括：
由所述计算机通过所述人工神经网络反向传播所述模型误差，以基于每个相应节点对所述模型误差的贡献水平来更新所述多个隐藏层中的节点之间的边权重；以及
由所述计算机将所述边权重调整添加到所述多个隐藏层中的每个相应隐藏层中的节点之间的经更新的所述边权重，以模拟所述偶然不确定性。
22.根据权利要求16所述的计算机程序产品，还包括：
由所述计算机从在所述真实世界环境中操作的所述对象接收所述传感器数据；
由所述计算机确定所述传感器数据的强度水平；以及
由所述计算机确定所述传感器数据的所述强度水平是否大于或等于指示未知事件的发生的强度水平阈值水平。
23.根据权利要求22所述的计算机程序产品，还包括：
响应于所述计算机确定所述传感器数据的所述强度水平大于或等于指示未知事件的发生的所述强度水平阈值水平，由所述计算机将所述传感器数据输入到包括多个隐藏层的所述人工神经网络中，每个隐藏层包括多个节点；以及
由所述计算机对所述传感器数据执行蒙特卡罗丢弃采样，以确定所述多个隐藏层中的每个相应隐藏层中的哪个节点将被随机丢弃，以模拟所述未知事件。
24.一种用于模拟人工神经网络中的不确定性的计算机实现的方法，所述计算机实现的方法包括：
由计算机通过在所述人工神经网络的输出数据的反向传播期间将随机值添加到所述人工神经网络中的节点之间的边权重、并且测量向所述节点之间的所述边权重添加的所述随机值对所述输出数据的影响，来模拟偶然不确定性，以测量所述人工神经网络从在真实世界环境中操作的对象接收的传感器数据所不理解的内容；以及
由所述计算机基于模拟所述偶然不确定性的影响，来执行与发送所述传感器数据并且在所述真实世界环境中操作的所述对象相对应的动作。
25.一种用于模拟人工神经网络中的不确定性的计算机实现的方法，所述计算机实现的方法包括：
由计算机通过在对应于在真实世界环境中操作的对象的数据的前向传播期间从所述人工神经网络的每一层中丢弃所选择的节点、并且测量丢弃的节点对所述人工神经网络的输出的影响，来模拟认知不确定性，以测量所述人工神经网络不知道的内容；以及
由所述计算机基于模拟所述认知不确定性的影响，来执行与在所述真实世界环境中操作的所述对象相对应的动作。
CN201980009715.4A 2018-03-07 2019-03-06 基于声音反馈的认知的和偶然的深度可塑性 Active CN111656362B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/914,222 US11829886B2 (en) 2018-03-07 2018-03-07 Epistemic and aleatoric deep plasticity based on sound feedback
US15/914,222 2018-03-07
PCT/IB2019/051807 WO2019171291A1 (en) 2018-03-07 2019-03-06 Epistemic and aleatoric deep plasticity based on sound feedback

Publications (2)

Publication Number Publication Date
CN111656362A true CN111656362A (zh) 2020-09-11
CN111656362B CN111656362B (zh) 2023-06-27

Family

ID=67844056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009715.4A Active CN111656362B (zh) 2018-03-07 2019-03-06 基于声音反馈的认知的和偶然的深度可塑性

Country Status (6)

Country Link
US (1) US11829886B2 (zh)
JP (1) JP7233807B2 (zh)
CN (1) CN111656362B (zh)
DE (1) DE112019000340T5 (zh)
GB (1) GB2584583A (zh)
WO (1) WO2019171291A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10832093B1 (en) 2018-08-09 2020-11-10 Zoox, Inc. Tuning simulated data for optimized neural network activation
US11205022B2 (en) * 2019-01-10 2021-12-21 X Development Llc System and method for optimizing physical characteristics of a physical device
US11238190B1 (en) * 2019-04-23 2022-02-01 X Development Llc Physical device optimization with reduced computational latency via low-rank objectives
US11900026B1 (en) * 2019-04-24 2024-02-13 X Development Llc Learned fabrication constraints for optimizing physical devices
US11106841B1 (en) 2019-04-29 2021-08-31 X Development Llc Physical device optimization with reduced memory footprint via time reversal at absorbing boundaries
DE102019209457A1 (de) * 2019-06-28 2020-12-31 Robert Bosch Gmbh Verfahren zum Trainieren eines künstlichen neuronalen Netzes, künstliches neuronales Netz, Verwendung eines künstlichen neuronalen Netzes sowie entsprechendes Computerprogramm, maschinenlesbares Speichermedium und entsprechende Vorrichtung
WO2021009989A1 (ja) * 2019-07-12 2021-01-21 ソニー株式会社 人工知能情報処理装置及び人工知能情報処理方法、並びに人工知能機能搭載表示装置
US11663494B2 (en) 2019-12-05 2023-05-30 Uchicago Argonne, Llc Systems and methods for hierarchical multi-objective optimization
US11651839B2 (en) 2020-03-02 2023-05-16 Uchicago Argonne, Llc Systems and methods for generating phase diagrams for metastable material states
KR102421488B1 (ko) * 2020-04-08 2022-07-15 엘지전자 주식회사 복수개의 출력 레이어를 이용한 인공 지능 장치 및 방법
US11710038B2 (en) * 2020-04-13 2023-07-25 Uchicago Argonne, Llc Systems and methods for active learning from sparse training data
US20220044102A1 (en) * 2020-08-06 2022-02-10 Micron Technology, Inc. Fault tolerant artificial neural network computation in deep learning accelerator having integrated random access memory
WO2022031750A1 (en) * 2020-08-07 2022-02-10 Reflexion Medical, Inc. Multi-sensor guided radiation therapy

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159660A (en) * 1990-08-09 1992-10-27 Western Thunder Universal process control using artificial neural networks
US20110071969A1 (en) * 2008-05-23 2011-03-24 Faiyaz Doctor Neuro type-2 fuzzy based method for decision making
US20180081330A1 (en) * 2015-02-27 2018-03-22 Energy Technologies Institute Llp Method and Apparatus for Controlling an Environment Management System within a Building

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2792651B1 (fr) 1999-04-21 2005-03-18 Centre Nat Rech Scient Sequence genomique et polypeptides de pyrococcus abyssi, leurs fragments et leurs utilisations
WO2004018158A2 (en) 2002-08-21 2004-03-04 Neal Solomon Organizing groups of self-configurable mobile robotic agents
US20110231356A1 (en) 2009-07-01 2011-09-22 Quantum Leap Research, Inc. FlexSCAPE: Data Driven Hypothesis Testing and Generation System
FR3019592B1 (fr) 2014-04-03 2016-04-22 Snecma Procede et dispositif de surveillance d'un parametre d'un moteur de fusee
JP6195542B2 (ja) 2014-06-20 2017-09-13 ヤフー株式会社 学習装置、学習方法及び学習プログラム
US10373054B2 (en) * 2015-04-19 2019-08-06 International Business Machines Corporation Annealed dropout training of neural networks
US20170124448A1 (en) * 2015-10-30 2017-05-04 Northrop Grumman Systems Corporation Concurrent uncertainty management system
US10410132B2 (en) * 2016-06-07 2019-09-10 Honeywell International Inc. Probabilistic remaining usage life of aircraft structures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5159660A (en) * 1990-08-09 1992-10-27 Western Thunder Universal process control using artificial neural networks
US20110071969A1 (en) * 2008-05-23 2011-03-24 Faiyaz Doctor Neuro type-2 fuzzy based method for decision making
US20180081330A1 (en) * 2015-02-27 2018-03-22 Energy Technologies Institute Llp Method and Apparatus for Controlling an Environment Management System within a Building

Also Published As

Publication number Publication date
JP7233807B2 (ja) 2023-03-07
GB2584583A (en) 2020-12-09
GB202015562D0 (en) 2020-11-18
US11829886B2 (en) 2023-11-28
CN111656362B (zh) 2023-06-27
WO2019171291A1 (en) 2019-09-12
JP2021515930A (ja) 2021-06-24
DE112019000340T5 (de) 2020-09-17
US20190279094A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
CN111656362B (zh) 基于声音反馈的认知的和偶然的深度可塑性
JP2021531541A (ja) ジオロケーションの予測のためのシステムおよび方法
US20190026630A1 (en) Information processing apparatus and information processing method
JP7345639B2 (ja) マルチエージェントシミュレーション
CN111523640B (zh) 神经网络模型的训练方法和装置
JP2017524182A (ja) グローバルモデルからの局所化された学習
JP2020502665A (ja) ターゲット・ドメイン画像へのソース・ドメイン画像の変換
US11416743B2 (en) Swarm fair deep reinforcement learning
CN112001287A (zh) 障碍物的点云信息生成方法、装置、电子设备和介质
KR20200075071A (ko) 불확실성 예측을 위한 샘플링 모델 생성 장치 및 방법, 불확실성 예측 장치
WO2018145308A1 (en) Filter reusing mechanism for constructing robust deep convolutional neural network
CN115366920B (zh) 用于自动驾驶车辆的决策方法及装置、设备和介质
CN109902799A (zh) 混合尖峰神经网络和支持向量机分类器
Ravi et al. General frameworks for anomaly detection explainability: comparative study
KR102120150B1 (ko) 뉴럴 네트워크를 이용한 변분 추론 학습 방법 및 학습 장치, 그리고 이를 이용한 변분 추론 방법 및 장치
CN112486784A (zh) 诊断和优化数据分析系统的方法、设备和介质
RU2600099C1 (ru) Способ нейросетевого прогнозирования изменения значений функции с её предварительной вейвлет-обработкой и устройство его осуществления
CN112861601A (zh) 生成对抗样本的方法及相关设备
US11379725B2 (en) Projectile extrapolation and sequence synthesis from video using convolution
CN114580623B (zh) 模型的训练方法、多源多目标数据关联方法及装置
CN114912568A (zh) 数据处理的方法、设备和计算机可读存储介质
CN112733728A (zh) 一种能见度边缘计算方法、装置、电子设备及存储介质
JP2022044112A (ja) 推定装置、推定方法及びプログラム
CN117476250B (zh) 基于多目标跟踪的流行病调查预测方法、装置及可读介质
JP2019219756A (ja) 制御装置、制御方法、プログラム、ならびに、情報記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant