CN111868749B - 用于计算条件概率的神经元网络拓扑 - Google Patents
用于计算条件概率的神经元网络拓扑 Download PDFInfo
- Publication number
- CN111868749B CN111868749B CN201980019070.2A CN201980019070A CN111868749B CN 111868749 B CN111868749 B CN 111868749B CN 201980019070 A CN201980019070 A CN 201980019070A CN 111868749 B CN111868749 B CN 111868749B
- Authority
- CN
- China
- Prior art keywords
- neuron
- data stream
- input data
- mobile device
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title claims description 16
- 210000002569 neuron Anatomy 0.000 claims abstract description 89
- 230000000946 synaptic effect Effects 0.000 claims abstract description 54
- 238000010304 firing Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 25
- 230000007423 decrease Effects 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000036279 refractory period Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003956 synaptic plasticity Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007321 biological mechanism Effects 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001256 tonic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G9/00—Traffic control systems for craft where the kind of craft is irrelevant or unspecified
- G08G9/02—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
描述了一种估计移动设备操作的条件概率的系统。将来自第一移动设备传感器和第二移动设备传感器的输入数据流输入到神经元网络中，其中，将第一输入数据流和第二输入数据流变换成第一神经元和第二神经元的可变激发速率。该系统学习第一输入数据流与第二输入数据流之间的条件概率。第一神经元与第二神经元之间的关注突触权重收敛到固定点值，其中，该固定点值与条件概率对应。基于该条件概率和新输入数据流，对事件的概率进行估计。基于该事件的概率，该系统使移动设备执行移动设备操作。
Description
相关申请的交叉引用
这是于2018年4月17日在美国提交的标题为“A Neuronal Network Topology forComputing Conditional Probabilities(用于计算条件概率的神经元网络拓扑)”的美国临时申请No.62/659,085的非临时申请，其全部内容通过引用并入本文中。
技术领域
本发明涉及估计条件概率的系统，并且更具体地，涉及用于使用神经元网络拓扑来估计条件概率的系统。
背景技术
条件概率的神经形态计算旨在通过从脉冲时序依赖可塑性(STDP)(一种自然发生的神经元突触现象)获得启发来利用高度并行、简单的计算来代替缓慢的贝叶斯更新算法。STDP导致神经元之间的突触权重基于它们的脉冲之间的时序差异的小幅度增大和减小。
当前系统通常使用中央处理单元(CPU)或图形处理单元(GPU)来执行“贝叶斯推断”(即，在给定一些输入数据的情况下估计诸如贝叶斯网络之类的概率模型的参数)。这些推断算法涉及对模型中的各个随机变量的条件分布进行迭代，并且通常需要很长时间才能收敛，从而使得无法进行实时假设和做出决策。格拉茨大学的一个小组正在研究将贝叶斯推断映射到突触更新，如Bill等人在“Distributed Bayesian Computation and Self-Organized Learning in Sheets ofSpiking Neurons with Local Lateral Inhibition(利用局部侧抑制在脉冲神经元中的分布式贝叶斯计算和自组织学习)”in PloS one,10(8):e0134356,2015(以下称为Bill参考文献，该文献就像在此完全阐述一样通过并入于此)中所描述的。
Bill参考文献中使用的突触可塑性规则在生物学上是不合理的，但是它们通过合成方式被构造，使得映射易于执行。结果，它们的方法不能在任何现有神经形态硬件(诸如，神经形态芯片)上实现。这为实现它们期望的脉冲属性的硬件实现提供了显著障碍。此时，诸如Bill参考文献的现有技术仅是数学理论，并且将要求制造全新的硬件设计以提高技术准备水平(TRL)。
因此，对用于使用神经形态硬件来估计实时决策的条件概率的系统存在持续需求。
发明内容
本发明涉及估计条件概率的系统，并且更具体地，涉及用于使用神经元网络拓扑来估计条件概率的系统。该系统包括非暂时性计算机可读介质以及一个或更多个处理器，该非暂时性计算机可读介质编码有可执行指令，使得可执行指令在被执行时，一个或更多个处理器执行多个操作。该系统将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将第一输入数据流和第二输入数据流变换成第一神经元和第二神经元的可变激发速率。学习第一输入数据流与第二输入数据流之间的条件概率，其中，第一神经元与第二神经元之间的受关注突触权重收敛到与条件概率对应的固定点值。基于该条件概率和新输入数据流，对事件的概率进行估计。基于该事件的概率，该系统使移动设备执行移动设备操作。
在另一方面，该移动设备操作是碰撞避免操纵。
在另一方面，该移动设备操作是生成向移动设备操作者提供指令的警报。
在另一方面，根据脉冲时序依赖可塑性(STDP)，每次第一神经元和第二神经元中的任一者激发时，受关注突触权重均被更新，从而导致条件概率中的对应更新，使得该条件概率被实时调整。
在另一方面，神经元网络中的神经元之间的所有突触连接具有预定延迟，并且其中，除了受关注突触权重之外，所有突触权重均被固定在一个值，使得仅受关注突触权重根据STDP被更新。
在另一方面，由于第一神经元中的脉冲导致第二神经元中的脉冲而引起的受关注突触权重的增加或减小被设置为常数值，该常数值是受关注突触权重的变化的乘数。
在另一方面，紧张性输入和时相性输入用于稳定受关注突触权重。
本发明还包括执行多个操作的神经形态硬件芯片。该神经形态硬件芯片将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将第一输入数据流和第二输入数据流变换成第一神经元和第二神经元的可变激发速率。在第一输入数据流与第二输入数据流之间学习条件概率，其中，第一神经元与第二神经元之间的受关注突触权重收敛到与条件概率对应的固定点值。基于该条件概率和新输入数据流，对事件的概率进行估计。基于该事件的概率，该神经形态硬件芯片使移动设备执行移动设备操作。
最后，本发明还包括计算机程序产品和计算机实现方法。该计算机程序产品包括存储在非暂时性计算机可读介质上的计算机可读指令，该计算机可读指令可由具有一个或更多个处理器的计算机执行，使得在执行这些指令时，该一个或更多个处理器执行本文列出的操作。另选地，计算机实现方法包括使计算机执行这种指令并执行所得到的操作的动作。
附图说明
从参照附图对本发明的多个方面的以下详细描述，将容易理解本发明的目的、特征和优点，其中：
图1是示出了根据本公开的一些实施方式的估计条件概率的组件的框图；
图2是根据本公开的一些实施方式的计算机程序产品的例示；
图3是根据本公开的一些实施方式的脉冲时序依赖可塑性(STDP)的例示；
图4是根据本公开的一些实施方式的三神经元网络的例示；
图5是根据本公开的一些实施方式的五神经元网络的例示；
图6是根据本公开的一些实施方式的六神经元网络的例示；
图7是根据本公开的一些实施方式的紧张性(tonic)输入和时相性(phasic)输入对受关注突触权重的收敛的影响的例示；
图8是根据本公开的一些实施方式的全条件概率单元的例示；
图9是根据本公开的一些实施方式的通过输入泊松过程来稳定突触权重的例示；以及
图10是根据本公开的一些实施方式的基于所确定的条件概率控制设备的例示。
具体实施方式
本发明涉及估计条件概率的系统，并且更具体地，涉及用于使用神经元网络拓扑来估计条件概率的系统。呈现以下描述以使得本领域普通技术人员能够做出和使用本发明并将本发明并入到特定应用的上下文中。对于本领域技术人员而言，多种修改以及在不同应用中的多种使用将是显而易见的，并且本文中限定的一般原理可以应用于广泛方面。因此，本发明不旨在限于所呈现的多个方面，而是应符合与本文所公开的原理和新颖特征一致的最广范围。
在下面的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在不必限于这些特定细节的情况下实践本发明。在其它实例中，以框图的形式而不是详细地示出了众所周知的结构和设备，以避免模糊本发明。
读者的注意力被引导至与本说明书同时提交并随本说明书公开以供公众检查的所有论文和文献，并且所有这种论文和文献的内容均通过引用并入本文。除非另有明确说明，否则本说明书中公开的所有特征可以由具有相同、等效或类似目的的另选特征代替。因此，除非另有明确说明，否则所公开的各个特征仅是通用系列等效或类似特征的一个示例。
(1)主要方面
本发明的多种实施方式包括三个“主要”方面。第一方面是用于估计条件概率的系统。该系统通常是计算机系统操作软件的形式或是“硬编码”指令集的形式。该系统可以被结合到提供不同功能的广泛多种设备中。第二主要方面是通常为使用数据处理系统(计算机)运行的软件形式的方法。第三主要方面是计算机程序产品。该计算机程序产品一般代表存储在非暂时性计算机可读介质上的计算机可读指令，非暂时性计算机可读介质例如是诸如光盘(CD)或数字多功能盘(DVD)的光学存储设备，或者诸如软盘或磁带的磁性存储设备。计算机可读介质的其它非限制性示例包括硬盘、只读存储器(ROM)和闪存型存储器。这些方面将在下面更详细地描述。
在图1中提供了描绘本发明的系统(即，计算机系统100)的示例的框图。计算机系统100被配置成执行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面，本文中讨论的某些过程和步骤被实现成驻留在计算机可读存储单元内并且由计算机系统100的一个或更多个处理器执行的一系列指令(例如，软件程序)。当被执行时，该指令使计算机系统100执行例如本文所描述的特定动作并呈现特定行为。
计算机系统100可以包括被配置成传输信息的地址/数据总线102。另外，一个或更多个数据处理单元(诸如一个或更多个处理器104)与地址/数据总线102联接。处理器104被配置成处理信息和指令。在一方面，处理器104是微处理器。另选地，处理器104可以是不同类型的处理器，诸如并行处理器、专用集成电路(ASIC)、可编程逻辑阵列(PLA)、复杂可编程逻辑器件(CPLD)或现场可编程门阵列(FPGA)。
计算机系统100被配置成利用一个或更多个数据存储单元。计算机系统100可以包括与地址/数据总线102联接的易失性存储器单元106(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102联接的非易失性存储器单元108(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM“EEPROM”、闪存等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。另选地，计算机系统100可以执行从在线数据存储单元中检索到(诸如在“云”计算中)的指令。在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个接口，诸如接口110。该一个或更多个接口被配置成使得计算机系统100能够与其它电子设备和计算机系统对接。由一个或更多个接口实现的通信接口可以包括有线通信技术(例如，串行电缆、调制解调器、网络适配器等)和/或无线通信技术(例如，无线调制解调器、无线网络适配器等)。
在一方面，计算机系统100可以包括与地址/数据总线102联接的输入设备112，其中，输入设备112被配置成将信息和命令选择传递给处理器100。根据一个方面，输入设备112是字母数字输入设备(诸如键盘)，其可以包括字母数字和/或功能键。另选地，输入设备112可以是除字母数字输入设备以外的输入设备。在一方面，计算机系统100可以包括与地址/数据总线102联接的光标控制设备114，其中，光标控制设备114被配置成将用户输入信息和/或命令选择传送至处理器100。在一方面，使用诸如鼠标、轨迹球、触控板、光学跟踪设备或触摸屏的设备来实现光标控制设备114。尽管存在前述内容，但是在一方面，经由来自输入设备112的输入(诸如响应于与输入设备112相关联的特定键和键序列命令的使用)来引导和/或启动光标控制设备114。在另选方面，光标控制设备114被配置成由语音命令引导或指导。
在一方面，计算机系统100还可以包括与地址/数据总线102联接的一个或更多个可选计算机可用数据存储设备，诸如存储设备116。存储设备116被配置成存储信息和/或计算机可执行指令。在一个方面，存储设备116是诸如磁盘驱动器或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)、数字多功能盘(“DVD”)的存储设备。根据一个方面，显示设备118与地址/数据总线102联接，其中，显示设备118被配置成显示视频和/或图形。在一方面，显示设备118可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子体显示器或适于显示用户可识别的视频和/或图形图像和字母数字字符的任何其它显示设备。
本文呈现的计算机系统100是根据一方面的示例计算环境。然而，计算机系统100的非限制性示例不严格限于计算机系统。例如，一方面提供了计算机系统100表示可以根据本文描述的多个方面使用的一个类型的数据处理分析。此外，还可以实现其它计算系统。实际上，本技术的精神和范围不限于任何单个数据处理环境。因此，一方面，使用由计算机执行的计算机可执行指令(诸如，程序模块)来控制或实现本技术的多个方面的一个或更多个操作。在一实现中，这种程序模块包括被配置成执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一方面提供了通过利用一个或更多个分布式计算环境来实现本技术的一个或更多个方面，诸如其中，任务是由通过通信网络链接的远程处理设备执行的，或者诸如其中，多个程序模块位于本地和远程计算机存储介质(包括存储器存储设备)二者中。
在图2中示出了具体实现本发明的计算机程序产品(即，存储设备)的例示图。该计算机程序产品被示出为软盘200或诸如CD或DVD的光盘202。然而，如前所述，计算机程序产品一般表示存储在任何兼容非暂时性计算机可读介质上的计算机可读指令。关于本发明使用的术语“指令”一般表示要在计算机上执行的一组操作，并且可以表示整个程序的多段或单独可分离的软件模块。“指令”的非限制性示例包括计算机程序代码(源代码或目标代码)和“硬编码”电子器件(即，被编码到计算机芯片中的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质上，诸如存储在计算机的存储器中或软盘、CD-ROM和闪存驱动器中。无论哪种情况，指令均被编码在非暂时性计算机可读介质上。
(2)多种实施方式的具体细节
所描述的是神经元网络(即，专门利用神经元进行处理)，该神经元网络可以在两种不同模式下进行操作，以都学习变量的联合分布并且基于部分输入(例如，有X没有Y，其中，X和Y是随机变量)读出条件。条件概率是在一个事件已经发生的情况下另一个事件将发生的概率的度量。事件的非限制性示例是从由传感器获得的输入数据流检测对象和/或环境状况(例如，道路状况、天气)。模式1通过将两个随机变量(例如，X和Y)输入网络并允许受关注突触权重(即，两个节点/变量之间的连接强度)收敛到P(Y|X)来学习两个随机变量之间的条件概率。模式2固定突触权重，并允许用户查询例如在给定新输入X的情况下Y的概率的结果。这两种模式也称为“学习”和“读出”。
这是通过将输入数据流编码成脉冲系列、将它们馈送到唯一概率计算单元中并使受关注突触权重收敛到条件概率来实现的。脉冲系列是所记录时间的序列(即，时间序列)并且神经元激励(或激发(spike))动作电位。可以使用许多可能方法中的一种方法将输入数据流编码成脉冲系列。例如，一种方法需要“速率编码”，或将实值输入数据转换成输入神经元X和Y的可变激发速率(variable spiking rate)。本文所述的神经元网络利用高度并行和可塑性的神经形态拓扑来更快地估计条件概率，并且可以通过支持自适应无监督学习来实时调整传入数据的时变条件分布。由于受关注突触权重的值在每次其任一侧神经元激发时都被更新，因此概率P(Y|X)会随着神经元脉冲的到来被实时更新。这些操作可以通过标准处理器或神经形态硬件芯片来实现。神经形态芯片是根据大脑特征建模的，并且包括以电脉冲进行通信的神经元网络(例如，硅神经元)。神经形态芯片比传统芯片的能量效率明显更高。
(2.1)神经元动力学
脉冲时序依赖可塑性(STDP)是调节大脑中的神经元之间的连接强度的生物过程。该过程基于特定神经元的输出和输入脉冲的相对时序来调整连接强度。STDP导致由于相关的脉冲而引起的增强连接和由于不相关的脉冲而引起的减弱连接。图3是STDP的图示。例如，在图3中，如果神经元A(元素300)刚好在神经元B(元素302)之前激发，则w(元素301)上升很多，如由元素304所示。w增大或减小的量由图1中所示的STDP曲线的参数(A+、A-、tau+和tau-)和Song等人在Nature Neuroscience 3,919-926中的“Competitive HebbianLearning through Spike-Timing-Dependent Synaptic Plasticity(通过脉冲时序依赖突触可塑性的竞争性赫布学习)”(以下称为Song参考文献，在此就像在本文中全部阐述那样并入本文)中的等式(1)决定。变量w(元素301)表示受关注突触权重，其对P(Y|X)建模。如果神经元A(元素300)在神经元B(元素302)之前激发较长时间，则w会稍微升高，如由元素306所示。类似地，如果神经元B(元素302)刚好在神经元A(元素300)之前激发，则w下降很多，如由元素308所示。如果神经元B(元素302)在神经元A(元素300)之前激发较长时间，则w稍微下降，如由元素310所示。
在此示例中，神经元B(元素302)具有电压阈值，如果超过该阈值，则会使其激发。来自神经元A(元素300)的由w加权的脉冲在B(元素302)中累积电压，直到达到此阈值为止，此时B(元素302)激发，w递增，并且电压电平重置为零。这意味着如果w＝0，则并且如果w增加，则/>也增加(即，w与/>)之间存在单调映射)。由于神经元B(元素302)激发(并且w递增(即，离散增大))的可能性与w的值成正比，所以对于w在时间t处的瞬时变化写成目标是使用这些动力学来创建条件概率计算单元，然后可以将其用于对与较大贝叶斯网络相对应的条件变量的链(例如，X→Y→Z)进行建模。
(2.2)动力学系统
为了使突触权重w收敛到概率p，w的更新必须在p处具有固定点。这类似于说目标是实现简单动力系统的神经元网络。简单的固定点可以由动力学系统表示：
其具有在w＝0处的稳定固定点。可以通过添加常数项来移动固定点：
其具有在w＝p处的稳定固定点。
在根据本公开的实施方式的可塑性神经元网络中，目标是使突触权重w收敛至特定值，因此可以将其视为在以上等式(2)中表达的动态下进行操作。以下各节描述了实现到此固定点的收敛的神经元网络拓扑，然后解释了如何使用网络来计算p＝P(Y|X)，并通过呈现合成所生成的数据的结果得出结论。
(2.3)固定点系统的神经元网络拓扑
本节包括通过将固定点动态系统分成多个较小部分来对其期望网络拓扑进行描述。以下是关于突触连接属性的三个假设：
1.神经元网络图中的所有突触连接均具有为1的延迟，其中，连接中的一些引起由τi指示的附加延迟。这意味着在图4中，脉冲在一个时间单位内从A(元素300)行进到B(元素302)，并且在τi+1个时间单位(元素402)内从C(元素400)行进到A(元素300)。
2.除受关注权重w之外，所有突触权重都固定为1。因此，根据脉冲时序依赖可塑性(STDP)(有关STDP的详细说明，参见Song参考文献)更新的仅有权重是神经元A与B之间的突触(或连接)。
3.由于A中的脉冲导致B中的脉冲以及B中的脉冲导致A中的脉冲而引起的w的增量或减量被设置到某常数±α。该值用作w的变化的乘数，即，然而，对于本研究，α＝1，并且这些增量被简单地写为/>而不会失去一般性。
图4描绘了具有针对突触权重w的以下动力学的三神经元网络。“紧张性”输入IT(元素404)使A(元素300)激发，A(元素300)使B(元素302)激发，导致w(元素404)增加。然而，如果C(元素400)激发，则延迟τ1(元素402)将使B(元素302)在A(元素300)之前激发，从而使w(元素404)减小。另外，A(元素300)不会由于B(元素302)的不应期(refractory period)(即，刺激后神经元无反应的时段)而在τ1(元素402)之后使B(元素302)激发。神经元的不应期是紧接在脉冲之后的时段，在该时段期间，即使接收到来自相邻神经元的输入脉冲也不能再次激发。这是根据本公开的实施方式的由网络利用的已知生物学机制。这导致维持取决于C(元素400)的平衡(即，如果每次B(元素302)激发时C(元素400)激发，则来自A(元素300)的α增量将与C(元素400)的抵消，产生)。
图5例示了实现的五神经元网络。在图5中，添加了另外两个神经元D(元素500)和E(元素502)，分别具有来自B(元素302)的输入以及延迟τ1(元素402)和τ2(元素504)。由于τ1(元素402)＜τ2(元素504)，所以B(元素302)将使C(元素400)两次激发：一次通过D(元素500)(快速路径)并且一次通过E(元素502)(慢速路径)。由于延迟τ1小于τ2，所以在图5中从B→E→C行进的脉冲将比从B→D→C行进的脉冲花费更长的时间，这解释了“快速路径”与“慢速路径”之间的指定。因此，对于来自紧张性输入IT(元素404)的使w(元素301)增加的各个脉冲，存在来自C(元素400)的使w减小的两个脉冲。结果，w(元素301)与自身成比例地减小(即，/>)。
在图6中，添加了“时相性”输入IP(元素600)，其具有神经元C(元素400)的反向效果，每当其激发(即，)时，增加w(元素301)。附加神经元I(元素602)抑制神经元D(元素500)和E(元素502)，以使得它们将不随IP(元素600)而激发，并且w(元素301)将不存在相关减小。注意，如果B(元素302)由于IP(元素600)而激发，则因为B(元素302)的不应期，将不会由于IT(元素404)而再次激发。现在，该网络对固定点进行建模：/>
图7示出了如何使用“紧张性”输入IP和“时相性”输入IT来稳定w。紧张性输入控制收敛的斜率(由虚线700表示)，并且时相性输入控制收敛点p的位置(由箭头702表示)。总之，这种独特网络拓扑结构使用指数衰减和常数增长项的组合，其中，对应于权重w的指数衰减，并且/>对应于权重w的常数增长，从而在受控位置处获得稳定的固定点p。
(2.4)计算条件概率
以上描述的网络对以下微分方程进行建模：
求解上面的w给出以下内容：
其中，C0是某常数，并且t代表时间(为简单起见，这里所指的是瞬时值)。当t→无穷大时，可以很容易地证明该等式收敛到为了计算两个输入过程X(元素800)和Y(元素802)的条件概率，将输入限定到IP(即，时相性输入(元素600))和IT(即，紧张性输入(元素404))，如图8所示。IP(元素600)来自两个输入过程X(元素800)和Y(元素802)的逻辑与，并且IT(元素404)直接来自X(元素800)。由于紧张性输入(元素404)对应于P(X)，并且时相性输入(元素600)对应于P(X,Y)，所以此等式迫使w收敛到P(X，Y)/P(X)＝P(Y|X)。在非限制性示例中，可以从诸如自主驾驶交通工具或机器人之类的移动设备上的两个不同传感器(例如，相机X和相机Y)获得数据。来自各个传感器的数据(例如，图像像素)可以被速率编码，并且被用作输入X和Y，以确定在相机X中检测到对象的情况下在相机Y中检测到对象的条件概率。
(2.5)实验研究
作为概念的简单证明，以下示出了根据本公开的实施方式的神经元网络中的突触权重w可以对两个输入随机变量X与Y之间的条件概率进行建模。X的概率输入脉冲被生成为固定速率泊松过程(也称为齐次泊松点过程)。每次在X的实现中存在脉冲时，都利用固定伯努利概率P生成Y脉冲。在此实验中，P＝0.0、0.4、0.8。此实验的结果如图9所示，其中，针对粗体线(元素900)、虚线(元素902)和非粗体线(元素904)，条件概率被示出为分别正确收敛到P(Y|X)＝0.0、0.4、0.8。
本文所述类型的概率神经元计算导致较低的功率和较高的速度推断，使其易于转换成交通工具制造商和政府机构关注的各种受尺寸、重量和功率(SWaP)约束的平台。这些的非限制性示例是用于地面、空中和水下交通工具的自主系统以及交通工具健康诊断和预测(例如，感知和故障模式、维护消息的结构学习)。另外，还可以经由情景和行为理解，为自主水下航行器(AUV)和无人飞行器(UAV)进行自适应任务计划。其它商业应用包括便携式医疗诊断机器。
复杂系统(诸如，飞行器或其它交通工具)通常记录来自数千种不同源(包括各种传感器类型)的维护和故障消息。这些消息随时间的出现可以视为与输入脉冲系列相对应的随机过程。根据本公开的实施方式的神经元网络拓扑可以用于确定在模式1(“学习”)期间这些消息源中的哪些高度依赖于哪些其它源(诊断)，并且进而用于在模式2(“读出”)期间的预测(例如，如果看到故障X发生，则看到故障Y的更新可能性是多少？)。例如，如果在与一个机械交通工具组件(例如，发动机、制动器、转向机构、轮胎)相关联的另一个机械交通工具组件(例如，发动机、制动器、转向机构、轮胎)中检测到故障，则可以为用户生成警报。该警报可以是在交通工具的屏幕/仪表板上显示的听觉警报(例如，蜂鸣、声音、语音)和/或视觉警报。视觉警报可以是信号灯或文本消息。另选地，警报可以是警告消息或给交通工具操作者(例如，驾驶员、飞行员)的指示交通工具组件故障的指令，该指令具有关于要执行的操作(例如，关闭交通工具的电源、执行转向操作、执行制动操作、获得机械维修)的详细指令。此外，可以基于在来自第一交通工具传感器和第二交通工具传感器的第一输入数据流与第二输入数据流之间所学习的条件概率来确定来自第一交通工具传感器的第一输入数据流与从第三交通工具传感器获得的第三输入数据流之间的新条件概率。
另外，在具有多个传感器(诸如，相机)的自主驾驶交通工具的非限制性示例中。基于一个传感器检测到对象和/或获得传感器测量数据的可能性(该可能性取决于或者关于另一传感器检测到对象和/或获得传感器测量数据)，该系统可以使自主驾驶交通工具执行交通工具操作。例如，如果两个交通工具传感器检测到相同的对象，则对象检测和分类准确性将提高，并且本文所述的系统可通过控制交通工具组件来进行用于避免碰撞的精确交通工具操纵。例如，如果对象是停车标志，则系统可以使自主驾驶交通工具施加诸如制动操作的功能响应以使交通工具停止。其它适当的响应可以包括转向操作、增加速度或降低速度的节气门操作或维持行程和速度不变的决定中的一个或更多个。响应可能适用于避免碰撞、提高行驶速度或提高效率。
图10是例示了使用处理器104基于两个变量的所确定的条件概率来控制移动设备1000的流程图。可以经由处理器104控制的移动设备1000的非限制性示例包括交通工具或交通工具组件(诸如，制动器、转向机构、悬架或安全设备(例如，安全气囊，安全带拉紧器等))。此外，该交通工具可以是由驾驶员或远程操作者控制的无人飞行器(UAV)、自主地面交通工具或人类操作的交通工具。如本领域技术人员可以理解的，其它设备类型的控制也是可能的。
最后，尽管已经根据多个实施方式描述了本发明，但是本领域的普通技术人员将容易认识到，本发明可以在其它环境中具有其它应用。应当注意，许多实施方式和实现是可能的。此外，尽管以特定顺序叙述了特定方法步骤，但是这些方法步骤可以以任何期望顺序发生，并且落入本发明的范围内。
Claims (20)
1.一种估计移动设备操作的条件概率的系统，所述系统包括：
非暂时性计算机可读介质以及一个或更多个处理器，所述非暂时性计算机可读介质上编码有可执行指令，使得所述可执行指令在被执行时，所述一个或更多个处理器执行以下操作：
将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将所述第一输入数据流和所述第二输入数据流变换成第一神经元和第二神经元的可变激发速率；
学习所述第一输入数据流与所述第二输入数据流之间的条件概率，
其中，所述第一神经元与所述第二神经元之间的受关注突触权重收敛到与所述条件概率对应的固定点值；
基于所述条件概率和新输入数据流，对事件的概率进行估计；以及
基于所述事件的所述概率，使所述移动设备执行移动设备操作。
2.根据权利要求1所述的系统，其中，所述移动设备操作是碰撞避免操纵。
3.根据权利要求1所述的系统，其中，所述移动设备操作是生成向移动设备操作者提供指令的警报。
4.根据权利要求1所述的系统，其中，所述受关注突触权重是根据脉冲时序依赖可塑性STDP在每次所述第一神经元和所述第二神经元中的任一者激发时被更新的，导致所述条件概率中的对应更新，使得所述条件概率被实时调整。
5.根据权利要求4所述的系统，其中，所述神经元网络中的神经元之间的所有突触连接具有预定延迟，并且其中，除了所述受关注突触权重之外，所有突触权重被固定在一个值，使得仅所述受关注突触权重根据STDP被更新。
6.根据权利要求5所述的系统，其中，由于所述第一神经元中的脉冲导致所述第二神经元中的脉冲而引起的所述受关注突触权重的增加或减小被设置为常数值，所述常数值是关于所述受关注突触权重的变化的乘数。
7.根据权利要求1所述的系统，其中，紧张性输入和时相性输入被用于稳定所述受关注突触权重。
8.一种估计移动设备操作的条件概率的计算机实现方法，所述方法包括以下操作：
使一个或更多个处理器执行在非暂时性计算机可读介质上编码的指令，使得在执行所述指令时，所述一个或更多个处理器执行以下操作：
将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将所述第一输入数据流和所述第二输入数据流变换成第一神经元和第二神经元的可变激发速率；
学习所述第一输入数据流与所述第二输入数据流之间的条件概率，
其中，所述第一神经元与所述第二神经元之间的受关注突触权重收敛到与所述条件概率对应的固定点值；
基于所述条件概率和新输入数据流，对事件的概率进行估计；以及
基于所述事件的所述概率，使所述移动设备执行移动设备操作。
9.根据权利要求8所述的方法，其中，所述移动设备操作是碰撞避免操纵。
10.根据权利要求8所述的方法，其中，所述移动设备操作是生成向移动设备操作者提供指令的警报。
11.根据权利要求8所述的方法，其中，所述受关注突触权重是根据脉冲时序依赖可塑性STDP在每次所述第一神经元和所述第二神经元中的任一者激发时被更新的，从而导致所述条件概率中的对应更新，使得所述条件概率被实时调整。
12.根据权利要求11所述的方法，其中，所述神经元网络中的神经元之间的所有突触连接具有预定延迟，并且其中，除了所述受关注突触权重之外，所有突触权重被固定在一个值，使得仅所述受关注突触权重根据STDP被更新。
13.根据权利要求12所述的方法，其中，由于所述第一神经元中的脉冲导致所述第二神经元中的脉冲而引起的所述受关注突触权重的增加或减小被设置为常数值，所述常数值是关于所述受关注突触权重的变化的乘数。
14.根据权利要求8所述的方法，其中，紧张性输入和时相性输入被用于稳定所述受关注突触权重。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质上编码有可执行指令，使得在由一个或更多个处理器执行所述指令时，所述一个或更多个处理器执行以下操作：
将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将所述第一输入数据流和所述第二输入数据流变换成第一神经元和第二神经元的可变激发速率；
学习所述第一输入数据流与所述第二输入数据流之间的条件概率，
其中，所述第一神经元与所述第二神经元之间的受关注突触权重收敛到与所述条件概率对应的固定点值；
基于所述条件概率和新输入数据流，对事件的概率进行估计；以及
基于所述事件的所述概率，使所述移动设备执行移动设备操作。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述受关注突触权重是根据脉冲时序依赖可塑性STDP在每次所述第一神经元和所述第二神经元中的任一者激发时被更新的，从而导致所述条件概率中的对应更新，使得所述条件概率被实时调整。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述神经元网络中的神经元之间的所有突触连接均具有预定延迟，并且其中，除了所述受关注突触权重之外，所有突触权重均被固定在一个值，使得仅所述受关注突触权重根据STDP被更新。
18.根据权利要求17所述的非暂时性计算机可读介质，其中，由于所述第一神经元中的脉冲导致所述第二神经元中的脉冲而引起的所述受关注突触权重的增加或减小被设置为常数值，所述常数值是关于所述受关注突触权重的变化的乘数。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，紧张性输入和时相性输入被用于稳定所述受关注突触权重。
20.一种估计移动设备操作的条件概率的神经形态硬件芯片，所述神经形态硬件芯片执行以下操作：
将从第一移动设备传感器获得的第一输入数据流和从第二移动设备传感器获得的第二输入数据流输入到包括多个神经元的神经元网络中，其中，将所述第一输入数据流和所述第二输入数据流变换成第一神经元和第二神经元的可变激发速率；
学习所述第一输入数据流与所述第二输入数据流之间的条件概率，
其中，所述第一神经元与所述第二神经元之间的受关注突触权重收敛到与所述条件概率对应的固定点值；
基于所述条件概率和新输入数据流，对事件的概率进行估计；以及
基于所述事件的所述概率，使所述移动设备执行移动设备操作。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862659085P | 2018-04-17 | 2018-04-17 | |
| US62/659,085 | 2018-04-17 | ||
| PCT/US2019/021049 WO2019203945A1 (en) | 2018-04-17 | 2019-03-06 | A neuronal network topology for computing conditional probabilities |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111868749A CN111868749A (zh) | 2020-10-30 |
| CN111868749B true CN111868749B (zh) | 2024-02-27 |
Family
ID=68161778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980019070.2A Active CN111868749B (zh) | 2018-04-17 | 2019-03-06 | 用于计算条件概率的神经元网络拓扑 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10748063B2 (zh) |
| EP (1) | EP3782083A4 (zh) |
| CN (1) | CN111868749B (zh) |
| WO (1) | WO2019203945A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11861035B2 (en) * | 2019-05-16 | 2024-01-02 | International Business Machines Corporation | Separating public and private knowledge in AI |
| US11410064B2 (en) * | 2020-01-14 | 2022-08-09 | International Business Machines Corporation | Automated determination of explanatory variables |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1990016038A1 (en) * | 1989-06-16 | 1990-12-27 | Lawrence, Malcolm, Graham | Continuous bayesian estimation with a neural network architecture |
| CN101283387A (zh) * | 2005-09-09 | 2008-10-08 | 国立计算机与自动化研究所 | 车辆驾驶辅助方法及改进的相关装置 |
| US8990133B1 (en) * | 2012-12-20 | 2015-03-24 | Brain Corporation | Apparatus and methods for state-dependent learning in spiking neuron networks |
| CN104662526A (zh) * | 2012-07-27 | 2015-05-27 | 高通技术公司 | 用于高效地更新尖峰神经元网络的装置和方法 |
| CN107092959A (zh) * | 2017-04-07 | 2017-08-25 | 武汉大学 | 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型 |
| CN107463907A (zh) * | 2017-08-08 | 2017-12-12 | 东软集团股份有限公司 | 车辆碰撞检测方法、装置、电子设备及车辆 |
| CN107784151A (zh) * | 2016-08-26 | 2018-03-09 | 福特全球技术公司 | 雷达和超声传感器的物理建模 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150074026A1 (en) | 2011-08-17 | 2015-03-12 | Qualcomm Technologies Inc. | Apparatus and methods for event-based plasticity in spiking neuron networks |
| US20130325774A1 (en) * | 2012-06-04 | 2013-12-05 | Brain Corporation | Learning stochastic apparatus and methods |
| US9146546B2 (en) * | 2012-06-04 | 2015-09-29 | Brain Corporation | Systems and apparatus for implementing task-specific learning using spiking neurons |
| US9208431B2 (en) * | 2012-05-10 | 2015-12-08 | Qualcomm Incorporated | Method and apparatus for strategic synaptic failure and learning in spiking neural networks |
| US9256215B2 (en) * | 2012-07-27 | 2016-02-09 | Brain Corporation | Apparatus and methods for generalized state-dependent learning in spiking neuron networks |
| US9218563B2 (en) * | 2012-10-25 | 2015-12-22 | Brain Corporation | Spiking neuron sensory processing apparatus and methods for saliency detection |
| JP5943358B2 (ja) * | 2014-09-30 | 2016-07-05 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 学習装置、処理装置、予測システム、学習方法、処理方法、およびプログラム |
| US10909451B2 (en) * | 2016-09-01 | 2021-02-02 | International Business Machines Corporation | Apparatus and method for learning a model corresponding to time-series input data |
| US10671912B2 (en) * | 2016-09-13 | 2020-06-02 | Sap Se | Spatio-temporal spiking neural networks in neuromorphic hardware systems |
-
2019
- 2019-03-06 US US16/294,815 patent/US10748063B2/en active Active
- 2019-03-06 EP EP19788132.9A patent/EP3782083A4/en active Pending
- 2019-03-06 CN CN201980019070.2A patent/CN111868749B/zh active Active
- 2019-03-06 WO PCT/US2019/021049 patent/WO2019203945A1/en unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1990016038A1 (en) * | 1989-06-16 | 1990-12-27 | Lawrence, Malcolm, Graham | Continuous bayesian estimation with a neural network architecture |
| CN101283387A (zh) * | 2005-09-09 | 2008-10-08 | 国立计算机与自动化研究所 | 车辆驾驶辅助方法及改进的相关装置 |
| CN104662526A (zh) * | 2012-07-27 | 2015-05-27 | 高通技术公司 | 用于高效地更新尖峰神经元网络的装置和方法 |
| US8990133B1 (en) * | 2012-12-20 | 2015-03-24 | Brain Corporation | Apparatus and methods for state-dependent learning in spiking neuron networks |
| CN107784151A (zh) * | 2016-08-26 | 2018-03-09 | 福特全球技术公司 | 雷达和超声传感器的物理建模 |
| CN107092959A (zh) * | 2017-04-07 | 2017-08-25 | 武汉大学 | 基于stdp非监督学习算法的硬件友好型脉冲神经网络模型 |
| CN107463907A (zh) * | 2017-08-08 | 2017-12-12 | 东软集团股份有限公司 | 车辆碰撞检测方法、装置、电子设备及车辆 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于概率神经网络建立电气系统故障的分类方法;胡浩;;科技创新与应用(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3782083A1 (en) | 2021-02-24 |
| EP3782083A4 (en) | 2022-02-16 |
| US20190318241A1 (en) | 2019-10-17 |
| WO2019203945A1 (en) | 2019-10-24 |
| US10748063B2 (en) | 2020-08-18 |
| CN111868749A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10300922B2 (en) | Risk assessment system for assessing current driver behavior relative to past behavior and behaviors of other drivers | |
| US10739773B2 (en) | Generative adversarial inverse trajectory optimization for probabilistic vehicle forecasting | |
| US10860920B2 (en) | Distributional reinforcement learning | |
| US11618481B2 (en) | Agent trajectory prediction using anchor trajectories | |
| US11275381B2 (en) | Control and monitoring of physical system based on trained Bayesian neural network | |
| CN109711557B (zh) | 一种行车轨迹预测方法、计算机设备及存储介质 | |
| US11189171B2 (en) | Traffic prediction with reparameterized pushforward policy for autonomous vehicles | |
| US11994866B2 (en) | Collision avoidance perception system | |
| US20210201156A1 (en) | Sample-efficient reinforcement learning | |
| US11568259B2 (en) | Cross batch normalization | |
| US11347221B2 (en) | Artificial neural networks having competitive reward modulated spike time dependent plasticity and methods of training the same | |
| US11210559B1 (en) | Artificial neural networks having attention-based selective plasticity and methods of training the same | |
| CN111868749B (zh) | 用于计算条件概率的神经元网络拓扑 | |
| CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
| US11449735B2 (en) | Spiking neural network for probabilistic computation | |
| Elfwing et al. | Scaled free-energy based reinforcement learning for robust and efficient learning in high-dimensional state spaces | |
| US11521053B2 (en) | Network composition module for a bayesian neuromorphic compiler | |
| US20210150349A1 (en) | Multi object tracking using memory attention | |
| US20230082079A1 (en) | Training agent trajectory prediction neural networks using distillation | |
| CN113396426A (zh) | 用于贝叶斯神经形态编译器的网络构成模块 | |
| US20230051565A1 (en) | Hard example mining for training a neural network | |
| EP3965017A1 (en) | Knowledge distillation for autonomous vehicles | |
| Hjartarson | Learning Algorithms for driver attitude determination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |