CN114067166A - 用于确定物理对象的物理特性的设备和方法 - Google Patents
用于确定物理对象的物理特性的设备和方法 Download PDFInfo
- Publication number
- CN114067166A CN114067166A CN202110855734.8A CN202110855734A CN114067166A CN 114067166 A CN114067166 A CN 114067166A CN 202110855734 A CN202110855734 A CN 202110855734A CN 114067166 A CN114067166 A CN 114067166A
- Authority
- CN
- China
- Prior art keywords
- neural network
- sensor data
- processing
- time
- physical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000704 physical effect Effects 0.000 title claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 66
- 210000002569 neuron Anatomy 0.000 claims abstract description 61
- 238000012421 spiking Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18109—Braking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及确定物理对象的物理特性的方法，具有：针对输入时间点序列的每个输入时间点，利用基于事件的传感器来检测传感器数据，其包含物理对象的信息；针对每个输入时间点子序列：将检测的传感器数据输送到脉冲神经网络，通过其脉冲神经元处理这些传感器数据来产生第一处理结果，其中脉冲神经元分别对传感器数据的值进行积分，将第一处理结果输送到非脉冲神经网络，通过其第一层的非脉冲神经元处理第一处理结果来产生第二处理结果；将第二处理结果输送到第二层，通过其非脉冲神经元来将多个子序列的处理结果组合，其方式是这些非脉冲神经元分别计算不同子序列的第二处理结果的值的加权和；和根据非脉冲神经元的输出来确定物理对象的物理特性。
Description
技术领域
总的来说，不同实施例涉及用于确定物理对象的物理特性的设备和方法。
背景技术
在基于事件的摄像机的情况下，并不总是传输整个图像、也就是说帧的所有像素，而是仅传输已发生变化的像素值。借此，就处理而言，不需要等待整个图像（帧）的构建。这种基于事件的摄像机由于它们的时间分辨率高而在某些应用场景、诸如用于在自主驾驶的情况下的运动估计的应用场景中比传统摄像机明显更加适合。由于它们的根本不同的工作方式，传统的图像处理方法、尤其是用于图像处理的神经网络的传统架构对于处理由基于事件的摄像机提供的图像数据来说无效。
与此相对应地，对于不同任务来说、例如对于生产中的监控（例如对有缺陷的构件的探测）来说或者对于在自主驾驶的情况下识别对象来说，高效地处理由基于事件的摄像机提供的图像数据（或者通常是基于事件的传感器的传感器数据）是值得期望的。
发明内容
按照不同的实施方式，提供了一种用于确定物理对象的物理特性的方法，该方法具有：针对输入时间点序列的每个输入时间点，利用基于事件的传感器来检测传感器数据，其中这些传感器数据包含关于一个或多个物理对象的信息，针对将输入时间点序列分解成多个子序列中的每个子序列，该方法具有：
- 将针对该子序列的输入时间点所检测到的传感器数据输送到脉冲神经网络；
- 通过脉冲神经网络的脉冲神经元来处理该子序列的输入时间点的传感器数据，用于产生该子序列的第一处理结果，其中这些脉冲神经元分别对该子序列的不同输入时间点的传感器数据的值进行积分；
- 将该子序列的处理结果输送到非脉冲神经网络；并且
- 通过非脉冲神经网络的一个或多个第一层的非脉冲神经元来处理该子序列的处理结果，用来产生该子序列的第二处理结果；
而且该方法还具有
将多个子序列的第二处理结果输送到非脉冲神经网络的一个或多个第二层；通过非脉冲神经网络的一个或多个第二层的非脉冲神经元来将所述多个子序列的处理结果组合，其方式是所述一个或多个第二层的非脉冲神经元分别计算不同子序列的第二处理结果的值的加权和；并且根据所述一个或多个第二层的非脉冲神经元的输出来确定物理对象的物理特性。
上述方法能够高效地处理基于传感器的传感器数据，其中尤其可以省去例如在脉冲神经网络的输入端处（随着时间）对传感器数据的累积。由此，可以避免或者至少减少时间信息的丢失。同时，该方法能够使用非脉冲神经网络、诸如卷积网络的高效且经过验证的架构，以便例如执行对传感器数据的光流的分类或估计（例如用于运动估计）。
在下文说明了不同的实施例。
实施例1是一种如上所述的用于确定物理对象的物理特性的方法。
实施例2是根据实施例1所述的方法，其中基于事件的传感器提供针对传感器数据向量的多个分量的传感器数据并且将其提供给非脉冲神经网络的非脉冲神经元，用来产生该子序列的第二处理结果，其中这些非脉冲神经元计算该传感器数据向量的不同分量的第二处理结果的值的加权和。
因此，在非脉冲神经网络中，跨传感器数据的分量（例如空间分量或者还有频率分量）地进行分析，例如借助于卷积网络来进行分析。为此，可以使用高效的分类或回归技术。
实施例3是根据实施例1或2所述的方法，其中输入时间点是事件的时间点，基于事件的传感器通过输出传感器数据来对这些事件做出反应。
借此，相对于传感器的时间分辨率而言，避免了时间分辨率的降低。借此保留最大的信息量。
实施例4是根据实施例1至3中任一项所述的方法，该方法具有：针对每个子序列，将脉冲神经元的输出的至少一部分输送到另一神经网络，其中该另一神经网络执行分类，该分类规定了该子序列的结束。
实施例5是根据实施例1至4中任一项所述的方法，该方法具有：针对每个子序列，确定每个时间单位这些脉冲神经元的输出的至少一部分的数量；并且如果每个时间单位这些脉冲神经元的输出超出阈值，则将该子序列结束。
实施例4和5直观地提供了一种用于通过非脉冲神经网络来进行处理的“触发器”（也就是说用于通过非脉冲神经网络来进行前向传递（Forward-Pass）的触发器）。借此实现了：只有当通过神经网络进行的处理“值得”时、也就是说只有当能预期有新信息时，才将资源用于该处理。这样，在SNN中的大量脉冲例如可表明：有新对象已进入到传感器范围内并且因此通过ANN进行的处理可能会提供（例如关于该新对象的物理特性的）新信息。
实施例6是一种用于控制执行器的方法，该方法具有：根据实施例1至5中任一项所述的方法来确定物理对象的物理特性；并且根据该物理对象的所确定的物理特性征来控制执行器。
实施例7是一种用于探测物理对象的异常的方法，该方法具有：根据实施例1至5中任一项所述的方法来确定物理对象的物理特性；将该物理对象的所确定的物理特性与该物理对象的参考特性进行比较；并且如果所确定的物理特性不同于该参考特性，则查明该物理对象具有异常。
实施例8是一种设备，该设备被设立为实施根据实施例1至7中任一项所述的方法。
实施例9是一种计算机程序，其具有程序指令，当这些程序指令由一个或多个处理器来实施时，这些程序指令使所述一个或多个处理器执行根据实施例1至7中任一项所述的方法。
实施例10是一种计算机可读存储介质，在其上存储有程序指令，当这些程序指令由一个或多个处理器来实施时，这些程序指令使所述一个或多个处理器执行根据实施例1至7中任一项所述的方法。
附图说明
本发明的实施例在附图中被示出并且在下文详细地予以阐述。在附图中，相同的附图标记在多个视图中各处通常都涉及相同的部分。这些附图不一定比例正确，其中重点反而通常在于呈现本发明的原理。
图1示出了按照实施方式的车辆。
图2示出了按照实施方式的神经网络。
图3阐明了按照实施方式的随着时间对基于事件的摄像机（或者通常是基于事件的传感器）的传感器数据的处理。
图4示出了流程图，该流程图呈现了按照实施方式的用于确定物理对象的物理特性的方法。
具体实施方式
不同的实施方式、尤其是下文描述的实施例可以借助于一个或多个电路来实现。在一个实施方式中，“电路”可以被理解为任何类型的逻辑实现实体，该逻辑实现实体可以是硬件、软件、固件或它们的组合。因而，在一个实施方式中，“电路”可以是硬接线逻辑电路或可编程逻辑电路，诸如可编程处理器、例如微处理器。“电路”也可以是由处理器实现或实施的软件、例如任何类型的计算机程序。根据一个替选的实施方式，相应的功能的任何其它类型的实现方案都可以被理解为“电路”，这些相应的功能在下文更详细地予以描述。
在机器学习的情况下，学习将输入数据（例如传感器数据）映射到输出数据的函数。在学习（也就是说训练神经网络或其它模型）的情况下，根据在每次输入时都预先给定所希望的输出（例如对输入数据的所希望的分类）的输入数据集（也称为训练数据集），确定该函数，使得该函数尽可能好地映射了从输入到输出的该分配。
应用这种机器学习功能的示例是针对自主驾驶的对象分类或运动估计，如图1中所阐明的那样。
图1示出了车辆101。
应注意：在下文，图像或图像数据非常普遍地被理解成表示一个或多个对象或图案的数据的集。图像数据可以由传感器（尤其是基于事件的传感器）来提供，这些传感器测量可见光或不可见光、诸如红外或紫外光、超声或雷达波，或者其它电磁信号或声音信号。
在图1的示例中，车辆101、例如载客车（PKW）或载货车（LKW）配备有车辆控制装置102。
车辆控制装置102具有数据处理组件，例如处理器（例如CPU（中央单元））103和存储器104，该存储器用于存储车辆控制装置102按照其来工作的控制软件和由处理器103来处理的数据。
例如，所存储的控制软件具有（计算机程序）命令，当处理器执行这些命令时，这些命令引起：处理器103实现一个或多个神经网络107。
存储在存储器104中的数据例如可包含由一个或多个摄像机105所检测到的图像数据。所述一个或多个摄像机105例如可以拍摄车辆101的周围环境的一张或多张灰度或彩色照片。
车辆控制装置102可基于图像数据来确定：是否有对象以及有哪些对象、例如像交通标志或道路标记那样的固定对象或者像行人、动物和其它车辆那样的移动对象存在于车辆101的周围环境中并且这些对象相对于车辆101以怎样的速度移动。
接着，车辆101可以由车辆控制装置102按照对象确定的结果来控制。这样，车辆控制装置102例如可以控制执行器106（例如制动器），以便控制车辆的速度，例如以便使车辆制动。
摄像机（或者这些摄像机之一）105例如是基于事件的摄像机。基于事件的摄像机是一种新型摄像机技术，该新型摄像机技术可以产生对真实世界的快速的高时间分辨率的并且高效的表示。不同于普通摄像机，基于事件的摄像机输出事件流，其中每个事件都表示在特定时间点在特定像素处的亮度的二元变化。这特别适合于高速运动估计和弱光导航，而传统摄像机（这些传统摄像机逐帧地提供图像数据）在这种应用方面存在困难。
如今，非脉冲人工神经网络（ANN，英文artificial neural network）是处理图像数据的标准。但是，这些非脉冲人工神经网络只是有条件地适合于处理事件数据，因为这些非脉冲人工神经网络通常同步地并且使用密集填充矩阵来处理输入数据。而事件数据稀疏填充且不同步。
处理事件数据的一种可能性在于：通过累积一定数目的事件来降低时间分辨率。这样，由基于事件的摄像机105提供的原始数据被转换成密集填充矩阵的序列。该表示可以被用于教导可重建灰度图像的传统神经网络（ANN）。接着，可以对其应用常见的机器视觉算法。 然而，该做法由于该累积而限制了时间分辨率。由此，有信息丢失。
在下文，描述了能够实现高时间分辨率并且适合于普遍的任务的实施例。
按照不同的实施方式，使用由两部分组成的神经网络（例如作为神经网络107），如图2中所示。
图2示出了按照实施方式的神经网络200。
神经网络200借助于输入层202来获得基于事件的传感器（例如摄像机105）的数据。神经网络200的输出通过输出层206来实现。
在输入层202与输出层206之间，神经网络200具有层203、204、205的序列。
神经网络200由于层序列具有第一组层203（层的第一子序列）和第二组层205（层的第二子序列）的缘故而由两部分组成。在该示例中，这两个组通过（可选的）中间层204来连接。
第一组202的层由脉冲（尖峰）神经元组成，而第二组202的层具有传统的人工神经元（也就是说非脉冲神经元）。
脉冲神经元具有内部状态V(t)，该内部状态可以随着时间t发生变化。在脉冲神经元与后续神经元之间的通信通过该脉冲神经元发出脉冲（所谓的尖峰（Spikes））、通常二元信号来进行，其中具有多个位信息的信号也是可能的。
如果脉冲神经元的内部状态超过或低于某个阈值，则该脉冲神经元发出脉冲。这种方式的信息传输受到人脑中的处理方式的启发。
神经网络例如可以输出对在由基于事件的摄像机拍摄的场景中的光流的估计。可以借助于反向传播来进行端到端训练（例如用于这种任务，但是也用于分类或回归），其中针对脉冲神经元可以使用梯度计算的近似，以便能够实现对梯度的稳定计算。
在连续时间内，脉冲神经元可以通过（带泄漏（Leaky））整合发放（Integrate-and-fire，LIF）模型来予以描述：
在这种情况下，
l 是神经元所在的层的索引，
i 是该神经元的索引。
如果按照该模型，脉冲神经元随着时间没有丢失电压，即
，则就称为整合发放模型。
输入电流通常是多个脉冲，通过狄拉克δ（Dirac Delta）函数之和以及权重
来建模，该权重对从另一（上一脉冲）神经元到该神经元的突触进行加权：
激活函数
确定：神经元是否将脉冲发给一个或多个后续的与该神经元连接的神经元。
为了模拟该模型，进行时间离散化（其中Urest在该示例中被设置到零）。得到如下公式：
在总和中，
和
是权重，其中权重
应该说明一层的神经元也可以与自身连接。
具有正时间常数
的项
是下降强度，其中0 < 
< 1。适用
，其中 
是膜电压 
的非线性函数，例如 
，其中Θ是Theta函数（或赫维赛德（Heaviside）函数）。
常数
通过具有正时间常数 
的 
来给出。按照实施方式，也专门使用极限情况α = 1和β = 1。
为了利用反向传播（更准确地说BPTT，时间反向传播（Backpropagation throughtime））来训练神经网络200，需要计算激活函数的导数。然而，由于激活函数通过Theta函数来描述，所以对该导数的简单近似计算然会导致该导数在每个位置都为0并且因而无法计算权重的更新。
如果针对该更新的计算使用辅助函数，例如
，则可以避开这种情况。
这能够实现：计算针对SNN（也就是说第一组层203的脉冲神经元）的权重的更新（也就是说训练更新）。这样，神经网络200可以被训练，其中ANN的权重（也就是说第二组层205的神经元的权重）借助于常见的反向传播来更新，而针对SNN神经元的权重的更新借助于上述近似来计算。
基于事件的摄像机的事件流可以被划分成多个输入向量（或输入张量），其中该划分基于预先给定的时间步长dt。这些输入向量被用于利用混合SNN-ANN架构来训练神经网络，如图2中所示。
按照实施方式，该架构具有如下特征中的至少一部分：
- SNN由一个或多个可以彼此任意连接的层组成。每个连接的延迟也能任意被调整。
- SNN的特点在于经由事件包和SNN的具有内部状态的神经元的通信。
- ANN基于SNN的输出向量来输出预测。这例如可以是SNN的最后一层的内部状态，或者是来自不同层的累积尖峰。
- 在SNN与ANN之间，可存在所谓的触发器，该触发器决定何时实施ANN。这例如可以通过ANN或SNN来实现，除了现有结构之外，该ANN或SNN被教导，以便例如预测在输入向量中是否能看到新对象或者是否有对象移动了。
- 在SNN层之间以及在SNN与ANN之间的带宽可以被调节，其方式是例如将用于生成尖峰/事件的附加损失项集成到优化中或者始终只使用网络的一部分。
可选地，替代于反向传播或者与反向传播相结合，SNN可以利用从神经科学中公知的局部学习方法、诸如尖峰定时相关可塑性（STDP）来教导。神经网络也可以端到端地被教导。
为了训练，收集基于事件的传感器的事件数据的集合。神经网络被实现和初始化（例如随机值）。
由SNN输出的数据可以在通过ANN进行处理之前被预处理。例如，脉冲或者（例如在过渡层204中的）SNN神经元的内部状态可以被累积。
按照不同的实施方式，SNN对基于事件的摄像机的输入数据进行处理，基于事件的摄像机在一定时间之内、也就是说针对（输入时间点的总序列的）输入时间点的子序列来提供这些输入数据并且向ANN输出结果。ANN对不同子序列的输入数据的处理结果分别单独地（也就是说彼此独立地）进行处理，并且接着将（针对不同子序列的）这些处理的结果彼此组合，如图3中所示。
图3阐明了随着时间对基于事件的摄像机（或者通常是基于事件的传感器）的传感器数据的处理。
时间沿着时间轴305从左向右流逝。
从上向下，层深度增加，也就是说更下方示出的分别象征神经网络200中的数据的块位于神经网络200的更深的层中（也就是说在图2的图示中的更右侧）。
上方三行306表示在SNN中的处理，下方四行307表示在ANN中的处理。
最上方的层对应于SNN的第一层。第一层的每个块对应于在发生事件的输入时间点从基于事件的传感器接收传感器输入数据，传感器作为对该事件的反应来提供输入数据。替选地，可以在（小）时间步长dt的持续时间内收集输入数据，使得输入时间点例如以间距dt规则地布置在时间轴上。值dt例如在0.1ms至1ms的范围内，不过视应用而定在更极端的情况下也可以在0.01ms至10ms的范围内。
在该示例中，这些输入时间点被编组成组301、302、303和304。SNN在组301、302、303和304的输入时间点所接收到的输入数据由SNN来处理并且接着相应的组的共同的处理结果在308、309、310或311中被转发给ANN。
如所示出的那样，上一组的输入数据还可影响对下一组的输入数据的处理（通过伸出超过组边界的箭头来呈现）。然而，在某些时间点308、309、310、311，结果由SNN转交给ANN，输入数据被加入到该ANN中，直至所属的组（即例如针对第一转发时间点308的第一组301）结束为止。
ANN将多个组的处理结果、例如在312中的第一组301和第二组302的处理结果、在313中的第三组303和第四组304的处理结果以及最终在314中的全部四个组的处理结果组合。
最后组合的结果是对四个组301至304的传感器数据的处理。
在两个SNN层之间的延迟例如是一个时间步长。 在ANN中，延迟为零。如所示出的那样，在该示例中存在SNN的第一层与SNN的第三层之间的连接。数据量也可能在层与层之间发生变化，例如像在编码器-解码器结构中那样。例如，在第三SNN层中的数据量减少。
概况来说，按照不同的实施方式，提供了如在图4中示出的方法。
图4示出了流程图400，该流程图呈现了用于确定物理对象的物理特性的方法。
在401中，针对输入时间点序列的每个输入时间点，利用基于事件的传感器来检测传感器数据，其中这些传感器数据包含关于一个或多个物理对象的信息。
在402中，针对将输入时间点序列分解成多个子序列中的每个子序列
- 在403中，将针对该子序列的输入时间点所检测到的传感器数据输送到脉冲神经网络（SNN），
- 在404中，通过脉冲神经网络的脉冲神经元来处理该子序列的输入时间点的传感器数据，用于产生该子序列的第一处理结果，其中这些脉冲神经元分别对该子序列的不同输入时间点的传感器数据的值进行积分，
- 在404中，将该子序列的处理结果输送到非脉冲神经网络（ANN），并且
- 在405中，通过非脉冲神经网络的一个或多个第一层的非脉冲神经元来处理该子序列的处理结果，用来产生该子序列的第二处理结果。
在406中，将所述多个子序列的第二处理结果输送到非脉冲神经网络的一个或多个第二层。
在407中，通过非脉冲神经网络的一个或多个第二层的非脉冲神经元来将所述多个子序列的处理结果组合，其方式是所述一个或多个第二层的非脉冲神经元分别计算不同子序列的第二处理结果的值的加权和。
在408中，根据所述一个或多个第二层的非脉冲神经元的输出来确定物理对象的物理特性。
基于事件的传感器例如是基于事件的摄像机或者其它基于事件的传感器，如神经形态耳蜗（neuromorphe Cochlea或者IoT（物联网）设备，该设备由事件触发地发送信息。
神经网络的输出（也就是说针对物理对象的所确定的物理特性的所输出的信息）可以被用于控制设备或系统，该控制被设立为根据神经网络的输出来控制该设备或该系统，诸如机器人。“机器人”可以被理解成任何（具有其运动被控制的机械部分的）物理系统，如计算机控制的机器、车辆、家用电器、电动工具、生产机器、私人助理或门禁系统。神经网络的输出也可以被用于用来传递信息的系统，诸如用于医疗（成像）方法。
神经网络可以被用于由基于事件的传感器提供的数据的回归或分类，也就是说可以根据分类或回归结果来确定物理特性。这些数据例如由基于事件的摄像机来提供并且表示场景。在此，术语分类也包括语义分割、例如对图像的语义分割（该语义分割也可以被视为逐像素分类）。同样，术语分类包括探测、例如对对象的探测（该探测可以被视为对该对象是否存在的分类）。应用示例是：实时地定位和跟踪在道路交通中的汽车和行人；在工业厂房中的监控摄像机上跟踪人员；或者确定在水膜上高速移动的油滴的位置。
神经网络的输出（例如分类）可以（例如由相对应的控制装置）用于探测异常，例如用于探测在所制造的构件中的缺陷。
该物理特性可以通过对所述一个或多个第二层的非脉冲神经元的输出的相对应的解读来确定。例如，所述一个或多个第二层的非脉冲神经元输出说明了类别从属性的Softmax值。所述一个或多个第二层的非脉冲神经元例如也可以输出如下值，这些值指定运动向量、例如运动图，也就是说针对图像的每个像素指定运动方向和运动速度。因此，该物理特性可以通过从所述一个或多个第二层的非脉冲神经元的输出中读取来确定。但是，也可以提供进一步处理，例如在某些区域（这些区域又通过由神经网络输出的分割来给出）内求平均等等。
按照实施方式，该方法是计算机实现的。
尽管本发明主要是在参考特定实施方式的情况下被展示和描述的，但是本领域技术人员应该理解：可以在不脱离本发明的如通过随后的权利要求书限定的精神和保护范围的情况下关于其设计方案和细节进行大量更改。因而，本发明的保护范围通过随附的权利要求书来确定，而且意图涵盖落入权利要求书的字面含义或等效范围的全部更改。
Claims (10)
1.一种用于确定物理对象的物理特性的方法，所述方法具有：
针对输入时间点序列的每个输入时间点，利用基于事件的传感器来检测传感器数据，其中所述传感器数据包含关于一个或多个物理对象的信息；
针对将所述输入时间点序列分解成多个子序列中的每个子序列
将针对所述子序列的输入时间点所检测到的传感器数据输送到脉冲神经网络，
通过所述脉冲神经网络的脉冲神经元来处理所述子序列的输入时间点的传感器数据，用于产生所述子序列的第一处理结果，其中所述脉冲神经元分别对所述子序列的不同输入时间点的传感器数据的值进行积分，
将所述子序列的处理结果输送到非脉冲神经网络，并且
通过所述非脉冲神经网络的一个或多个第一层的非脉冲神经元来处理所述子序列的处理结果，用来产生所述子序列的第二处理结果；
将所述多个子序列的第二处理结果输送到所述非脉冲神经网络的一个或多个第二层；
通过所述非脉冲神经网络的一个或多个第二层的非脉冲神经元来将所述多个子序列的处理结果组合，其方式是所述一个或多个第二层的非脉冲神经元分别计算不同子序列的第二处理结果的值的加权和；并且
根据所述一个或多个第二层的非脉冲神经元的输出来确定所述物理对象的物理特性。
2.根据权利要求1所述的方法，其中所述基于事件的传感器提供针对传感器数据向量的多个分量的传感器数据并且将其提供给所述非脉冲神经网络的非脉冲神经元，用来产生所述子序列的第二处理结果，其中所述非脉冲神经元计算所述传感器数据向量的不同分量的第二处理结果的值的加权和。
3.根据权利要求1或2所述的方法，其中所述输入时间点是事件的时间点，所述基于事件的传感器通过输出传感器数据来对所述事件做出反应。
4.根据权利要求1至3中任一项所述的方法，所述方法具有：针对每个子序列，将所述脉冲神经元的输出的至少一部分输送到另一神经网络，其中所述另一神经网络执行分类，所述分类规定了所述子序列的结束。
5.根据权利要求1至4中任一项所述的方法，所述方法具有：针对每个子序列，确定每个时间单位所述脉冲神经元的输出的至少一部分的数量；并且如果每个时间单位所述脉冲神经元的输出超出阈值，则将所述子序列结束。
6.一种用于控制执行器的方法，所述方法具有：
根据权利要求1至5中任一项所述的方法来确定物理对象的物理特性；并且
根据所述物理对象的所确定的物理特性征来控制执行器。
7.一种用于探测物理对象的异常的方法，所述方法具有：
根据权利要求1至5中任一项所述的方法来确定物理对象的物理特性；
将所述物理对象的所确定的物理特性与所述物理对象的参考特性进行比较；并且
如果所确定的物理特性不同于所述参考特性，则查明所述物理对象具有异常。
8.一种设备，所述设备被设立为实施根据权利要求1至7中任一项所述的方法。
9.一种计算机程序，其具有程序指令，当所述程序指令由一个或多个处理器来实施时，所述程序指令使所述一个或多个处理器执行根据权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，在其上存储有程序指令，当所述程序指令由一个或多个处理器来实施时，所述程序指令使所述一个或多个处理器执行根据权利要求1至7中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020209538.8A DE102020209538A1 (de) | 2020-07-29 | 2020-07-29 | Vorrichtung und Verfahren zum Ermitteln einer physikalischen Eigenschaft eines physikalischen Objekts |
| DE102020209538.8 | 2020-07-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114067166A true CN114067166A (zh) | 2022-02-18 |
Family
ID=79300304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110855734.8A Pending CN114067166A (zh) | 2020-07-29 | 2021-07-28 | 用于确定物理对象的物理特性的设备和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220036095A1 (zh) |
| CN (1) | CN114067166A (zh) |
| DE (1) | DE102020209538A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998996A (zh) * | 2022-06-14 | 2022-09-02 | 中国电信股份有限公司 | 具有运动属性信息的信号处理方法、装置、设备及存储 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11954579B2 (en) * | 2021-06-04 | 2024-04-09 | Lynxi Technologies Co., Ltd. | Synaptic weight training method, target identification method, electronic device and medium |
| CN114781633B (zh) * | 2022-06-17 | 2022-10-14 | 电子科技大学 | 一种融合人工神经网络与脉冲神经网络的处理器 |
| CN117764996B (zh) * | 2024-02-22 | 2024-05-24 | 珠海电科星拓科技有限公司 | 一种智能sot封装芯片引脚缺陷检测的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9367798B2 (en) * | 2012-09-20 | 2016-06-14 | Brain Corporation | Spiking neuron network adaptive control apparatus and methods |
| US10339447B2 (en) * | 2014-01-23 | 2019-07-02 | Qualcomm Incorporated | Configuring sparse neuronal networks |
| KR20210134638A (ko) * | 2019-03-29 | 2021-11-10 | 인텔 코포레이션 | 자율 차량 시스템 |
-
2020
- 2020-07-29 DE DE102020209538.8A patent/DE102020209538A1/de active Pending
-
2021
- 2021-07-19 US US17/379,328 patent/US20220036095A1/en active Pending
- 2021-07-28 CN CN202110855734.8A patent/CN114067166A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998996A (zh) * | 2022-06-14 | 2022-09-02 | 中国电信股份有限公司 | 具有运动属性信息的信号处理方法、装置、设备及存储 |
| CN114998996B (zh) * | 2022-06-14 | 2024-04-05 | 中国电信股份有限公司 | 具有运动属性信息的信号处理方法、装置、设备及存储 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220036095A1 (en) | 2022-02-03 |
| DE102020209538A1 (de) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11600007B2 (en) | Predicting subject body poses and subject movement intent using probabilistic generative models | |
| Chen et al. | Event-based neuromorphic vision for autonomous driving: A paradigm shift for bio-inspired visual sensing and perception | |
| JP7393512B2 (ja) | ニューラルネットワークの分散学習および重み分配のためのシステム、および方法 | |
| CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
| US20190147610A1 (en) | End-to-End Tracking of Objects | |
| US11144789B2 (en) | Model parameter learning device, control device, and model parameter learning method | |
| US11189171B2 (en) | Traffic prediction with reparameterized pushforward policy for autonomous vehicles | |
| WO2018162933A1 (en) | Improved object recognition system | |
| CN110569792A (zh) | 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法 | |
| US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
| CN114723955A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
| CN111105030B (zh) | 用于车辆感知系统的神经网络中的激活零旁路和权重剪枝 | |
| Hu et al. | Learning a deep cascaded neural network for multiple motion commands prediction in autonomous driving | |
| US11789466B2 (en) | Event camera based navigation control | |
| CN113015982A (zh) | 具有竞争性奖励调节脉冲时间依赖的可塑性的人工神经网络及其训练方法 | |
| CN113557524A (zh) | 用于表示移动平台环境的方法 | |
| Sagar et al. | Artificial intelligence in autonomous vehicles-a literature review | |
| CN113378638A (zh) | 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 | |
| CN111868749B (zh) | 用于计算条件概率的神经元网络拓扑 | |
| US11804034B2 (en) | Training a function to respond predictably to differences | |
| Andersen et al. | Event-based navigation for autonomous drone racing with sparse gated recurrent network | |
| EP3702971A1 (en) | Method for estimating the uncertainty of a recognition process in a recognition unit; electronic control unit and motor vehicle | |
| Tiwari et al. | Deep learning based lateral control system | |
| Vicol et al. | Real-time classification of LIDAR data using discrete-time Recurrent Spiking Neural Networks | |
| CN111860053A (zh) | 一种多媒体数据识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |