CN106796580B - 用于处理多个异步事件驱动的样本的方法、装置和介质 - Google Patents

用于处理多个异步事件驱动的样本的方法、装置和介质 Download PDF

Info

Publication number
CN106796580B
CN106796580B CN201580047251.8A CN201580047251A CN106796580B CN 106796580 B CN106796580 B CN 106796580B CN 201580047251 A CN201580047251 A CN 201580047251A CN 106796580 B CN106796580 B CN 106796580B
Authority
CN
China
Prior art keywords
driven
stft
event
samples
asynchronous event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580047251.8A
Other languages
English (en)
Other versions
CN106796580A (zh
Inventor
X·王
Y·C·尹
B·F·贝哈巴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106796580A publication Critical patent/CN106796580A/zh
Application granted granted Critical
Publication of CN106796580B publication Critical patent/CN106796580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Discrete Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于处理连续时间信号的异步事件驱动的输入采样的方法包括基于事件驱动的输入采样来计算短时傅立叶变换(STFT)输出。可通过将编码脉冲和STFT窗口函数表达为复加权因果复指数之和来计算STFT输出。该方法进一步包括在事件之间内插输出。

Description

用于处理多个异步事件驱动的样本的方法、装置和介质
相关申请的交叉引用
本申请要求于2014年9月4日提交且题为“EVENT-DRIVEN SPATIO-TEMPORALSHORT-TIME FOURIER TRANSFORM PROCESSING FOR ASYNCHRONOUS PULSE-MODULATEDSAMPLED SIGNALS(用于异步脉冲调制采样信号的事件驱动的空间-时间短时傅立叶变换处理)”的美国临时专利申请No.62/045,775的权益，其公开内容通过援引全部明确纳入于此。
背景
领域
本公开的某些方面一般涉及机器学习，尤其涉及改进在神经网络中用于异步脉冲调制采样信号的事件驱动的空间-时间短时傅立叶变换处理的系统和方法。
背景
可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如，深度置信网络和深度卷积网络)是分层神经网络架构，其中神经元的第一层的输出变成神经元的第二层的输入，神经元的第二层的输出变成神经元的第三层的输入，以此类推。深度神经网络可被训练以识别特征阶层并因此它们被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可在处理节点群体上分发，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。
其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行分类的分开的超平面(例如，决策边界)。该超平面由监督式学习定义。期望的超平面增加训练数据的余裕。换言之，超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上取得了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练是有挑战性的。
概述
在本公开的一方面，给出了一种用于处理连续时间信号的异步事件驱动型输入采样的方法。该方法包括基于该事件驱动的输入采样来计算短时傅立叶变换(STFT)输出。可通过将编码脉冲和STFT窗口函数表达为复加权因果复指数之和来计算STFT输出。该方法可进一步包括在事件之间内插输出。
在本公开的另一方面，给出了一种用于处理连续时间信号的异步事件驱动型输入采样的装备。该装备包括用于基于该事件驱动的输入采样来计算短时傅立叶变换(STFT)输出的装置。可通过将编码脉冲和STFT窗口函数表达为复加权因果复指数之和来计算STFT输出。该装备进一步包括用于在事件之间内插输出的装置。
在本公开的又一方面，给出了图像捕捉设备。该图像捕捉设备包括存储器单元以及耦合至该存储器单元的至少一个处理器。该一个或多个处理器被配置成基于事件驱动的样本来计算短时傅立叶变换(STFT)输出。
根据本公开的又一方面，公开了一种非瞬态计算机可读介质。该非瞬态计算机可读介质上有程序代码，该程序代码在由处理器执行时使得该处理器处理连续时间信号的异步事件驱动型输入采样。该程序代码包括用于基于事件驱动的样本来计算短时傅立叶变换(STFT)输出的程序代码。
本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。
附图简要说明
在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。
图1解说了根据本公开的一些方面的使用片上系统(包括通用处理器)来设计神经网络的示例实现。
图2解说根据本公开的各方面的系统的示例实现。
图3A是解说根据本公开的各方面的神经网络的示图。
图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。
图5是解说根据本公开的各方面的智能手机上AI应用的运行时操作的框图。
图6解说根据本公开的诸方面的用于处理连续时间信号的异步事件驱动样本的方法。
图7是解说根据本公开的诸方面的用于事件驱动的短时傅立叶变换处理的方法的框图。
详细描述
以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在一些实例中，以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导，本领域技术人员应领会，本公开的范围旨在覆盖本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
事件驱动的空间-时间短时傅立叶变换处理
均匀采样被用于卷积数据获取和信号处理技术。采样频率可根据最大预期频谱频率确定。然而，该最大频率采样可能随着松弛的性能(例如，减少的频率内容、增加的静默时段)浪费用于输入信号的功率。然而，最大频率采样的使用对于依赖稀缺能量资源的新兴应用是有问题的。
基于事件的采样是均匀采样的有前景的替代。在基于事件的采样中，样本仅在一些重要的事情(例如，一个事件)在信号中发生时输出。本公开的一个方面涉及用于给依赖稀缺能量资源的高能效的未来神经形态系统提供动力的异步事件驱动的信号处理技术。例如，所述技术可以在基于事件的传感器(诸如动态视觉传感器(DVS))中是有用的。
本公开的一方面涉及用于在连续时间和离散空间中计算采样信号(例如，勒贝格和/或异步脉冲调制(APM)采样信号)的空间-时间短时傅立叶变换(STFT)的事件驱动的处理。具体地，一方面涉及用于采样信号的短时傅立叶变换的异步事件驱动的处理，其中短时傅立叶变换中的编码(APM)脉冲和窗口函数被表达和/或近似为复加权因果复指数之和。相应地，在神经网络中用于异步脉冲调制采样信号的事件驱动的空间-时间短时傅立叶变换处理可以对高能效的未来神经形态系统提供动力。
根据本公开的诸方面，连续的模拟信号可被接收以作为输入。基于事件的采样过程可被应用于生成一序列脉冲。在一些方面，所述采样过程可包括APM采样过程等。所述一序列脉冲可以是正脉冲、负脉冲或两者(双极)。由于所述输入在事件发生时采样，采样率相较于可观察到的例如均匀时间采样低得多。如此，本系统和方法满足奈奎斯特采样率以重建更容易实现的输入信号。
该一序列脉冲可进而通过直接应用短时傅立叶变换来处理以近似时域输出。即，所述一序列脉冲可在不将脉冲逆转换成模拟的来处理和创建输出信号的情况下被用于生成所述输出信号。
异步基于事件的采样
考虑可积分的连续时间实信号x(t):
Figure GDA00023134899600000512
从时间t0，其中X是包含所有此类信号x(t)的集合。
极化事件序列
Figure GDA00023134899600000513
是极化事件的经排序集合的响应函数{(tk,pk)|tk∈t0,∞),pk∈-1,1k＝1,…,K，以使得：
tk＜t′kif k＜k′,以及 (1)
其中δ是狄拉克增量函数。通过≡来表示包含所有此类事件序列的集合ξ(t)。在内核函数h(t)之下的极化事件序列的直接重构可以通过其与h(t)的卷积来给出，
Figure GDA0002313489960000052
在一些方面，内核函数可以是因果的，(例如，h(t)＝0,
Figure GDA0002313489960000055
)。进一步通过
Figure GDA0002313489960000056
来表示直接重构器(例如，
Figure GDA0002313489960000057
)。
异步脉冲调制(APM)采样器
Figure GDA0002313489960000058
可以在内核函数(例如，脉冲)h(t)之下将x(t)变换为极化事件序列
Figure GDA0002313489960000059
以使得
Figure GDA00023134899600000510
Figure GDA0002313489960000053
sign(x(tk-0)-y(tk-0)-x(to))＝pk以及 (7)
Figure GDA0002313489960000054
其中0是无限小的正整数，而y(t)＝[x*h](t)是在h(t)之下对ξ(t)的直接重构。
等级跨越采样器(例如，勒贝格采样器)
Figure GDA00023134899600000511
是具有heavy-side(赫维赛德)阶跃函数Θ(t)作为其内核函数的APM采样器。heavy-side阶跃函数可以被定义为：
Figure GDA0002313489960000061
事件驱动的信号处理
给定连续信号x(t)，处理的目标可以是一般地被定义为对连续事件信号x(t)的变换的计算。例如，在一些方面，该变换可以通过以下给出：
其中s表示可任选的额外独立变量。
实际上，x(t)可以首先通过采样器
Figure GDA00023134899600000612
被采样：
Figure GDA00023134899600000611
该采样可得到时间值对的经时间排序的集合{(tk,qk)}。在一些方面，tks可以被选择成使得它们具有常规、相等的间隔，以便将采样器配置为黎曼(Riemann)采样器。在另一配置中，qks可以是二进制的，以便将采样器配置为APM采样器。此外，采样器可以被配置为等级跨越采样器(例如，勒贝格采样器)。
接着，技术被应用于经采样信号ξ(t):
Figure GDA0002313489960000063
以计算在时间{tk}处定义的近似目标变换
Figure GDA0002313489960000064
因而，一般地，信号处理范例可以完全由目标变换、采样器、以及对经采样信号进行操作的技术
Figure GDA0002313489960000065
来确定。
作为一种特殊情形，如果是恒等变换(例如，
Figure GDA0002313489960000067
)，其中I是恒等函数，则信号处理范例缩减为通信范例：
y(t,s)＝I[x](t)＝x(t), (13)
其目标为从经采样的版本ξ(t)中重构信号x(t)。
在一些方面，事件驱动技术可以被用于将ξ(t；{(tk,qk)})变换成
Figure GDA0002313489960000068
如果可以用以下递归关系来表达：
Figure GDA00023134899600000610
其中n是有限非负整数，则该技术可以被认为是事件驱动的。即，在抵达样本或同义地事件(tk,qk)之际的输出值
Figure GDA0002313489960000071
可以根据当前样本加上有限历史来计算。
例如，如果
Figure GDA0002313489960000072
可以被进一步表达为样本时间间隔而非绝对时间，
Figure GDA0002313489960000073
则事件驱动的技术也可被称为时不变的。
此外，在一些方面，
Figure GDA0002313489960000074
可以用以下广义线性形式来表达：
Figure GDA0002313489960000075
其中
Figure GDA0002313489960000076
是采样值q的向量函数，而A和B分别是前馈和反馈内核函数。该事件驱动的技术可以被表征为广义线性。此外，在一些方面，时变事件驱动的信号处理技术可以用以下广义线性形式来表达：
Figure GDA0002313489960000078
由此，事件驱动的信号处理技术
Figure GDA0002313489960000079
可以被认为是线性时不变(LTI)的。
在一个示例中，其中对单个信号(例如，tks)的黎曼采样根据常规间隔qk＝[x(tk)]被隔开，而
Figure GDA00023134899600000710
作为qk的恒等函数，时不变广义线性事件驱动的信号处理技术可包括无限脉冲响应(IIR)滤波器。
事件驱动的短时傅立叶变换
短时傅立叶变换(STFT)被用于在信号随着时间改变时确定信号的局部区段的频率和相位内容。信号x(t)在窗口函数w(t)下的STFT可以被定义为：
Figure GDA00023134899600000711
APM采样信号的直接重构的STFT
当x(t)首先通过
Figure GDA00023134899600000712
例如,
Figure GDA00023134899600000713
被APM采样并且接着通过
Figure GDA00023134899600000714
(例如,y(t)＝
Figure GDA00023134899600000715
被直接重构时，y(t)的STFT可以提供对
Figure GDA00023134899600000716
的近似：
Figure GDA0002313489960000081
使用{(tk,pk)}来表示事件序列并且应用等式5，
Figure GDA0002313489960000082
其中：
Figure GDA0002313489960000083
是事件tk对
Figure GDA0002313489960000084
的基本贡献。
因果指数编码脉冲和STFT窗口
在一些方面，对APM的编码脉冲以及STFT的窗口函数两者可包括因果指数函数。例如，
Figure GDA0002313489960000085
Figure GDA0002313489960000086
其中ωh≥0和ωw≥0是指数函数的逆宽度。
将这些函数插入等式24中产生：
Figure GDA0002313489960000087
Figure GDA0002313489960000091
此处：
Figure GDA0002313489960000092
将
Figure GDA0002313489960000093
分解成两个分量，
Figure GDA0002313489960000094
其中：
Figure GDA0002313489960000095
Figure GDA0002313489960000096
Figure GDA0002313489960000097
和
Figure GDA0002313489960000098
两者的幅值从τ＝tk以指数级衰减，
Figure GDA00023134899600000910
Figure GDA00023134899600000911
的瞬时相位仅取决于绝对时间τ，并且独立于事件时间tk，
Figure GDA00023134899600000912
而
Figure GDA00023134899600000913
的相位是由事件时间tk确定的常数，与绝对时间τ无关，
Figure GDA00023134899600000914
相应地，将状态变量
Figure GDA00023134899600000915
和
Figure GDA00023134899600000916
定义为如下：
Figure GDA0002313489960000101
Figure GDA0002313489960000102
Figure GDA0002313489960000103
可以被表达为：
Figure GDA0002313489960000104
具有指数窗口函数和指数APM编码脉冲的事件驱动的STFT技术
计算
Figure GDA0002313489960000105
的基于事件的技术可以通过分析地追踪
Figure GDA0002313489960000106
在τ∈(tk-1,tk]期间(例如，自从事件τ＝tk-1以来直到抵达事件τ＝tk)的演进来导出。
在τ＝tk-1+0(此处0可以表示无限小正值)，
Figure GDA0002313489960000107
在τ＝tk.0，
Figure GDA0002313489960000109
和
Figure GDA00023134899600001010
两者的幅值可以按照常数
Figure GDA00023134899600001011
和
Figure GDA00023134899600001012
指数衰减，而前者的相位可继续其改变过程，后者的相位保持常数。这可以从以下观察到
Figure GDA00023134899600001013
Figure GDA0002313489960000111
以及从以下观察到
Figure GDA0002313489960000112
最终，在τ＝tk+0,
Figure GDA0002313489960000113
和
Figure GDA0002313489960000114
两者经历事件tk触发的增量：
Figure GDA0002313489960000115
因而，从事件tk-1到事件tk的和
Figure GDA0002313489960000123
两者的改变为
Figure GDA0002313489960000124
Figure GDA0002313489960000125
概括来说，给定极化事件序列
Figure GDA00023134899600001212
作为在指数内核函数
Figure GDA0002313489960000126
Figure GDA0002313489960000127
之下的APM采样信号x(t)，其中表1中的伪代码描述了单纯的事件驱动的技术，该单纯的事件驱动的技术在指数窗口函数
Figure GDA0002313489960000128
之下计算直接重构
Figure GDA00023134899600001213
的STFT。
将等式67和68相加，产生
Figure GDA0002313489960000129
与等式67和68相组合，这一特定技术得到广义LTI IIR滤波器(等式18)，例如，
其中
Figure GDA00023134899600001211
Figure GDA0002313489960000131
Figure GDA0002313489960000132
表1-6包括根据本公开的各方面的用于处理连续时间信号的异步事件驱动样本的示例性伪代码。如表1中所指示的，对于事件时间向量t的每一事件以及时间窗口中的每一频率，状态变量向量u和v可以被更新并且被用于计算输出信号y。
Figure GDA0002313489960000133
表1
匹配指数编码脉冲和STFT窗口
在一些方面，APM的指数编码脉冲和STFT的指数窗口函数可以是对称的(例如，ωh＝ωω＝ω0)。由此，APM内核函数h(t)可以被表达为：
在此情形中，
状态变量
Figure GDA0002313489960000143
(等式67)和
Figure GDA0002313489960000144
(等式68)的事件驱动更新可因而被表达为：
Figure GDA0002313489960000146
表2包括根据本公开的各方面的用于处理连续时间信号的异步事件驱动样本的示例性伪代码。由于APM的指数编码脉冲以及STFT的指数窗口函数是对称的(例如，ωh＝ωω＝ω0)，因此表2的示例性伪代码提供了对表1的伪代码的简化。这例如在处理具有非因果脉冲形状的输入时可以是有用的，这些输入原本可能由于潜在的较大延迟而被截断或取窗口。
Figure GDA0002313489960000147
Figure GDA0002313489960000151
表2
等级跨越采样以及指数STFT窗口
在一些方面，输入信号可以经受等级跨越采样(例如，在heavy-side阶跃函数下的APM采样作为编码脉冲)。在此情形中，ωh可以被设置为：
ωh＝0, (79)
并且ωw＝ω0。此外，相位偏移γ可以通过以下给出：
Figure GDA0002313489960000152
相应地，
Figure GDA0002313489960000153
(等式67)和(等式68)的事件驱动的更新可以被表达为：
Figure GDA0002313489960000155
Figure GDA0002313489960000156
表3包括根据本公开的各方面的用于处理连续时间信号的异步事件驱动样本的示例性伪代码。在表3的示例性伪代码中，表1的伪代码可以被简化，其中输入信号使用等级跨越采样方法(例如，勒贝格采样)来采样。例如，在一方面，输入可以是在heavy-side阶跃函数下经过APM采样作为编码脉冲。通过应用heavy-side函数，脉冲变为因果性的。由此，输入可以以少得多的延迟来处理(例如，实时处理)。
Figure GDA0002313489960000157
Figure GDA0002313489960000161
表3
广义化：复指数之和APM编码内核以及STFT窗口函数
在一些方面，该过程可以被广义化，以使得APM内核h(t)以及STFT窗口w(t)可以是任意的因果函数。
复ωh和ωω
在一个示例中，表1中描述的事件驱动的技术可以被广义化为其中ωh和ωω为复数的情形，例如，
ωh＝αh+iβh以及 (83)
ωω＝αω+iβω, (84)
但具有非负实部，例如，αh,αω≥0。
因而，事件tk(等式24)对
Figure GDA0002313489960000162
的贡献变为
Figure GDA0002313489960000163
Figure GDA0002313489960000171
其中
Figure GDA0002313489960000173
的分解因而产生状态变量：
Figure GDA0002313489960000174
Figure GDA0002313489960000175
同样地，从事件tk-1到事件tk的状态
Figure GDA0002313489960000176
和
Figure GDA0002313489960000177
的线性递归关系如下：
Figure GDA0002313489960000178
Figure GDA00023134899600001710
复指数之和
考虑任意的因果函数，f(t)＝Θ(t)g(t),如果g(t)可以被表达为复指数之和，例如：
Figure GDA00023134899600001711
其中则f(t)可以被表达为因果复指数的复加权之和，例如：
Figure GDA00023134899600001713
这一形式就近似任意函数(例如，使用Prony方法)来说是具有表现力的。
在一些方面，被表达为因果、阻尼振荡的加权和的实函数可以被转换成因果复指数的复加权和的形式。首先，作为N因果、阻尼振荡的加权和的实函数可以被表达为：
Figure GDA0002313489960000181
其中ρn’s,σn’s,ωn’s和φn’s是分量的幅值、阻尼常数、角频率和相位。
通过复指数的共轭对来构建(aj,bj)(j＝1,....,2N)
Figure GDA0002313489960000182
Figure GDA0002313489960000183
产生
Figure GDA0002313489960000184
由此，等式103形式的实因果函数可以被表达为因果复指数的复加权和。
APM内核和STFT窗口作为因果复指数的复加权之和
在一些方面，h(t)和w(t)可以一般地用其中两者都是因果复指数的复加权之和的形式来表达，例如，
Figure GDA0002313489960000185
Figure GDA0002313489960000186
接着，事件tk对
Figure GDA0002313489960000187
的贡献(等式24)变为
Figure GDA0002313489960000188
Figure GDA0002313489960000191
其中
写为
Figure GDA0002313489960000194
Figure GDA0002313489960000195
可以被进一步分解并且被表达为：
Figure GDA0002313489960000196
其中
Figure GDA0002313489960000197
Figure GDA0002313489960000198
其中
Figure GDA0002313489960000199
定义状态
Figure GDA00023134899600001910
Figure GDA0002313489960000201
产生
Figure GDA0002313489960000202
因为和
Figure GDA0002313489960000204
的形式与等式42和43中的和实质上相同，所以状态
Figure GDA0002313489960000207
和从事件tk-1到事件tk的线性递归关系如下：
Figure GDA0002313489960000209
Figure GDA00023134899600002010
Figure GDA00023134899600002011
因此，表1中描述的事件驱动的STFT技术可以被广义化为表4中汇总的内容。
表4包括类似于表1的示例性伪代码，但被进一步广义化以允许APM内核函数h(t)和STFT窗口函数w(t)作为任意因果函数。即，表4汇总了广义化设计以容适普通脉冲形状(例如，除了指数之外)。
Figure GDA0002313489960000211
表格4
离散空间傅立叶变换
考虑连续空间-时间信号：
X(t)＝[xr](t)＝[xμυ](t) (129)
通过M x N维矩形传感器阵列来采样，该传感器的每一元素(例如，像素)r＝[μ,υ]T(μ＝1,…,M；υ＝1,…,N)可以是上文定义的任一类型的基于事件的采样器。用xμ,υ(t)表示单像素信号。
瞬时空间DFT
L阶离散傅立叶变换(DFT)矩阵可以是如下的复矩阵：
Figure GDA0002313489960000221
其中
是单元的L根，而
Figure GDA0002313489960000223
是SL的(k+1)列。
在时间t，在空间频率向量ωr＝[ωμ,ωυ]T(ωμ＝0,…,M-1；ωv＝0,…,N-1)处的x(r,t)的瞬时2维空间DFT可以被定义为：
短时空间DFT
空间-时间信号X(t)＝[xμ,v](t)的短时空间DFT，通过
Figure GDA0002313489960000231
来表示，可以被定义为：
Figure GDA0002313489960000232
其中w(t)是窗口函数。
相应地，瞬时空间DFT仅仅是其中窗口函数为
Figure GDA0002313489960000239
的短时空间DFT。
极化事件序列的短时空间DFT
令信号X(t)＝[xμ,υ](t)为极化事件序列{(tμ,v,k′,pμ,ν,k′)}：
Figure GDA0002313489960000233
通过实质上使用事件地址表示(AER)方案来将重写并且组合为{(tk,pk,μk,νk)}，其中M x N信号中的所有事件由单个下标k来索引，而每一事件的身份(μk,vk)附连到其时间戳和极性。因而，等式138可以被重写为
Figure GDA0002313489960000234
因而，
Figure GDA0002313489960000235
其中
是离散M x N矩阵，其中在第μk行和第vk列为1，其他地方为0。
插入等式137，产生
Figure GDA0002313489960000237
Figure GDA0002313489960000241
其中矩阵
Figure GDA0002313489960000242
是SM的第μk列与SN的列之间的外积。
定义
Figure GDA0002313489960000243
Figure GDA0002313489960000244
可以被表达为：
Figure GDA0002313489960000245
极化事件序列的事件驱动的指数窗口短时空间DFT
给定因果指数窗口函数
Figure GDA0002313489960000246
可以被表达为：
Figure GDA0002313489960000247
并且因而，
Figure GDA0002313489960000248
计算
Figure GDA0002313489960000249
的基于事件的技术可以通过分析地追踪期间(例如，自从事件τ＝tk-1以来直到抵达事件τ＝tk)
Figure GDA00023134899600002410
的演进来导出。
紧接着事件τ＝tk-1之后，
Figure GDA00023134899600002411
在紧挨抵达事件τ＝tk之前，
Figure GDA00023134899600002412
Figure GDA0002313489960000251
在抵达事件τ＝tk-1之际，
Figure GDA0002313489960000252
组合等式154和157，
Figure GDA0002313489960000253
从事件tk-1到事件tk的改变可以通过以下给出：
Figure GDA0002313489960000254
因此，表5中描述的单纯的事件驱动的技术执行在因果指数窗口函数之下对极化事件序列的短时空间DFT的计算。
表5包括用于事件驱动的技术的示例性伪代码，其执行在因果指数窗口函数之下对极化事件序列的短时空间离散FT的计算。表5广义化了针对空间短时傅立叶变换(STFT)的单时间函数到多时间函数的STFT(例如，以处理跨320x480像素的信号)。
Figure GDA0002313489960000255
表5
离散空间连续时间短时傅立叶变换
可以采用进一步的广义化来产生用于在离散空间和连续时间中对完整、空间-时间STFT进行计算的单纯的事件驱动的技术。
空间-时间STFT
给定信号X(t)＝[xμ,v](t)(μ＝1,…,M；ν＝1,…,N)，空间-时间实质上是X(t)的分量(例如，xμ,v(t))的STFT的瞬时空间DFT。也就是说，
Figure GDA0002313489960000261
因此，
Figure GDA0002313489960000263
APM采样信号的事件驱动的空间-时间STFT
如果
Figure GDA0002313489960000267
在内核函数h(t)之下对信号xμ,v(t)进行APM采样，并且生成极化事件序列Ξ(t；{(tk,pk,μk,νk)})＝[ξμ,ν](t)，原始信号X(t)可以通过直接重构来近似
Figure GDA0002313489960000264
用等式162中的其近似Y(t)来替换X(t)，得到对
Figure GDA0002313489960000265
的近似，
Figure GDA0002313489960000266
定义
Figure GDA0002313489960000271
产生
Figure GDA0002313489960000272
因果指数编码脉冲和STFT窗口
在APM编码内核和STFT窗口两者对于等式25和26是因果指数函数的情况下，等式168变为
Figure GDA0002313489960000273
用于具有因果指数APM编码脉冲和STFT窗口的完整空间-时间STFT的事件驱动的技术
类似于上文提出的推导，对于在指数STFT窗口之下的指数APM采样信号，得到在离散空间和连续时间中用于完整空间-时间STFT的单纯的事件驱动的技术。该技术在表6中被汇总。
表6包括对于在指数STFT窗口之下的指数APM采样信号，用于离散空间和连续时间中的完整空间-时间STFT的事件驱动的技术的示例性伪代码。
Figure GDA0002313489960000274
Figure GDA0002313489960000281
表6
图1解说根据本公开的某些方面使用片上系统(SOC)100对连续时间信号的异步事件驱动型采样进行前述处理的示例实现，SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如，神经信号和突触权重)、与计算设备相关联的系统参数(例如，带有权重的神经网络)、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块、与CPU 102相关联的存储器块、与图形处理单元(GPU)104相关联的存储器块、与数字信号处理器(DSP)106相关联的存储器块、专用存储器块118中，或可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括第四代长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112(诸如图像捕捉设备)。在一种实现中，NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位系统)。SOC可基于ARM指令集。在本公开的一方面，加载到通用处理器102中的指令可包括用于基于事件驱动的样本来计算短时傅立叶变换输出的代码。
图2解说了根据本公开的某些方面的系统200的示例实现。如图2中所解说的，系统200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外，局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外，如图2中所解说的，每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接，并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式，深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前，用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征，或许与浅分类器相结合。浅分类器可以是两类线性分类器，例如，其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反，深度学习架构可学习以表示与人类工程师可能会设计的相似的特征，但它是通过训练来学习的。另外，深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如，如果向第一层呈递视觉数据，则第一层可学习去识别输入流中的简单特征(诸如边)。如果向第一层呈递听觉数据，则第一层可学习去识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合，诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。更高层可学习去表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如，机动交通工具的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
神经网络可被设计成具有各种连通性模式。在前馈网络中，信息从较低层被传递到较高层，其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述，可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中，来自给定层中的神经元的输出被传达给相同层中的另一神经元。递归架构可有助于识别在时间上展开的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时，具有许多反馈连接的网络可能是有助益的。
参照图3A，神经网络的各层之间的连接可以是全连接的(302)或局部连接的(304)。在全连通网络302中，给定层中的神经元可以将其输出传达给下一层中的每一神经元。替换地，在局部连接网络304中，给定层中的神经元可连接至下一层中有限数目的神经元。卷积网络306可以是局部连接的，并且进一步是其中与给定层中的每个神经元相关联的连接强度被共享的特殊情形(例如，308)。更一般化地，网络的局部连接层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式，但其连接强度可具有不同的值(例如，310、312、314和316)。局部连接的连通性模式可能在更高层中产生空间上相异的感受野，这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连接的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如，被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元，这取决于它们与图像下部关联还是与图像上部关联。例如，与图像下部相关联的神经元可学习以识别车道标记，而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
DCN可以用受监督式学习来训练。在训练期间，DCN可被呈递图像326(诸如如所示出的限速标志的经裁剪图像)，并且可随后计算“前向传递(forward pass)”以产生输出328。输出328可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分，例如与经训练的网络300的输出328中所示的“标志”和“60”对应的那些神经元。在训练之前，DCN产生的输出很可能是不正确的，并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了正确地调整权重，学习过程可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层，该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中，该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”，因为其涉及在神经网络中的反向传递(“backward pass”)。
在实践中，权重的误差梯度可能是在少量示例上计算的，从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复，直到整个系统可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后，DCN可被呈递新图像326并且在网络中的前向传递可产生输出328，其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布，因此RBM经常被用于无监督式学习。使用混合无监督式和受监督式范式，DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器，而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络，其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练，其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外，如上所述，从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络小得多。
卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道，诸如彩色图像的红色、绿色和蓝色通道，那么在该输入上训练的卷积网络可被认为是三维的，其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318、320以及322中形成特征图，该特征图(例如，320)中的每个元素从先前层(例如，318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化324(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化，其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示，该示例性深度卷积网络350包括多个卷积块(例如，C1和C2)。每个卷积块可配置有卷积层、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器，其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块，但本公开不限于此，而是，根据设计偏好，任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如，归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如，深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中，平行滤波器组可被加载到SOC 100的DSP 106或ISP 116上。另外，DCN可访问其他可存在于SOC上的处理块，诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连接层(例如，FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如，图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。使用该架构，应用402可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在该应用402的运行时操作期间执行支持计算。
AI应用402可配置成调用在用户空间404中定义的功能，例如，这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如，AI应用402可取决于识别出的场景是办公室、报告厅、餐馆、还是室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求以提供对当前场景的估计。该请求可最终依赖于配置成基于例如视频和定位数据来提供场景估计的深度神经网络的输出。
运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如，AI应用402可使得运行时引擎请求特定时间间隔的场景估计或由应用的用户接口检测到的事件触发的场景估计。在使得运行时引擎估计场景时，运行时引擎可进而发送信号给在SOC 420上运行的操作系统410(诸如Linux内核412)。操作系统410进而可使得在CPU422、DSP 424、GPU 426、NPU 428、或其某种组合上执行计算。CPU 422可被操作系统直接访问，而其他处理块可通过驱动器(诸如用于DSP 424、GPU 426、或NPU 428的驱动器414-418)被访问。在示例性示例中，深度神经网络可被配置成在处理块的组合(诸如CPU 422和GPU426)上运行，或可在NPU 428(如果存在的话)上运行。
图5是解说智能手机502上的AI应用的运行时操作500的框图。AI应用可包括预处理模块504，该预处理模块504可被配置(例如，使用JAVA编程语言被配置)成转换图像506的格式并随后对该图像进行剪裁和/或调整大小(508)。经预处理的图像可接着被传达给分类应用510，该分类应用510包含场景检测后端引擎512，该场景检测后端引擎512可被配置(例如，使用C编程语言被配置)成基于视觉输入来检测和分类场景。场景检测后端引擎512可被配置成进一步通过缩放(516)和剪裁(518)来预处理(514)该图像。例如，该图像可被缩放和剪裁以使所得到的图像是224像素×224像素。这些维度可映射到神经网络的输入维度。神经网络可由深度神经网络块520配置以使得SOC 100的各种处理块进一步借助深度神经网络来处理图像像素。深度神经网络的结果可随后被取阈(522)并被传递通过分类应用510中的指数平滑块524。经平滑的结果可接着使得智能手机502的设置和/或显示改变。
在一种配置中，神经元模型被配置成用于基于事件驱动的样本来计算短时傅立叶变换输出和/或在事件之间内插输出。神经元模型包括计算装置和/或内插装置。在一个方面，计算装置和/或内插装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中，前述装置可以是被配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面，每个局部处理单元202可被配置成基于神经网络的一个或多个期望功能性特征来确定神经网络的参数，以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能性特征朝着期望的功能性特征发展。
图6解说用于处理连续时间信号的异步事件驱动样本的方法600。在框602，该过程基于事件驱动的样本来计算短时傅立叶变换(STFT)输出。在一些方面，该过程通过将编码脉冲和STFT窗口函数表达为复加权因果复指数之和来计算STFT输出。
在其他方面，可通过将STFT窗口函数中的编码脉冲近似为复加权因果复指数之和来计算STFT输出。编码脉冲可包括异步脉冲调制(APM)编码脉冲。在框604，进一步，该过程在事件之间内插输出。
在一些方面，该过程可进一步包括计算空间-时间STFT输出。空间-时间STFT输出可以使用连续时间事件驱动的STFT输出基于事件驱动的空间离散傅立叶变换(DFT)输出来计算。
图7是解说根据本公开的诸方面的用于事件驱动的短时傅立叶变换处理的方法的框图。在框702，该过程初始化状态变量(例如，u,v)。在框704，该过程将连续时间输入信号表示为事件序列。例如，基于事件的采样过程(例如，APM采样)可被应用以生成一序列脉冲。在一些方面，所述一序列脉冲可以是正脉冲、负脉冲或两者(双极)。
在框706，该过程确定事件是否发生。如果事件已经发生，则在框708对于时间窗口中的每一频率该过程更新状态变量(例如，u,v)。在框710，该过程使用经更新的状态变量来计算时间tk处的输出信号(例如，STFT输出、空间-时间STFT或DFT输出)。输出信号可包括对连续时间输出信号y(t)的近似。另一方面，如果事件尚未发生，则该过程可以返回至框706以等待事件的发生(例如，保持在空闲模式中)。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中有解说的操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、探知及诸如此类。另外，“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。而且，“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现，则示例硬件配置可包括设备中的处理系统。处理系统可以用总线架构来实现。取决于处理系统的具体应用和整体设计约束，总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理系统。网络适配器可用于实现信号处理功能。对于某些方面，用户接口(例如，按键板、显示器、鼠标、操纵杆等)也可被连接至总线。总线还可链接各种其他电路(诸如定时源、外围设备、稳压器、电源管理电路等)，这些电路在本领域中是众所周知的，因此将不再赘述。
处理器可负责管理总线和一般处理，包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路系统。软件应当被宽泛地解释成意指指令、数据、或其任何组合，无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例，机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中，机器可读介质可以是处理系统中与处理器分开的一部分。然而，如本领域技术人员将容易领会的，机器可读介质或其任何部分可在处理系统外部。作为示例，机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品，所有这些都可由处理器通过总线接口来访问。替换地或补充地，机器可读介质或其任何部分可被集成到处理器中，诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置，诸如局部组件，但它们也可按各种方式来配置，诸如某些组件被配置成分布式计算系统的一部分。
处理系统可以被配置为通用处理系统，该通用处理系统具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器，它们都通过外部总线架构与其他支持电路系统链接在一起。替换地，该处理系统可以包括一个或多个神经元形态处理器以用于实现本文所述的神经元模型和神经系统模型。作为另一替换方案，处理系统可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路系统、和至少一部分机器可读介质的专用集成电路(ASIC)来实现，或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路系统、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体系统上的总设计约束，本领域技术人员将认识到如何最佳地实现关于处理系统所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理系统执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例，当触发事件发生时，可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间，处理器可以将一些指令加载到高速缓存中以提高访问速度。随后可将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时，将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外，应领会，本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它系统的机能的改进。
如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和
Figure GDA0002313489960000381
碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此，某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。
将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

Claims (15)

1.一种在计算网络中处理连续模拟时间信号的多个异步事件驱动的样本的方法，包括：
在视觉传感器处接收所述连续模拟时间信号；
基于对所述连续模拟时间信号的事件驱动的采样来生成所述多个异步事件驱动的样本；
直接从所述连续模拟时间信号的所述多个异步事件驱动的样本计算短时傅立叶变换STFT数字信号；以及
处理所述STFT数字信号，
其中所述计算包括将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数表达为复加权因果复指数之和；或者
所述计算包括将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数近似为复加权因果复指数之和。
2.如权利要求1所述的方法，其特征在于，进一步包括在事件之间内插STFT数字信号。
3.如权利要求1所述的方法，其特征在于，该异步事件驱动的样本包括异步脉冲调制APM样本。
4.如权利要求1所述的方法，其特征在于，进一步包括使用多个连续时间事件驱动的STFT数字信号，至少部分地基于事件驱动的空间离散傅立叶变换DFT数字信号，计算空间-时间STFT数字信号。
5.一种图像捕捉设备，所述图像捕捉设备包括：
存储器单元；以及
耦合至所述存储器单元的至少一个处理器，所述至少一个处理器被配置成：
在视觉传感器处接收连续模拟时间信号；
基于对所述连续模拟时间信号的事件驱动的采样来生成多个异步事件驱动的样本；
直接从所述连续模拟时间信号的所述多个异步事件驱动的样本计算短时傅立叶变换STFT数字信号，所述事件驱动的样本包括图像；以及
处理所述STFT数字信号，
其中所述至少一个处理器被进一步配置成将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数表达为复加权因果复指数之和；或者
所述至少一个处理器被进一步配置成将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数近似为复加权因果复指数之和。
6.如权利要求5所述的图像捕捉设备，其特征在于，所述至少一个处理器被进一步配置成在事件之间内插所述STFT数字信号。
7.如权利要求5所述的图像捕捉设备，其特征在于，所述异步事件驱动的样本包括异步脉冲调制APM样本。
8.如权利要求5所述的图像捕捉设备，其特征在于，所述至少一个处理器被进一步配置成使用多个连续时间事件驱动的STFT数字信号，至少部分地基于事件驱动的空间离散傅立叶变换DFT数字信号，来计算空间-时间STFT数字信号。
9.一种用于处理连续模拟时间信号的多个异步事件驱动的样本的装备，包括：
用于接收所述连续模拟时间信号的装置；
用于基于对所述连续模拟时间信号的事件驱动的采样来生成所述多个异步事件驱动的样本的装置；
用于直接从所述连续模拟时间信号的所述多个异步事件驱动的样本计算短时傅立叶变换STFT数字信号的装置；以及
用于处理所述STFT数字信号的装置，
其中所述用于计算的装置通过将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数表达为复加权因果复指数之和来计算所述STFT数字信号；或者
所述用于计算的装置通过将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数近似为复加权因果复指数之和来计算所述STFT数字信号。
10.如权利要求9所述的装备，其特征在于，所述异步事件驱动的样本包括异步脉冲调制APM样本。
11.如权利要求9所述的装备，其特征在于，进一步包括用于使用多个连续时间事件驱动的STFT数字信号，至少部分地基于事件驱动的空间离散傅立叶变换DFT数字信号，来计算空间-时间STFT数字信号的装置。
12.一种其上记录有程序代码的非瞬态计算机可读介质，所述程序代码用于处理连续模拟时间信号的多个异步事件驱动的样本，所述程序代码由处理器执行并且包括：
用于在视觉传感器处接收所述连续模拟时间信号的程序代码；
用于基于对所述连续模拟时间信号的事件驱动的采样来生成所述多个异步事件驱动的样本的程序代码；
用于直接从所述连续模拟时间信号的所述多个异步事件驱动的样本计算短时傅立叶变换STFT数字信号的程序代码；以及
用于处理所述STFT数字信号的程序代码，
其中所述用于计算的程序代码进一步包括用于将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数表达为复加权因果复指数之和的程序代码；或者
所述用于计算的程序代码进一步包括用于将所述多个异步事件驱动的样本中的异步事件驱动的样本和STFT窗口函数近似为复加权因果复指数之和的程序代码。
13.如权利要求12所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括用于在事件之间内插所述STFT数字信号的程序代码。
14.如权利要求12所述的非瞬态计算机可读介质，其特征在于，所述异步事件驱动的样本包括异步脉冲调制APM样本。
15.如权利要求12所述的非瞬态计算机可读介质，其特征在于，所述程序代码进一步包括用于使用多个连续时间事件驱动的STFT数字信号，至少部分地基于事件驱动的空间离散傅立叶变换DFT数字信号，计算空间-时间STFT数字信号的程序代码。
CN201580047251.8A 2014-09-04 2015-08-31 用于处理多个异步事件驱动的样本的方法、装置和介质 Active CN106796580B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462045775P 2014-09-04 2014-09-04
US62/045,775 2014-09-04
US14/838,328 US9928213B2 (en) 2014-09-04 2015-08-27 Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
US14/838,328 2015-08-27
PCT/US2015/047761 WO2016036664A1 (en) 2014-09-04 2015-08-31 Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals

Publications (2)

Publication Number Publication Date
CN106796580A CN106796580A (zh) 2017-05-31
CN106796580B true CN106796580B (zh) 2020-03-03

Family

ID=55437647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047251.8A Active CN106796580B (zh) 2014-09-04 2015-08-31 用于处理多个异步事件驱动的样本的方法、装置和介质

Country Status (4)

Country Link
US (1) US9928213B2 (zh)
EP (1) EP3189443A1 (zh)
CN (1) CN106796580B (zh)
WO (1) WO2016036664A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043112B2 (en) * 2014-03-07 2018-08-07 Qualcomm Incorporated Photo management
US9953425B2 (en) 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US10510001B2 (en) * 2016-03-18 2019-12-17 Mindtrace Limited Neuromorphic training algorithm for a Restricted Boltzmann Machine
US11003987B2 (en) 2016-05-10 2021-05-11 Google Llc Audio processing with neural networks
EP3497622A4 (en) 2016-08-08 2020-03-25 Nokia Technologies Oy ARTIFICIAL NEURONAL NETWORK
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US11468144B2 (en) * 2017-06-15 2022-10-11 Regents Of The University Of Minnesota Digital signal processing using sliding windowed infinite fourier transform
CN109426782B (zh) 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
KR102472134B1 (ko) * 2018-03-29 2022-11-29 삼성전자주식회사 심층학습을 기반으로 한 설비 진단 시스템 및 방법
CN109597021B (zh) * 2018-11-05 2021-02-05 北京航天控制仪器研究所 一种波达方向估计方法及装置
US11764940B2 (en) 2019-01-10 2023-09-19 Duality Technologies, Inc. Secure search of secret data in a semi-trusted environment using homomorphic encryption
CN111738073A (zh) * 2020-05-16 2020-10-02 北京信息科技大学 一种光纤信号识别的系统和方法
US11689713B2 (en) * 2020-07-15 2023-06-27 Tencent America LLC Predicted frame generation by deformable convolution for video coding
CN112068179A (zh) * 2020-08-13 2020-12-11 南昌大学 一种基于勒贝格采样的正电子成像方法
GB2602309A (en) * 2020-12-22 2022-06-29 British Telecomm Malware detection
CN113541729B (zh) * 2021-07-12 2022-06-07 电子科技大学 一种基于时频矩阵的时频图去噪方法
CN117332377B (zh) * 2023-12-01 2024-02-02 西南石油大学 一种基于深度学习的离散时间序列事件挖掘方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433489B2 (en) * 2001-11-28 2008-10-07 Sony Electronics Inc. Method to ensure temporal synchronization and reduce complexity in the detection of temporal watermarks
US7515084B1 (en) * 2007-03-22 2009-04-07 Hrl Laboratories, Llc Analog to digital converter using asynchronous pulse technology
US8639443B2 (en) * 2009-04-09 2014-01-28 Schlumberger Technology Corporation Microseismic event monitoring technical field

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7192778B2 (en) * 1999-10-06 2007-03-20 Natan Michael J Surface enhanced spectroscopy-active composite nanoparticles
US7353169B1 (en) 2003-06-24 2008-04-01 Creative Technology Ltd. Transient detection and modification in audio signals
US7277550B1 (en) 2003-06-24 2007-10-02 Creative Technology Ltd. Enhancing audio signals by nonlinear spectral operations
JP5299233B2 (ja) 2009-11-20 2013-09-25 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
EE05668B1 (et) 2011-08-30 2013-08-15 Tallinna Tehnika�likool Meetod ja seade ssteemide ja substantside laiaribaliseks analsimiseks
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
US20130297297A1 (en) 2012-05-07 2013-11-07 Erhan Guven System and method for classification of emotion in human speech

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433489B2 (en) * 2001-11-28 2008-10-07 Sony Electronics Inc. Method to ensure temporal synchronization and reduce complexity in the detection of temporal watermarks
US7515084B1 (en) * 2007-03-22 2009-04-07 Hrl Laboratories, Llc Analog to digital converter using asynchronous pulse technology
US8639443B2 (en) * 2009-04-09 2014-01-28 Schlumberger Technology Corporation Microseismic event monitoring technical field

Also Published As

Publication number Publication date
US9928213B2 (en) 2018-03-27
US20160070673A1 (en) 2016-03-10
WO2016036664A1 (en) 2016-03-10
CN106796580A (zh) 2017-05-31
EP3189443A1 (en) 2017-07-12

Similar Documents

Publication Publication Date Title
CN106796580B (zh) 用于处理多个异步事件驱动的样本的方法、装置和介质
CN108780522B (zh) 用于视频理解的使用基于运动的注意力的递归网络
CN107533669B (zh) 滤波器特异性作为用于神经网络的训练准则
CN108431826B (zh) 自动检测视频图像中的对象
CN108027899B (zh) 用于提高经训练的机器学习模型的性能的方法
EP3289529B1 (en) Reducing image resolution in deep convolutional networks
US10275719B2 (en) Hyper-parameter selection for deep convolutional networks
CN107430705B (zh) 用于重新训练分类器的样本选择
US20190147602A1 (en) Hybrid and self-aware long-term object tracking
KR102570706B1 (ko) 분류를 위한 강제된 희소성
US11551076B2 (en) Event-driven temporal convolution for asynchronous pulse-modulated sampled signals
US20160283864A1 (en) Sequential image sampling and storage of fine-tuned features
US20180336469A1 (en) Sigma-delta position derivative networks
US20170228646A1 (en) Spiking multi-layer perceptron
WO2018084941A1 (en) Temporal difference estimation in an artificial neural network
US20190354865A1 (en) Variance propagation for quantization
KR20230088714A (ko) 개인화된 뉴럴 네트워크 프루닝
WO2021158830A1 (en) Rounding mechanisms for post-training quantization
US20230419087A1 (en) Adapters for quantization
US20240078425A1 (en) State change detection for resuming classification of sequential sensor data on embedded systems
WO2023249821A1 (en) Adapters for quantization
EP4244828A1 (en) Skip convolutions for efficient video processing
JP2024509862A (ja) ビデオ処理における改善された時間的一貫性のための効率的なテスト時間適応

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant