CN112215912B - 基于动态视觉传感器的显著性图生成系统、方法和装置 - Google Patents
基于动态视觉传感器的显著性图生成系统、方法和装置 Download PDFInfo
- Publication number
- CN112215912B CN112215912B CN202011093264.8A CN202011093264A CN112215912B CN 112215912 B CN112215912 B CN 112215912B CN 202011093264 A CN202011093264 A CN 202011093264A CN 112215912 B CN112215912 B CN 112215912B
- Authority
- CN
- China
- Prior art keywords
- neuron
- dynamic
- target detection
- saliency map
- detection network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 210000002569 neuron Anatomy 0.000 claims abstract description 109
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 239000012528 membrane Substances 0.000 claims abstract description 31
- 230000005284 excitation Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000004913 activation Effects 0.000 claims abstract description 18
- 230000001537 neural effect Effects 0.000 claims description 69
- 230000007246 mechanism Effects 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 33
- 230000003993 interaction Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000002238 attenuated effect Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000023886 lateral inhibition Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 239000000872 buffer Substances 0.000 claims description 7
- 230000000638 stimulation Effects 0.000 claims description 7
- 235000009413 Ratibida columnifera Nutrition 0.000 claims description 6
- 241000510442 Ratibida peduncularis Species 0.000 claims description 6
- 230000001953 sensory effect Effects 0.000 claims description 6
- 230000000087 stabilizing effect Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 230000002964 excitative effect Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 229920006395 saturated elastomer Polymers 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000002856 peripheral neuron Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于数据处理领域，具体涉及了一种基于动态视觉传感器的显著性图生成系统、方法和装置，旨在解决的问题。本发明包括：通过动态视觉传感器获取事件数据，并通过目标检测网络中的每个神经元将DVS事件数据和从相互关联的神经元获取的信息进行累加缓存，每隔预设的时间通过激活函数获取神经元膜电位，并根据神经元膜电位与预设的饱和阈值的大小关系输出脉冲信号，前一时刻的膜电位u(t0)经过衰减与当前接收的激励进行累加，结果用于脉冲信号和膜电位更新判断。本发明使得目标检测网络阵列生成的显著性图排除了冗余的背景信息，提高了目标检测的可信度和精确度，避免出现误判。
Description
技术领域
本发明属于数据处理领域，具体涉及了一种基于动态视觉传感器的显著性图生成系统、方法和装置。
背景技术
动态视觉传感器(Dynamic vision sensor,DVS)逐渐获得关注，DVS是一种事件驱动型的光电传感器，此类传感器输出的信息不同于传统图像传感器具有“帧”的概念，而是大量独立事件构成的数据流，每个事件包含一个被激活的像素点的相关信息，使得像素信息不光具有亮度信息，同时也隐含了事件发生的时间顺序信息。同时，动态视觉传感器只对亮度对比发生变化的区域产生输出，因此具有过滤背景、仅仅捕捉运动目标的特点，可以极大地减少冗余背景信息，从而降低输出及待处理数据量，实际应用中可以节省计算资源和带宽。同时，DVS具有高动态测量范围，高时间分辨率特点，在视觉智能型移动设备及针对高速运动目标的检测中将带来广泛的应用前景，因此在机器学习、神经科学、计算机视觉等领域引起了强烈关注。
发明内容
为了解决现有技术中的动态视觉传感器数据无法排除冗余背景信息、数据量庞大、占用过多资源和捕捉的运动目标不明确的问题，本发明提供了一种动态视觉传感器的显著性图生成系统，所述系统包括事件数据获取模块和事件数据处理模块；
所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
所述事件数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与相邻5×5范围内神经元实现互连响应；
每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断。
进一步地，所述目标检测网络阵列通过所述动态神经场的低通滤波特性抑制动态视觉传感器获取事件数据时产生的背景噪声和动态视觉传感器视野区域的瞬时孤立事件产生的噪声。
进一步地，所述目标检测网络阵列的局部横向激励机制，用于稳定局部峰值吸引子；
还用于稳定捕捉到的运动目标捕捉到的运动目标属性的位置编码表示。
所述目标检测网络阵列的侧向抑制机制，用于抑制所述动态神经场中互连的神经元输入的瞬时噪声；
还用于稳定预设的选择决策器。
进一步地，所述目标检测网络阵列的横向相互作用机制，用于在目标短暂不完整情况下，通过所述横向相互作用机制对感官对象或感官对象属性的位置编码进行补全。
进一步地，所述目标检测网络阵列的低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制表示为激活函数增量
其中，τ表示预设的时间常数；u(x，t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-为一个负静息电平，表示在没有外部输入时，将u(x，t)的值设置为低于零或低于输出阈值；S(x，t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x，t)值为负时输出为0，u(x，t)为正时输出为正，当u(x，t)值大于预设的饱和阈值时饱和；ω(x，x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；
所述形成动态神经场输出的非线性函数f(u)为：
f(u(x，t))＝(1+e-βu(x，t))-1
其中，超参数β为预设的用于调节神经元产生脉冲的阈值。
进一步地，所述相互作用核ω(x，x′)为：
其中，
表示形成兴奋性响应，
表示形成抑制性响应，ω(x，x′)表示具有墨西哥帽形状的函数。
本发明的另一方面，提出了一种基于动态视觉传感器的显著性图生成方法，其特征在于，所述方法包括：
步骤S10，通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
步骤S20，基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；
步骤S21，每个神经元将输入的事件信息和从相互关联的神经元获取信息并缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断；
步骤S22，将所有脉冲信号组合成为显著性图。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。
本发明的有益效果：
(1)本发明基于动态视觉传感器的显著性图生成系统通过综合了低通滤波器降低了动态传感器事件数据的噪声，并通过横向激励机制对运动目标进行局部区域增强，还通过横向相互作用机制根据时间关联性对目标在瞬间的不完整情况下实现补全，使得目标检测网络阵列生成的显著性图排除了冗余的背景信息；
(2)本发明基于动态视觉传感器的显著性图生成系统，通过使每个神经元与周边其他神经元相连的方法，接收其他神经元的输入信息每隔一定时间进行一次处理，融合运动目标在空间的连续表示和时间维度的关联性，使得目标检测网络阵列生成的显著性图更为可信和精确，同时避免了获取的事件数据不稳定而造成错误的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是基于动态视觉传感器的显著性图生成系统的结构框图；
图2是本发明实施例中目标检测网络阵列的示意图；
图3是本发明实施例中动态神经场的神经单元原理示意图；
图4是本发明实施例中动态神经场的结构数据通路示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于动态视觉传感器的显著性图生成系统，本系统包括事件数据获取模块和事件数据处理模块；
所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
所述事件数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；
每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断；将所有脉冲信号组合成为显著性图。
在本实施例中，所述时间常数优选的范围为0-1。
为了更清晰地对本发明基于动态视觉传感器的显著性图生成系统进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于动态视觉传感器的显著性图生成系统，事件数据获取模块和事件数据处理模块，各模块细描述如下：
所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
所述事件数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波器、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；
每个神经元将输入的事件信息和从相互关联的神经元获取的信息并缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断；将所有脉冲信号组合成为显著性图。
如图2所示，本实施例采用的目标检测网络的前端部分映射160×100个同构神经元阵列实现目标感知；本发明所述的事件数据为DVS(Dynamic vision sensor,DVS动态视觉传感器)摄像头拍摄的数据流，原始DVS数据按8x8空间区域实现事件的初步融合，获得的160x100的图像可直接映射到神经元阵列；每个神经元感受原图8x8区域内的事件动态，作为网络的外部刺激。
在本实施例中，所述目标检测网络阵列通过所述动态神经场的低通滤波特性抑制动态视觉传感器获取事件数据时产生的背景噪声和动态视觉传感器视野区域的瞬时孤立事件产生的噪声。
在本实施例中，所述目标检测网络阵列的局部横向激励机制，用于稳定局部峰值吸引子；
还用于稳定捕捉到的运动目标捕捉到的运动目标属性的位置编码表示。
在本实施例中，所述目标检测网络阵列的侧向抑制机制，用于抑制所述动态神经场中互连的神经元输入的瞬时噪声；
还用于稳定预设的选择决策器。
在本实施例中，侧向抑制机制稳定了“选择决策”可以有效避免发生相互竞争的强输入之间的振荡。
在本实施例中，所述目标检测网络阵列的横向相互作用机制，用于在目标短暂不完整情况下，通过所述横向相互作用机制对感官对象或感官对象属性的位置编码进行补全。
在本实施例中，只要横向相互作用机制足够强，可以使动态神经场维持记忆，每隔一段预设的时间通过激活函数u(t)获取神经元输出信号，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；将所有脉冲信号组合成为显著性图；该算法模型融合运动目标在空间的连续表示和时间维度的关联性，根据神经元群活动模式和时间积累特性，提高了动态视觉传感器获取显著性图的精确度和置信度。
如图4所示，DVS事件地址输入后进行累加缓存，实现8x8区域合并。在实施例中，为减少硬件资源，采用神经元行扫描处理的方式，取代神经元阵列结构。神经元行产生的膜电位与脉冲输出保存在相应的存储单元中，在进行下一轮计算时作为历史信息使用。前一时刻的膜电位u(t0)经过衰减与当前接收的激励进行累加，结果用于脉冲信号和膜电位更新判断基本神经元采用可编码方式实现，提高网络映射能力。
即使输入消失或低于激活阈值，强输入位置的基于动态神经场(DNF)活性也保持为正。从计算的角度来看，动态神经场的结构与脉冲神经网络相近，离散迭代形式的动态神经场可以在细胞神经网络的框架下进行模拟，这种对动态神经场的解释有助于对它的模拟。
在本实施例中，所述目标检测网络阵列的低通滤波器、局部横向激励机制、所述目标检测网络阵列的低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制表示为激活函数增量
其中，τ表示预设的时间常数；u(x，t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-为一个负静息电平，表示在没有外部输入时，将u(x，t)的值设置为低于零或低于输出阈值；S(x，t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x，t)值为负时输出为0，u(x，t)为正时输出为正，当u(x，t)值大于预设的饱和阈值时饱和；ω(x，x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；
所述相互作用核ω(x，x′)可以是具有“墨西哥帽”形状的函数，同时具有短距离激发和长距离抑制的性能，可导致动态神经场中的局部凸起分离，有效增强了显著区域。
所述形成动态神经场输出的非线性函数f(u)如公式(2)所示：
f(u(x，t))＝(1+e-βu(x，t))-1 (2)
其中，超参数β为预设的用于调节神经元产生脉冲的阈值。
在本实施例中，所述激活函数在实际应用时使用动态神经场的离散迭代形式，如公式(3)所示：
在本实施例中，所述相互作用核ω(x，x′)如公式(4)所示：
其中，
表示形成兴奋性响应，
表示形成抑制性响应，ω(x，x′)表示具有墨西哥帽形状的函数。
ω(x，x′)为具有墨西哥帽形状的函数，同时具有短距离激发和长距离抑制的性能，可导致动态神经场中的局部凸起分离，有效增强了显著区域。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于动态视觉传感器的显著性图生成系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的基于动态视觉传感器的显著性图生成方法，包括步骤S10-步骤S20，各步骤详述如下：
步骤S10，通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
步骤S20，基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制；所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；
步骤S21，如图3所示，每个神经元将输入的事件信息和从相互关联的神经元获取信息并缓存，每隔一段预设的时间通过激活函数u(t)获取神经元输出信号，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；
步骤S22，将所有脉冲信号组合成为显著性图。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于动态视觉传感器的显著性图生成方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于动态视觉传感器的显著性图生成系统，其特征在于，所述系统包括：事件数据获取模块和事件数据处理模块；
所述事件数据获取模块，用于通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
所述事件数据处理模块，用于基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制，表示为激活函数增量
其中，τ表示预设的时间常数；u(x，t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-h为一个负静息电平，表示在没有外部输入时，将u(x，t)的值设置为低于零或低于输出阈值；S(x，t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x，t)值为负时输出为0，u(x，t)为正时输出为正，当u(x，t)值大于预设的饱和阈值时饱和；ω(x，x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；所述相互作用核ω(x，x′)为：
其中，
表示形成兴奋性响应，
表示形成抑制性响应，ω(x，x′)表示具有墨西哥帽形状的函数；
所述形成动态神经场输出的非线性函数f(u)为：
f(u(x，t))＝(1+e-βu(x，t))-1
其中，超参数β为预设的用于调节神经元产生脉冲的阈值；
所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与相邻5×5范围内神经元实现互连响应；
每个神经元将输入的事件信息和从相互关联的神经元获取的信息缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断；将所有脉冲信号组合成为显著性图。
2.根据权利要求1所述的基于动态视觉传感器的显著性图生成系统，其特征在于，所述目标检测网络阵列通过所述动态神经场的低通滤波特性抑制动态视觉传感器获取事件数据时产生的背景噪声和动态视觉传感器视野区域的瞬时孤立事件产生的噪声。
3.根据权利要求1所述的基于动态视觉传感器的显著性图生成系统，其特征在于，所述目标检测网络阵列的局部横向激励机制，用于稳定局部峰值吸引子；
还用于稳定捕捉到的运动目标捕捉到的运动目标属性的位置编码表示。
4.根据权利要求1所述的基于动态视觉传感器的显著性图生成系统，其特征在于，所述目标检测网络阵列的侧向抑制机制，用于抑制所述动态神经场中互连的神经元输入的瞬时噪声；
还用于稳定预设的选择决策器。
5.根据权利要求1所述的基于动态视觉传感器的显著性图生成系统，其特征在于，所述目标检测网络阵列的横向相互作用机制，用于在目标短暂不完整情况下，通过所述横向相互作用机制对感官对象或感官对象属性的位置编码进行补全。
6.一种基于动态视觉传感器的显著性图生成方法，其特征在于，所述方法包括：
步骤S10，通过动态视觉传感器获取事件数据，并将所述事件数据映射到目标检测网络阵列中；
步骤S20，基于所述事件数据，通过目标检测网络阵列处理生成显著性图；
其中，所述目标检测网络阵列配置为神经形态算法模型，所述神经形态算法模型基于动态神经场构件，所述动态神经场由多个神经单元构成，每个神经单元包括低通滤波特性、局部横向激励机制、侧向抑制机制和横向相互作用机制，表示为激活函数增量
其中，τ表示预设的时间常数；u(x，t)为动态神经场在t时刻的激活函数，表示在描述系统状态的参数空间x位置观察到的显著性；-h为一个负静息电平，表示在没有外部输入时，将u(x，t)的值设置为低于零或低于输出阈值；S(x，t)为外部输入；f(u)为形成动态神经场输出的非线性函数，u(x，t)值为负时输出为0，u(x，t)为正时输出为正，当u(x，t)值大于预设的饱和阈值时饱和；ω(x，x′)是决定动态神经场上x和x′位置之间横向相互作用机制的相互作用核；所述相互作用核ω(x，x′)为：
其中，
表示形成兴奋性响应，
表示形成抑制性响应，ω(x，x′)表示具有墨西哥帽形状的函数；
所述形成动态神经场输出的非线性函数f(u)为：
f(u(x，t))＝(1+e-βu(x，t))-1
其中，超参数β为预设的用于调节神经元产生脉冲的阈值；
所述目标检测网络阵列通过基于动态神经场算法实现神经元阵列连接拓扑关系，每个神经元接受时间数据中8×8区域内的事件动态，将所述8×8区域内的事件动态作为外部刺激；每个神经元通过互连关系，与周边5×5范围内神经元实现互连响应；
步骤S21，每个神经元将输入的事件信息和从相互关联的神经元获取信息缓存，每隔一段预设的时间通过激活函数u(t1)获取神经元膜电位，当所述神经元输出信号小于或等于预设的饱和阈值时，该神经元输出与神经元输出信号等值的脉冲信号，当所述神经元输出信号大于预设的饱和阈值时，该神经元输出与饱和阈值等值的脉冲信号；前一时刻的膜电位u(t0)根据预设的时间常数和预设的衰减速度进行衰减，将衰减后的膜电位作为历史信息与当前时刻接收的激励进行累加，结果用于脉冲信号和膜电位更新判断；
步骤S22，将所有脉冲信号组合成为显著性图。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求6所述的基于动态视觉传感器的显著性图生成方法。
8.一种处理装置，包括处理器，适于执行各条程序，以及存储装置，适于存储多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求6所述的基于动态视觉传感器的显著性图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093264.8A CN112215912B (zh) | 2020-10-13 | 2020-10-13 | 基于动态视觉传感器的显著性图生成系统、方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011093264.8A CN112215912B (zh) | 2020-10-13 | 2020-10-13 | 基于动态视觉传感器的显著性图生成系统、方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112215912A CN112215912A (zh) | 2021-01-12 |
| CN112215912B true CN112215912B (zh) | 2021-06-22 |
Family
ID=74053343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011093264.8A Active CN112215912B (zh) | 2020-10-13 | 2020-10-13 | 基于动态视觉传感器的显著性图生成系统、方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215912B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113095492B (zh) * | 2021-04-14 | 2023-04-18 | 北京大学 | 一种基于生物神经网络的拓扑特征检测方法及装置 |
| CN114668408B (zh) * | 2022-05-26 | 2022-08-02 | 中科南京智能技术研究院 | 一种膜电位数据生成方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156885A (zh) * | 2010-02-12 | 2011-08-17 | 中国科学院自动化研究所 | 基于级联式码本生成的图像分类方法 |
| CN105706439A (zh) * | 2013-09-16 | 2016-06-22 | 超龙凯姆公司 | 动态、单个光电二极管像素电路及其操作方法 |
| CN108604382A (zh) * | 2015-12-03 | 2018-09-28 | 奥斯兰姆施尔凡尼亚公司 | 用于移动运输系统的基于光的车辆定位 |
| CN109377516A (zh) * | 2018-11-01 | 2019-02-22 | 清华大学 | 一种使用动态视觉数据的光流计算方法 |
| WO2020001034A1 (zh) * | 2018-06-30 | 2020-01-02 | 华为技术有限公司 | 一种图像处理的方法和设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894371B (zh) * | 2010-07-19 | 2011-11-30 | 华中科技大学 | 一种生物激励的自顶向下的视觉注意方法 |
| US20130131985A1 (en) * | 2011-04-11 | 2013-05-23 | James D. Weiland | Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement |
| US9883122B2 (en) * | 2014-09-16 | 2018-01-30 | Qualcomm Incorporated | Event-based down sampling |
| US10049279B2 (en) * | 2016-03-11 | 2018-08-14 | Qualcomm Incorporated | Recurrent networks with motion-based attention for video understanding |
| CN107403154B (zh) * | 2017-07-20 | 2020-10-16 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
| CN108304797B (zh) * | 2018-01-29 | 2020-07-28 | 中国科学院自动化研究所 | 基于侧向抑制的视觉注意检测方法及装置 |
-
2020
- 2020-10-13 CN CN202011093264.8A patent/CN112215912B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156885A (zh) * | 2010-02-12 | 2011-08-17 | 中国科学院自动化研究所 | 基于级联式码本生成的图像分类方法 |
| CN105706439A (zh) * | 2013-09-16 | 2016-06-22 | 超龙凯姆公司 | 动态、单个光电二极管像素电路及其操作方法 |
| CN108604382A (zh) * | 2015-12-03 | 2018-09-28 | 奥斯兰姆施尔凡尼亚公司 | 用于移动运输系统的基于光的车辆定位 |
| WO2020001034A1 (zh) * | 2018-06-30 | 2020-01-02 | 华为技术有限公司 | 一种图像处理的方法和设备 |
| CN109377516A (zh) * | 2018-11-01 | 2019-02-22 | 清华大学 | 一种使用动态视觉数据的光流计算方法 |
Non-Patent Citations (1)
| Title |
|---|
| Selective Attention in Multi-Chip Address-Event Systems;Chiara Bartolozzi 等;《sensors》;20091231;第5076-5098页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112215912A (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
| CN112215912B (zh) | 基于动态视觉传感器的显著性图生成系统、方法和装置 | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| KR102627794B1 (ko) | 이벤트 기반 센서로부터 신호를 출력하는 방법 및 이러한 방법을 사용하는 이벤트 기반 센서 | |
| CN107729809B (zh) | 一种自适应生成视频摘要的方法、装置及其可读存储介质 | |
| CN112417943A (zh) | 利用算法天际线检测的经改进高级驾驶员辅助系统(adas)操作 | |
| CN108921877B (zh) | 一种基于宽度学习的长期目标跟踪方法 | |
| CN111064865B (zh) | 一种动态视觉传感器背景活动噪声过滤器及处理器 | |
| CN113424516B (zh) | 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| CN112232140A (zh) | 人群计数方法、装置、电子设备及计算机存储介质 | |
| CN112084826A (zh) | 图像处理方法、图像处理设备以及监控系统 | |
| CN114078100A (zh) | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 | |
| CN111402293A (zh) | 面向智能交通的一种车辆跟踪方法及装置 | |
| CN113033792A (zh) | 神经网络运算装置及方法 | |
| CN116258940A (zh) | 一种多尺度特征及自适应权重的小目标检测方法 | |
| CN110414544B (zh) | 一种目标状态分类方法、装置及系统 | |
| CN108734712B (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN113435359A (zh) | 一种图像识别方法 | |
| CN106779056B (zh) | 用于aer前馈分类系统的脉冲神经元硬件架构 | |
| CN112446387A (zh) | 对象识别方法及装置 | |
| CN115272899A (zh) | 一种风险预警方法、装置、飞行器及存储介质 | |
| CN114820376A (zh) | 条带噪声的融合校正方法、装置、电子设备及存储介质 | |
| CN113963178A (zh) | 地空背景下红外弱小目标检测方法、装置、设备及介质 | |
| CN112816995A (zh) | 目标检测方法及装置、融合处理单元、计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |