CN106407990A - 基于事件驱动的仿生目标识别系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，为实现实时采集并处理从AER图像传感器采集到的图像信息，在后端仿生视觉系统处理阶段始终采用基于事件的处理方式，实现目标识别功能并提供目标位置参数等信息，本发明，基于事件驱动的仿生目标识别系统，包括基于地址‑事件表示AER的图像传感器、后端仿生处理系统，AER图像传感器作为运动物体的信息采集源，采集到的图像数据并行输入到后端仿生处理系统中；特征提取模块采用基于事件驱动的特征提取算法对输入的图像数据进行处理；基于事件驱动的目标识别模块采用脉冲神经网络SNN(Spiking Neural Network)对特征提取模块的输出进行处理。本发明主要应用于图像处理。

Description

基于事件驱动的仿生目标识别系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于AER图像传感器的后端仿生处理系统，具有实时、高速、并行、精确的优势，实现目标识别追踪的智能视觉图像应用。

背景技术

视觉传感器广泛应用于科学研究、国防安全、工业生产和日常生活等领域。视觉传感技术结合图像处理和网络技术，承载了物联网中绝大部分的信息获取任务，日益成为关系到科研、国防、生产和生活等各个领域实现智能化的重要基础和技术支撑。而计算机视觉技术在对视觉信息的感知和处理过程中具有广泛的应用，运动物体识别的研究价值日渐凸现。它在交通监控、周界防护、虚拟现实、人机交互及移动机器人导航等领域都有着广泛的应用。在智能监控系统中，对运动目标实现无人检测、监控是当今研究的热点问题，涉及到图像获取、图像处理、模式识别和人工智能等多领域的核心技术。

传统的目标识别系统包括图像采集和后端处理系统，参考图1，图像采集多采用CMOS图像传感器采集图像，后端处理系统包括预处理、特征提取形状及识别过程。后端处理系统读取图像信息后，首先采用平滑滤波对图像进行预处理，而图像信息处理的方法有很多，对于仿生目标识别，最初的提取特征算法有背景差分法、帧间差分法、光流法、数学形态学法等，识别过程通过BP神经网络等简单网络进行分类，从而最终实现的识别功能。

传统的目标识别系统往往存在一些不足。如：图像传感器将采集到的数据串行向后传输，存在严重的带宽限制；后端处理系统对图像处理时也是逐个像素串行处理的，由于串行传输和串行处理的限制，传统目标识别系统的处理速度远远无法满足高速实时性需求。另外，传统目标识别算法虽然操作简单，但处理步骤繁多，考虑到目标形状的多样性，形状模型集和计算非常复杂，不能达到目标追踪的实时输出，且面对复杂目标和背景噪声干扰大的图像时，提取结果也不够理想。因此，设计一种实时、高速的目标识别系统是十分必要的。

发明内容

为克服现有技术的不足，针对传统图像采集及后端视觉处理系统所存在的问题，本发明旨在提供一种基于事件驱动的仿生目标识别系统。该系统实时采集并处理从AER图像传感器采集到的图像信息，在后端仿生视觉系统处理阶段始终采用基于事件的处理方式，实现目标识别功能并提供目标位置参数等信息。为此，本发明采用的技术方案是，基于事件驱动的仿生目标识别系统，包括基于地址-事件表示AER(Address-EventRepresentation)的图像传感器、后端仿生处理系统，AER图像传感器作为运动物体的信息采集源，采集到的图像数据并行输入到后端仿生处理系统中；后端仿生处理系统包括特征提取模块和目标识别模块，特征提取模块采用基于事件驱动的特征提取算法对输入的图像数据进行处理；基于事件驱动的目标识别模块采用脉冲神经网络SNN(Spiking NeuralNetwork)对特征提取模块的输出进行处理，提取出运动目标，计算目标位置参数，以便实时显示出处理结果。

特征提取模块分为卷积处理和最大值竞争模块，并行的卷积处理模块提取不同方向、不同角度的特征信息，并传输给最大值竞争模块，通过获取最明显的特征中心，来进一步除去冗余信息，提取最具代表性的特征；并行的卷积处理模块由b个二维平面组成，也就是子模块，每个子模块尺寸与像素阵列相同，卷积处理过程为：选取m×n大小的Gabor卷积核，对接收到的时间标签进行卷积，提取不同方向、不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

X＝xcosθ+ysinθ (2)

Y＝-xsinθ+ycosθ (3)

其中，θ是滤波器的方向，σ是高斯包络在x轴和y轴上的标准差，λ表示复正弦函数的波长，γ为纵横比，x和y分别为在x轴和y轴上的坐标位置，卷积的具体操作是依照传输顺序依次读取时间标签，并以每个时间标签所携带的位置坐标信息为中心，将卷积核上的数值加到子模块的坐标位置及其邻域内，邻域范围与卷积核尺寸相同，初始时被累加的子模块上所有位置不赋值或默认为0；

最大值竞争模块则是在时间标签全部通过卷积处理模块后，分别对卷积处理模块中各个子模块进行处理，将卷积处理模块中各个子模块得到的响应即数值与其邻域内所用响应进行比较，只有绝对值最大的响应即峰值响应才能被提取出来，从而得到最终的特征提取结果。

目标识别模块选取带泄漏的积分触发LIF(leaky integrate-and-fire)神经元结合尖峰时间相关可塑性STDP(spike-Timing-dependent plasticity)规则，将特征提取模块与目标识别模块进行全连接，b个子模块的每个坐标位置都与脉冲神经网络的输入一一对应，使特征信息传入神经网络输入层中，脉冲神经网络含有a个输入层，c个隐含层，d个输出层，隐含层节点个数为e个，输出层节点个数即目标神经元个数与设定可识别目标种类一致；通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数信息。

目标识别模块挑选特征提取模块中峰值响应最大的p个输入到神经网络进行训练，首先经过时间优先脉冲神经元的转换，将响应转换为时间，响应越大，时间越小，越快传输到膜中，具体为挑选出所有输入中最大的响应R，设置最后一个神经元输入时间为T，则每个输入脉冲r_i根据公式4计算其输入时间t_i：

而神经网络中激活函数K为：

τ_m和τ_s分别代表膜积分的衰退时间常数和突触脉冲的衰退时间常数，V₀为标准化的突触后电位，t为当前时间，t_i为第i个输入突触的激发时间，各突触后电位PSP(postsynaptic potential)权重为ω_i，V_rest为休眠时神经元的膜势能，最终得到的任意时间神经元的膜势能为：

随着时间的推移，突触后电位PSP(postsynaptic potential)即K(t)不断叠加，使膜势能V(t)不断升高，当达到阈值时则被触发并产生输出，在训练过程中，需要不断调节权值ω_i使应该触发的点触发，不应该触发的点休眠，测试过程直接统计哪类目标神经元被触发即可，从而确定最终的目标分类。

本发明的特点及有益效果是：

在图像信息采集及目标识别基础上提出基于事件驱动的仿生目标识别系统，突破了原有图像处理基于“帧”的串行处理模式，完善了基于AER方式仿生视觉系统的模型架构，减少处理数据量及冗余信息，大幅度提升视觉系统的等效处理帧频，满足了高速实时性的需求。

附图说明：

图1传统目标识别系统流程图。

图2特征提取模块示意图。

图3神经网络示意图。

图4基于AER方式仿生视觉系统架构图。

具体实施方式

本发明的构思是：利用人眼对运动物体敏感的特质，模仿视觉系统的工作机制，减小传输数据量及并行传输数据可以提高系统的运行速度,达到实时性需求。本发明选用基于地址-事件表示(Address-Event Representation,AER)的图像传感器作为运动物体的信息采集源，并将采集到的图像数据并行输入到后端仿生处理系统中；后端系统对接收的原始图像数据进行快速并行计算处理，提取出运动目标，计算目标位置参数，并实时显示出处理结果。后端仿生处理系统包含两大模块，特征提取模块和目标识别模块。

特征提取模块的输入数据由具有N×N像素阵列的AER图像传感器提供，其中N为自然数，数据产生时附带时间标签，时间标签仅包含时间信息和位置坐标信息，基于事件驱动的特征提取算法对依次输入的时间标签进行处理。

基于事件驱动的特征提取模块的工作过程如下，分为卷积处理和最大值竞争模块，参考图2。并行的卷积处理模块提取不同方向、不同角度的特征信息，并传输给最大值竞争模块，通过获取最明显的特征中心，来进一步除去冗余信息，提取最具代表性的特征。并行的卷积处理模块由多个二维平面组成，也就是子模块，本发明定义该模块含有b个子模块，每个子模块尺寸与像素阵列相同，参考图3，卷积处理主要方法为：选取m×n大小的Gabor卷积核(不同子模块的m、n数值可能不同)，对接收到的时间标签进行卷积，提取不同方向、不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

X＝xcosθ+ysinθ (2)

Y＝-xsinθ+ycosθ (3)

其中，θ是滤波器的方向，σ是高斯包络在x轴和y轴上的标准差,λ表示复正弦函数的波长,γ为纵横比，x和y分别为在x轴和y轴上的坐标位置。卷积的具体操作是依照传输顺序依次读取时间标签，并以每个时间标签所携带的位置坐标信息为中心，将卷积核上的数值加到子模块的坐标位置及其邻域内，邻域范围与卷积核尺寸相同。初始时被累加的子模块上所有位置不赋值或默认为0。

最大值竞争模块则是在时间标签全部通过卷积处理模块后，分别对卷积处理模块中各个子模块进行处理，将卷积处理模块中各个子模块得到的响应(即数值)与其邻域内所用响应进行比较，只有绝对值最大的响应即峰值响应才能被提取出来，从而得到最终的特征提取结果。

基于事件驱动的目标识别模块选取脉冲神经网络(Spiking Neural Network，SNN)对图像进行处理。脉冲神经网络为第三类神经网络，引入了时间的概念，可以很好的描述时间和空间上的行为。目标识别模块选取带泄漏的积分触发(leaky integrate-and-fire，LIF)神经元结合尖峰时间相关可塑性(spike-Timing-dependent plasticity，STDP)规则。将特征提取模块与目标识别模块进行全连接，b个子模块的每个坐标位置都与脉冲神经网络的输入一一对应，使特征信息传入神经网络输入层中，脉冲神经网络含有a个输入层，c个隐含层，d个输出层，隐含层节点个数为e个，输出层节点个数(即目标神经元个数)与设定可识别目标种类一致。通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数等信息。

挑选特征提取模块中峰值响应最大的p个输入到神经网络进行训练，首先经过时间优先脉冲神经元的转换，将响应转换为时间，响应越大，时间越小，越快传输到膜中。具体方法为挑选出所有输入中最大的响应R，设置最后一个神经元输入时间为T，则每个输入脉冲r_i可根据公式4计算其输入时间t_i：

而神经网络中激活函数K为：

τ_m和τ_s分别代表膜积分的衰退时间常数和突触脉冲的衰退时间常数，V₀为标准化的突触后电位。t为当前时间，t_i为第i个输入突触的激发时间。各突触后电位(postsynaptic potential，PSP)权重为ω_i，V_rest为休眠时神经元的膜势能，最终得到的任意时间神经元的膜势能为：

随着时间的推移，突触后电位(postsynaptic potential，PSP)即K(t)不断叠加，使膜势能V(t)不断升高，当达到阈值时则被触发并产生输出。在训练过程中，需要不断调节权值ω_i使应该触发的点触发，不应该触发的点休眠。测试过程直接统计哪类目标神经元被触发即可，从而确定最终的目标分类。

基于事件驱动的仿生目标识别系统可通过Matlab编程得到，也可通过编写Verilog代码在FPGA等硬件中实现或进行布局布线生成版图。

本发明的一个实例如图4所示，是基于本实施例视觉图像处理系统的高速目标识别追踪算法流程。本发明所提出的运动物体识别算法支持三类运动的识别：平行移动、下蹲、跳起。首先利用AER图像传感器捕获光强变化的像素点，像素阵列选用128×128分辨率，特征提取模块含有16个卷积核，角度为、、、，尺寸为3×3，5×5，7×7，9×9。脉冲神经网络含有1个输入层，无隐含层，1个输出层，隐含层节点个数为3个，挑选特征提取模块中100个最大的峰值响应输入到神经网络进行训练，设置最后一个神经元输入时间为1，τ_m和τ_s分别设为0.1和0.025，V₀设为1，V_rest设为0，脉冲神经网络经过充分的训练学习完成之后就是识别过程，注意到待识别动作中的一种特殊情况(即没有待识别区域的“空白”手势)，神经网络将输出空。

Claims (4)

1.一种基于事件驱动的仿生目标识别系统，其特征是，包括基于地址-事件表示AER(Address-Event Representation)的图像传感器、后端仿生处理系统，AER图像传感器作为运动物体的信息采集源，采集到的图像数据并行输入到后端仿生处理系统中；后端仿生处理系统包括特征提取模块和目标识别模块，特征提取模块采用基于事件驱动的特征提取算法对输入的图像数据进行处理；基于事件驱动的目标识别模块采用脉冲神经网络SNN(Spiking Neural Network)对特征提取模块的输出进行处理，提取出运动目标，计算目标位置参数，以便实时显示出处理结果。

2.如权利要求1所述的基于事件驱动的仿生目标识别系统，其特征是，特征提取模块分为卷积处理和最大值竞争模块，并行的卷积处理模块提取不同方向、不同角度的特征信息，并传输给最大值竞争模块，通过获取最明显的特征中心，来进一步除去冗余信息，提取最具代表性的特征；并行的卷积处理模块由b个二维平面组成，也就是子模块，每个子模块尺寸与像素阵列相同，卷积处理过程为：选取m×n大小的Gabor卷积核，对接收到的时间标签进行卷积，提取不同方向、不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

$G(x,y)=\exp (-\frac{X^2+{\mathrm{\γ}}^2{Y}^2}{2{\mathrm{\σ}}^2})\cos \left(\frac{2\mathrm{\π}}{\mathrm{\λ}}X\right)---\left(1\right)$

X＝xcosθ+ysinθ (2)

Y＝-xsinθ+ycosθ (3)

其中，θ是滤波器的方向，σ是高斯包络在x轴和y轴上的标准差，λ表示复正弦函数的波长，γ为纵横比，x和y分别为在x轴和y轴上的坐标位置，卷积的具体操作是依照传输顺序依次读取时间标签，并以每个时间标签所携带的位置坐标信息为中心，将卷积核上的数值加到子模块的坐标位置及其邻域内，邻域范围与卷积核尺寸相同，初始时被累加的子模块上所有位置不赋值或默认为0；

最大值竞争模块则是在时间标签全部通过卷积处理模块后，分别对卷积处理模块中各个子模块进行处理，将卷积处理模块中各个子模块得到的响应即数值与其邻域内所用响应进行比较，只有绝对值最大的响应即峰值响应才能被提取出来，从而得到最终的特征提取结果。

3.如权利要求1所述的基于事件驱动的仿生目标识别系统，其特征是，目标识别模块选取带泄漏的积分触发LIF(leaky integrate-and-fire)神经元结合尖峰时间相关可塑性STDP(spike-Timing-dependent plasticity)规则，将特征提取模块与目标识别模块进行全连接，b个子模块的每个坐标位置都与脉冲神经网络的输入一一对应，使特征信息传入神经网络输入层中，脉冲神经网络含有a个输入层，c个隐含层，d个输出层，隐含层节点个数为e个，输出层节点个数即目标神经元个数与设定可识别目标种类一致；通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数等信息。

4.如权利要求3所述的基于事件驱动的仿生目标识别系统，其特征是，目标识别模块挑选特征提取模块中峰值响应最大的p个输入到神经网络进行训练，首先经过时间优先脉冲神经元的转换，将响应转换为时间，响应越大，时间越小，越快传输到膜中，具体为挑选出所有输入中最大的响应R，设置最后一个神经元输入时间为T，则每个输入脉冲r_i根据公式(4)计算其输入时间t_i：

$t_i=T\×(1-\frac{r_i}{R})---\left(4\right)$

而神经网络中激活函数K为：

$K(t-t_i)=V_0\×\left(\exp \right(\frac{-(t-t_i)}{{\mathrm{\τ}}_m})-\exp (\frac{-(t-t_i)}{{\mathrm{\τ}}_s}\left)\right)---\left(5\right)$

τ_m和τ_s分别代表膜积分的衰退时间常数和突触脉冲的衰退时间常数，V₀为标准化的突触后电位，t为当前时间，t_i为第i个输入突触的激发时间，各突触后电位PSP(postsynapticpotential)权重为ω_i，V_rest为休眠时神经元的膜势能，最终得到的任意时间神经元的膜势能为：

$V\left(t\right)=\underset{i}{\Σ}{\mathrm{\ω}}_i\underset{t_i}{\Σ}K(t-t_i)+V_{rest}---\left(6\right)$

随着时间的推移，突触后电位PSP(postsynaptic potential)即K(t)不断叠加，使膜势能V(t)不断升高，当达到阈值时则被触发并产生输出，在训练过程中，需要不断调节权值ω_i使应该触发的点触发，不应该触发的点休眠，测试过程直接统计哪类目标神经元被触发即可，从而确定最终的目标分类。