CN105469039A - 基于aer图像传感器的目标识别系统 - Google Patents

Abstract

本发明涉及图像处理技术领域，为能够实时采集并处理从摄像头采集的图像信息，实现目标识别并提供目标位置参数等信息，本发明采取的技术方案是，基于AER图像传感器的目标识别系统，利用图像传感器和后端处理系统两部分实现，图像传感器选用基于地址-事件表示方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位置参数。本发明主要应用于图像处理。

Description

基于AER图像传感器的目标识别系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于事件驱动的后端处理系统，具有实时、高速、并行、异步的优势，实现目标识别追踪的智能视觉图像应用。具体讲,即涉及基于AER图像传感器的目标识别系统。

背景技术

随着网络技术、通信技术和多媒体处理技术的不断发展，计算机视觉技术的广泛应用，运动物体识别的研究价值日渐凸现。它在交通监控、周界防护、虚拟现实、人机交互及移动机器人导航等领域都有着广泛的应用。在智能监控系统中，对运动目标实现无人检测、监控是当今研究的热点问题，涉及到图像获取、图像处理、模式识别和人工智能等多领域的核心技术。

传统的目标识别系统包括图像采集和后端处理系统，参考图1，图像采集多采用CMOS图像传感器采集图像，后端处理系统包括预处理、特征提取及识别过程。后端处理系统读取图像信息后，首先采用平滑滤波对图像进行预处理，而图像信息处理的方法有很多，对于目标识别追踪，最初的提取特征算法有背景差分法、帧间差分法、光流方法、数学形态学方法等，最终实现识别的功能。

传统的目标识别系统往往存在一些不足。如：图像传感器将获取的大量原始图像数据串行传送到后端处理系统中进行处理，由于是串行传送，所以存在严重的带宽限制；后端处理系统利用软件对图像进行处理也是逐个像素串行处理的，由于串行传输和串行处理的限制，传统目标识别系统的处理速度远远无法满足高速实时性需求。另外，传统目标识别算法虽然操作简单，但考虑到目标形状的多样性，形状模型集和计算非常复杂，不能达到目标追踪的实时输出，且面对复杂目标和背景噪声干扰大的图像时，提取结果也不够理想。因此，设计一种实时、高速的目标识别系统是十分必要的。

发明内容

为克服现有技术的不足，提供一种基于AER异步事件驱动的目标识别系统。该系统能够实时采集并处理从摄像头采集的图像信息，实现目标识别并提供目标位置参数等信息。为此，本发明采取的技术方案是，基于AER图像传感器的目标识别系统，利用图像传感器和后端处理系统两部分实现，图像传感器选用基于地址-事件表示(Address-EventRepresentation,AER)方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位置参数，并显示出处理结果；其中后端处理系统由用于提取特征信息的多级卷积处理模块和神经网络模块构成。

多级卷积处理模块由事件触发，并行接收前端图像传感器输出的事件信息，根据其地址映射关系，仅对传感器像素光强变化的地址进行卷积处理；多级卷积处理模块共含有a层，每层由多个二维平面组成，也就是子模块，设定义每层含有b_i个子模块，i为所处模块层数，如第2层含有b₂个子模块，每一层卷积处理模块处理方法不同，处理方法分为提取特征法和下采样方法，每层仅用一种处理方法，多级卷积处理模块各层采用提取特征法和下采样方法交替进行。

提取特征法主要是：选取m_i×n_i大小的加伯变换Gabor卷积核，加伯变换，是小波变换的一种，为加窗的傅立叶变换，唯一达到测不准关系下分界的函数，同一层中不同子模块的m_i、n_i数值可能不同，以提取不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

$g(x,y)=\exp \{-\frac{1}{2}(\frac{u^2}{{{\mathrm{\σ}}_u}^2}+\frac{v^2}{{{\mathrm{\σ}}_v}^2})\}cos\left(2\mathrm{\π}fu\right)---\left(1\right)$

u＝xcosθ+ysinθ(2)

v＝-xsinθ+ycosθ(3)

其中，θ是滤波器的方向，通过变换θ，以提取不同方向下的目标特征信息，σ_uσ_v分别是高斯包络在u轴和v轴上的标准差，u轴平行于θ，v轴垂直于θ，f表示滤波器的频率。

Gabor卷积核仅对像素输出事件的地址及其邻域进行卷积累加，邻域尺寸与对应卷积核尺寸一致，当累加值超过设定阈值范围时，就会输出新的事件给卷积处理模块的下一层。

下采样方法则是将图像分割为p个c_i×c_i大小的区域(c_i>1,为像素阵列的整除数)，将区域内所有点求和除c_i×c_i取平均值，设定p个权值依次与所得平均值相乘，下采样时每个子模块中p个权值是一一对应、完全相同的；

卷积处理模块中同层的各个子模块同时接收事件，以此形成高度并行的卷积处理模块，实现图像初级到高级的分级处理；经过多级卷积处理模块提取特征信息后，将多级卷积处理模块与神经网络进行全连接，使特征信息传入神经网络输入层中，神经网络选取BP神经网络，含有一个输入层，c个隐含层，一个输出层，输入层神经元个数与多级卷积处理模块最后输出目标特征信息个数相同，隐含层个数为d个，输出层个数与设定可识别目标种类一致；通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数信息。

卷积处理模块和神经网络可设计成数字电路集成在芯片上实现，或通过编码在FPGA上实现。

本发明的特点及有益效果是：

在图像信息采集及目标识别基础上提出基于AER图像传感器的目标识别系统，突破了原有图像处理基于“帧”的串行处理模式，完善了基于AER方式仿生视觉系统的模型架构，减少处理数据量及冗余信息，大幅度提升视觉系统的等效处理帧频，满足了高速实时性的需求。后端处理系统采用并行体系架构，将卷积与神经网络相结合，仅输出少量图像特征数据及分析识别结果，便可处理复杂度更高的图像，智能化程度高，鲁棒性更好。

附图说明：

图1传统目标识别系统流程图。

图2基于AER图像传感器的目标识别系统流程图。

图3多级卷积处理模块示意图。

图4神经网络示意图。

图5目标识别系统架构图。

具体实施方式

本发明的构思是：减小传输数据量及并行传输数据可以提高系统的运行速度,达到实时性需求。本发明包括两部分：一是图像传感器，另一个是后端处理系统。图像传感器选用基于地址-事件表示(Address-EventRepresentation,AER)方式的图像传感器，用于高速采集图像数据，并将采集的图像数据并行传输到后端处理系统中；后端处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位置参数，并显示出处理结果。

基于AER图像传感器的目标识别系统的工作过程如下，参考图2。首先利用AER图像传感器选用32×32像素阵列，灵敏捕获光强变化的像素点，过滤掉无用的背景信息，减少传输数据量，将数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息和位置坐标信息，将时间标签传输给并行的多级卷积处理模块。多级卷积处理模块将视觉模式分解成许多子模块(特征)，然后进入分层递阶式相连的特征平面进行处理，将视觉系统模型化，即使在物体有位移或轻微变形的时候，也能完成识别。

多级卷积处理与传统的卷积处理方法不同，多级卷积处理模块由事件触发，并行接受前端图像传感器输出的事件信息，根据其地址映射关系，仅对传感器像素光强变化的地址进行卷积处理。参考图3。

卷积处理模块和神经网络可设计成数字电路集成在芯片上实现，或通过编码在FPGA上实现。

选取4层卷积处理模块，每层由多个二维平面组成，也就是子模块，第一层选取提取特征法，含有16个子模块，卷积核为Gabor变换来提取不同方向、不同尺度下的目标特征信息，角度θ分别选取0、尺寸m_i×n_i分别选取3×3，5×5，7×7，9×9，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

$g(x,y)=\exp \{-\frac{1}{2}(\frac{u^2}{{{\mathrm{\σ}}_u}^2}+\frac{v^2}{{{\mathrm{\σ}}_v}^2})\}cos\left(2\mathrm{\π}fu\right)---\left(1\right)$

u＝xcosθ+ysinθ(2)

v＝-xsinθ+ycosθ(3)

其中，θ是滤波器的方向，σ_uσ_v分别是高斯包络在u轴和v轴上的标准差(u轴平行于θ，v轴垂直于θ)。f表示复正弦函数的频率。

第二层采用下采样方法则是将图像分割为16×16个大小为2×2的区域，求平均后乘以权值，使尺寸缩减为16×16。第三、四层的方法与一、二层相似，第三层采用提取特征法、第四层采用下采样方法。

经过多级卷积处理模块提取特征信息后，将多级卷积处理模块与神经网络进行全连接，使特征信息传入神经网络输入层中，神经网络选取BP神经网络，参考图4，含有一个输入层，一个隐含层，一个输出层，输入层神经元个数与多级卷积处理模块最后输出目标特征信息个数相同，隐含层元胞数为8个，输出层个数与设定可识别目标种类一致选为4个。如图5所示，是基于本实施例视觉图像处理系统的高速目标识别追踪算法流程。本发明所提出的运动物体识别算法支持三类运动的识别：平移、下蹲、跳起。利用人工神经网络进行识别，人工神经网络经过充分的训练学习之后就是识别过程，注意到待识别动作中的一种特殊情况(即没有待识别区域的“空白”手势)，神经网络将输出空，因此，会有四种输出结果。

Claims (6)

1.一种基于AER图像传感器的目标识别系统，其特征是，利用图像传感器和后端处理系统两部分实现，图像传感器选用基于地址-事件表示(Address-EventRepresentation,AER)方法的图像传感器，用于高速采集图像数据，采集的图像数据并行传输到仲裁机制模块中，通过仲裁机制模块判断传输的先后顺序并形成时间标签，时间标签仅包含时间信息和位置坐标信息，图像数据和时间标签并行传输到后端处理系统中；后端处理系统用于对接收来自AER图像传感器的事件数据进行快速并行计算处理，提取出运动目标，计算目标位置参数，并显示出处理结果；其中后端处理系统由用于提取特征信息的多级卷积处理模块和神经网络模块构成。

2.如权利要求1所述的基于AER图像传感器的目标识别系统，其特征是，多级卷积处理模块由事件触发，并行接收前端图像传感器输出的事件信息，根据其地址映射关系，仅对传感器像素光强变化的地址进行卷积处理；多级卷积处理模块共含有a层，每层由多个二维平面组成，也就是子模块，设定义每层含有b_i个子模块，i为所处模块层数，如第2层含有b₂个子模块，每一层卷积处理模块处理方法不同，处理方法分为提取特征法和下采样方法，每层仅用一种处理方法，多级卷积处理模块各层采用提取特征法和下采样方法交替进行。

3.如权利要求2所述的基于AER图像传感器的目标识别系统，其特征是，提取特征法主要是：选取m_i×n_i大小的加伯变换Gabor卷积核，加伯变换，是小波变换的一种，为加窗的傅立叶变换，唯一达到测不准关系下分界的函数，同一层中不同子模块的m_i、n_i数值可能不同，以提取不同尺度下的目标特征信息，Gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，表达式为：

$g(x,y)=\exp \left\{-\frac{1}{2}\left(\frac{u^2}{{{\mathrm{\σ}}_u}^2}+\frac{v^2}{{{\mathrm{\σ}}_v}^2}\right)\right\}cos\left(2\mathrm{\π}fu\right)---\left(1\right)$

u＝xcosθ+ysinθ(2)

v＝-xsinθ+ycosθ(3)

其中，θ是滤波器的方向，通过变换θ，以提取不同方向下的目标特征信息，σ_uσ_v分别是高斯包络在u轴和v轴上的标准差，u轴平行于θ，v轴垂直于θ，f表示滤波器的频率；

Gabor卷积核仅对像素输出事件的地址及其邻域进行卷积累加，邻域尺寸与对应卷积核尺寸一致，当累加值超过设定阈值范围时，就会输出新的事件给卷积处理模块的下一层。

4.如权利要求2所述的基于AER图像传感器的目标识别系统，其特征是，下采样方法则是将图像分割为p个c_i×c_i大小的区域,c_i>1,为像素阵列的整除数，将区域内所有点求和除c_i×c_i取平均值，设定p个权值依次与所得平均值相乘，下采样时每个子模块中p个权值是一一对应、完全相同的。

5.如权利要求1所述的基于AER图像传感器的目标识别系统，其特征是，卷积处理模块中同层的各个子模块同时接收事件，以此形成高度并行的卷积处理模块，实现图像初级到高级的分级处理；经过多级卷积处理模块提取特征信息后，将多级卷积处理模块与神经网络进行全连接，使特征信息传入神经网络输入层中，神经网络选取BP神经网络，含有一个输入层，c个隐含层，一个输出层，输入层神经元个数与多级卷积处理模块最后输出目标特征信息个数相同，隐含层个数为d个，输出层个数与设定可识别目标种类一致；通过在神经网络中反复的训练学习，最终输出目标类别并提供目标位置参数信息。

6.如权利要求5所述的基于AER图像传感器的目标识别系统，其特征是，卷积处理模块和神经网络可设计成数字电路集成在芯片上实现，或通过编码在FPGA上实现。