CN106446937A - 用于aer图像传感器的多层卷积识别系统 - Google Patents

Abstract

本发明涉及图像处理识别领域，为提出用于AER图像传感器的多层卷积识别技术方案，用以实现减小计算量并提高识别的准确率。为此，本发明采用的技术方案是，用于AER图像传感器的多层卷积识别系统，包括特征提取部分和识别部分，特征提取部分包含了一个多层的卷积网络来实现特征的提取；识别部分包含了一个脉冲神经网络，对特征提取部分提取出的特征进行分类识别。本发明主要应用于图像处理及识别场合。

Description

用于AER图像传感器的多层卷积识别系统

技术领域

本发明涉及图像处理识别领域，尤其涉及一种将基于事件的卷积运算和脉冲神经网络用于目标图像的处理识别。具体讲,涉及用于AER图像传感器的多层卷积识别系统。

背景技术

AER(Address-Event Representation,AER，地址-事件表示)图像传感器可以有效地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行实时接收和运算。

参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。

在基于帧的图像处理算法中，卷积处理算法是其中比较常用的一种，通过对每一帧图像的卷积操作来实现特征的抽取和增强。由于AER图像传感器的上述特点，因此需要采用与其相适应的卷积算法来实现事件的处理。

脉冲神经网络(SNN)被称作第三代神经网络，它代表着生物神经科学和人工神经网络领域内的最新研究成果。SNN依据生物中观察到的LTP(Long Term Potentiation)、LTD(Long Term Depression)、STDP(Spike Timing Dependent Plasticity)等现象，可以利用脉冲发放的精确时间进行信息的处理。基于脉冲精确定时特性的脉冲神经网络拥有非常强大的计算能力，可以模拟各种神经元信号和任意的连续函数，非常适用于信号的处理问题。脉冲神经网络(SNN)不能直接用模拟量进行计算，其输入输出必须是脉冲序列。

AER(Address-Event Representation,AER，地址-事件表示)图像传感器的输出中包含了事件的地址信息，时间信息，具有超高速，高实时性等特点。根据脉冲神经网络的数据处理方式，可以将AER图像传感器的输出数据直接输入到脉冲神经网络中进行处理运算。

发明内容

为克服现有技术的不足，本发明旨在提出用于AER图像传感器的多层卷积识别技术方案，用以实现减小计算量并提高识别的准确率。为此，本发明采用的技术方案是，用于AER图像传感器的多层卷积识别系统，包括特征提取部分和识别部分，特征提取部分包含了一个多层的卷积网络来实现特征的提取；识别部分包含了一个脉冲神经网络，对特征提取部分提取出的特征进行分类识别。

特征提取部分包含一个三层的网络，分别称之为：第一层特征提取层T1，第二层特征提取层T2，池化层P；T1，T2层分别包括了N1和N2个卷积模块，每个模块实现一种卷积核的卷积功能；T1：层中采用Gabor函数来运算生成卷积核，Gabor函数的计算如公式(1) 所示：

其中μ和v分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ₀是横坐标的转向坐标，ν₀是纵坐标的转向坐标，在本层中，只选定一种尺度，每个卷积模块配置一种角度的卷积核；T2：T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的每个卷积模块配置不同的卷积核，不同通道之间Gabor卷积核的尺度不同，但每个通道内Gabor卷积核的尺度相同，卷积核的角度不同，该层所有通道使用的Gabor卷积核尺度都比T1层小；池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分为多个相邻的不重叠4×4坐标区域，每个不重叠区域中选取最先产生的事件作为一个单元，输出到识别部分，实现识别分类。

T2层共设置3个通道，每个通道卷积核尺度分别为3×3，5×5，7×7，每个通道又选择4种不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核。

识别部分包含一个脉冲神经网络层，称之为识别层R，原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，将测试样本的P层输出，输入到该识别层中，测试识别的准确率。

本发明的特点及有益效果是：

本发明提出采用多层提取特征的方法，减小了识别层的计算量，脉冲神经网络可以充分利用AER图像传感器输出事件中包含的时间信息，计算更加自由，提高识别的准确率。

附图说明：

图1传统图像传感器与AER图像传感器对比。

图2 AER事件卷积过程

图3多层卷积识别系统结构图。

图4特征提取层。

具体实施方式

根据AER图像传感器的输出特点，本发明中采用的基于事件的卷积计算过程与传统的卷积算法存在一定的差异。参考图2，是一种以AER为信息载体的卷积处理过程，在图2最上方的图中，假设只有两个事件输出，AER图像传感器输出的事件信息中包含事件的地址和时间信息，分别是100ns时(3,3)处和200ns时(2,3)处。图2中间两图是假定的卷积核矩阵，是一个3×3的矩阵。图2最下方的四张图中，以事件所指示的地址为中心，卷积核被累加到了卷积阵列中，实现了事件的卷积过程。

AER图像传感器的输出事件经过基于上述原理搭建的卷积模块就可以实现事件的卷积操作。如图3所示，本发明采用的技术方案包含了两个主要部分：特征提取部分和识别部分。特征提取部分包含了一个多层的卷积网络来实现特征的提取；识别部分包含了一个脉冲神经网络，对特征提取部分提取出的特征进行分类识别。

特征提取部分包含一个三层的网络，分别称之为：第一层特征提取层T1，第二层特征提取层T2，池化层P。T1，T2层分别包括了N1和N2个卷积模块，每个模块实现一种卷积核的卷积功能。T1：层中采用Gabor函数来运算生成卷积核，Gabor函数的计算如公式(1)所示：

μ₀＝μcosθ+νsinθ

ν₀＝-μsinθ+νcosθ (1)

其中μ和v分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ₀是横坐标的转向坐标，ν₀是纵坐标的转向坐标，在本层中，只选定一种尺度，每个卷积模块配置一种角度的卷积核。T2：T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的每个卷积模块配置不同的卷积核，不同通道之间Gabor卷积核的尺度不同，但每个通道内Gabor卷积核的尺度相同，卷积核的角度不同，该层所有通道使用的Gabor卷该层所有通道使用的Gabor卷积核尺度都比T1层小。T2层共设置3个通道，每个通道卷积核尺度分别为3×3，5×5，7×7，每个通道又选择4种不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核。池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分为多个相邻的不重叠4×4坐标区域，每个不重叠区域中选取最先产生的事件作为一个单元，输出到识别部分，实现识别分类。

识别部分包含一个脉冲神经网络层，称之为识别层R。原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确率。

本发明提出采用多层提取特征的方法，减小了识别层的计算量，脉冲神经网络可以充分利用AER图像传感器输出事件中包含的时间信息，计算更加自由，提高识别的准确率。

下面给出本发明的一个实施例，通过实施例进一步详细说明本发明。在实施例中：特征提取部分，特征提取层1(T1)中采用Gabor公式计算的值作为卷积核，公式(1)中的λ＝5，σ＝2.8，卷积核的尺度设为9×9，共设置12个角度，如图3所示，每个子图上方的黑色斜线段表示卷积核的角度。特征提取层T2层包含不同的输入通道，每个通道都会接收T1产生的脉冲序列，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，但是不同通道之间Gabor函数的尺度也会不同，该层所有通道使用的Gabor卷积核尺度都比T1层小，可以提取更为精确的特征信息。特征提取层2(T2)设置3个通道，公式(1)中的λ＝5，σ＝2.8，每个通道卷积核尺度分别为3×3，5×5，7×7，每个尺度又选择4种不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核。池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分为多个相邻的不重叠4×4区域，每个不重叠区域中选取最先产生的事件作为一个单元，输出到识别部分，实现识别分类，此过程相当于卷积神经网络中的池化过程。

识别部分，原始待识别样本(图片)分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理。将训练样本的P层输出，输入到识别层中，并采用TempotronLearning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P层输出，输入到该识别层中，测试识别的准确率，该层的相关参数按照经验值设置即可。

Claims (4)

1.一种用于AER图像传感器的多层卷积识别系统，其特征是，包括特征提取部分和识别部分，特征提取部分包含了一个多层的卷积网络来实现特征的提取；识别部分包含了一个脉冲神经网络，对特征提取部分提取出的特征进行分类识别。

2.如权利要求1所述的用于AER图像传感器的多层卷积识别系统，其特征是，特征提取部分包含一个三层的网络，分别称之为：第一层特征提取层T1，第二层特征提取层T2，池化层P；T1，T2层分别包括了N1和N2个卷积模块，每个模块实现一种卷积核的卷积功能；

T1：层中采用Gabor函数来运算生成卷积核，Gabor函数的计算如公式(1)所示：

$\begin{array}{c}{F}_{\mathrm{\θ}}(\mathrm{\μ},\mathrm{\υ})=e^{(-\frac{{\mathrm{\μ}}_0^2+{\mathrm{\γ}}^2{\mathrm{\υ}}_0^2}{2{\mathrm{\σ}}^2})}\cos \left(\frac{2\mathrm{\π}}{\mathrm{\λ}}{\mathrm{\μ}}_0\right)\\ {\mathrm{\μ}}_0=\mathrm{\μ}\cos \mathrm{\θ}+\mathrm{\ν}\sin \mathrm{\θ}\\ {\mathrm{\ν}}_0=-\mathrm{\μ}\sin \mathrm{\θ}+\mathrm{\ν}\cos \mathrm{\θ}\end{array}---\left(1\right)$

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，μ₀是横坐标的转向坐标，ν₀是纵坐标的转向坐标，在本层中，只选定一种尺度，每个卷积模块配置一种角度的卷积核；T2：T2层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的每个卷积模块配置不同的卷积核，不同通道之间Gabor卷积核的尺度不同，但每个通道内Gabor卷积核的尺度相同，卷积核的角度不同，该层所有通道使用的Gabor卷积核尺度都比T1层小；池化层P：将T2层中产生的事件，按照其包含的地址坐标信息，划分为多个相邻的不重叠4×4座标区域，每个不重叠区域中选取最先产生的事件作为一个单元，输出到识别部分，实现识别分类。

3.如权利要求1所述的用于AER图像传感器的多层卷积识别系统，其特征是，T2层共设置3个通道，每个通道卷积核尺度分别为3×3，5×5，7×7，每个通道又选择4种不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核。

4.如权利要求1所述的用于AER图像传感器的多层卷积识别系统，其特征是，识别部分包含一个脉冲神经网络层，称之为识别层R，原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用Tempotron Learning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，将测试样本的P层输出，输入到该识别层中，测试识别的准确率。