CN105611114A - 用于aer图像传感器的全数字多卷积核卷积处理芯片 - Google Patents

Abstract

本发明涉及AER图像传感器图像处理领域，为提出一种用于AER图像传感器的全数字多卷积核卷积处理芯片，本发明采取的技术方案是，用于AER图像传感器的全数字多卷积核卷积处理芯片,由AER输入模块、控制与时序模块、卷积核存储区、译码和移位部分、事件积分器阵列、AER输出模块、缓存与行列仲裁，AER图像传感器输出的每个事件，通过AER输入模块进入卷积芯片，通过控制与时序模块，根据控制指令和信号事件的时间标记，将视觉传感器产生的异步事件转换为卷积处理芯片的内部同步事件，以便进行同步运算处理，并且控制卷积核存储区选取需要的卷积核，通过AER输出模块进行排序输出。本发明主要应用于图像传感器设计制造场合。

Description

用于AER图像传感器的全数字多卷积核卷积处理芯片

技术领域

本发明涉及AER图像传感器图像处理领域，尤其涉及一种以AER为信息载体的特殊图像卷积处理芯片。

背景技术

AER(Address-EventRepresentation,AER，地址-事件表示)图像传感器可以有效地降低数据冗余，具有超高速，高实时性等特点，研究与AER图像传感器相适应的特殊图像后端处理芯片，可以摆脱“帧”的限制，以事件为研究对象，对前端传感器产生的事件流进行实时接收和运算。

参考图1，图的上半部分表示传统图像传感器的图像采集传输过程，其以“帧”为单位，只有达到一帧的周期才会输出图像，很难实现图像的实时处理。图的下半部分为AER图像传感器的图像采集传输过程，AER图像传感器并没有帧的概念，当任何一个像素感受到光强发生变化时，就立刻输出一个事件，可以实现事件的实时输出。

在基于帧的图像处理算法中，卷积处理算法是其中比较常用的一种，通过对每一帧图像的卷积操作来实现特征的抽取和增强。由于AER图像传感器的上述特点，因此需要采用与其相适应的卷积算法来实现事件的处理。

参考图2，是一种以AER为信息载体的卷积处理过程，在图2最上方的图中，假设只有两个事件输出，AER图像传感器输出的事件信息中包含事件的地址和时间信息，分别是100ns时(3,3)处和200ns时(2,3)处。图2中间两图是假定的卷积核矩阵，是一个3×3的矩阵。图2最下方的四张图中，以事件所指示的地址为中心，卷积核被累加到了卷积阵列中，实现了事件的卷积过程。

发明内容

为克服现有技术的不足，根据AER特殊卷积处理过程，本发明提出一种用于AER图像传感器的全数字多卷积核卷积处理芯片。为此，本发明采取的技术方案是，用于AER图像传感器的全数字多卷积核卷积处理芯片,由AER输入模块、控制与时序模块、卷积核存储区、译码和移位部分、事件积分器阵列、AER输出模块、缓存与行列仲裁，AER图像传感器输出的每个事件，通过AER输入模块进入卷积芯片，通过控制与时序模块，根据控制指令和信号事件的时间标记，将视觉传感器产生的异步事件转换为卷积处理芯片的内部同步事件，以便进行同步运算处理，并且控制卷积核存储区选取需要的卷积核，卷积核存储区中的卷积核通过译码和移位部分将卷积核转化为二进制补码形式，并映射到事件积分阵列的相应地址中；在事件积分器阵列中，根据卷积窗口的具体形状和大小对以该地址为中心的特定区域进行卷积运算处理；当多个地址都产生AER输出请求时，由缓存与行列仲裁采用二维仲裁的方式依次输出，即先按照行进行仲裁，然后进行列仲裁，通过AER输出模块进行排序输出。

卷积核存储区：设置核RAM将需要的多卷积核保存在核RAM中，根据事件特征提取过程中需要使用的卷积核的数量，大小和精度计算出全部所需要的存储量，设置相应大小的核RAM来保存所有的卷积核；在卷积处理芯片接收外部事件时，控制与时序模块根据其事件发出地址从查找表中读取卷积核的配置参数，从核RAM中读取卷积核，然后由控制器控制进行卷积累加产生输出事件。

控制和时序部分主要通过控制状态机来实现：控制状态机初始处于复位状态，等待新的输入事件，当有新的输入事件到达时，控制状态机根据事件的地址信息，从核RAM中读取需要的卷积核；选定卷积核后，状态机判定所选择的卷积核阵列是完全处于像素阵列中，还是部分处于像素阵列中，或者完全处于像素阵列外，共三种状态；如果是上述三种状态的最后一种状态，则不对该事件进行操作，并返回到初始复位状态；如果是上述第一种状态，则状态机产生控制其他操作的读写使能信号，控制实现后续的卷积累加；如果是状态二，则需要先控制卷积核进行移位操作，移位到相应的位置，然后再产生其他的控制使能信号。

本发明的特点及有益效果是：

根据以AER为信息载体的特殊卷积原理提出的全数字卷积处理芯片，既保证了对输入事件的实时处理，同时还可以实现任意形状，不同大小的多卷积核的卷积功能。采用全数字的设计方法可以使整个芯片具有更高的精度和更快的处理速度。

附图说明：

图1传统图像传感器与AER图像传感器对比。

图2AER事件卷积过程。

图3全数字AER卷积处理器基本结构图。

图4AER卷积运算单元基本结构图。

图5AER卷积处理芯片控制模块基本结构图。

具体实施方式

本发明提出的全数字多卷积核卷积处理芯片，其结构如图3所示。全数字卷积处理芯片包括事件积分器阵列、卷积核存储区、控制与时序、行列仲裁等七个部分，各部分功能如下。

(1)事件积分器阵列：该结构主要包括了高精度、低功耗累加器和阈值比较器，其工作过程如图4所示，控制开关根据前端视觉传感器光强事件的发生地址，将卷积核读取到事件积分阵列中，加法器和累加器完成此次权重与历史累加值的相加，比较器对当前值与阈值进行比较，超过阈值则产生输出请求。

(2)卷积核存储区：为了探测不同的空间特征，需要由多个卷积模板对视觉传感器输出的某个AER事件进行卷积运算，从而实现对应目标特征的识别提取。本发明提出的设计可以实现多个卷积核的卷积功能，这部分具体实现方式如下：设计核RAM，将需要的多卷积核保存在核RAM中，根据事件特征提取过程中需要使用的卷积核的数量，大小和精度计算出全部所需要的存储量，然后设计出相应大小的核RAM来保存所有的卷积核。在卷积芯片接收外部事件时，控制与时序模块根据其事件发出地址从查找表中读取卷积核配置参数，以及从核RAM中读取卷积核，然后由控制器控制进行卷积累加产生输出事件。

(3)缓存与行列仲裁：多个并发的AER输出请求采用二维仲裁方式进行处理，即先按照行进行仲裁，由此产生的一列并发响应请求采用列仲裁方式进行排序输出；未被选中的请求信号会存入缓存在队列中等候处理；

(4)控制与时序：这部分的工作过程如图5所示：通过设计同步控制器和事件FIFO，将读取的输入事件保存在内部FIFO中，进行时序同步调整以备后续功能模块进行处理；配置寄存器用来接收并保存指令集的命令；通过设计控制状态机来实现根据控制寄存器的参数(包括位置，大小，也可以设定其他的配置参数)对输入事件进行卷积运算，并输出相应的使能信号和控制信号，时钟模块用来产生需要的时序信号。

(5)译码和移位：在本设计中需要将卷积核存储区中的权值转化为二进制补码的形式，然后通过移位将卷积核映射到事件积分阵列对应的地址处。

(6)AER输入：用来接收AER图像传感器产生的事件，并产生相应的应答信号。

(7)AER输出：排序输出经过卷积芯片处理后的事件。

全数字卷积处理芯片的工作过程如下：

AER图像传感器输出的每个事件，通过卷积芯片的AER输入模块进入卷积芯片，通过控制与时序模块，根据控制指令和信号事件的时间标记，将视觉传感器产生的异步事件转换为卷积处理器的内部同步事件，以便进行同步运算处理，并且控制卷积核存储区选取需要的卷积核，卷积核存储区中的卷积核通过移位和译码部分将卷积核转化为二进制补码形式，并映射到事件积分阵列的相应地址中。在事件积分器阵列中，根据卷积窗口的具体形状和大小对以该地址为中心的特定区域进行卷积运算处理。当多个地址都产生AER输出请求时，需要采用二维仲裁的方式依次输出，即先按照行进行仲裁，然后进行列仲裁，通过AER输出模块进行排序输出。

控制和时序部分主要通过控制状态机来实现。控制状态机初始处于复位状态，等待新的输入事件，当有新的输入事件到达时，控制状态机根据事件的地址信息，从核RAM中读取需要的卷积核。选定卷积核后，状态机判定所选择的卷积核阵列是完全处于像素阵列中，还是部分处于像素阵列中，或者完全处于像素阵列外，共三种状态。如果是上述三种状态的最后一种状态，则不对该事件进行操作，并返回到初始复位状态。如果是上述第一种状态，则状态机产生控制其他操作的读写使能信号，控制实现后续的卷积累加；如果是状态二，则需要先控制卷积核进行移位操作，移位到相应的位置，然后再产生其他的控制使能信号。

根据本发明所提出的结构，以实现32×32的事件卷积阵列，4种不同方向，4中不同尺度的gabor卷积功能为例给出本发明的一种实施方式。在整个卷积阵列的每个计算单元点都采用6bits的全加器和18bits的累加器来实现，通过多路选择器和异或门来实现阈值的比较输出，再经过行列仲裁后，通过AER输出模块进行排序输出，本例中采用大小为的32×32的RAM来存储卷积核，每个字都采用6bits的二进制补码来表示。控制部分可以根据事件的地址信息将卷积核映射到卷积阵列中，控制和时序部分采用verilog描述和可综合的有限状态机来实现。

Claims (3)

1.一种用于AER图像传感器的全数字多卷积核卷积处理芯片,其特征是，由AER输入模块、控制与时序模块、卷积核存储区、译码和移位部分、事件积分器阵列、AER输出模块、缓存与行列仲裁，AER图像传感器输出的每个事件，通过AER输入模块进入卷积芯片，通过控制与时序模块，根据控制指令和信号事件的时间标记，将视觉传感器产生的异步事件转换为卷积处理芯片的内部同步事件，以便进行同步运算处理，并且控制卷积核存储区选取需要的卷积核，卷积核存储区中的卷积核通过译码和移位部分将卷积核转化为二进制补码形式，并映射到事件积分阵列的相应地址中；在事件积分器阵列中，根据卷积窗口的具体形状和大小对以该地址为中心的特定区域进行卷积运算处理；当多个地址都产生AER输出请求时，由缓存与行列仲裁采用二维仲裁的方式依次输出，即先按照行进行仲裁，然后进行列仲裁，通过AER输出模块进行排序输出。

2.如权利要求1所述的用于AER图像传感器的全数字多卷积核卷积处理芯片,其特征是，卷积核存储区：设置核RAM将需要的多卷积核保存在核RAM中，根据事件特征提取过程中需要使用的卷积核的数量，大小和精度计算出全部所需要的存储量，设置相应大小的核RAM来保存所有的卷积核；在卷积处理芯片接收外部事件时，控制与时序模块根据其事件发出地址从查找表中读取卷积核的配置参数，从核RAM中读取卷积核，然后由控制器控制进行卷积累加产生输出事件。

3.如权利要求1所述的用于AER图像传感器的全数字多卷积核卷积处理芯片,其特征是，控制和时序部分有限状态机来实现：控制状态机初始处于复位状态，等待新的输入事件，当有新的输入事件到达时，控制状态机根据事件的地址信息，从核RAM中读取需要的卷积核；选定卷积核后，状态机判定所选择的卷积核阵列是完全处于像素阵列中，还是部分处于像素阵列中，或者完全处于像素阵列外，共三种状态；如果是上述三种状态的最后一种状态，则不对该事件进行操作，并返回到初始复位状态；如果是上述第一种状态，则状态机产生控制其他操作的读写使能信号，控制实现后续的卷积累加；如果是状态二，则需要先控制卷积核进行移位操作，移位到相应的位置，然后再产生其他的控制使能信号。