CN105721772B

CN105721772B - 一种异步时域视觉信息成像方法

Info

Publication number: CN105721772B
Application number: CN201610039704.9A
Authority: CN
Inventors: 胡燕翔
Original assignee: Tianjin Normal University
Current assignee: Tianjin Normal University
Priority date: 2016-01-20
Filing date: 2016-01-20
Publication date: 2018-06-22
Anticipated expiration: 2036-01-20
Also published as: CN105721772A

Abstract

本发明公开了一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，包括如下步骤：依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；依据时间和空间局部性原理进行背景噪声确认及消除；依据时间局部性原理，通过正负事件匹配的方法消除拖尾；模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。本发明为使用ATVS进行机器视觉应用提供了一种灵活有效的集成图像生成方法。由于ATVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的独特优势，非常适合应用于高速运动目标的定位、测速与跟踪。

Description

一种异步时域视觉信息成像方法

技术领域

本发明属于图像传感器设计以及机器视觉技术领域，涉及一种异步时域视觉信息成像方法。

背景技术

目前，硅基半导体图像传感器（包括CCD以及CMOS图像传感器）已经取代传统的卤化银照相胶片，成为最主要的可见光成像器件。硅基半导体图像传感器的核心工作原理是使用势阱收集光电二极管产生的电子来测量光照强度。

根据采样工作方式，目前图像传感器都是基于“帧采样”方式的：

1、所有像素同时复位后开始感光（收集光电荷），达到设定曝光时间后停止感光；

2、依次读出每个像素所收集的光电荷，并将其转换为电压；

3、该电压经模数转换后变为数字量，输出后存储。该量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。

在使用上述“帧采样”图像传感器（相机）的计算机视觉系统中，计算机依次处理相机拍摄的图像序列（通常为25—30帧/秒），执行各种图像处理算法，达到图像处理、识别以及理解等多种目的。与之不同，在生物视觉系统中，不是以“帧”方式进行图像采集和处理的：视觉感光细胞只对视场中的变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理。

与生物视觉系统相比，“帧采样”成像方式存在以下缺点：

（1）、数据冗余。相邻两帧间存在大量冗余信息，与上一帧完全相同的背景区域被重复采样读出。这些冗余信息同时对机器视觉系统带来了巨大的处理和存储压力；

（2）、高延迟。场景中发生的变化并不能被马上感知并输出，而必须按照曝光时间内累计的方式采样输出。这种“变化—感知”间的高延迟对于运动目标的跟踪与识别显然是不利的，拍摄帧频越低且运动速度越快，则检测效果的间断性越明显。而如果采用更高帧频的拍摄速度，则处理与存储压力会更大。

近年来，研究者依据生物视觉“变化采样”的原理，提出了采用超大规模集成电路（VLSI）技术实现的“视觉传感器（Vision Sensor, VS）”。原理包括：

(1)、VS像素只对场景中的“变化事件（Activity Event， AE）”敏感并采样输出。按其性质，AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两类。对时域变化敏感的视觉传感器中最重要的一类是异步时域视觉传感器（Asynchronous Temporal Vision Sensor，ATVS）；

（2）ATVS中的各像素自主地检测所感受的光强是否发生变化。如果发生变化，则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联。AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，光强增加为“1”，光强减小为“0”。这种采用地址来表示AE的方法称为地址事件表示（Address-Event-Representation，AER）。对于运动目标来说，AE主要是由目标边界（轮廓）产生的。

（3）与生物视觉系统大规模并行的传输方式不同，由于集成电路管脚数量的限制，ATVS中所有像素均使用同一组串行总线输出AE，因此需要使用仲裁器来判决同时发生AE的像素的输出顺序。属于一个移动目标的AE并不是被连续输出的，即相邻输出的AE可能并不属于同一个运动目标。

（4）ATVS输出的每一个AE被相机系统的接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，因此AE重新表示为AE=（x,y,P,T）。

综上所述，ATVS具有数据量小、实时异步响应的特点，适合于各类动态场景的目标定位、跟踪、测速以及形状分析等应用，对于系统的处理速度与存储量要求也大为降低。

虽然ATVS与“帧采样”模式相比具有实时响应以及低数据量等优点，但由于其只输出表示变化的离散视觉事件序列，目前已经开发出的大量各类图像处理算法都是基于“帧图像”的，不能直接用于ATVS信息处理，因此必须先将过去一段时间内的视觉事件进行累积，组合为一幅“集成图像”，进而对此集成图像进行分析处理。ATVS的“集成图像”与“帧图像”的区别是：

1、帧图像中所有像素的采样是同步的，而“集成图像”中各像素的变化是异步的；

2、帧图像的积分时间是固定的，而集成图像的累计时间是可调的；

3、每帧图像中的所有像素点都是重新采样的，而集成图像只包括了一段时间内部分像素的变化，突出了运动目标的信息，但不能替代帧图像。

根据ATVS的工作原理，由运动目标引起的正极性事件和负极性事件应当是成对出现的(顺序与光线方向有关)，因此将ATVS事件组合为集成图像的最简单方法是全部事件进行累加。目前“集成图像”生成方法分为基于事件数量的方法和基于时间段的方法：

（1）、基于事件数量的方法是从ATVS输出事件序列中除去固定数量的事件来生成集成图像；

（2）基于时间段的方法是抽取时间戳在某一时间段的全部事件来产生集成图像。

由于ATVS结构以及电路方面存在的缺陷，上述两种集成方法虽然简单，但集成图像的质量并不高，会严重影响到后续处理算法的效能。这些缺点包括：

1、ATVS的所有像素共用一组AER总线，同时产生的事件由AER仲裁器后顺序输出，同一运动物体产生的事件在输出时间上并不连续；

2、由于电路失配的原因，由同一空间点产生的正极性事件和负极性并不总是成对出现，运动目标容易形成“拖尾”现象；

3、ATVS噪声水平（包括随机噪声和固定模式噪声）较高，因此需要进行消噪。

由于以上因素的影响，简单的事件累加方法得到的集成图像比较模糊，无法准确提取场景的细节内容。

发明内容

本发明针对上述现有技术中存在的技术问题，提供了一种异步时域视觉信息成像方法，该方法采用时空双向滤波的思想，将ATVS离散视觉事件转换为时间分辨率可调的“集成图像”。

本发明为解决这一问题所采取的技术方案是：

一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，该方法包括如下步骤：

依据时间局部性原理，对像素缓冲栈进行动态刷新，从而达到时间分辨率可调；

依据时间和空间局部性原理进行背景噪声确认及消除；

依据时间局部性原理，通过正负事件匹配的方法消除拖尾；

模拟生物神经的刺激衰减机理，启动基于事件量的遗忘机制，删除过时事件。

背景噪声确认及消除的步骤为：通过检测事件的位置孤立性来消除背景噪声，判断新事件周边8邻域像素在过去一段时间内是否发生过事件，如果周边8邻域像素均未有事件发生，则认为是背景噪声。

该方法通过统计过去一段时间内一个像素点产生的正负事件的数量差来判断是否存在拖尾。

遗忘机制模拟生物神经系统中对于脉冲刺激随时间衰减的过程，像素的累计变化值随时间流逝而逐渐消退。

本发明具有的优点和积极效果是：

本发明为使用ATVS进行机器视觉应用提供了一种灵活有效的集成图像生成方法。由于ATVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的独特优势，非常适合应用于高速运动目标的定位、测速与跟踪。本发明提出的集成图像生成方法具有时间分辨率可调、背景噪声与拖尾事件消除等特点，为后续ATVS事件处理算法提供良好基础。

附图说明

图1是本发明的ATVS的工作原理及效果图；

图2是本发明的基于ATVS的系统框图；

图3是本发明所应用的像素级缓冲栈结构示意图；

图4是本发明的异步时域视觉信息成像方法的流程图；

图5是帧采样与变化采样的对比图；(a)为给出某一时段39200个事件累加得到的集成图像；(b) 为取其中前10000个事件的集成效果图；(c)取其中前3000个事件的集成效果，手部形状非常清晰；

图6是事件累计方法与本发明的成像方法的对比图；(a)为简单事件累加方法的效果图；(b)为本发明方法的处理效果图；

图7是不同缓冲栈深度与等待时间窗口宽度的效果的对比图； (a)为连续20000个的简单叠加；(b)为本方法取堆栈深度32，等待时间600的集成效果；(c)堆栈深度16，等待时间300的集成效果，(d)为堆栈深度8，等待时间150的集成效果，显示的手部效果已不完整。

具体实施方式

以下参照附图对本发明的异步时域视觉信息成像方法进行详细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的限制。

图4是本发明的异步时域视觉信息成像方法的流程图。如图4所示，本发明的异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，该方法包括如下步骤：

依据时间和空间局部性原理进行背景噪声确认及消除；

依据时间局部性原理，通过正负事件匹配的方法消除拖尾；

一个具体实施例如下：

ATVS事件表示为AE=（x,y,P,T），其中(x,y)为事件地址，P为事件极性（1表示光照增强，0表示光照减弱），T为事件时间戳，单位us，为像素阵列大小。

一、算法主要数据结构

1、像素级缓冲栈ST(M,N,D(d))

为记录ATVS在最近一段时间中产生的事件，每个像素设置一个先进先出缓冲栈，保存过去一段时间内该像素产生的事件，最大限定深度为D，当前其中的事件个数为d。

2、集成图像Integ_Map(M,N)

表示集成图像的二维数组，记录像素(x,y)的本时段内光照变化累计。

3、变化频率图Grad_Map(M,N,2)

三维数组，记录当前像素缓冲栈内正负事件的数量（变化频率）。

4、事件数量图Total_Event_Map(M,N,3)

三维数组，记录当前像素全部事件数量。

图1是本发明的ATVS的工作原理及效果图。传统“帧采样”每一帧对全部像素采样输出，数据量大，冗余信息多。ATVS中只有感知到变化的像素输出事件，事件采用“地址—事件”（AER）的方式予以表示和传输。本发明将ATVS离散事件按照时间局部性进行集成表示，以便进行后端的检测识别等处理。

二、算法流程

使用ATVS的处理系统框图见附图2，图2是基于ATVS的系统整体框图。接口控制器通过AER总线接收ATVS的事件，赋予时间戳后按照时间序保存在FIFO存储器中。后端处理器（FPGA/DSP/MCU）执行相应的处理及控制程序。

1、算法形式化描述

(1)初始化算法参数

D：设定最大缓冲栈深度；

ST（M,N,D）=Null，初始为空；

Integ_Map(M,N)=128：赋初值128(8bit)，每个像素使用8Bit，亮度范围0~255；

Grad_Map(M,N,2)=0：缓冲栈变化次数初始为0；

T_c=0：算法执行当前时间点；

T_wait=K₁T_e：最大时间窗口宽度，T_e为事件的时间戳精度，单位us；

N_t=K₂：启动拖尾事件滤除的最少事件数；

N_attenuation= K₃：遗忘速率（事件数）；

R_tail=K₄;

N_event=0：累积事件总数_；

N_noise=K₅：启动噪声消除事件数_；

(2)T_c=0; %算法启动

(3)读入新事件AEnew(x,y,P,T)：N_event= N_event+1；

(4)背景噪声滤波；

(5)拖尾事件滤除;

(6)启动遗忘机制；

(7)T_c=T; % 更新当前时间，算法时间为新事件的时间

(8)删除过时事件，对当前像素缓冲栈中的全部过时事件AE_old(x,y,P,T_old)

if(T+T_wait<T_c) %是否与当前时间点间隔超过Ts

从ST(x,y,d)中删除AE_old(x,y,P,T_old), d=d-1; %删过时旧事件

更新Grad_Map；

Integ_Map(x,y)=Integ_Map(x,y) ±1; %根据事件性质更新集成图像，正

%事件加1，否则减1

end if

(9)更新像素缓冲栈

if ST(x,y,d).d ≤ D 则 %该像素的缓冲栈未满

将此事件加入ST(x,y,d)，d=d+1；

Integ_Map(x,y)=Integ_Map(x,y) ±1; %更新集成图像

更新Grad_Map(x,y)

else %该像素缓冲栈已满

丢弃栈底的事件AE_bottom，新事件AE_new(x,y,P,T)压入栈顶；

%更新集成图像

if(AE_bottom.p != AE_new.p) %进出栈事件性质不相同

if(AE_bottom.p==1) %正事件出负事件入

Integ_Map(x,y) = Integ_Map(x,y)-2 ;

Else %负事件出正事件入

Integ_Map(x,y) =Integ_Map(x,y)+2 ;

end if

更新Grad_Map(x,y)；

end if

更新Total_Event_Map(x,y)

(10)返回（3）继续或结束。

2、背景噪声滤波

ATVS的背景噪声是由于晶体管的热噪声超过检测电压阈值所产生，具有突发与孤立的特点。本方法通过检测事件的位置孤立性来消除背景噪声，即判断新事件周边8邻域像素在过去一段时间内是否发生过事件。如果周边8邻域像素均未有事件发生，则认为是背景噪声。

% 读入AE_new(x,y,P,T)

if(N_evnet>N_noise 且周边8邻域像素过去一段时间内没有事件发生)

丢弃此事件;

end if

3、拖尾事件滤除

拖尾事件是由于ATVS像素的ON/OFF偏置电压偏差引起的，具体表现为同一像素点产生的ON、OFF事件数量差别较大。例如一个迎着光源的运动目标经过时，理想情况下将首先产生多个ON事件，随后产生对等数目的OFF事件。不对等的ON/OFF事件将产生拖尾（断尾）现象，并在目标经过后较长时间依然产生事件。本方法通过统计过去一段时间内一个像素点产生的正负事件的数量差来判断是否存在拖尾。

% 对于AE_new(x,y,P,T)

if(加入此事件后，ST(x,y).d > N_t and 正负极性事件数量之差 > K₄N_t)

丢弃此事件；

end if

4、遗忘机制

遗忘机制描述了生物神经系统中对于脉冲刺激随时间衰减的过程，即像素的累计变化值随时间流逝而逐渐消退。本算法中集成图像的强度周期性衰减，即每收到（N_attenuation-1）个事件，集成图像所有像素值下降1（中值为128）。这种方法可以有效防止某些像素点由于正负事件不匹配产生的不归0现象。

if(N_eventmod N_attenuation==( N_attenuation-1) )

if(Integ_Map(x,y) !=128)

Integ_Map= Integ_Map ± 1; % 衰减；

end if

图3给出了本发明所应用的像素级缓冲栈结构示意图。每个像素具有一个固定最大深度的先进先出缓冲栈来记录过去一段时间内产生的事件。当缓冲栈内的事件产生时间过久将被删除；当栈深度达到最大时，产生时间最久的事件亦被删除。

三、算法讨论

1、最大缓冲栈深度D与最大时间窗口宽度Twait：与事件发生率和时间戳精度有关。高速目标会使得ATVS在短时间内产生大量事件。如果时间戳精度较低（例如1ms），则会使得需要缓冲的事件大量增加（具有相同的时间戳），此时Twait应较大；反之如果时间精度较高，例如10ns，这时不可能出现多个事件具有相同时间戳的情形，则Twait可相对较小。经验值D=10~30；当前时间Tc是按照事件时间戳更新的，Twait也以时间戳精度定义，Twait建议值与场景复杂程度有关，当场景中运动目标较少时，ATVS可在较短时间内输出全部变化事件（单次），此时Twait较小；当场景中运动目标较多时，ATVS输出全部变化事件（单次）需要较长时间，因此属于一个目标的两个事件间隔较大延迟，此时Twait较大。合理的Twait可以通过Grad_Map估计得到, 经验值Twait=100~500us。

2、启动拖尾事件滤除的最少事件数Nt：拖尾事件滤除算法是根据像素缓冲栈中正负事件的平衡度来测量的，设置Nt保证了新事件不会因为缓冲栈中事件太少而被拒绝；建议值栈深度一半；不平衡比例30%；

3、遗忘速率Nattenuation与累积事件总数Nevent；由于算法根据接收事件的时间戳计时，因此理想情况下当较长时间没有新事件产生时无法启动遗忘机制。但测试表明完全静止场景下每秒约有几K~几十K噪声事件，因此本算法采用按照事件计数的方式启动。遗忘速率Nattenuation与ATVS事件量有关，建议值4K~6K。

图5~图7使用由瑞士苏黎世理工大学神经工程研究所设计的ATVS（DVS128）拍摄的一段手部晃动场景来说明ATVS及本算法的特点。此AER文件共包括1000000个事件，事件时间精度为1us，总时长840000us，每个事件使用32bit表示，总数据量为4000000Byte≈4M。按照每秒30帧折算，拍摄时长共包含25.2帧，每帧包括约39200个事件。如果采用帧采样模式，1us时间分辨率的拍摄帧频为1000000fps，总数据量为128*128*840000≈13.7G。

图5给出事件采样与帧采样的对比说明。图5(a)给出某一时段39200个事件累加得到的集成图像，可以看到由于手部转动，致使不同时刻的变化被叠加在一起，效果非常模糊；(b)取其中前10000个事件的集成效果，可以看到由于事件发生时间比较集中，因此手部形状比较清晰，但是存在较为严重的重叠；(c)取其中前3000个事件的集成效果，手部形状非常清晰，此时相当于400帧/每秒的拍摄速度

图6给出本算法的实施效果示意图。共使用1000个连续事件进行比较。图6(a)为简单事件累加方法的效果图，可以明显看到两个位置的叠加；(b)为本发明方法的处理效果，由于使用了时间—空间双向滤波，可以看到叠加效果明显减弱，同时背景噪声被删除。

图7给出不同缓冲栈深度与等待时间窗口宽度的效果比较。(a)为连续20000个的简单叠加，相当模糊；(b)为本方法取堆栈深度32，等待时间600的集成效果，取得清晰完整的结果；(c)堆栈深度16，等待时间300的集成效果，(d)为堆栈深度8，等待时间150的集成效果。可以看到随着堆栈深度和时间窗口的减小，集成在一起的信息越来越少，目标的边界越来越突出，但是整体信息不断减少，(d)中显示的手部效果已不完整。

为了使用已有的“帧”图像处理算法对ATVS的异步离散视觉事件序列进行处理，本发明给出一种构建具有一定时间持续性的集成图像的算法。主要包括：基于时空双向滤波的集成图像生成方法；ATVS拖尾及背景噪声消除方法；基于生物神经系统遗忘机制的集成图像衰减方法。

本发明的应用于异步时域视觉传感器的数据处理方法，并给出具体实现步骤。与目前广泛使用的图像传感器直接输出以“帧”为单位的二维图像不同，基于仿生视觉机理的新型图像采集器件—异步时域视觉传感器（Asynchronous Temporal Vision Sensor,ATVS）只对拍摄场景中的光强变化敏感，只以事件的形式输出场景中的变化信息，因此极大减少了输出数据量和冗余信息。显著降低后端处理算法的运算量及资源需求；同时还能够实时感知场景的变化，适合高速运动目标的识别、跟踪与测速。但由于异步时域视觉传感器只输出异步离散视觉事件，不能反映某一时刻视场中的整体信息，因此通常需要将一段时间内的事件进行集成以获取某一时段内的视场整体信息，然后使用该整体信息进行后续的高级视觉处理。

Claims

1.一种异步时域视觉信息成像方法，该方法使用像素级的缓冲栈数据结构，其特征在于，该方法包括如下步骤：

依据时间局部性原理，根据事件达到时间的顺序，对像素缓冲栈进行动态刷新，使得像素缓冲栈中保存最近一段时间内该像素产生的变化事件，从而达到时间分辨率可调；

依据时间和空间局部性原理进行背景噪声确认及消除；

依据时间局部性原理，通过正负事件匹配的方法消除拖尾；

模拟生物神经刺激强度随时间衰减的激励，启动基于事件量的遗忘机制，当过去一段时间产生的事件量总计超过一个规定值时，集成图像中所有点的强度绝对值减少1，以此删除过时事件的影响。

2.根据权利要求1所述的异步时域视觉信息成像方法，其特征在于，背景噪声确认及消除的步骤为：通过检测事件的位置孤立性来消除背景噪声，判断新事件周边8邻域像素在过去一段时间内是否发生过事件，如果周边8邻域像素均未有事件发生，则认为是背景噪声。

3.根据权利要求1所述的异步时域视觉信息成像方法，其特征在于：该方法通过统计过去一段时间内一个像素点产生的正负事件的数量差来判断是否存在拖尾。

4.根据权利要求1所述的异步时域视觉信息成像方法，其特征在于，遗忘机制模拟生物神经系统中对于脉冲刺激随时间衰减的过程，像素的累计变化值随时间流逝而逐渐消退。