CN105957060B - 一种基于光流分析的tvs事件分簇方法 - Google Patents

Abstract

本发明公开了一种基于光流分析的TVS事件分簇方法，该方法通过计算TVS事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。本发明根据事件的产生时间、空间位置及光流速度进行分簇，具有如下优点：空间运动目标在二维成像平面上具有相同的投影速度，这一特性与空间‑时间相似性结合，可以有效解决目标重叠遮挡等问题，使得分簇算法具有更高的准确性；根据簇速度能够有效地对簇中已有事件进行更新。

Description

一种基于光流分析的TVS事件分簇方法

技术领域

本发明涉及计算机视觉、图像处理以及图像传感器设计等多个技术领域，具体涉及一种基于光流分析的TVS事件分簇方法。

背景技术

半导体硅基图像传感器（CCD及CMOS）已成为最主要的可见光成像设备，与最初的碘化银胶片一样，都是采用“帧采样”方式完成光强测量：所有像素同步复位后开始收集光电荷，在达到设定曝光时间后读出每个像素所收集的光电荷，并将其转换为电压；该电压经模数转换后变为数字量，输出后存储。所有像素亮度值组成的二维矩阵即为所拍图像。通常的视频拍摄速度为30帧/秒，即电荷收集时间为33ms，最终每个像素的输出值是33ms的感光量总和，而与此过程中的具体变化无关。“整帧采样”图像采集方式的主要优点一是能够获取场景中每一像素点的光强值（灰度、颜色），二是像素只实现被动的光电荷收集，电路结构相对简单，尺寸很小，因此空间分辨率很高。然而这种采样方式同样存在着突出的缺点：一是静止背景重复采样，数据冗余度高，给实时图像处理和传输存储带来很大压力；二是时间分辨率低，像素无法分辨电荷收集时间内光强内的任何变化，而只测量此期间内的光电荷累积总和，故不利于高速运动目标的跟踪与识别。而如果使用高帧频帧采样相机，则带来的海量视觉信号无法做到实时处理。

近年来出现了一种模仿生物视觉感知与处理原理、采样超大规模集成电路技术实现的新型光电感知器件--视觉传感器（Vision Sensor, VS）。原理包括：

(1)、模仿生物视觉的成像机理，VS像素只对场景中的光强变化（称之为ActiveEvent，AE）敏感并采样输出。AE按照变化性质可分为空间变化（与其周边像素比较）和时间变化（自身亮度变化）两类。其中对时间变化敏感的VS称为时域视觉传感器（TemporalVision Sensor，TVS）；

(2)、TVS各像素独立检测所感受的光强变化--每个像素周期测量单位时间内的光生电流变化量。当单位时间内光生电流变化量超过设定的阈值时发出一个AE。像素产生的AE通过串行总线异步输出，像素间互不关联；

(3)、AE输出采用“地址事件表示（Address-Event-Representation，AER）”的方法，即AE=（x,y,P）,其中（x,y）为像素在像素阵列中的行列地址，P表示变化的属性（例如光强增加为“1”，减小为“0”）；与TVS接口的后端系统赋予每个AE一个时间戳T，指出AE的输出时间，即AE=（x,y,P,T）。

TVS所采用的“变化采样”方式的优点包括：（1）数据量小，极低数据冗余，数据量通常为“整帧采样”方式的5~10%；（2）时间分辨率高，亮度变化可以被实时感知并输出，微秒级的时间精度相当于几千~几万帧的拍摄速度；（3）宽动态范围，由于只是检测亮度变化而非其累计值，因此量程宽，通常动态范围大于100DB。

附图1给出了“整帧采样”图像传感器与时域视觉传感器的拍摄效果比较。由于工作模式完全不同，因此TVS的信息处理方法与当前基于“帧采样”的图像处理技术具有很大差别，现有的各类经典处理技术无法直接用于TVS，需要开发专用算法。

与目前“整帧采样”的照相方式不同，TVS依据生物视觉的变化采样、异步传输原理，各像素只对场景中的光强变化敏感，并且自主异步地以AER方式输出这些信息。由于TVS所具有的高时间分辨率、低数据冗余等特点，使其非常适合应用于高速运动目标的捕获与分析。但是由于其与“整帧采样”图像完全不同的特点，因此现有的各类图像处理、分析和理解算法无法（直接）应用于TVS视觉信息。

在机器视觉应用中，图像（目标）分割是主要的基础步骤，它的任务是将目标从图像背景中捡取出来，对其形状、边界等信息进行分析，从而进行识别分析等。在“整帧采样”图像中，通常通过边缘检测、基于阈值的二值化等技术来完成图像分割和目标区域提取。图3给出了图像（目标）分割的示意性说明。但是由于TVS的输出不包括场景的亮度信息，而只是目标运动时由目标边界引起的事件，无法使用上述针对“帧图像”的目标提取算法。

已有的分簇方法【参考文献1，2，3】等都是依据事件的空间--时间特性来进行分簇，即位置相近、时间相近的事件属于一个簇的可能性更高。单纯依赖时空相似性的分簇方法存在的不足：

1、属于同一个目标的事件在输出时间上可能存在较大的离散性，原因是TVS采用串行AER输出，同时产生的多个事件需要通过仲裁，空间相邻两点同时产生的事件的输出时间变化差较大；

2、当场景中存在多个运动目标时，会出现重叠遮挡的问题，具有时空相似性的事件有可能不属于同一目标。

异形目标。上述方法都依据与簇中心的几何距离来判断事件的分簇，因此只适合于具有对称规则形状的目标。。

发明内容

本发明针对上述现有技术中存在的技术问题，提供了一种基于光流分析的TVS（Temporal Vision Sensor，时域视觉传感器）事件分簇方法。

本发明为解决这一问题所采取的技术方案是：

一种基于光流分析的TVS事件分簇方法，该方法通过计算TVS事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新。

逐事件的光流分析方法采用微分光流计算方法，包括空间梯度计算、时间梯度计算和基于TVS的光流计算。

事件分簇的具体方法为：

所有TVS事件组成事件列表，每个事件包括产生位置、产生时间和属性；使用簇列表记录当前所有簇的属性；分簇算法依据事件的时间、位置和速度进行分簇，簇的属性如下：

簇中心（X,Y），簇中所有事件位置的几何平均值：

簇速度（U,V），簇中事件具有相近移动速度，取所有事件的速度平均值作为簇速度：

簇事件的生命周期（Tlife）：簇中的事件随目标运动是一个不断更新的过程，随着新事件的加入旧事件被丢弃；

，K1为设定参数；

簇事件链表：按加入时间排序的事件链表；

更新时间：将簇中最新事件的时间戳作为簇的当前时间；

步骤1：

读入一个事件；

根据其地址计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用3*3区域内的最小均方误差法求解其光流，并将计算得到的速度向量（u,v）计入该事件；

步骤2：

自事件列表顺序读出一个事件AE(x,y,P,t)，按照步骤5进行背景噪声消除；

若为非噪声事件，使用步骤1计算速度并加入事件列表；否则返回步骤1；

根据其速度、位置及时间戳按照步骤3进行分簇；

按照步骤4对所有簇进行更新；

返回步骤1；

步骤3：

若簇列表为空，建立新簇，将此事件加入新簇；

否则按照事件位置与簇中心的距离，由近及远搜索簇列表，若满足以下全部条件则将事件加入簇：

(1) 速度：使用向量内积比较速度一致性：

，(u,v)为事件速度，(U,V)为簇速度，K2为速度一致性，；

(2) 距离：事件周围3*3邻域内有属于簇的事件；

(3) 时间：事件时间戳与簇更新时间之差小于阈值K3，K3与(U,V)成反比；

若以上条件均不满足，建立新簇并将此事件加入；

步骤4：

当前事件加入簇事件链表；

更新簇中心点；

更新簇速度；

更新簇时间；

删除过时事件，即如果簇当前时间-事件时间>簇事件生命周期，删除该事件；

步骤5：

读入一个事件，事件总个数加1；

若事件总个数小于消噪起始个数，结束；否则转步骤3；

检查此事件的8个邻域位置、在过去Δt时间内是否发生过事件；若无，判断为噪声事件，并在事件列表中进行标注；若有，判断为非噪声事件；

结束。

本发明具有的优点和积极效果是：

本发明中，一个“事件簇”代表由同一个运动目标所产生的事件集合，通过事件簇即可获得该运动目标的有关信息，进而进行形状描述、特征提取等步骤，最终实现基于TVS的运动目标检测、识别与跟踪等。因此高效、准确的事件分簇方法是将TVS用于机器视觉的主要步骤。本发明根据事件的产生时间、空间位置及光流速度进行分簇，具有如下优点：空间运动目标在二维成像平面上具有相同的投影速度，这一特性与空间-时间相似性结合，可以有效解决目标重叠遮挡等问题，使得分簇算法具有更高的准确性；根据簇速度能够有效地对簇中已有事件进行更新。

附图说明

图1是 “整帧采样”图像传感器与时域视觉传感器的拍摄效果比较图；

图2是图像光流计算的示意图；

图3是帧图像的图像分割与目标提取示意图；

图4是TVS事件处理方法的流程图；

图5是三维空间运动投影到二维成像平面的示意图；

图6是本发明提出的光流计算方法的流程图；

图7是算法执行结果的说明效果图。

具体实施方式

以下参照附图对本发明的基于光流分析的TVS事件分簇方法进行详细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的限制。

本发明公开了一种使用光流分析进行时域视觉传感器（Temporal VisionSensor, TVS）事件分簇的方法，可用于基于TVS的运动目标识别与跟踪系统中。依靠TVS高时间分辨率的特点，通过计算TVS事件的光流来对其进行分簇，继而可以根据簇的信息提取运动目标的准确位置与形状信息。本发明的基本原理是由同一空间运动目标产生的光照变化事件必然具有相近的空间位置、生成时间以及相同的运动速度，单纯依靠空间及空间信息并不能有效区分目标的重叠及遮挡等问题。在光流计算中本发明依据“局部亮度不变”和“局部速度不变”原理来进行逐事件光流计算，进而根据速度、产生时间和位置几个因素来共同确定场景中的簇信息。此外根据簇速度进行来对簇中已有事件进行动态更新。

与目前广泛采用的“整帧拍摄”图像传感器不同，TVS只对拍摄场景中的光强变化敏感和采样，因此具有高时间分辨率（us级延迟），极低数据冗余和高动态范围等突出特点，非常适合于高速运动目标视觉信息的采集。但与“整帧拍摄“图像相比，TVS的变化事件异步输出，且无法提供场景亮度信息，因此不能使用传统的图像处理方法对其进行分析处理。

光流（Optic flow）是三维空间中目标运动投影于二维图像传感器平面所产生的运动投影，目标运动以图像亮度“流动”的方式体现在视频流中。光流分析是视频分析的重要研究内容之一，使用它能有效地进行运动目标的检测、跟踪。光流分析已经在多个图像工程领域得到广泛使用，如机器人自动导航和避障、航空器自动着陆和路径规划等。

自上世纪80年代Horn和schunck提出第一种实际有效的光流计算方法开始，光流技术受到广泛关注，光流研究以及取得大量研究成果。目前光流算法可分为微分法、匹配法、能量法、相位法以及神经动力学法等几大类。其中微分法因其计算量相对较小且精度较高，因此在实际中得到广泛的使用。微分光流法利用视频图像灰度值的时域与空域梯度来计算像素的速度矢量，具体主要包括Horn-schunck全局平滑法，Lucas-Kanade局部平滑法以及Nagel有向平滑法等。

图2给出了图像光流计算的示意图。

微分光流认为空间运动物体在传感器成像面的投影连续变化，且局部亮度恒定。设像素(x ,y)的灰度值为I(x,y,t)，它是t时刻空间点(X,Y,Z)在图像上的像。在t+∆t时刻时，该点运动到(X+∆X,Y+∆Y,Z+∆Z)，其在图像上的像变为(x+∆x,y+∆y)，t+∆t时图像点(x+∆x,y+∆y)处的灰度值为I(x+∆x,y+∆y,t+∆t)。当∆t很小时，根据亮度恒定假设，像素灰度值保持不变：

（式1）

将等式右边采用泰勒级数展开并化简且忽略高次项可得：

（式2）

（式3）

u, v即为t时刻图像点(x,y)在x及y方向上的速度分量，即：

（式4）

Ix、Iy为点(x,y)处亮度的空间梯度，It为该点的时间梯度，三个值均可通过连续帧求得。由于存在u、v两个未知数，因此不存在唯一解，因此还需要其他约束条件。根据Lucas- Kanade局部平滑假定，以(x,y)为中心的小区域内的像素点具有相同的速度(u,v)，即：

(式5)

上式中I1，I2，……，Im是一个相邻小区域（通常取3*3或5*5）内的相邻像素，可以采用最小均方误差法求解光流（u,v）。

在帧图像光流分析中，使用以下方法计算像素（i.j）处的Ix、Iy、It：

（式8）

式（6~8）中f(x,y,t)为t时刻的图像中(x,y)点处的亮度。根据以上公式采用最小均方误差法即可实现光流计算。

微分光流法的前提是图像亮度连续可微，但是当相邻两幅图像中同一点的亮度变化较大时，会对光流分析的精度产生严重影响，因此对于高速运动场景来说，拍摄帧频是影响光流分析准确性的主要因素，高帧频可以保证亮度变化的连续性。由于普通相机的拍摄速度通常为30帧/每秒，因此对高速运动目标的光流分析会产生与连续性假设不符合的矛盾。TVS由于具有微秒—毫秒级的时间分辨率，光流变化的连续性那个得到很好保证，因此在高速光流计算上具有显著地优势。

与目前“整帧采样”的照相方式不同，TVS依据生物视觉的变化采样、异步传输原理，各像素只对场景中的光强变化敏感，并且自主异步地以AER方式输出这些信息。由于TVS所具有的高时间分辨率、低数据冗余等特点，使其非常适合应用于高速运动目标的捕获与分析。但是由于其与“整帧采样”图像完全不同的特点，因此现有的各类图像处理、分析和理解算法无法（直接）应用于TVS视觉信息。

在机器视觉应用中，图像（目标）分割是主要的基础步骤，它的任务是将目标从图像背景中捡取出来，对其形状、边界等信息进行分析，从而进行识别分析等。在“整帧采样”图像中，通常通过边缘检测、基于阈值的二值化等技术来完成图像分割和目标区域提取。图3给出了图像（目标）分割的示意性说明。但是由于TVS的输出不包括场景的亮度信息，而只是目标运动时由目标边界引起的事件，无法使用上述针对“帧图像”的目标提取算法。

本发明中，一个“事件簇”代表由同一个运动目标所产生的事件集合，通过事件簇即可获得该运动目标的有关信息，进而进行形状描述、特征提取等步骤，最终实现基于TVS的运动目标检测、识别与跟踪等，图4给出了TVS事件处理的概念性流程。因此高效、准确的事件分簇方法是将TVS用于机器视觉的主要步骤。已有的分簇方法【参考文献1,2,3】等都是依据事件的空间--时间特性来进行分簇，即位置相近、时间相近的事件属于一个簇的可能性更高。单纯依赖时空相似性的分簇方法存在的不足：

1、属于同一个目标的事件在输出时间上可能存在较大的离散性，原因是TVS采用串行AER输出，同时产生的多个事件需要通过仲裁，空间相邻两点同时产生的事件的输出时间变化差较大；

2、当场景中存在多个运动目标时，会出现重叠遮挡的问题，具有时空相似性的事件有可能不属于同一目标。

3、异形目标。上述方法都依据与簇中心的几何距离来判断事件的分簇，因此只适合于具有对称规则形状的目标。

本发明根据事件的产生时间、空间位置及光流速度进行分簇，优点如下：

1、空间运动目标在二维成像平面上具有相同的投影速度，这一特性与空间-时间相似性结合，可以有效解决目标重叠遮挡等问题，使得分簇算法具有更高的准确性；

2、根据簇速度能够有效地对簇中已有事件进行更新。

本发明基于TVS高时间分辨率的特点，通过计算TVS事件的光流来对其进行分簇，继而可以根据簇的信息提取运动目标的准确位置与形状信息。本发明的基本原理是由同一空间运动目标产生的光照变化事件必然具有相邻的空间位置、生成时间以及运动速度，而单纯依靠空间及时间信息并不能有效区分目标的重叠及遮挡等问题。在具体光流分析过程中，本发明采用“局部亮度不变”和“局部速度不变”的假设来建立求解方程。

附图1给出了“整帧采样”图像传感器与时域视觉传感器的拍摄效果比较。由图可见，帧图像（a）中的物体或目标表现为具有相似亮度等特性的连续区域；（b）为TVS输出事件在30ms内的累积显示，其中只有移动的人体产生事件，人体亦表现为事件簇的集合，同时可以观察到正、负事件的分布与光源位置有关。

附图2给出了图像光流计算的示意图。图中旋转圆盘带动上面的魔方转动。光流图中标示了光流分析得到的各点运动速度的大小和方向。

图3为整帧图像中图像分割的一般过程，首先是进行图像灰度转换、图像边缘增强以突出目标边缘，然后采用二值化方法分割目标及背景。目标由封闭边界包围并具有一致的属性（亮度），进而采用各种方法对目标进行描述，例如基于边界的描述或基于区域的描述。

图4 TVS事件处理的概念性流程。

图5给出三维空间运动投影到二维成像平面的示意图。空间某点在t时刻的世界坐标系（三维）位置为（X1,Y1,Z1），在二维成像坐标系中的对应位置为（x1,y1）；经过Δt时间，该点运动到（X1+ΔX,Y1+ΔY,Z1+ΔZ）,对应的二维成像位置为（x1+Δx,y1+Δy）。则该点的光流为（u, v）=(Δx/Δt, Δy/Δt)。

图6给出本发明提出的光流计算流程图。详见算法说明。

图7给出算法执行结果的说明，(a)为一幅整帧采样图像，其中包括了三个运动目标（行人），(b)给出了采用空间-时间三维坐标描述的运动过程，每个运动目标产生了时间连续的事件流；(c)为将t1~t2时段内事件进行累计后的显示结果，(d)为分簇后的效果，其中箭头指示出簇中心和簇速度。

本发明包括基于事件的微分光流计算、事件分簇以及簇刷新三个步骤。

一、TVS光流计算

1、空间梯度计算

使用各像素点与其周围像素在过去一段时间Δt内的累计AE数之差来计算空间梯度，计算公式为：

（式2）

式中AE（x,y,P,t）表示t时刻像素（x,y）处产生的AE，Δt为算法设定的计算间隔，由目标的运动速度设定，建议值500~1000us（相当于帧采样1000~2000帧/每秒），S为AE的属性，即P为1时S=1，P为0时S=-1。上述公式的原理是：

（1）TVS像素在确定时间内检测到超过预设定阈值的光电流变化时会发出一个AE，因此每个AE代表了相同的变化幅值；

（2）物体运动会导致各个像素点的光强发生变化，基于亮度恒定前提，光强大的点从一个像素移动到另一个像素时会产生更多的AE，因此两点间绝对亮度差可以用他们产生的单向（增加或减小）AE事件数之差来代表；事件极性S即考虑了正负事件的影响；

（3）由于TVS像素相继产生AE的事件的间隔时间通常为us，变化的连续性高，更加符合微分光流分析的理论前提。

2、时间梯度计算

时间梯度表示像素感受光强的变化速度。本发明使用单位时间像素产生AE的速率衡量时间梯度，效果与使用前后帧亮度差的原理相同，但由于AE采样的间隔非常短，因此时间梯度的精度和连续性提高：

（式3）

上式通过计算Δt时间间隔内像素点（x,y）产生的AE总数与Δt的比值来获得（x,y）点处的空间梯度，S意义同前。

3、基于TVS的光流算法

算法1（光流计算）：

1、读入一个AE；

2、根据其地址按照式（1~3）计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用3*3区域内的最小均方误差法求解其光流，并将计算得到的速度向量（u,v）计入该事件。

二、分簇算法

所有TVS事件组成事件列表，每个事件包括产生位置、产生时间和属性。

使用簇列表记录当前所有簇的属性。分簇算法依据事件的时间、位置和速度进行分簇，簇的属性如下：

1、簇中心（X,Y），簇中所有事件位置的几何平均值：

2、簇速度（U,V），簇中事件具有相近移动速度，取所有事件的速度平均值作为簇速度：

3、簇事件的生命周期（T_life）：簇中的事件随目标运动是一个不断更新的过程，随着新事件的加入旧事件被丢弃；

，K1为设定参数；

4、簇事件链表：按加入时间排序的事件链表；

5、更新时间：将簇中最新事件的时间戳作为簇的当前时间。

算法2（总框架）：

1、自事件列表顺序读出一个事件AE(x,y,P,t)，按照算法5进行背景噪声消除；

2、若为非噪声事件，使用算法1计算速度并加入事件列表；否则返回1；

3、根据其速度、位置及时间戳按照算法3进行分簇；

4、按照算法4对所有簇进行更新；

5、返回1。

算法3（事件分簇）：

1、若簇列表为空，建立新簇，将此事件加入新簇；

2、否则按照事件位置与簇中心的距离，由近及远搜索簇列表，若满足以下全部条件则将事件加入簇：

(1)、速度：使用向量内积比较速度一致性：

，(u,v)为事件速度，(U,V)为簇速度，K2为速度一致性，；

(2)、距离：事件周围3*3邻域内有属于簇的事件；

(3)、时间：事件时间戳与簇更新时间之差小于阈值K3，K3与(U,V)成反比；

3、若以上条件均不满足，建立新簇并将此事件加入。

算法4（簇更新）：

1、当前事件加入簇事件链表；

2、更新簇中心点；

3、更新簇速度；

4、更新簇时间；

5、删除过时事件，即如果（簇当前时间-事件时间>簇事件生命周期），删除该事件。

算法5（背景噪声事件消除）：

1、读入一个事件，事件总个数加1；

2、若事件总个数小于消噪起始个数（预设值,3000-5000），结束；否则转3；

3、检查此事件8邻域位置、在过去Δt时间（预设值）内是否发生过事件；若无，判断为噪声事件，并在事件列表中进行标注；若有，判断为非噪声事件；

4、结束。

解释：噪声事件是由于各类电路噪声所产生，具有时间和空间随机、孤立的特点。通过判断事件的邻域在最近是否有事件发生来考察事件的孤立性，作为噪声判定的依据。当一个新的独立目标出现时，最先的事件会被作为噪声，但其后续事件并不会被消除。

参考文献

[1]、S. Schraml, A Spatio-temporal Clustering Method Using Real-timeMotion Analysis on Event-based 3D Vision, Computer Vision and PatternRecognition Workshops (CVPRW), 2010 IEEE Computer Society Conference on. June2010.

[2]、S. Schraml, A.N. Belbachir, N. Milosevic and P. Schoen, DynamicStereo Vision for Real-time Tracking, Circuits and Systems (ISCAS),Proceedings of 2010 IEEE International Symposium on. June 2010.

[3]、M. Litzenberger, Embedded Vision System For Real-Time ObjectTracking Using An Asynchronous Transient Vision Sensor, Digital SignalProcessing Workshop, 12th - Signal Processing Education Workshop, 4th. Sept2006。

Claims (1)

1.一种基于光流分析的TVS事件分簇方法，该方法通过计算TVS事件的光流来对其进行分簇，继而根据簇的信息提取运动目标的准确位置与形状信息；其特征在于：该方法首先采用逐事件的光流分析方法获取各点的光流速度，进而依据速度、位置、输出时间的相似性进行事件分簇，再根据簇速度进行来对簇中已有事件进行动态更新；所述的逐事件的光流分析方法采用微分光流计算方法，包括空间梯度计算、时间梯度计算和基于TVS事件的光流计算；具体方法为：

所有TVS事件组成按产生时间排序的列表，每个事件包括产生位置、产生时间和属性；使用簇列表记录当前所有簇的属性；簇的属性如下：

簇中心（X,Y），簇中所有事件位置的几何平均值：

上式中Ei(x)、Ei(y)表示簇中第i个事件的横纵坐标值，N为该簇中当前事件的数量；

簇速度（U,V），簇中事件具有相近移动速度，取所有事件的速度平均值作为簇速度：

上式中Ei(u)、Ei(v)表示簇中第i个事件的水平方向速度值和垂直方向速度值，N的定义同前；

簇事件的生命周期（Tlife）：簇中的事件随目标运动是一个不断更新的过程，随着新事件的加入旧事件被丢弃；

，

簇事件链表：按加入时间排序的事件链表；

簇更新时间：将簇中最新事件的时间戳作为簇的当前时间；

算法步骤1：

读入一个事件；

根据其地址计算该点及其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用3*3区域内的最小均方误差法求解其光流，并将计算得到的速度向量（u,v）计入该事件；

步骤2：

自事件列表顺序读出一个事件AE(x,y,P,t)，其中(x,y)为该事件的发生位置，P为事件属性（光强增加或减小），t为事件输出时间；

按照步骤5进行背景噪声消除；

若为非噪声事件，使用步骤1计算速度并加入事件列表；否则返回步骤1；

根据其速度、位置及时间戳按照步骤3进行分簇；

按照步骤4对所有簇进行更新；

返回步骤1；

步骤3：

若簇列表为空，建立新簇，将此事件加入新簇；

否则按照事件位置与簇中心的距离，由近及远搜索簇列表，若满足以下全部条件则将事件加入簇：

(1) 速度：使用向量内积比较速度一致性：

，(u,v)为事件速度，(U,V)为簇速度，K2为速度一致性，；

(2) 距离：事件周围3*3邻域内有属于簇的事件；

(3) 时间：事件时间戳与簇更新时间之差小于阈值K3，K3与(U,V)成反比；

若以上条件均不满足，建立新簇并将此事件加入；

步骤4：

当前事件加入簇事件链表；

更新簇中心点；

更新簇速度；

更新簇时间；

删除过时事件，即如果簇当前时间-事件时间>簇事件生命周期，删除该事件；

步骤5：

读入一个事件，事件总个数加1；

若事件总个数小于消噪起始个数，结束；否则转步骤3；

检查此事件的8个邻域位置、在过去Δt时间内是否发生过事件；若无，判断为噪声事件，并在事件列表中进行标注；若有，判断为非噪声事件；

结束。