CN104766342A - 基于时域视觉传感器的运动目标跟踪系统及测速方法 - Google Patents

Abstract

本发明公开了一种基于时域视觉传感器的运动目标跟踪系统及测速方法，并给出具体实现步骤。与目前基于“帧采样、帧传输”的图像传感器的运动目标跟踪算法方法不同，该发明采用一种新型图像采集器件—异步时域视觉传感器（Asynchronous Temporal Vision Sensor, ATVS）的输出作为输入来进行运动目标的定位、跟踪与测速。由于这种图像采集设备只对拍摄场景中的光强变化敏感，因此极大程度减少了图像中的冗余信息和输出数据量，进而显著降低后端处理算法的运算时间和资源需求。此外由于各像素自主地进行变化检测和异步输出，因此能够实时感知场景的变化，非常适合于高速运动目标的跟踪与测速。

Description

基于时域视觉传感器的运动目标跟踪系统及测速方法

本专利得到国家自然科学基金项目（61274021）资助。

技术领域

本发明属于图像处理技术领域，涉及一种基于时域视觉传感器的运动目标跟踪系统及运动目标跟踪与测速方法。

背景技术

图像信息占到人类信息来源的80%以上。目前硅基半导体图像传感器（包括CCD以及CMOS图像传感器）是最主要的可见光成像器件。从成像原理来说，当前使用的图像传感器都是基于“帧采样”方式，其成像过程如下：

1、所有像素同时复位后开始感光（收集光电荷），在达到设定曝光时间后停止感光；

2、依次读出每个像素所收集的光电荷，并将其转换为电压；

3、该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有像素亮度值组成的二维矩阵即为所拍摄图像。

 在使用上述“帧采样”图像传感器（相机）的机器视觉系统中，计算机依次处理相机拍摄的图像序列（通常为30帧/秒），采用各种图像处理算法提取图像中的目标并进行各种判别与分析。

  上述“帧采样”成像方式对于运动目标跟踪与分析存在以下缺点：

（1）数据冗余。相邻两帧间存在大量冗余信息，与上一帧完全相同的背景区域被重复采样读出。这些冗余信息同时对机器视觉系统带来了巨大的处理和存储压力；

（2）高延迟。场景中发生的变化并不能被马上感知并输出，而必须按照“曝光时间”内的累计方式在曝光结束后输出。这种“变化—感知”之间的高延迟对于高速运动目标的跟踪与识别显然是不利的，拍摄帧频越低且运动速度越快，则检测结果的间断性越明显。而如果采用更高帧频的拍摄速度，则由数据冗余带来的处理与存储压力会更加巨大。

发明内容

本发明针对上述现有技术中存在的技术问题，提供了一种基于时域视觉传感器的运动目标跟踪系统及运动目标跟踪与测速方法。

本发明为解决这一问题所采取的技术方案是：

一种基于时域视觉传感器的运动目标跟踪系统，包括ATVS单元、接口控制器、FIFO存储器和执行聚簇算法的嵌入式处理器，ATVS单元包括异步自触发像素阵列和输出仲裁电路。

一种基于时域视觉传感器的运动目标跟踪与测速方法，包括如下步骤：

ATVS单元中的各像素自主地检测所感受的光强是否发生变化，如果发生变化，则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联；此时AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，这种采用地址来表示AE的方法称为地址事件表示；各个AE经过输出仲裁电路的判决按顺序输出；

ATVS单元输出的每一个AE被接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，此时，AE重新表示为AE=（x,y,P,T）；

经接口控制器标记时间戳的AE被送入FIFO存储器，并由嵌入式处理器执行聚簇算法，将属于一个运动目标的所有AE事件进行归类；

将经聚簇算法得到的簇信息从ATVS像素阵列坐标转换为相机视场坐标，从而得到运动目标的运动轨迹。

其中，聚簇算法的具体步骤如下：

创建簇列表CL，并设置初始参数；簇的数据结构为：{活跃度Activity，创建时间CT，簇中心Center(x,y,T),等效半径R,搜索半径RK，轨迹列表TL{}，速度列表VL{}，AE链表AL,序号N}，簇列表中的簇按照其活跃度排序；

读取一个新的AE=（x,y,P,T），将其加入一个簇中，更新簇的各属性；

更新簇列表：当有AE被并入某簇并对该簇的属性进行更新后，按照簇的活跃度对簇列表进行重新排序，活跃度为0的簇最为活跃；活跃度排序后，删除活跃度高于活跃度阈值的簇。

将簇信息从ATVS像素阵列坐标转换为相机视场坐标包括位置转换和速度转换，位置转换的公式如下：

                                                 

W，H：视场宽度和高度；w，h：ATVS像素阵列的宽度和高度；

X，Y：相机视场坐标系的位置；x，y：ATVS像素阵列坐标系的位置；

速度转换的公式如下：

 

W，H：视场宽度和高度；w，h：ATVS像素阵列的宽度和高度；

V：相机视场坐标系的速度；v：ATVS像素阵列坐标系的速度。。

本发明具有的优点和积极效果是：

本发明采用一种新型图像采集器件—异步时域视觉传感器（Asynchronous Temporal Vision Sensor, ATVS）的输出作为输入来进行运动目标的定位、跟踪与测速。实现了以下两个功能：基于场景变化事件的运动目标定位；在运动目标定位的基础上实现运动目标的运动轨迹跟踪与速度测量。由于ATVS图像采集设备只对拍摄场景中的光强变化敏感，因此极大程度减少了图像中的冗余信息和输出数据量，进而显著降低后端处理算法的运算时间和资源需求。此外由于各像素自主地进行变化检测和异步输出，因此能够实时感知场景的变化，非常适合于高速运动目标的跟踪与测速。

附图说明

图1是本发明的基于时域视觉传感器的运动目标跟踪系统的整体框图；

图2是本发明的聚簇算法的应用过程示意图；

图3是本发明的聚簇算法的流程图；

图4是聚簇算法采用的事件归并原理图；

图5是本发明的簇列表及其结构图；

图6是本发明的方法与现有方法的效果的对比图。

具体实施方式

以下参照附图对本发明的基于时域视觉传感器的运动目标跟踪系统及运动目标跟踪与测速方法进行详细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的限制。

图1是本发明的基于时域视觉传感器的运动目标跟踪系统的整体框图。如图1所示，包括以下几个部分：

第一，ATVS单元，主要包括了异步自触发像素阵列、输出仲裁电路等模块，像素独立感知场景光照强度的变化，并产生AE经仲裁后串行输出；

第二，接口控制器，通过串行总线与ATVS连接的FPGA，接收ATVS的输出。接口控制的主要功能有两个：一是赋予每个AE一个“时间戳”，表示此AE被输出的时间。ATVS的输出通常具有us级的分辨率，为了简化后端算法的处理，本发明中对接收到的AE采用“周期化”标记的处理方法，标记周期为1ms，即接口控制器在1ms之内接收到的AE具有相同的毫秒级时间戳；二是将接收并标记时间戳的AE写入后端的FIFO；

第三，使用SDRAM构成的FIFO（First Input First Output），保存按时间排序的AE队列。其容量与ATVS的像素阵列大小和场景中的光强变化程度有关，通常情况下ATVS输出的数据量仅为具有同样大小像素阵列的帧采样图像传感器的5~10%；

第四，  执行聚簇算法的后端处理器，可以使用DSP或其他嵌入式处理器；

第五，其他显示与IO设备。

由于ATVS具有的低数据量、低运算量和高实时性的特点，因此上述系统结构非常适合应用于嵌入式运动目标跟踪应用。

图2是本发明的聚簇算法的应用过程示意图；AE表示了场景中的光强变化信息，它包括了变化发生的地址（行号x，列号y）、属性（增强/减弱）和时间（输出时间，并非发生时间）。本发明的执行结果为一个随输入动态更新的簇列表。每个簇表示一个运动目标，具有中心、半径，轨迹、速度等属性。由于所有像素感知的光强变化事件（AE）都使用共同的串行总线输出，因此不同像素同时产生的AE需要进行仲裁以决定使用输出总线的次序。当场景中存在多个运动目标时，各个目标所产生的AE并不是相继输出的。将属于一个运动目标的所有事件进行归类，这是本发明需要解决的主要问题。

图3是本发明的聚簇算法的流程图。如图3所示，聚簇算法包括以下步骤：

1、创建簇列表CL，初始为空。簇的数据结构为：{活跃度Activity，创建时间CT，簇中心Center(x,y,T),等效半径R,搜索半径RK，轨迹列表TL{}，速度列表VL{}，AE链表AL,序号N}，簇列表中的簇按照其活跃度排序。簇的各数据项含义如下：

（1）、活跃度：描述该簇的活跃性，如果长时间没有事件加入，表明该目标已静止或消失，则该簇被撤销；

（2）、创建时间：该簇的建立时间；

（3）、簇中心：该簇在T时刻的等效中心点，用于描述该簇的运动轨迹；

（4）、等效半径：簇的实际大小；

（5）、搜索半径：用于比较当前事件是否属于本簇；

（6）、轨迹列表：簇中心的位置与时间序列，描述簇的运动轨迹，按时间排序；

（7）、AE链表：一段时间内属于该簇的AE链表，按时间排序；

（8）、速度列表：按照簇中心计算的簇运动速度序列，按照时间排序；

（9）、序号N：用于识别簇的编号。

2、设置初始参数：

（1）、活跃度阈值AT：用于衡量簇中加入新AE的频率；

（2）、簇最大半径Rmax与最小半径Rmin:簇可能具有的最大与最小半径；

（3）、α1、α2、α3、α4：分别用于簇等效半径、簇搜索半径、簇中心、簇速度的更新。

3、读取一个新的AE=（x,y,P,T），将其加入一个簇中：

（1）、若簇列表为空，则新建簇C={Activity= 0，CT=T，Center=(x,y,T),R=Rmin, Rk=Rmax，TL{(x,y,T)}，AEL={(AE)}，VL{(0,T)}，N=new number}；并入簇列表CL=CL+C；

（2）、如簇列表非空，则按照簇的活跃度，依次计算此AE与簇中心的距离是否小于该簇的Rk，将AE并入距离小于簇Rk且活跃度最高的簇；若AE不位于任何簇的搜索半径内，则创建新簇并且加入簇列表，其过程同（1）：

 

4、簇属性更新

     

（7）、检查轨迹链表表尾两个簇中心的时间戳是否相同，如果不相等，则计算新的速度，否则忽略此步骤。即：

5、簇列表更新

当有AE被并入某簇并对该簇的属性进行更新后，按照簇的活跃度对簇列表进行重新排序，活跃度为0的簇最为活跃。活跃度排序后，删除活跃度高于活跃度阈值AT的簇。这些簇由于长时间没有新的AE加入，说明其代表的运动目标变为静止或与其他簇融合。

6、返回步骤1继续处理或结束

算法中各参数的含义说明：

（1）、活跃度阈值AT

用于指示簇中加入新AE的频率。如果长时间没有新AE加入，说明簇代表的运动目标变为静止或与其他簇融合；AT与视场大小和目标运动速度相关；

（2）、簇最大半径Rmax，最小半径Rmin，参数α1、α2、α3，α4

       如图4所示，Rmin和Rmax为根据目标大小、视场范围以及ATVS面阵大小预估的目标尺寸范围。R为按照AE与簇中心距离计算的等效簇半径。为了保持簇等效半径的平稳变化,(1)式中使用参数α1来调节簇中心的变化程度，经验值。为解决由于光照变化引起的目标轮廓变化问题，引入搜索半径Rk，Rk取等效簇半径R的α2倍与Rmax之中的最小值（式2），经验值。

为保持簇运动轨迹的平稳变化,(3)式中使用参数α3来调节簇中心的变化程度，经验值。

为保持簇运动速度的平稳变化,(4)式中使用参数α4来调节簇运动速度的变化程度，经验值。

三、运动轨迹与速度获取

       上述算法产生的簇列表中包含了代表运动目标的簇信息。每个簇的速度列表则记录了目标在各个时段的移动速度，每个簇的轨迹代表了此运动目标的运动轨迹。由于这些数据都是以ATVS像素阵列坐标为参照系的，因此需要将其转换为相机视场坐标系（参见图5）。位置转换：

 

W，H：视场宽度和高度；

w，h：ATVS像素阵列的宽度和高度；

X，Y：相机视场坐标系的位置；

x，y：ATVS像素阵列坐标系的位置。

速度转换：

 

W，H：视场宽度和高度；

w，h：ATVS像素阵列的宽度和高度；

V：相机视场坐标系的速度；

v：ATVS像素阵列坐标系的速度。

在生物视觉系统中不存在“帧”的概念，视觉感光细胞只对变化敏感，并将这种变化以神经脉冲的方式传递到大脑视皮层进行处理。本发明依据生物视觉“变化采样”的原理，提出了采用超大规模集成电路（VLSI）技术实现的“视觉传感器（Vision Sensor, VS）”。原理包括：

（1）VS像素只对场景中的“变化事件（Activity Event， AE）”敏感并采样输出。按其性质，AE可分为空间变化（某像素与其周边像素的亮度关系发生变化）和时间变化（像素自身的亮度发生变化）两类。对时域变化敏感的视觉传感器中最重要的一个分类是异步时域视觉传感器（Asynchronous Temporal Vision Sensor，ATVS）；

（2）ATVS中的各像素自主地检测所感受的光强是否发生变化。如果发生变化，则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联。AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，例如光强增加为“1”，光强减小为“0”。这种采用地址来表示AE的方法称为地址事件表示（Address-Event-Representation，AER）。对于运动目标来说，AE主要是由目标边界（轮廓）产生的。

（3）由于ATVS中所有像素均使用同一组串行总线输出AE，因此需要使用仲裁器来判决同时发生AE的像素的输出顺序。因此属于一个移动目标的AE并不是被连续输出的，即两个相邻输出的AE可能并不属于同一个运动目标。

（4）ATVS输出的每一个AE被相机系统的接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，因此AE重新表示为AE=（x,y,P,T）。          

综上所述，ATVS具有数据量小、实时响应的特点，非常适合于各类机器视觉中的目标定位、跟踪、测速以及形状分析等应用，同时在相同分辨率的情况下，对于系统的处理速度与存储量要求也大为降低。

图6是本发明的方法与现有方法的效果的对比图。如图6所示，由于ATVS只对场景中的变化敏感，因此本发明的运动目标跟踪与测速方法，与现有的方法相比，具有数据量小、实时响应的特点，非常适合于各类机器视觉中的目标定位、跟踪、测速以及形状分析等应用，同时在相同分辨率的情况下，对于系统的处理速度与存储量要求也大为降低。

综上所述，本发明给出了以下几个技术方案：使用ATVS进行运动目标跟踪与测速系统的硬件框架；聚簇算法：该算法根据AE的地址信息对其进行“聚簇”运算（“簇”表示了一组AE的集合，这些AE来源于同一个运动目标）；根据当前的“簇”信息能够获得场景中运动目标的运动轨迹和运动，从而达到测速与跟踪的目的。

与目前基于“帧采样、帧传输”的图像传感器（工业相机）的运动目标跟踪算法方法不同，本发明采用一种新型图像采集器件—异步时域视觉传感器（Asynchronous Temporal Vision Sensor, ATVS）的输出作为输入来进行运动目标的定位、跟踪与测速。由于这种图像采集设备只对拍摄场景中的光强变化敏感，因此极大程度减少了图像中的冗余信息和输出数据量，进而显著降低后端处理算法的运算时间和资源需求。此外由于各像素自主地进行变化检测和异步输出，因此能够实时感知场景的变化，非常适合于高速运动目标的跟踪与测速。

本发明使用ATVS进行机器视觉领域的算法设计。由于TVS具有与传统“帧采样”图像传感器完全不同的成像原理和输出信息，因此本发明与传统机器视觉目标识别与跟踪算法的实现原理与过程是不同的。

TVS采用变化采样、异步输出、地址事件表示的成像原理，因此具有极低数据冗余、高实时性与时间分辨率的特殊优势，非常适合应用于高速运动目标的定位、测速与跟踪：

1、TVS的数据输出量通常只有“帧采样”图像传感器的5-10%，因此对于后端计算机系统的计算和存储要求大为降低；

2、 同时由于采用“变化采样+像素异步输出”的采样原理，因此场景中的变化能够以微秒级、毫秒级被感知和输出，相当于帧采样下的几百~几万帧/每秒，实时性很高。

Claims (4)

1.一种基于时域视觉传感器的运动目标跟踪系统，其特征在于：该运动目标跟踪系统包括ATVS单元、接口控制器、FIFO存储器和执行聚簇算法的嵌入式处理器，ATVS单元包括异步自触发像素阵列和输出仲裁电路。

2.一种基于时域视觉传感器的运动目标跟踪与测速方法，其特征在于，该方法包括如下步骤：

ATVS单元中的各像素自主地检测所感受的光强是否发生变化，如果发生变化，则像素产生的AE通过芯片级的串行总线异步输出，像素间互不关联；此时AE表示为AE=（x,y,P）,其中（x,y）为该像素在VS像素阵列中的地址，P表示该AE的极性，这种采用地址来表示AE的方法称为地址事件表示；各个AE经过输出仲裁电路的判决按顺序输出；

ATVS单元输出的每一个AE被接口控制器赋予一个时间戳T，该时间戳指出事件的具体输出时间，此时，AE重新表示为AE=（x,y,P,T）；

经接口控制器标记时间戳的AE被送入FIFO存储器，并由嵌入式处理器执行聚簇算法，将属于一个运动目标的所有AE事件进行归类；

将经聚簇算法得到的簇信息从ATVS像素阵列坐标转换为相机视场坐标，从而得到运动目标的运动轨迹。

3.根据权利要求2所述的基于时域视觉传感器的运动目标跟踪与测速方法，其特征在于，聚簇算法的具体步骤如下：

创建簇列表CL，并设置初始参数；簇的数据结构为：{活跃度Activity，创建时间CT，簇中心Center(x,y,T),等效半径R,搜索半径RK，轨迹列表TL{}，速度列表VL{}，AE链表AL,序号N}，簇列表中的簇按照其活跃度排序；

读取一个新的AE=（x,y,P,T），将其加入一个簇中，更新簇的各属性；

更新簇列表：当有AE被并入某簇并对该簇的属性进行更新后，按照簇的活跃度对簇列表进行重新排序，活跃度为0的簇最为活跃；活跃度排序后，删除活跃度高于活跃度阈值的簇。

4.根据权利要求2所述的基于时域视觉传感器的运动目标跟踪与测速方法，其特征在于，将簇信息从ATVS像素阵列坐标转换为相机视场坐标包括位置转换和速度转换，位置转换的公式如下：

                                                 

 W，H：视场宽度和高度；w，h：ATVS像素阵列的宽度和高度；

X，Y：相机视场坐标系的位置；x，y：ATVS像素阵列坐标系的位置；

速度转换的公式如下：

 

W，H：视场宽度和高度；w，h：ATVS像素阵列的宽度和高度；

V：相机视场坐标系的速度；v：ATVS像素阵列坐标系的速度。