CN110148159A - 一种基于事件相机的异步目标跟踪方法 - Google Patents

Abstract

一种基于事件相机的异步目标跟踪方法，涉及计算机视觉技术。包含三个主要部分：开始的目标检测模块、目标跟踪模块和恢复跟踪模块；所述开始的目标检测模块用于提取ATSLTD帧上的目标建议窗口；所述目标跟踪模块根据最小化目标时空不一致信息原则选择最佳的目标建议窗口作为跟踪结果；所述恢复跟踪模块用于跟踪失败时恢复对目标的跟踪。该方法能够有效地应对目标跟踪中存在的目标快速运动和高动态范围场景等问题，取得了优于主流基于传统相机的目标跟踪算法的精度。

Description

一种基于事件相机的异步目标跟踪方法

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于事件相机的异步目标跟踪方法。

背景技术

目标跟踪是计算机视觉领域的重要研究方向之一，它在自动驾驶、智能监控、虚拟、增强现实、异常行为检测、人机交互等领域有着重要的作用。目标跟踪所要解决的基本问题是在一个图像序列中选择感兴趣的目标物体，通过计算机视觉算法求解出目标在每一帧所在的位置。目标跟踪目前仍然是一个颇具挑战性的问题，相关算法的性能容易受到：目标或摄像机的快速运动、复杂的场景光照条件和目标与场景间的遮挡等现实中无法避免的不可控因素的影响。

事件相机(Event Camera)是受生物视网膜运行机制启发发明，最近三年间在学术和工业界都得到广泛关注和快速发展的新型视觉传感器，具有以下特点：(1)异步性：每个像素点可以单独被触发，不需要像传统相机一样同步曝光获取图像帧，取而代之的是事件相机仅在运动发生的像素上产生像素值指数级别变亮(On)和变暗(Off)的两种事件用于记载相关的运动物体信息；这种机制与生物的视网膜类似，所以事件相机也被称为硅视网膜。(2)非常低的响应延迟：事件相机具有非常低的响应延迟，它可以达到微秒(10^-6s)级别的时间精度，所以对于事件相机来说，它几乎不可能产生普通相机在高速移动过程中所产生的运动模糊问题。(3)高动态响应范围(HDR)：事件相机可以达到1000lux的动态范围，能够准确反映运动在高、低光照场景下造成的像素灰度值变化，基本不会受到场景的明暗条件影响。这些独特、优秀的特性可以有效地弥补基于传统RGB相机的目标跟踪算法在目标快速运动和高动态范围环境条件下的不足。

基于事件相机的目标追踪在计算机视觉研究领域虽然得到快速发展和广泛关注，但是由于相关研究的难度，到目前为止有价值的相关研究成果为数不多。这些研究成果基本来自国外的相关研究，国内暂时没有相关的研究出现。这些基于事件相机的目标追踪的相关研究可以大致分为基于聚类算法的方法和不基于聚类算法的方法两类。第一种类型的研究包括：Litzenberger等人受均值漂移(Meanshift)启发所提出的目标追踪方法。Piatkowska等人基于高斯混合模型(Gaussian Mixture Model)提出的带遮挡的多目标追踪方法。Camunas-Mesa等人针对目标跟踪中的遮挡问题，使用两个事件相机组成立体视觉系统，并提出相应的目标跟踪方法。Glover等人基于霍夫变换(Hough Transform)构建簇心，并使用粒子滤波(Particle Filter)追踪簇心，进而目标追踪的方法。第二种类型的研究包括：Mitrokhin等人提出一种运动补偿(Motion Compensation)的思想，将场景运动不一致的部分的异步视觉事件分割出来用于目标检测和目标跟踪的方法。Ramesh等人提出一种基于滑动窗口搜索的长程目标追踪算法。Barranco等人提出一种基于卡尔曼滤波(Kalman Filter)的多目标追踪算法。这些前驱研究都实验验证了事件相机在目标追踪方面的优异性，同时也对更有效的基于事件相机的目标追踪提出了期望。

发明内容

本发明的目的在于提供一种基于事件相机的异步目标跟踪方法。

本发明包括以下步骤：

1)给定事件相机拍摄的图像帧间由于目标运动所产生的异步视觉事件的集合，事件相机(Event Camera)是一种模仿人类视网膜运作机制的仿生学视觉传感器，所述异步视觉事件属于开(On)事件或闭(Off)事件的其中一种，其中开事件表示对应的像素坐标的像素值相较于前一时间点发生了指数程度的增长(变亮)，闭事件则与开事件相反，表示指数程度的下降(变暗)；在环境光照恒定的情况下，像素的灰度变化仅由物体运动触发，所以异步视觉事件可以较为精确地反映物体的运动信息，每个由事件相机捕捉的异步视觉事件可以表示为如下所示的四元组形式：

其中，(u,v)表示异步视觉事件发生在图像平面上的二维坐标，p表示异步视觉事件e为开事件还是闭事件，对应设置为0或1，t表示异步视觉事件发生时微秒级别的时间戳，因为物体运动可能同时产生开事件和闭事件，开事件对应像素值低于背景部分，闭事件对应像素值高于背景部分，且开事件与闭事件之间不存在联系，所以将异步事件集合中的异步视觉事件根据开事件与闭事件的属性分别存储；

在步骤1)中，所述事件相机可采用DAVIS240c事件相机，它可以高速、异步地捕捉场景中存在的异步视觉事件。

2)对步骤1)中的异步视觉事件集合根据异步视觉事件的时空属性投影到一个与事件相机相同尺寸的图像平面上，其中开事件与闭事件分别投影到图像的两个通道中，形成异步视觉事件集合对应的自适应线性衰减时间平面(ATSLTD)帧表示；因为事件相机是以异步的形式记录异步视觉事件，也就是说每个像素可以被相应的像素值指数级别变化单独触发，没有传统相机每隔固定时间间隔所有像素同步触发形成同步图像帧的概念；如果单独研究每个异步视觉事件没有意义，也浪费计算资源，所以需要将异步视觉事件集合中所记录的异步视觉事件聚合，投影到图像平面，形成一种帧的形式；

在步骤2)中，所述一种帧的形式可为自适应线性衰减时间平面(ATSLTD)帧表示，具体过程如下：首先初始化一个要投影到的图像平面，该图像平面的尺寸与事件相机分辨率相同；接着将图像平面的每个坐标的像素值都初始化为0，在投影过程中，步骤1)中异步视觉事件集合中的异步视觉事件根据触发时的时间戳由小到大的顺序依次投影到图像平面上并触发相应的像素值更新，其中，第k个异步视觉事件所触发的更新如下：

其中，t_k和t_k-1为e_k和前一异步视觉事件e_k-1的时间戳，u_k和v_k为e_k的二维像素坐标；通过将步骤1)中的异步视觉事件集合投影到初始化后的图像平面，最终生成的图像帧即为异步视觉事件集合所对应的ATSLTD帧，异步视觉事件集合中开事件和闭事件将会被分别投影到图像的两个通道中，所以对应生成的异步视觉事件帧将会包含两个通道，分别对应开事件和闭事件；由于异步视觉事件基本触发在场景内运动物体的边缘，所以ATSLTD帧的表示形式可以较好地记录运动物体的边缘信息，并用于后续的目标检测与跟踪。

3)对步骤2)中的ATSLTD帧计算非零网格图像熵(NZGE)，并通过t分布计算NZGE值的置信区间用于控制将当前ATSLTD帧异步地加入ATSLTD帧序列中用于目标追踪；所生成的ATSLTD帧序列能够清晰地展现所跟踪目标的轮廓，便于目标跟踪方法的检测和跟踪；

在步骤3)中，所述目标跟踪方法的检测和跟踪的具体过程可为：对步骤1)中生成的图像帧等分成p×q网格，其中，每个网格为r×r像素大小，然后对计算非零网格图像熵(NZGE)：

其中，为具有非零图像熵的网格个数，为第x行，第y列所在网格的图像熵，所用到的图像熵计算如下：

其中，代表在当前网格中像素值为z的像素概率，再采集若干具有清晰物体轮廓的ATSLTD帧，并计算这些ATSLTD帧的NZGE值假设NZGE值服从正态分布N(μ,σ²)，为了计算针对NZGE值的置信区间[α,β]，首先定义一个枢轴量g，如下所示：

其中，和为的样本均值和标准差，n^s为样本个数，枢轴量g服从自由度为n^s-1的t分布t(n^s-1)，经过推导，公式五可以变化为如下形式：

所以在显著性为α的条件下为正态分布N(μ,σ²)的均值μ所估计的置信区间为[α,β]，如下所示：

若当前ATSLTD帧的NZGE值达到所估计的置信区间[α,β]内，则将当前ATSLTD帧加入ATSLTD帧序列中等待后续目标检测与追踪模块处理；若尚未达到，则继续等待后续异步视觉事件更新直到的NZGE值达到置信区间[α,β]，由于快速的目标运动产生大量的像素值变化，进而产生大量的异步视觉事件，因此所生成的ATSLTD帧的NZGE值能够在短时间内达到所估计的置信区间；相比之下，在没有物体运动的时间段内，所生成的ATSLTD帧将无法达到所估计的置信区间，因而后续的目标检测与跟踪模块将会由物体运动的剧烈程度驱动，异步地接收所生成的ATSLTD帧并使整个目标跟踪算法成为异步的形式；当目标物体快速运动时，将会输出更多的ATSLTD帧使得目标检测和跟踪过程具有较高的时空分辨率；当目标物体没有运动时，不输出ATSLTD帧以节省计算资源，这样的自适应设计还可以保持所生成的ATSLTD帧可以记录清晰、锐利的运动物体轮廓，而不是过于模糊，或者过于稀疏的物体轮廓；所述网格的大小可设为r＝4，网格分辨率p×q＝45×60。

4)将步骤3)中的ATSLTD帧序列输入基于物体轮廓的目标检测模块，生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合；

在步骤4)中，所述生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合的具体过程可为：对于步骤3)中最新加入ATSLTD帧序列的ATSLTD帧使用基于物体轮廓的EdgeBoxes目标检测器检测目标建议窗口(Object Proposal)，假设目标物体在前一ATSLTD帧的目标包围盒(Bounding Box)为O_i-1，其中心位置和长宽为c_i-1和(w_i-1,h_i-1)，在检测时，利用ATSLTD帧序列目标时空连续性，EdgeBoxes目标检测器仅在上以c_i-1为中心，以(τw_i-1,τh_i-1)为长宽的搜索区域进行检测，以提高精度和效率；其中，搜索区域系数τ是一个超参数，用于将搜索区域稍微相对于前一帧的目标包围盒O_i-1成比例稍微扩大，通过目标检测可以得到一个目标物体在当前ATSLTD帧上的目标建议窗口集合，此时根据ATSLTD帧序列的时空连续性进一步优化所述目标建议窗口集合，假设P_i是集合其中任意一个目标建议窗口，对P_i计算一个评分，如下所示：

其中，(w_i-1,h_i-1)为O_i-1的长宽，为P_i的长宽，函数φ(·)定义为：

当P_i的评分超过一个阈值λ时，P_i就成为目标物体在当前帧的目标建议窗口，否则将P_i从所述的目标建议窗口集合中删除。

在步骤4)中，搜索区域系数τ＝4，评分阈值λ＝0.7。

5)根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果；

在步骤5)中，所述根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果的具体过程可为：由于ATSLTD帧序列具有较高的时空分辨率，因此相邻帧之间的目标物体包围盒应该具有较大的重叠率，也就是最小的时空信息不一致，所述重叠率可以由IoU(Intersection-over-Union)指标进行度量，定义如下：

这时，在当前ATSLTD帧与前一ATSLTD帧目标物体包围盒具有最大IoU的目标建议窗口就被选为最终的追踪结果。

6)若步骤5)中跟踪结果与上一帧重叠率较低，则使用步骤2)中的异步视觉事件集合重建对应灰度图像，并根据灰度图像的帮助恢复对目标物体的精确跟踪。

在步骤6)中，所述根据灰度图像的帮助恢复对目标物体的精确跟踪的具体过程可为：若步骤5)中跟踪结果与上一帧目标物体的包围盒IoU低于一个IoU阈值ω，此时认为目标追踪失败并使用Pure Event Reconstruction方法从步骤2)中的异步视觉事件集合重建对应灰度图像；然后使用DaSiamRPN方法在重建的灰度图像上定位并重新初始化；最后，在公开数据集上对N^obj个目标物体测试N^rep次，目标物体跟踪的质量可以按照如下所示的AP和AR指标进行度量：

其中，AP用于测试运动参数的精度，表示第a个物体的第b次测试所生成的目标包围盒，是对应的真实值，AR用于测试运动参数的精度，success_a,b表示当前物体运动是否估计失败，若和的IoU低于IoU阈值ω，则被认为第a个物体的第b次目标跟踪失败，且success_a,b为0，反之success_a,b为1；经过测试，与当前主流的目标跟踪方法相比，本发明方法的性能有所提升，尤其是对快速运动和高动态范围场景具有较好的效果。

在步骤6)中，IoU阈值ω设置为0.5。

本发明提供一种有效的基于事件相机的异步目标跟踪方法，该方法针对传统相机对目标快速运动和高动态范围场景不鲁棒的缺点，提出一种基于事件相机的异步目标跟踪方法。所提出的目标跟踪方法采用本发明提出的自适应线性衰减时间平面(ATSLTD)帧序列作为输入。所提出的ATSLTD帧序列由事件相机捕捉到的异步视觉事件序列经过异步转换方法生成，能够清晰地展现所跟踪目标的轮廓，便于所提出的目标跟踪方法的检测和跟踪。所提出的目标跟踪方法包含三个主要部分：开始的目标检测模块、目标跟踪模块和恢复跟踪模块；所述开始的目标检测模块用于提取ATSLTD帧上的目标建议窗口；所述目标跟踪模块根据最小化目标时空不一致信息原则选择最佳的目标建议窗口作为跟踪结果；所述恢复跟踪模块用于跟踪失败时恢复对目标的跟踪。该方法能够有效地应对目标跟踪中存在的目标快速运动和高动态范围场景等问题，取得了优于主流基于传统相机的目标跟踪算法的精度。

附图说明

图1为本发明实施例的整体流程图。

图2为ATSLTD帧序列的示意图。

图3为对比本发明所提出的基于ATSLTD的异步视觉事件序列到帧序列的异步转换方法和传统基于固定时间窗口的同步转换方法。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明实施例包括以下步骤：

1)给定事件相机拍摄的图像帧间由于目标运动所产生的异步视觉事件的集合，事件相机(Event Camera)是一种模仿人类视网膜运作机制的仿生学视觉传感器，所述异步视觉事件属于开(On)事件或闭(Off)事件的其中一种，其中开事件表示对应的像素坐标的像素值相较于前一时间点发生了指数程度的增长(变亮)，闭事件则与开事件相反，表示指数程度的下降(变暗)，在环境光照恒定的情况下，像素的灰度变化仅由物体运动触发，所以异步视觉事件可以较为精确地反映物体的运动信息，每个由事件相机捕捉的异步视觉事件可以表示为如下所示的四元组形式：

其中，(u,v)表示异步视觉事件发生在图像平面上的二维坐标，p表示异步视觉事件e为开事件还是闭事件，对应设置为0或1，t表示异步视觉事件发生时微秒级别的时间戳，因为物体运动可能同时产生开事件和闭事件，开事件对应像素值低于背景部分，闭事件对应像素值高于背景部分，且开事件与闭事件之间不存在联系，所以将异步事件集合中的异步视觉事件根据开事件与闭事件的属性分别存储；所述事件相机可采用DAVIS240c事件相机，它可以高速、异步地捕捉场景中存在的异步视觉事件。

2)对步骤1)中的异步视觉事件集合根据异步视觉事件的时空属性投影到一个与事件相机相同尺寸的图像平面上，其中开事件与闭事件分别投影到图像的两个通道中，形成异步视觉事件集合对应的自适应线性衰减时间平面(ATSLTD)帧表示；因为事件相机是以异步的形式记录异步视觉事件，也就是说每个像素可以被相应的像素值指数级别变化单独触发，没有传统相机每隔固定时间间隔所有像素同步触发形成同步图像帧的概念；如果单独研究每个异步视觉事件没有意义，也浪费计算资源，所以需要将异步视觉事件集合中所记录的异步视觉事件聚合，投影到图像平面，形成一种帧的形式。所述一种帧的形式为自适应线性衰减时间平面(ATSLTD)帧表示，具体过程如下：首先初始化一个要投影到的图像平面，该图像平面的尺寸与事件相机分辨率相同；接着将图像平面的每个坐标的像素值都初始化为0，在投影过程中，步骤1)中异步视觉事件集合中的异步视觉事件根据触发时的时间戳由小到大的顺序依次投影到图像平面上并触发相应的像素值更新，其中，第k个异步视觉事件所触发的更新如下：

其中，t_k和t_k-1为e_k和前一异步视觉事件e_k-1的时间戳，u_k和v_k为e_k的二维像素坐标；通过将步骤1)中的异步视觉事件集合投影到初始化后的图像平面，最终生成的图像帧即为异步视觉事件集合所对应的ATSLTD帧，异步视觉事件集合中开事件和闭事件将会被分别投影到图像的两个通道中，所以对应生成的异步视觉事件帧将会包含两个通道，分别对应开事件和闭事件；由于异步视觉事件基本触发在场景内运动物体的边缘，所以ATSLTD帧的表示形式可以较好地记录运动物体的边缘信息，并用于后续的目标检测与跟踪。

3)对步骤2)中的ATSLTD帧计算非零网格图像熵(NZGE)，并通过t分布计算NZGE值的置信区间用于控制将当前ATSLTD帧异步地加入ATSLTD帧序列中用于目标追踪；所生成的ATSLTD帧序列能够清晰地展现所跟踪目标的轮廓，便于目标跟踪方法的检测和跟踪，具体过程为：对步骤1)中生成的图像帧等分成p×q网格，其中，每个网格为r×r像素大小，然后对计算非零网格图像熵(NZGE)：

其中，为具有非零图像熵的网格个数，为第x行，第y列所在网格的图像熵，所用到的图像熵计算如下：

其中，代表在当前网格中像素值为z的像素概率，再采集若干具有清晰物体轮廓的ATSLTD帧，并计算这些ATSLTD帧的NZGE值假设NZGE值服从正态分布N(μ,σ²)，为了计算针对NZGE值的置信区间[α,β]，首先定义一个枢轴量g，如下所示：

其中，和为的样本均值和标准差，n^s为样本个数，枢轴量g服从自由度为n^s-1的t分布t(n^s-1)，经过推导，公式五可以变化为如下形式：

所以在显著性为α的条件下为正态分布N(μ,σ²)的均值μ所估计的置信区间为[α,β]，如下所示：

若当前ATSLTD帧的NZGE值达到所估计的置信区间[α,β]内，则将当前ATSLTD帧加入ATSLTD帧序列中等待后续目标检测与追踪模块处理；若尚未达到，则继续等待后续异步视觉事件更新直到的NZGE值达到置信区间[α，β]，由于快速的目标运动产生大量的像素值变化，进而产生大量的异步视觉事件，因此所生成的ATSLTD帧的NZGE值能够在短时间内达到所估计的置信区间；相比之下，在没有物体运动的时间段内，所生成的ATSLTD帧将无法达到所估计的置信区间，因而后续的目标检测与跟踪模块将会由物体运动的剧烈程度驱动，异步地接收所生成的ATSLTD帧并使整个目标跟踪算法成为异步的形式；当目标物体快速运动时，将会输出更多的ATSLTD帧使得目标检测和跟踪过程具有较高的时空分辨率；当目标物体没有运动时，不输出ATSLTD帧以节省计算资源，这样的自适应设计还可以保持所生成的ATSLTD帧可以记录清晰、锐利的运动物体轮廓，而不是过于模糊，或者过于稀疏的物体轮廓；所述网格的大小可设为r＝4，网格分辨率p×q＝45×60。

ATSLTD帧序列的示意图参见图2。

4)将步骤3)中的ATSLTD帧序列输入基于物体轮廓的目标检测模块，生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合，具体过程为：对于步骤3)中最新加入ATSLTD帧序列的ATSLTD帧使用基于物体轮廓的EdgeBoxes目标检测器检测目标建议窗口(Object Proposal)，假设目标物体在前一ATSLTD帧的目标包围盒(Bounding Box)为O_i-1，其中心位置和长宽为c_i-1和(w_i-1,h_i-1)，在检测时，利用ATSLTD帧序列目标时空连续性，EdgeBoxes目标检测器仅在上以c_i-1为中心，以(τw_i-1,τh_i-1)为长宽的搜索区域进行检测，以提高精度和效率；其中，搜索区域系数τ是一个超参数，用于将搜索区域稍微相对于前一帧的目标包围盒O_i-1成比例稍微扩大，通过目标检测可以得到一个目标物体在当前ATSLTD帧上的目标建议窗口集合，此时根据ATSLTD帧序列的时空连续性进一步优化所述目标建议窗口集合，假设P_i是集合其中任意一个目标建议窗口，对P_i计算一个评分，如下所示：

其中，(w_i-1,h_i-1)为O_i-1的长宽，为P_i的长宽，函数φ(·)定义为：

当P_i的评分超过一个阈值λ时，P_i就成为目标物体在当前帧的目标建议窗口，否则将P_i从所述的目标建议窗口集合中删除。搜索区域系数τ＝4，评分阈值λ＝0.7。

5)根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果，具体过程为：由于ATSLTD帧序列具有较高的时空分辨率，因此相邻帧之间的目标物体包围盒应该具有较大的重叠率，也就是最小的时空信息不一致，所述重叠率可以由IoU(Intersection-over-Union)指标进行度量，定义如下：

这时，在当前ATSLTD帧与前一ATSLTD帧目标物体包围盒具有最大IoU的目标建议窗口就被选为最终的追踪结果。

6)若步骤5)中跟踪结果与上一帧重叠率较低，则使用步骤2)中的异步视觉事件集合重建对应灰度图像，并根据灰度图像的帮助恢复对目标物体的精确跟踪，具体过程为：若步骤5)中跟踪结果与上一帧目标物体的包围盒IoU低于一个IoU阈值ω，此时认为目标追踪失败并使用Pure Event Reconstruction方法从步骤2)中的异步视觉事件集合重建对应灰度图像；然后使用DaSiamRPN方法在重建的灰度图像上定位并重新初始化；最后，在公开数据集上对N^obj个目标物体测试N^rep次，目标物体跟踪的质量可以按照如下所示的AP和AR指标进行度量：

其中，AP用于测试运动参数的精度，表示第a个物体的第b次测试所生成的目标包围盒，是对应的真实值，AR用于测试运动参数的精度，success_a,b表示当前物体运动是否估计失败，若和的IoU低于IoU阈值ω，则被认为第a个物体的第b次目标跟踪失败，且success_a,b为0，反之success_a,b为1；经过测试，与当前主流的目标跟踪方法相比，本发明方法的性能有所提升，尤其是对快速运动和高动态范围场景具有较好的效果，IoU阈值ω设置为0.5。

在测试阶段，本发明所述方法与主流目标追踪方法：KCF，TLD，SiamFC，ECO，DaSiamRPN和E-MS进行了对比。本发明所述方法与对比算法在事件相机数据集(EventCamera Dataset)和极限事件数据集(Extreme Event Dataset)所有序列上的定量结果分别如表1和表2所示。两个数据集囊括了多种目标物体快速运动和高动态范围场景。根据图3的定性结果以及表1和表2的定量结果可以看出，与当前主流的目标跟踪方法相比，本发明的目标跟踪的性能有所提升，尤其是对快速运动和低光照的运动样本具有较好的目标跟踪效果。

表1

表1为本发明与对比目标跟踪方法在事件相机数据集上对比的定量数据结果。事件相机数据集包含shapes_translation，shapes_6dof，poster_6dof和slider_depth四个测试序列，采用的是本发明提出的AP以及AR度量所有方法的精度与鲁棒性。其中：

具有代表性的目标追踪方法在事件相机数据集(Event Camera Dataset)和极限事件数据集(Extreme Event Dataset)上对比的定性结果。从左到右，奇数列为其他四种方法(SiamFC，ECO，DaSiamRPN和E-MS)在普通视频帧序列上的表现，偶数列为本发明所提出的目标追踪方法在对应的ATSLTD帧序列上的表现，其中：

事件相机数据集(Event Camera Dataset)对应为E.Mueggler等人提出的数据集(E.Mueggler,H.Rebecq,G.Gallego,T.Delbruck,and D.Scaramuzza.The event-cameradataset and simulator:Event-based data for pose estimation,visual odometry,and SLAM.The International Journal of Robotics Research,36(2):142–149,2017)；

极限事件数据集(Extreme Event Dataset)对应为A.Mitrokhin等人提出的数据集(A.Mitrokhin,C.Fermuller,C.Parameshwara,and Y.Aloimonos.Event-based movingobject detection and tracking.IEEE/RSJ International Conference onIntelligent Robots and Systems(IROS),pages 1-9,2018)；

KCF对应为J.F.Henriques等人提出的方法(J.F.Henriques,R.Caseiro,P.Martins,and J.Batista,“High-speed tracking with kernelized correlationfilters,”IEEE Trans.Pattern Anal.Mach.Intell.(TPAMI),vol.37,no.3,pp.583–596,2015.)；

TLD对应为Y.Zhai等人提出的方法(Z.Kalal,K.Mikolajczyk,and J.Matas,“Tracking-learning-detection,”IEEE Trans.Pattern Anal.Mach.Intell.(TPAMI),vol.34,no.7,pp.1409–1422,2012.)；

SiamFC对应为L.Bertinetto等人提出的方法(L.Bertinetto,J.Valmadre,J.F.Henriques,A.Vedaldi,and P.H.Torr.Fully-convolutional siamese networks forobject tracking.In Proc.of European Conference on Computer Vision(ECCV),pages850–865,2016)；

ECO对应为M.Danelljan等人提出的方法(M.Danelljan,G.Bhat,F.S.Khan,andM.Felsberg,“ECO:efficient convolution operators for tracking,”in Proc.IEEEConf.Comput.Vis.Pattern Recognit.(CVPR),pages 6638-6646,2017)；

DaSiamRPN对应为Z.Zhu等人提出的方法(Z.Zhu,Q.Wang,B.Li,W.Wu,J.J.Yan,andW.M.Hu,“Distractor-aware siamese networks for visual object tracking,”inProc.Proceedings of the European Conference on Computer Vision(ECCV),pages101-117,2018)；

E-MS对应为B.Francisco等人提出的方法(B.Francisco,F.Cornelia,andR.Eduardo.Real-time clustering and multi-target tracking using event-basedsensors.In Proc.of IEEE/RSJ International Conference on Intelligent Robotsand Systems(IROS),pages 5764--5769,2018)。

表2

表2为本发明与其他目标跟踪方法在极限事件数据集上对比的定量数据结果。极限事件数据集包含fast_drone，light_variations，what_is_background和occlusions四个测试序列，采用的是本发明提出的AP以及AR度量所有方法的精度与鲁棒性。所对比的相关工作与表一介绍的一致。

Claims (10)

1.一种基于事件相机的异步目标跟踪方法，其特征在于包括以下步骤：

1)给定事件相机拍摄的图像帧间由于目标运动所产生的异步视觉事件的集合，事件相机是一种模仿人类视网膜运作机制的仿生学视觉传感器，所述异步视觉事件属于开事件或闭事件的其中一种，其中开事件表示对应的像素坐标的像素值相较于前一时间点发生了指数程度的增长或变亮，闭事件则与开事件相反表示指数程度的下降或变暗，像素灰度变化由物体运动造成，所以异步视觉事件反映物体的运动信息，每个由事件相机捕捉的异步视觉事件表示为如下所示的四元组形式：

其中，(u,v)表示异步视觉事件发生在图像平面上的二维坐标，p表示异步视觉事件e为开事件还是闭事件，对应设置为0或1，t表示异步视觉事件发生时微秒级别的时间戳，因为物体运动同时产生开事件和闭事件，开事件对应像素值低于背景部分，闭事件对应像素值高于背景部分，且开事件与闭事件之间不存在联系，所以将异步事件集合中的异步视觉事件根据开事件与闭事件的属性分别存储；

2)对步骤1)中的异步视觉事件集合根据异步视觉事件的时空属性投影到一个与事件相机相同尺寸的图像平面上，其中开事件与闭事件分别投影到图像的两个通道中，形成异步视觉事件集合对应的自适应线性衰减时间平面帧表示；因为事件相机是以异步的形式记录异步视觉事件，即每个像素被相应的像素值指数级别变化单独触发，将异步视觉事件集合中所记录的异步视觉事件聚合，投影到图像平面，形成一种帧的形式；

3)对步骤2)中的ATSLTD帧计算非零网格图像熵，并通过t分布计算NZGE值的置信区间用于控制将当前ATSLTD帧异步地加入ATSLTD帧序列中用于目标追踪；所生成的ATSLTD帧序列能够清晰地展现所跟踪目标的轮廓，便于目标跟踪方法的检测和跟踪；

4)将步骤3)中的ATSLTD帧序列输入基于物体轮廓的目标检测模块，生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合；

5)根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果；

6)若步骤5)中跟踪结果与上一帧重叠率较低，则使用步骤2)中的异步视觉事件集合重建对应灰度图像，并根据灰度图像的帮助恢复对目标物体的精确跟踪。

2.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤1)中，所述事件相机采用DAVIS240c事件相机。

3.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤2)中，所述一种帧的形式为自适应线性衰减时间平面帧表示，具体过程如下：首先初始化一个要投影到的图像平面，该图像平面的尺寸与事件相机分辨率相同；接着将图像平面的每个坐标的像素值都初始化为0，在投影过程中，步骤1)中异步视觉事件集合中的异步视觉事件根据触发时的时间戳由小到大的顺序依次投影到图像平面上并触发相应的像素值更新，其中，第k个异步视觉事件所触发的更新如下：

其中，t_k和t_k-1为e_k和前一异步视觉事件e_k-1的时间戳，u_k和v_k为e_k的二维像素坐标；通过将步骤1)中的异步视觉事件集合投影到初始化后的图像平面，最终生成的图像帧即为异步视觉事件集合所对应的ATSLTD帧，异步视觉事件集合中开事件和闭事件将会被分别投影到图像的两个通道中，所以对应生成的异步视觉事件帧将会包含两个通道，分别对应开事件和闭事件；由于异步视觉事件基本触发在场景内运动物体的边缘，因此ATSLTD帧的表示形式记录运动物体的边缘信息，并用于后续的目标检测与跟踪。

4.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤3)中，所述目标跟踪方法的检测和跟踪的具体过程为：对步骤1)中生成的图像帧等分成p×q网格，其中，每个网格为r×r像素大小，然后对计算非零网格图像熵：

其中，为具有非零图像熵的网格个数，为第x行，第y列所在网格的图像熵，所用到的图像熵计算如下：

其中，代表在当前网格中像素值为z的像素概率，再采集若干具有清晰物体轮廓的ATSLTD帧，并计算这些ATSLTD帧的NZGE值假设NZGE值服从正态分布N(μ,σ²)，为了计算针对NZGE值的置信区间[α,β]，首先定义一个枢轴量g，如下所示：

其中，和为的样本均值和标准差，n^s为样本个数，枢轴量g服从自由度为n^s-1的t分布t(n^s-1)，经过推导，上式变化为如下形式：

所以在显著性为α的条件下为正态分布N(μ,σ²)的均值μ所估计的置信区间为[α,β]，如下所示：

若当前ATSLTD帧的NZGE值达到所估计的置信区间[α,β]内，则将当前ATSLTD帧加入ATSLTD帧序列中等待后续目标检测与追踪模块处理；若尚未达到，则继续等待后续异步视觉事件更新直到的NZGE值达到置信区间[α,β]，由于快速的目标运动产生大量的像素值变化，进而产生大量的异步视觉事件，因此所生成的ATSLTD帧的NZGE值能够在短时间内达到所估计的置信区间；相比之下，在没有物体运动的时间段内，所生成的ATSLTD帧将无法达到所估计的置信区间，因而后续的目标检测与跟踪模块将会由物体运动的剧烈程度驱动，异步地接收所生成的ATSLTD帧并使整个目标跟踪算法成为异步的形式；当目标物体快速运动时，将会输出更多的ATSLTD帧使得目标检测和跟踪过程具有较高的时空分辨率；当目标物体没有运动时，不输出ATSLTD帧，保持所生成的ATSLTD帧记录的运动物体轮廓。

5.如权利要求4所述一种基于事件相机的异步目标跟踪方法，其特征在于所述网格的大小设为r＝4，网格分辨率p×q＝45×60。

6.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤4)中，所述生成在当前ATSLTD帧对所跟踪目标的目标建议窗口集合的具体过程为：对于步骤3)中最新加入ATSLTD帧序列的ATSLTD帧使用基于物体轮廓的EdgeBoxes目标检测器检测目标建议窗口，假设目标物体在前一ATSLTD帧的目标包围盒为O_i-1，其中心位置和长宽为c_i-1和(w_i-1,h_i-1)，在检测时，利用ATSLTD帧序列目标时空连续性，EdgeBoxes目标检测器仅在上以c_i-1为中心，以(τw_i-1,τh_i-1)为长宽的搜索区域进行检测，其中，搜索区域系数τ是一个超参数，用于将搜索区域稍微相对于前一帧的目标包围盒O_i-1成比例稍微扩大，通过目标检测得到一个目标物体在当前ATSLTD帧上的目标建议窗口集合，根据ATSLTD帧序列的时空连续性进一步优化所述目标建议窗口集合，设P_i是集合其中任意一个目标建议窗口，对P_i计算一个评分，如下所示：

其中，(w_i-1,h_i-1)为O_i-1的长宽，为P_i的长宽，函数φ(·)定义为：

当P_i的评分超过一个阈值λ时，P_i就成为目标物体在当前帧的目标建议窗口，否则将P_i从所述的目标建议窗口集合中删除。

7.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤4)中，搜索区域系数τ＝4，评分阈值λ＝0.7。

8.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤5)中，所述根据最小化目标时空不一致信息原则，从步骤4)所生成目标建议窗口集合中选取最佳的目标建议窗口作为跟踪结果的具体过程为：由于ATSLTD帧序列具有较高的时空分辨率，因此相邻帧之间的目标物体包围盒应该具有较大的重叠率，也就是最小的时空信息不一致，所述重叠率由IoU指标进行度量，定义如下：

这时，在当前ATSLTD帧与前一ATSLTD帧目标物体包围盒具有最大IoU的目标建议窗口就被选为最终的追踪结果。

9.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤6)中，所述根据灰度图像的帮助恢复对目标物体的精确跟踪的具体过程为：若步骤5)中跟踪结果与上一帧目标物体的包围盒IoU低于一个IoU阈值ω，此时认为目标追踪失败并使用PureEvent Reconstruction方法从步骤2)中的异步视觉事件集合重建对应灰度图像；然后使用DaSiamRPN方法在重建的灰度图像上定位并重新初始化；最后，在公开数据集上对N^obj个目标物体测试N^rep次，目标物体跟踪的质量按照如下所示的AP和AR指标进行度量：

其中，AP用于测试运动参数的精度，表示第a个物体的第b次测试所生成的目标包围盒，是对应的真实值，AR用于测试运动参数的精度，success_a,b表示当前物体运动是否估计失败，若和的IoU低于ω，则被认为第a个物体的第b次目标跟踪失败，且success_a,b为0，反之success_a,b为1。

10.如权利要求1所述一种基于事件相机的异步目标跟踪方法，其特征在于在步骤6)中，IoU阈值ω设置为0.5。