CN106462976A

CN106462976A - 在异步传感器观测到的场景中追踪形状的方法

Info

Publication number: CN106462976A
Application number: CN201580024149.6A
Authority: CN
Inventors: 尔亚德·贝诺斯梅恩; 西奥霍伊·伊恩格; 斯泰凡·雷格尼厄; 倪·振江
Original assignee: Centre National de la Recherche Scientifique CNRS; Universite Pierre et Marie Curie Paris 6
Current assignee: Centre National de la Recherche Scientifique CNRS; Universite Pierre et Marie Curie Paris 6
Priority date: 2014-04-30
Filing date: 2015-04-24
Publication date: 2017-02-22
Anticipated expiration: 2035-04-24
Also published as: US10109057B2; FR3020699A1; JP6665110B2; EP3138079B1; KR20170015306A; EP3138079A1; US20170053407A1; CN106462976B; WO2015166176A1; JP2017521746A; KR102326789B1

Abstract

通过传感器(10)提供异步信息，所述传感器(10)的像素矩阵与场景相对设置。对于矩阵的每个像素而言，异步信息都包括源自该像素的连续事件(ev(p，t))，所述连续事件取决于场景中光的变化。在异步信息中检测到归于该物体的事件之后，对代表追踪的物体形状的模型进行修正。检测到事件之后，模型修正包括通过使相对于矩阵像素的距离判据最小化把模型中的一个点与检测到的事件相关联，其中所检测到的事件源于所述矩阵像素。然后根据矩阵像素以及模型中的关联点确定修正的模型，这与检测到该事件之前进行的关联无关，所检测到的事件源于所述矩阵的像素，并且所述矩阵的像素归于物体。

Description

在异步传感器观测到的场景中追踪形状的方法

本发明涉及在通过光传感器观测到的场景中检测和追踪运动物体的方法。

在已知用于检测图像中物体的技术中，有搜索最近点的迭代算法，即ICP(迭代最近点)型算法。此ICP算法因其在深度数据配准、3维重构、物体追踪和运动分析之类应用中的有效性而众所周知。例如，参见2001年6月第三届三维数字成像及造型国际会议第145-152页上由S.Rusinkiewicz和M.Levoy发布的文章《ICP算法的有效变体》。

ICP算法的原则是利用一个点集，该点集被用作界定物体轮廓的模型，从而使其与作为采集数据一部分的点集相对应。估算已知模型集与数据的点集之间的变换，从而通过使误差函数最小化来表达其几何关系。在提供该形状模型的情况下，任意形状的追踪都可以通过ICP技术解决。

在2012年《数学成像和视觉学报》(Journal of Mathematical Imaging andVision)的第43卷，第1期，第1-9页由M.Hersch等人发布的文章《刚体变换的迭代估算——应用于鲁棒物体追踪和迭代最近点》(Iterative Estimation of Rigid BodyTransformations–Application to robust object tracking and Iterative ClosestPoint)展示了执行ICP算法的迭代方法。为了确定使之能够在图像中检测由点集{x_i}界定的图案的刚性空间变换，图像的点{y_i}分别与所述点集{x_i}相对应，用迭代解代替经典分析闭形解，该经典分析闭形解在于通过使形状误差判据最小化来求变换T，其中求和关系到图案的点集x_i，在所述迭代解中，取变换T的初始估值，而且每次迭代都在于从图案中随机地取一个点x_i、在图像中找到其相应的点y_i，并在于通过减去相对于变化T的平移和旋转参数与成梯度比例的一项而修正变换T。当变换T从一次迭代到另一次迭代变得平稳时，停止迭代，并将T保留作为使之能够检测图像中的图案的变换的最终估值。

在以连续捕获的图像为基础的传统视景中，相机的图像率(例如，约为60张图像每秒)通常对于ICP技术而言是不够的。连续图像中相同信息的重复计算也限制了ICP算法的实时性能。实际上，其受限于检测移动不是很快的简单形状的情况。

与在定期取样时刻记录连续图像的传统相机相反，生物视网膜只传递很少关于待显影的场景的冗余信息，而且这是异步的。基于事件的异步视觉传感器以事件的形式传送压缩的数字数据。可在Delbrück等人在2010年IEEE电路与系统国际会议(ISCAS)的会议录第2426-2429页发布的《基于事件的活动驱动式视觉传感器(Activity-Driven,Event-Based Vision Sensors)》中查阅这种传感器的介绍。与传统相机相比，基于事件的视觉传感器的优点是去除冗余、缩短延迟时间并增加动态范围。

对于每个像素地址而言，这种视觉传感器的输出在于一系列异步事件，所述异步事件代表其发生时场景中反射率的变化。传感器的每个像素都是独立的，并且从发射最后的事件开始检测大于阈值的强度的变化，(例如，关于强度的对数的15％的对比度)。在强度变化超出阈值集的情况下，由像素根据强度增加或减少生成打开(On)事件或关闭(OFF)事件。某些异步传感器把检测的事件与强度的测量值联系在一起。因为传感器不像传统相机那样根据时钟采样，它可以按照非常高的时间精度(例如，约为1μs)把事件的排序考虑在内。如果用这种传感器重构一系列图像，可以达到数千赫的图像帧频，与传统相机的几十赫形成对比。

基于事件的视觉传感器具有很好的前景，并且适合提出了利用通过这种传感器传递的信号来追踪运动物体的有效方法。

在《New Orleans》2007年5月27-30版ISCAS2007第845-848页的《以基于事件的混合神经形态程序化系统为基础的快速感觉运动控制》(Fast sensory motor controlbased on event-based hybrid neuromorphic-procedural system)中，T.Delbrück和P.Lichtsteiner描述了一种追踪集群的算法(集群追踪器)，例如，可将其用于利用基于事件的视觉传感器来控制足球的守门员机器人。每个集群使一个移动物体模仿一个事件源。进入集群的事件改变集群的位置。仅在集群接收的事件的数量大于阈值的情况下，才将集群视为可见集群。

在由Z.Ni等人在2012年第5期《IEEE Transactions on Robotics》第28卷，第1081-1089页发布的《用于微型机器人的稳定触觉反馈的基于事件的异步视觉形状追踪》(Asynchronous event-based visual shape tracking for stable haptic feedback inmicrorobotics)中，提出了一种ICP算法的基于事件的版本，该版本以解析形式的代价函数最小化为基础。

需要一种迅速的、并且具有良好时间精度的追踪形状的方法。

一种在场景中追踪形状的方法被提出，包括：

-从光传感器接收异步信息，所述光传感器的像素矩阵与场景相对设置，其中，对于矩阵的每个像素而言，异步信息包括异步地源自所述像素的连续事件；以及，

-在异步信息中检测到归于所述物体的事件之后，修正模型，所述模型包括点集，并代表追踪的物体形状。

检测到事件之后，修正包括：

-把检测到的事件与模型的一个点相关联，所述模型的点相对于矩阵的像素距离最小，检测到的事件源自所述矩阵的像素；以及，

-根据矩阵的像素和关联点确定修正的模型，检测到的事件源自所述矩阵的像素，这与检测到所述事件之前执行的关联无关。

采集完整图像之后，乃至采集关于场景中追踪形状的充足数量的事件之后，不按照分组的方式进行匹配观测到的点与模型。随着异步事件到达，通过迭代算法进行形状追踪要快得多。

确定使之能够修正模型的空间变换通常以下列形式的代价函数(cost function)最小化为基础：

∑D(p[ev],F_t(A[ev])) (1)

其中：p[ev]是指像素矩阵中的位置，事件ev来源于该位置；

A[ev]是指与事件ev关联的模型的点；

F_t(.)是指空间变换；

D(.,.)是矩阵平面中的距离测量值；

而且，求和涉及到已经执行的一定数量的关联

在所提出的方法中，途径有所不同，因为考虑到了当前事件与已经与之关联的模型的点之间的关联，而不是之前的关联。因为不能单独根据这一点使代价函数最小化，每次迭代都能够计算一个修正项，这与梯度下降没有什么不同，将此应用于模型，从而把模型收敛到正确追踪场景中的形状的解。因为动力学缘故，以及因为运动引起的事件数量高，所以即便在物体处于运动的情况下，也能确保如此收敛。

为了过滤采集噪声，在模型点的位置相对于检测到的事件所源自的像素的距离小于阈值的情况下，可以避免修正模型，在这种情况下，所述事件不归于物体。

该方法的一个令人关注实施例进一步包括：

-通过在当前时刻结束的时间窗口期间使关于点集的距离判据最小化来估算物体的位移平面，其中，在三维空间中估算位移平面，所述三维空间就是与像素矩阵两个方向相对应的两个空间维度以及一个时间维度，所述点集标记归于物体的检测到的事件；以及，

-检测到事件之后，考虑估算的物体位移平面，从而决定是否把所述事件归于物体。

前述“位移平面”的属性考虑到数块有用的处理，尤其是在多个物体具有在场景中被追踪的各自形状的情况下，每个物体都具有在检测到事件之后被修正的各自模型以及一个估算的位移平面，所述事件归于所述物体。

例如，检测到可归于其中至少两个物体的事件之后，可以计算三维空间中标记检测到的事件的点与分别针对所述物体估算的位移平面之间的各个距离，并且可以把检测到的事件归于物体，对于所述物体而言，所计算的距离最小。这样使之能够把空间限制和时间限制相结合，以便消除多个物体之间的模糊性，检测到的事件可归于所述物体。

另一种可能性是估算物体的位移平面之间的距离的统计分布以及标记检测到的事件的点的统计分布，所述检测到的事件归于物体，而且在检测到事件之后，可能考虑估算的物体的位移平面以及估算的统计分布，从而决定是否把事件归于物体。这样在异步传感器本身运动的情况下，使之能够考虑到场景背景的可能性运动。尤其是，能够确定基于所估算的统计分布的容许距离值的区间，而且，如果在三维空间中标记这个检测到的事件的点相对于估算的位移平面的距离在容许距离值的区间以外，则能够不把检测到的事件归于物体。

在多个具有在场景中被追踪的各自形状的物体，每个物体都具有在检测到归于物体的事件之后被修正的各自模型情况下，可提供其它特征。

例如，如果在检测到事件之后，只有其中一个物体满足在模型中具有一个相对于矩阵像素的距离小于阈值的点的条件，所检测到的事件源于所述矩阵的像素，则把检测到的事件归于所述其中一个物体。

在检测到可归于至少其中两个物体的事件之后，可以考虑空间限制，从而消除模糊性。对于每个物体而言，检测到的事件可归于每个物体，一种可能性是通过使相对于矩阵像素的距离判据最小化而把检测到的事件与该物体的模型的点相关联，其中所检测到的事件源自所述矩阵像素，并且可能把检测到的事件归于物体，对于该物体而言，最小化距离判据最低。一种选择方案是把检测到的事件不分配给任何一个物体。

另一种选择方案在于把检测到的事件分配给每一个物体，检测到的事件归于所述每一个物体。可通过权重进行修正模型，检测到的事件归于所述物体，所述权重取决于针对所述物体分别最小化的距离判据。

检测到可归于至少两个物体的事件之后，可以考虑时间限制，从而消除模糊性。一种可能性是，对于每个物体而言，估算归于该物体的事件率，并记住检测到归于所述物体的最后一个事件的时刻。然后把可归于至少两个物体的事件归于其中一个物体，对于所述其中一个物体而言，按照记住的时刻与检测到所述事件的时刻之间的时间间隔估算的事件率的乘积最接近1。

该方法的一个实施例中，确定修正的模型包括估算通过一组参数界定的空间变换，以及把估算的空间变换应用到模型。估算空间变换包括根据像素矩阵平面内矩阵的像素与通过把空间变换应用到与检测到的事件相关的模型的点而得到的一个点之间的距离梯度来计算所述参数，其中检测到的事件源自所述矩阵的像素。

一个特殊情况是空间变换是刚性变换，包括在像素矩阵的平面内平移和旋转。一种可能性是为平移取一个矢量ΔT，其等于为旋转取一个角度Δθ，其等于其中，η₁和η₂是预定义的正收敛阶，θ₀和ΔT₀是旋转角度和平移矢量的特殊值。例如，取以及其中p是指矩阵的像素，检测到的事件源自所述矩阵的像素，m是指与检测到的事件关联的模型的点，c是指旋转的中心，cp是指从c指向p的矢量，cm是指从c指向m的矢量，是中心c和角度Δθ₀的旋度。

另一种有益的情况是空间变换为仿射变换，进一步包括按照像素矩阵中包含的两条轴线应用各自的比例因子。可以分别根据s_x＝1+η₃.(|p_x|–|m_x|)以及s_y＝1+η₃.(|p_y|–|m_y|)计算沿着两条轴线x、y的比例因子s_x、s_y，其中，η₃是预定义的正收敛阶，p_x和p_y是沿着矩阵的像素的轴线x和y的坐标，检测到的事件源自所述矩阵的像素，m_x和m_y是沿着与检测到的事件关联的模型的点的轴线x和y的坐标。

本发明的另一方面涉及到一种在场景中追踪形状的装置，包括计算机，配置该计算机利用从光传感器接收的异步信息执行上文所定义的方法。

在下文说明中，参考附图，本发明的其它特征和优点将显而易见，其中：

-图1是一幅适合实施本发明的装置的框图；

-图2A是一幅显示了关于异步传感器像素的光强度分布的一个实例的图表；

-图2B显示了由异步传感器响应图2A的强度分布而传递的信号的一个实例；

-图2C显示了利用图2B的信号重构强度分布；

-图3A-3B是与图2A-2B相似的图表，显示了一种本方法的另一个实施例所使用的光采集方法；

-图4是一幅ATIS型异步光传感器的框图；

-图5是一幅显示了通过异步传感器生成的事件的图表；所述异步传感器位于包含旋转星形物的场景的对面；

-图6A是一件设备的视图，该设备用于测试根据本发明追踪形状的方法的操作；

-图6B显示了一个按照图5A的配置所获得的事件积累卡的实例；

-图7显示了不同的图像，从而显示在旋转星形物的实例中ICP算法的运算；

-图8显示了一幅可在本发明的一些实施过程中应用的算法的实例的流程图；

-图9和图10是显示了用于说明本发明的某些实施例的几何要素的图表；

-图11是一幅可在本发明其它实施过程中应用的算法的实例的流程图；

-图12是一幅图表，显示了在根据图11的方法的一个实施例的迭代期间计算空间变换的方法；

-图13是一幅图表，显示了三维空间的点，所述三维空间包括两个空间维度和一个时间维度，其中，记录了在异步传感器视野内归于一条运动边的事件，以及记录通过位移平面的插值；

-图14是一幅可用于图11中步骤44的流程的一个示例的流程图；

-图15和图16是可用于图14中步骤56的流程的实例的逻辑图；

-图17是一幅图表，显示了事件与图13中所示类型的位移平面之间的距离分布；

-图18是一幅可用于估算图17中所示距离的允许值区间的流程的流程图；

-图19是一幅图表，表明了在图6和图7的条件下进行的试验中应用三种不同追踪方法观测到的追踪误差；

-图20是一幅图表，显示了在本发明一个实施例中对物体的三种形状的追踪；

-图21是一幅图表，显示了通过考虑应用于本发明一个实施例的物体模型的空间变换中的比例因子s_x、s_y而进行的试验的结果；

-图22显示了在本发明另一个试验中获得的图像；

-图23和图24表明了在图22的试验中通过应用两种不同的追踪方法观测到的追踪误差的图表；

-图25和图26显示了在本发明另一个试验中消除多个物体之间的模糊性的两种可能性方法的图表；

-图27-32表明了在图25-26的相同试验中按照六种不同方法追踪运动物体形状过程中观测到的模型速度的图表；

-图33是一幅显示了根据图13的两个位移平面的图表，用于决定是否把事件归于如图32所示的结果的追踪框架中的物体；以及，

-图34和35是显示了在本发明的两次试验中得到的模型速度的图表，其中异步传感器本身处于运动中。

图1中所示的装置包括基于事件的异步视觉传感器10，该传感器的位置面对场景并通过用于采集的光学器件15接收场景的光流，所述用于采集的光学器件15包括一个或多个镜头。传感器10位于用于采集的光学器件15的图像平面内。它包括组成像素矩阵的一组光敏元件。根据场景中光的变换通过连续事件产生与光敏元件相对应的每个像素。

计算机20处理源自传感器10的异步信息，即从各个像素p异步收到的事件ev(p，t)的序列，以便从中提取关于在场景中变换的某些形状的信息F_t。计算机20对数字信号起作用。可以通过为适当处理器编程来实施。也可以利用专门的逻辑电路(ASIC，FPGA，…)进行计算机20的硬件实施。

对于每个矩阵像素p而言，传感器10利用在场景中通过出现在传感器视野中的像素所检测到的光的变换来生成基于事件的异步信号序列。

例如，异步传感器按照图2A-C所示的原则进行采集。由传感器传递的信息包括一系列时刻t_k(k＝0，1，2，…)，通过所述时刻达到激活阈值Q。图2A显示了一个传感器矩阵像素所见的光强度分布P1的实例。每次当该强度增加与激活阈值Q相等的量时，所述激活阈值从时间t_k开始，识别一个新的时刻t_k+1，并且在时刻t_k+1发送正尖峰(在图2B中水平+1)。对称地，每次当像素强度减少量Q时，从所述量Q从时间t_k开始，识别一个新的时刻t_k+1，并且在该时刻t_k+1发送负尖峰(在图2B中水平–1)。于是像素的异步信号序列包括一系列位于时刻t_k的正、负脉冲或尖峰，根据像素的光分布随着时间推移。可在数学上通过正、负狄拉克峰值显示这些尖峰，并且这些尖峰分别以发射时刻t_k和符号位为特征。然后，传感器10的输出的形式为地址-事件表达(AER)形式。图2C显示了能够通过集成随着时间推移的图2B的异步信号而作为分布P1的近似值重构的强度分布P2。

在图2A-C的情况下，可以设置激活阈值Q，或者在图3A-B的情况下，可以根据光强度调整激活阈值Q。例如，可以把阈值±Q与生成事件±1的光强度对数的变化作比较。

举例来说，传感器10可以是在2008年2月第2期《IEEE固态电路杂志》第43卷，第566-576页由P.Lichtsteiner等人编写的《128×128120dB15μs延迟异步时间对比视觉传感器(A 128×128 120dB 15s Latency Asynchronous Temporal Contrast VisionSensor)》中或者在专利申请书US2008/0135731A1中所描述的类型的动态视觉传感器(DVS)。通过该类型的DVS可接近约为几毫秒的视网膜动态(动作电位之间的最短时间)。动态性能在任何情况下都明显比通过具有现实采样频率的传统摄像机可实现的性能优越。注意，由DVS10为像素提供的异步信号的形状可以与一系列狄拉克峰值不同，所述异步信号的形状构成计算机20的输入信号，因为所显示的事件在基于事件的异步信号中可具有任何时间宽度或幅度或波形。

另一个可方便地用于本发明的环境中的异步传感器的实例是基于时间的异步图像传感器(ATIS)，在2011年1月第1期《IEEE固态电路杂志(IEEE Journal of Solid-StateCircuits)》第46卷，第259-275页中由C.Posch等人编写的文章《A QVGA 143dB DynamicRange Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compressionand Time-Domain CDS》中列出了关于所述异步图像传感器的描述。

图4显示了ATIS的原则。构成传感器的矩阵的像素16包括比如光电二极管这样的两个光敏元件17a、17b，分别与电子检测电路18a、18b相连。传感器17a及其电路18a的操作与上述DVS相似。当光电二极管17a接收的光强度按预定量变化时，其产生脉冲P₀。标记这种强度变化的脉冲P₀触发了与另一个光电二极管17b相连的电子电路18b。然后，只要光电二极管17b接收指定光量(光子数)，该电路18b就产生第一脉冲P₁，然后产生第二脉冲P₂。脉冲P₁与脉冲P₂之间的时移δt与在脉冲P₀刚刚出现之后由像素16接收的光强度成反比。源自ATIS的异步信息是另一种AER表达形式，包括针对每个像素的两个脉冲序列：第一个脉冲序列P₀表明光强度改变时的时刻超出检测阈值，而第二个序列则由P₁和脉冲P₂构成，所述脉冲的时移δt表明相应的光强度，或者灰度。源自位置p在ATIS的矩阵中的像素16的事件ev(p，t)包括两种类型的信息：通过脉冲P₀的位置指定的时间信息以及通过脉冲P₁和脉冲P₂之间的时移δt指定的灰度信息，所述时间信息指定事件的时刻。

在传感器10是由二维像素矩阵构成的情况下，可以按照三维空间-时间表达方式放置源自像素的事件，比如图5所示。在该图中，每个点都通过星形物的运动标记在时刻t在传感器像素p上异步生成的事件ev(p，t)，其位置为所述星形物以插图A中显示的恒定角速度旋转。这些点大部分分布在大体为螺旋形的表面附近。此外，该图显示了与螺旋面相隔一定距离的一定数量的事件，测得所述事件不与星形物的有效运动相对应。这些事件是采集噪声。

ICP算法的原则是利用点集形成代表物体形状的模型，例如，描述该物体的轮廓，从而使其与通过采集数据提供的点集相对应，然后通过使误差函数最小化计算该点集与模型之间的几何关系。

图6A显示了本发明试验中所用的设备——传感器10，例如，DVS型或ATIS型传感器，所述传感器设置于面对旋转盘11的位置，旋转盘中绘制了星形。传感器10利用星形在平台上旋转采集数据。仅出于比较和阐释性目的，图6B概略地显示了在约为几微秒的时间间隔内观测到的事件，所述事件叠加在星状物的黑色形状上。

图7示意性地显示了一个追踪星形的实例。在该图中，顶行是显示了星状物在其盘上旋转的图像的传统序列，像图6A中的情况一样。中间行显示了事件聚集地图，也就是突出了在平面上在一个时间段内已经发生的所有事件，与在该时间段检测事件的精确时刻无关。最后，底行显示了通过采集点进行的模型匹配(用实线显示)。在左手栏(a)中，显示了星形物开始旋转的初始状态。算法试图使模型与最近的事件匹配。模型未过度远离事件的初始位置对于算法朝全局最小值收敛来说是有用的。在(b)栏中，星形物穿过模型初始位置附近，模型朝星形物的位置收敛。最后，在(c)栏和(d)栏，星形物继续旋转，通过对模型应用旋转R_Δθ和平移ΔT而修正模型，通过使误差函数最小化计算所述旋转R_Δθ和平移ΔT的参数。

在由基于事件的异步传感器，而不是由传统相机观测场景的情况下，按照事件发生时的精确时间戳接收所述事件。ICP型算法无需等待拥有关于整个场景范围的信息，从而能够同时处理它所包含的所有事件。

事件ev(p，t)描述了时空域内的一项活动。在图8所示的基于事件的版本的ICP算法中，与生物神经元相似，认为每个事件对其出现之后的一定时间间隔内都产生影响。可以按照持久性函数的形式引入事件的这种时间特性。然后，S(t)表示在一个时刻t活动的事件的时空集：

S(t)＝{ev(p，t')/0<t–t'≤Δt} (2)

其中，Δt是持续时间。在检测到事件之后，时间间隔Δt消逝后，从集合S(t)排除该事件。

模型与采集数据之间点的匹配在计算资源方面构成要求最高的步骤。G(t)表示二维模型的点的位置的集合，所述二维模型在时刻t界定物体的形状。从而进行采集点与模型点之间的关联。每次激活新事件时，使其与G(t)的元素匹配，最好与未曾与S(t)的事件关联的G(t)的元素匹配。可以为该步骤增加距离判据的校验，从而抑制噪声或者不是所寻找的形状部分的其它点。

因为传感器是异步传感器，所以关联点的数量大幅度变化。通常在持续时间Δt中有几个点至几百个点被关联。这与传统的基于帧的方法迥然不同。固定物体不产生任何刺激，所以不必修正其位置。在场景包括少量运动的情况下，只使用一小部分计算资源，而在高度动态的情况下，算法则需要全容量，从而更新信息。

在图8的实例中，P(n)和T(n)表示为了修正模型位置信息而保留的第n个事件位置和检测时间，M(n)表示与这第n个事件相关联的模型的点。在算法(T(n)＝+∞)开始之前，以任意大的值初始化检测时间T(n)。当在时间t检测到事件ev(p，t)时，整数指数a是指S(t)中最早期的事件，而整数指数b是指S(t)中最新的事件，即S(t)＝{ev(P(a)，T(a))，ev(P(a+1)，T(a+1))，…，ev(P(b)，T(b))}。把模型G(t)简单地表示为G，M表示已经与S(t)的事件相关联的模型的点集，即M＝{M(a)，M(a+1)，…，M(b)}。当初始化算法时(步骤20)，整数指数a和b分别初始化为1和0。

在图8所示的算法版本中，通过解析形式的传统解决方案，例如，通过分解为奇异值(SVD，“奇异值分解”)，定期地估算使模型的点与检测到的事件的点匹配的空间变换F_t。在步骤21中，只要空间变换的更新周期没有过去，算法便等待源自传感器10的新事件。

在时间t接收源自在矩阵中的像素的位置p的事件ev(p，t)(步骤22)之后，进行两项操作：更新集合S(t)并使模型G的一个点与检测到的事件相关联。在循环23-24中，从S(t)中排除持续时间超过Δt的事件：测试23检测时间T(a)是否大于t–Δt。如果T(a)不大于t–Δt，则在步骤23中把数字a增加一个单位，并重复测试23。测试23中T(a)>t–Δt时，则排除过早期的事件。

然后，算法在步骤25中继续进行把G的点与新事件关联。在未与集合S(t)中的点关联的模型中的各点中，也就是在集合G–M的各点中，该关联点是位置m最接近的像素p的关联点，事件ev(p，t)源自所述像素p：

例如，在该步骤25中采用的距离判据d(.,.)是矩阵平面中的欧氏距离。决定是否把事件ev(p，t)包含在集合S(t)中之前，算法在步骤26中检查最小距离是否小于阈值d_max。举例来说，可以选择阈值d_max，使其与6个像素相对应。如果测试表明不同的阈值可以更好地适合特殊用途，当然可以保留不同的阈值。如果d(p，m)≥d_max，则把事件放在一边，算法回到等待下一个事件的步骤21。

如果事件归于所寻找的物体(在测试26中，d(p，m)<d_max)，则在步骤27把指数b增加一个单位，然后在步骤28中把检测时间t、该事件的位置p以及刚刚与其相关联的模型的点m记作T(b)，P(b)和M(b)。然后终止与检测事件ev(p，t)相继的处理，算法回到等待下一个事件的步骤21。

空间变换的更新周期终止时，进行测试30，以确认集合S(t)中存在足够数量的事件，从而有助于更新，例如L＝5事件。因此，如果b<a+L–1(测试30)，则不进行更新，而且算法回到等待下一个事件的步骤21。

如果由足够的事件(b≥a+L–1)，则进行最小化运算31，从而在利用模型G寻找的空间变换F_t是角度Δθ的旋度R_Δθ与平移矢量ΔT的组合的情况下，选择旋转角度Δθ和平移矢量ΔT。

图9显示了其中所用的符号。H表示界定在场景中追踪的各点的图案，处于固定位置，O表示这个点集H的重心。在时刻t，根据平移矢量T与围绕重心O旋转角度θ，移动该图案H的位置，由此指定，在时间t处理接收的事件过程中参考所述模型G＝G(t)。处理导致估算旋转角度θ和平移矢量T的变量Δθ、ΔT。

最小化运算31在于找到使距离判据最小的参数Δθ、ΔT，例如，为以下形式的和：

这是表达式(1)的特殊情况，其中，待估算的参数是由矩阵定义的角度Δθ的旋度R_Δθ以及矢量ΔT的坐标。在表达式(4)中，符号cP(n)和cM(n)代表对于原点而言具有旋度R_Δθ的中心c的矢量并分别指向P(n)和M(n)。可以相对于模型G(t)界定旋度R_Δθ中心c的位置。例如，可以使点c位于模型G(t)各点的重心，如图9所示(于是，全局平移的矢量T等于矢量Oc)。

在这里，由旋度R_Δθ和平移ΔT构成的空间变换F_t是使模型G(t)移动，并使其尽可能接近检测到刚刚考虑的事件的像素，即事件的集合S(t)。这便是图10中所示的内容，其中，符号+代表检测到S(t)的事件的像素P(n)的位置，符号·代表与这些时间相关联的模型G中的各点M(n)的位置，G’代表中心c’的下一个模型，其使点M(n)的位置尽可能接近像素P(n)，并且是由根据旋度R_Δθ和平移矢量ΔT的G的位移产生。

使判据(4)最小化的旋度R_Δθ和平移ΔT揭示了与模型G相对应的形状在空间变换的修正时刻与之前的修正时刻之间的运动。在步骤32中，把相同的变换应用到集合G和M的各点，以便更新这两个集合。用位置Y代替模型G(或集合M)的每个位置X，以至于cY＝R_Δθ[cX]+ΔT。在步骤32之后，算法回到等待下一个事件的步骤21。

因此，以相继估算的角度Δθ的旋度R_Δθ以及以相应平移矢量ΔT为特征的特殊变换F_t表现了在场景中视频追踪的形状的运动。其参数是图1的计算机20的输出值。可以累计所确定的连续值Δθ和ΔT，从而得到相对于形状H的固定参照位置而界定的角度θ以及平移矢量T。

图8所示的实施例使之能够控制在场景中寻找的形状的追踪信息的更新频率，即空间变换F_t的参数。通常，这种更新频率与10μs至1ms的周期性相对应。因此，可以比传统相机的帧频更快。

根据场景的动态内容设定持续时间Δt。在以SVD运算为基础的实施方案中，需要使时间间隔Δt足够长，以至于集合S(t)保留所寻找的移动物体的完整轮廓，其保留方式使得几乎该轮廓的所有点与事件相对应。另一方面，过长的持续时间Δt增加了计算量，而且不能使其正确地追踪快速物体。持续时间Δt通常选自10μs至20ms。

在异步传感器10可见的场景中追踪形状的另一种方法如图11所示。在该方法中，提供更好的动态特性，同时仍需要较少计算，根据矩阵的像素p以及关联点m的像素确定使之能够更新修正的模型的空间变换F_t，其中检测到的事件ev(p，t)源自所述矩阵的像素p(就此程度而言，已经把该事件归于所寻找的物体)，这与检测到事件ev(p，t)之前进行的关联无关。

在图11的实施例中，认为在由异步传感器观测的场景中寻找K个物体。用整数k(k＝1，2，…，K)为这些物体编号，而且每个物体具有标为G_k(t)或简单地标为G_k的各点的模型。通过取K＝1，包含了追踪单独一个物体的常见情况。

为了开始追踪每个物体k，通过定位使其模型G_k初始化(步骤40)，所述定位更接近传感器10视野中该物体的位置。然后，在步骤41中，算法等待源自传感器10的新事件。

在时间t接收在矩阵中的源自位置p的像素的事件ev(p，t)(步骤42)之后，针对每个物体物体k(k＝1，2，…，K)执行把模型G_k的点m_k与检测到的事件相关联的步骤43。对于每个物体k而言，步骤43与上文参考图8所述的步骤25一样，只是选择使距离判据d(m_k，p)最小化的模型G_k中的点m_k时不排除之前已经与事件关联了的点，因为该算法并不记住之前与事件ev(p，t)的关联。

在步骤44中，把在步骤42中检测到的事件ev(p，t)归于物体k，如果没有的话，则将其排除，因为与在场景中追踪的物体的运动没有关系。如果事件ev(p，t)不归于任何物体，那么算法则回到等待下一个事件的步骤41。在归于物体k的情况下，针对该物体的模型G_k在步骤45中计算空间变换F_t。

可在步骤44中进行几次测试或过滤，从而决定是否把事件ev(p，t)归于物体k。

最简单的是像上文参考图8所述的步骤26那样，通过比较距离d(m_k，p)与阈值d_max。如果d(m_k，p)<d_max，继续进行，确认像素p与模型G_k的点m_k之间的联系，而且如果没有物体满足该条件，则不进行归属。但是，会发生多个追踪的物体满足该条件的情况，同时一个追踪的物体会遮掩另一个追踪的物体。为了解决这些模糊的情况，包括物体之间遮掩的情况，可采用利用空间限制或时间限制的多种技术。下文会对这些技术进行检测。

可在步骤44采取的另一项处理是考虑背景运动的可能性。尤其是，异步传感器10本身处于运动中，固定的背景处于相对位移中，并导致检测多个事件，要从关于追踪感兴趣的物体的处理中排除所述多个事件。下文将对一个把背景的运动考虑在内的方法进行说明。

一旦把事件ev(p，t)归于物体k，便在步骤45中计算空间变换F_t的参数，然后把该变换F_t应用于模型G_k，从而在步骤46中修正所述模型。最后，在步骤47中估算用Π_k表示的物体的位移平面k。然后，算法回到等待下一个事件的步骤41。

限制于与模型G_k中的一个点m相关联的当前一个事件p，以便计算空间变换F_t，这导致了引入代价函数的一个分量：

f＝d[p，F_t(m)] (5)

其中，d[.,.]是像素矩阵平面中的距离测量值。它具体可以是二次式距离。

如果为修正模型G_k考虑刚性空间变换，则必须确定指定中心c的角度Δθ的旋度R_Δθ以及平移的矢量ΔT，具有二次式距离的代价函数分量写作：

f＝||cp-R_Δθ[cm]-ΔT||² (6)

其中，cp和cm是指关于原点具有旋度R_Δθ中心c的矢量，分别指向点p和点m。

可针对无穷多对(Δθ，ΔT)使分量f最小化，因为对于任何角度Δθ而言，选择ΔT＝cp–R_Δθ[cm]使得f＝0。目的是使f仅为其一个分量的全局代价函数最小化。但是，该分量f考虑到关于旋转角度θ(或Δθ)以及平移矢量T(或ΔT)的梯度项的估算，从而在修正模型G_k过程中，进行一种梯度下降。换言之，针对空间变换F_t保留参数的值：

其中η₁和η₂是预定义的正收敛阶。举例来说，取η₁＝0.25以及η₂＝0.025，以便得到良好的敏感性。针对每次应用调整η₁和η₂的适当值，如有必要，通过进行某些模拟或试验而进行调整。在(7)和(8)中，针对旋转角度和平移矢量的适当值Δθ₀、ΔT₀，取偏导数

f的偏导数的表达式为：

其中，(.)^T代表换位运算，且针对ΔT₀和Δθ₀的特殊值计算这些偏导数。然后把结果带入(7)和(8)，从而得到步骤46中所用的参数ΔT和Δθ，以便修正模型G_k。

在该方法的一个实施例中，通过取Δθ₀为角度取ΔT₀为矢量cp–cm，令cm’＝R_Δθ0[cm]，根据(9)和(10)计算偏导数。如果把该旋转角度Δθ₀和该平移矢量ΔT₀应用于点m，所述旋转角度Δθ₀和该平移矢量ΔT₀则会与事件ev(p，t)的位置一致，如图12所示。在该方法的这个实施例中，步骤45因此包括在根据(8)-(9)计算梯度然后根据(6)-(7)计算空间变换F_t的参数ΔT、Δθ时，取以及ΔT₀＝cp–R_Δθ0[cm]。

计算式(9)-(10)可有其它选择，例如Δθ₀＝0以及ΔT₀＝mp(使m到p的简单平移)，或者Δθ₀＝ΔT₀＝0。因为两次迭代之间的基本位移幅度较低，所以如果在(0，0)选择，或者相对于m和p之间的距离选择计算偏导数(9)-(10)的精确点(ΔT₀，Δθ₀)，那么该精确点的影响可能极小。此外，该选择随着选择旋转中心c的传统选择而变化。旋转中心通常是模型G_k各点的重心，但这不是必须的。

在该方法的很多应用中，可以用如上所述的旋转与平移的组合来表示空间变换F_t。但是，通过考虑物体模型G_k的变形，可能有选择性方案。

尤其是，可以考虑仿射变换F_t。这样能够考虑到所寻找的物体的三维运动，而不仅限于图像平面的运动。通过应用沿着两条轴线的比例因子s_x、s_y，2D仿射矩阵来源于旋度R_Δθ的矩阵。这样恢复到根据形式的关系寻找点m和点p的匹配，其中，点c可以再次取模型G_k各点的重心。通过关于比例因子s_x、s_y计算代价函数分量f的偏导数，可以应用梯度下降的相同原则，以便估算这些比例因子。作为第一近似值，可以利用另一个收敛步骤η₃，并且取：

s_x＝1+η₃.(|p_x|–|m_x|) (11)

s_y＝1+η₃.(|p_y|–|m_y|) (12)

以便根据(6)和(7)完成ΔT和Δθ的估算。在表达式(11)和(12)中，|p_x|和|p_y|是矢量cp坐标的绝对值，|m_x|和|m_y|是矢量cm坐标的绝对值。

在传感器异步信号中追踪的物体k仅仅是等速位移的一条边的情况下，图13表明了在三维空间中归于这条边的事件，所述三维空间即与2D像素矩阵的两个方向相对应的两个空间维度x、y以及时间维度t。所述边根据平面Π_k(t)中包含的、与成比例的速度矢量V仔细扫描所述平面Π_k(t)。实际上，采集噪声以及把事件归于物体的可能性误差使得平面Π_k(t)周围的事件有一定的分散性，所述平面Π_k(t)随着最近归于物体的事件所穿过的平均平面而延伸。

可由指定平面法线方向的平面的任何点g_k(t)或g_k以及矢量n_k(t)或n_k界定平面Π_k(t)，或者如果省略时间指数t，以简化符号，则为平面Π_k。在图13的表达式中，点g_k与在时刻t–Δt和t之间归于物体k的事件的重心重合，其中令Δt＝40ms。可以通过使平面Π_k与在时刻t–Δt和t之间归于物体k的事件之间总距离最小化，尤其是通过主分量分析(PCA)的平均数量，利用最小二乘拟合估算矢量n_k以及平面Π_k的点g_k。

在步骤47中执行这种最小化运算，以估算代表物体k时刻位移的平面Π_k。

关于确定位移平面Π_k的方法的更多细节，可以参考2013年9月第2期《IEEETransaction On Neural Networks and Learning Systems》第25卷的第407-417页中由R.Benosman等人撰写的文章《Event-based Visual Flow》，或者参考专利申请书WO2013/093378A1。

在追踪的物体不是简单边线，而是其形状由传感器可见按照两个维度延伸的物体的情况下，可以通过使最近分配给物体k的事件与由其参数n_k、g_k界定的平面之间的总距离最小化而确定位移平面Π_k。按照三维时空表示，该平面Π_k总体上揭示了物体k的总位移。

可以按照图11的步骤44中的多种方式使用针对物体k估算的位移平面Π_k，从而决定是否把新事件ev(p，t)归于物体k。

回到步骤44，在追踪多个物体的情况下(K>1)，尤其是可以包括遮掩的情况的分辨率，或者更普遍而言，事件归属的多个物体之间模糊的情况的分辨率。在步骤43中，计算了事件ev(p，t)与离所追踪的不同物体的模型G_k最近的各点m_k之间的各自距离d(m_k，p)。如果这些距离d(m_k，p)中只有一个距离小于阈值d_th，例如d_th＝3个像素，那么事件则归于该物体。相反，则将其视为可归于多个不同物体的模糊事件。

在图14中显示了这个处理过程。在步骤50中，从把指数k和j分别初始化到1和0开始。在测试51中检查在步骤43中最小化的距离d(m_k，p)是否小于阈值d_th，如果是肯定的，则在步骤52中把指数j增加一个单位，在步骤53中取表k(j)中的第j条等于k。步骤53之后，或者当测试51中d(m_k，p)≥d_th时，在测试54中检查是否已经检查了所有物体(k＝K)。如果k<K，测试54之后是在步骤55中把指数k增加一个单位，然后回到下一次测试51。如果在测试54中k＝K，则估算整数j。如果j＝0，则认为没有物体的模型足够接近检测到的事件ev(p，t)，并否定事件(回到图11的步骤4)。如果j＝1，则把事件ev(p，t)归于物体k＝k(1)(转到图11的步骤45)。如果j>1，则必须在物体k(1)，…，k(j)之间消除模糊性56。

消除模糊性56过程中考虑空间限制可以按照以下几项策略进行：

·归于最近：一个新事件ev(p，t)归于模型G_k最近的物体k(在k(1)，…，k(j)之中)，也就是使d(m_k，p)最小化的物体。理论上，如果新事件完全与模型G_k相对应，并且数据不包含任何噪声，而且在没有因为遮掩而存在的模糊性的情况下，该策略运作正确；

·否定全部：该方法简单地忽略模糊事件，也就是不针对事件ev(p，t)执行图11的步骤45-47。该方法似乎合乎逻辑，因为优先顺序无法做出明确的决定。但是，追踪会失败，因为存在丢失形状动态的风险；

·修正全部：修正与模糊事件ev(p，t)相邻的所有模型G_k。换言之，针对每个物体k执行图11的步骤45-47，使d(m_k，p)≤d_th；

·加权更新：利用加权使模糊事件ev(p，t)归于每个相邻的模型G_k，所述加权按照与距离相反的方向变化。换言之，利用各个加权系数α_k，针对每个物体k执行图11的步骤45-47，使d(m_k，p)≤d_th，所述加权系数是作为距离d(m_k，p)的递减函数计算的，例如与d(m_k，p))成反比，并使Σα_k＝1。

基于事件的采集过程的较高时间分辨率为模糊情况的分辨率提供额外信息。可以针对追踪的每个形状G_k确定当前事件率r_k，这包含物体k的信息，并且部分地编码该物体的动态。

其中，t_k,0，t_k,1，…，t_k,N(k)表示编号为N(k)+1的最新的事件的时间标签，所述事件已经在时间窗口归于物体k，所述时间窗口的长度Δt可约为几毫秒至几十毫秒，令t_k,0<t_k,1<…<t_k,N(k)(因此，在t_k,N(k)检测到的事件对于物体k而言是最新的)。这些时间标签使之能够针对每个物体k计算事件率r_k的移动平均数，r_k是由下式定义的：

在时刻t_k,N(k)检测到事件之后，一旦该事件归于物体k(步骤44)，就可以执行当前事件率r_k的这个运算。

然后，在下一个事件ev(p，t)导致多个追踪的物体之间的模糊性的情况下，步骤44可包括根据以下表达式计算每个物体k的分数C_k，模糊事件ev(p，t)可归于所述物体k：

C_k＝(t–t_k，N(k))r_k (14)

该分数C_k使之能够估算模糊事件ev(p，t)与每个物体k之间的时间一致性。可以预期，如果事件ev(p，t)属于物体k，那么持续时间t–t_k,N(k)则接近当前率r_k的倒数。在步骤44考虑时间的限制在于根据(14)计算分数C_k之后，从事件ev(p，t)可归于的多个物体k中选择分数最接近1的一个物体。一旦做出该选择，便可以针对所选择的物体更新率r_k，而且控制可转到图11的步骤45。

在图15中显示了考虑时间限制消除模糊性的这个处理过程，而且所述处理过程构成执行图14的步骤56的方式。在步骤60中，从把指数i初始化为1、把物体k的指数初始化为k(1)以及把分数C初始化为(t–t_k(1),N(k(1)))r_k(1)开始。执行循环61-65，从而估算事件ev(p，t)可归于其的不同物体的分数C_k(i)。在步骤61中，指数i增加一个单位。在步骤62中，根据C’＝(t–t_{k(i)，N(k(i))})r_k(i)计算物体k(i)的分数C_k(i)。如果|C’–1|≥|C–1|(测试63)，则执行循环出口测试65，从而比较指数i与候选物体的数量j。如果测试63中|C’–1|<|C–1|，则执行步骤64，从而用k(i)代替指数k，并且在转到循环出口测试65之前更新C＝C’。只要在测试65中i<j，程序就回到步骤61，进行下一次迭代。如果i＝j，就完成了把事件归于物体k，而且算法移到针对所选择的物体k更新数量N(k)和时间标签t_k，0，t_k，1，…，t_k，N(k)的步骤66。然后，按照步骤67中的(12)更新率r_k，而且算法移到图11的步骤45。

在步骤56中消除模糊性的另一种方式是通过引用事件ev(p，t)可归于其的不同物体k(1)，…，k(j)的位移平面Π_k(1)，…，Π_k(j)，把空间限制与时间限制相结合。

尤其是，可以针对事件ev(p，t)的归属保持物体k，所述物体k在k(1)，…，k(j)之中使得在三维时空表达式中测得的事件ev(p，t)与每个平面Π_k(1)，…，Π_k(j)之间的距离最小化。然后，把事件归于物体k，使得：

使得：D(i)＝|eg_k(i).n_k(i)| (16)

其中，“.”是指三维空间中两个矢量之间的标积，n_k(i)是指定平面Π_k(i)法线的方向的矢量，eg_k(i)是从点e指向平面Π_k(i)各点g_k(i)的矢量，所述点e标记三维空间中检测到的事件ev(p，t)。

在图16中显示了把空间限制与时间限制相结合以消除模糊性，并形成图14的步骤56的另一个实施例的处理过程。在步骤70中，从把指数i初始化为1、把物体k的指数初始化为k(1)并把距离D初始化为|eg_k(1)。n_k(1)|开始。执行循环71-75，从而估算事件ev(p，t)可归于其的不同物体的距离D(i)。在步骤71中，指数i增加一个单位。在步骤72中，根据D＝|eg_k(i)。n_k(i)|计算物体k(i)的距离D(i)。如果D’≥D(测试73)，则执行循环出口测试75，从而比较与指数i与候选物体的数量j。如果在测试73中D’<D，则执行步骤74，从而用k(i)代替指数k，并且在转到测试75之前更新D＝D’。只要在测试75中i<j，程序就回到步骤71，进行下一次迭代。如果i＝j，就完成了把事件归于物体k，并且算法移到图11的步骤45。

异步传感器10处于运动时，场景的固定背景也生成事件。图17显示了属于所追踪的物体k的事件与针对该物体估算的位移平面Π_k之间距离的典型分布(曲线78)，以及属于固定背景的事件与物体的位移平面之间距离的典型分布(曲线79)。这表明平均位移平面Π_k可以提供识别判据，以便把关于追踪的物体k的事件与关于包括背景在内的未被追踪的物体的事件分开。简单地忽略与追踪的物体不相干的事件，或者同等地，忽略离位移平面Π_k“太远”的事件。

过滤源自场景的背景的事件的一个方式在于估算追踪的物体位移平面Π_k(在图11的步骤47中估算的)与标记在时间窗口Δt过程中在步骤44归于该物体的检测到的事件ev(p，t)的各点之间距离的统计分布。该统计分布与图17的曲线78相对应。这样能够估算位移平面Π_k与归于物体的事件之间的平均距离d_k，以及分布的标准偏差σ_k。利用这些参数，确定了容许距离值的区间I_k。在必须关于是否把新检测到的事件ev(p，t)分配给追踪的物体做出决定时，根据(16)计算在三维空间中标记事件ev(p，t)的点与平面Π_k之间的距离D＝|eg_k.n_k|。如果该距离D在区间I_k以外，事件则不归于物体k。相反，事件则归于物体k，或进行其它过滤，尤其是为了考虑上文参考图14-16所述的任何遮掩。

例如，区间I_k以平均距离d_k的值为中心，而且其宽度是标准偏差σ_k的倍数。

为了考虑背景的可能性运动，图11的步骤44可包括图18中所示的处理过程(在追踪单独一个物体k的特殊情况下；这种情况很容易推广到K>1的情况)。在步骤42中检测到事件ev(p，t)之后，在步骤80中计算距离D＝|eg_k.n_k|，然后执行测试81，从而确定距离D是否在区间I_k内。如果D在I_k以外，程序回到图11的步骤41。如果D在I_k内，事件ev(p，t)则归于物体k，而不是背景的运动。然后在步骤82中通过距离D更新相对于物体k的位移平面Π_k的距离分布(曲线78)，然后，在步骤83中计算区间I_k。然后，程序移到图11的步骤45。

在根据图11的本发明实施例的背景下展示了参考图14-18所描述的处理过程。但是，会发现，用于考虑多个被追踪物体之间可能存在的遮掩以及场景的背景可能存在的运动的这个处理过程也可以用于追踪形状方法的其它实施例，尤其是在求助于参考图8所述的SVD型技术的情况下，更是如此。

进行了数字试验，以揭示其中公开的方法的性能。这些试验涵盖在下列实例中。

实例1

如上文参考图6A和图7所示，在转盘上所画的星形物的情况下通过寻找刚性空间变换F_t进行了试验，所述空间变换F_t包括在图像平面中平移和旋转。

转盘按照每分钟670转的速度旋转。通过从快照中选择星形物每条边的6个点，手动生成指定模型G形状的图案H。用6个像素的距离阈值消除噪声的影响，并减少计算量。如图7所示，即使旋转速度很高，算法也以有效的方式成功追踪旋转的形状。

图19使之能够比较通过三种追踪方法得到的追踪星形物的精确度：

·处理传统相机图像的ICP算法，所述传统相机的输出信号是由帧构成的(图19中的曲线85)。为了使比较准确，ICP算法仅考虑在区分帧之后保留的像素的位置；

·形状追踪方法，按照参考图8所示的方法(曲线86)、通过考虑在50μs的时间周期内收集的事件，使用基于事件的异步传感器10，并基于SVD方法的分析形式的进行估算；

·形状追踪方法，通过根据矩阵的像素p与模型的点m之间的当前联系估算修正的模型，按照参考图11所示的方式(曲线87)，使用基于事件的异步传感器10，事件ev(p，t)源自所述矩阵的像素，所述连续与检测到该事件之前进行的关联无关。

为了评估形状追踪的精确度，每200μs计算一次模型集与活动事件的位置之间的平均距离。对于曲线85、86和87而言，平均误差分别是2.43、1.83和0.86个像素，各自标准偏差为0.11、0.19和0.20个像素。考虑传感器的异步信号能够明显改进形状追踪方法，尤其是在图11的情况下，更是如此。

超高的时间精度致使更精确的追踪。误差曲线显示了由于刺激物重复旋转导致的振动(图19中的插图)。追踪误差表明了算法的良好复现性和可靠性。残留误差是因为与传感器有限空间分辨率相结合的方块像素矩阵的几何结构，这样不能相对于形状的角度位置提供各向同性响应。

为模型G保留的点的数量对计算的费用和精确度有影响。

在根据图11的实施例情况下，可以把等值图效率定义为处理一个事件所需要的计算时间的倒数。

在实例中，在具有“英特尔酷睿i5”型中央处理器(CPU)的计算机上执行追踪程序，时钟频率为2.8GHz，并占该CPU容量的25％。通过这种配置看来，模型90个点的大小可以提供与200kHz等值图像率相对应的检测频率。在模型中到达大约2000个点时，可用通过至少为11kHz的等值图效率修正所述模型。经验表明，对于具有60至70个点的模型，算法能够实时追踪位移速度高达1250转每分钟的形状。

通常，人们关心把物体轮廓的角包含在模型中。沿着物体形状的一条直边，无论如何都可以减少点的数量，而不会对追踪的最终精确度产生负面影响。

在点的数量增加的情况下，追踪误差不趋于零，而且趋于约为0.84个像素的值，这与异步传感器的空间分辨限度相关。在逻辑上，模型包含的点越多，追踪的精确度越高，但是计算成本也越高。模型的60至100个点的大小是很好的折衷方案，以便通过保持较高的追踪频率(约200kHz)得到合理的精确度(约0.90个像素)。

实例2

通过考虑利用根据图11的实施例中的表达式(6)、(7)、(11)和(12)计算的仿射空间变换，在多个形状(H形、汽车形和星形)的情况下进行了试验。在该试验中，物体的形状变形，并按照图20所示的方式调整其大小(H形状的a-d，汽车形的e-h，星形的i-l)。

图21显示了在追踪汽车形状过程中(分别为曲线90和91)，有关形状原始大小的比例因子s_x、s_y。比例关系沿着两条轴线不同，因为在试验过程中沿着垂直轴直观地发生的变化比沿着水平轴发生的变化更频繁。追踪误差(标为92)揭示了0.64个像素的平均值以及0.48个像素的标准偏差。

因此，参考图11其中所述的方法在搜索仿射变换过程中具有良好性能。

实例3

在该实验中，通过异步传感器采集了汽车交通数据。如图22所示，在四个连续的时刻，多辆车同时沿着多排车道移动。图22的(a)栏显示了由异步传感器生成的，并在数毫秒内累计的事件，同时，(b)栏显示了相应的灰度图像。可见所选择的场景具有关键时刻，在所述关键时刻具有由于静态物体(树、路灯柱……)产生的高遮掩性以及对于鲁棒追踪构成重大挑战的移动物体(车辆)。

按照图11所示的方法，通过寻找仿射变换F_t，追踪了分别与汽车和卡车相对应的两种形状95、96。把表达式(6)、(7)、(11)和(12)的收敛阶η₁、η₂和η₃分别设为0.1、0.002和10^-5。汽车的模型G₁包含67个点，卡车的模型G₂包含102个点。通过手动指向所采集图像的像素生成这些模型。

图23显示了通过按照图11的方法以及基于事件的异步传感器观测到的追踪误差，图24显示了通过传统方法观测到的相同误差，所述传统方法利用源自以帧为基础的相机的图像。为了使比较具有相关性，把传统的基于帧的ICP技术用于灰度图像，所述灰度图像是以100帧每秒的频率重构的。对每个图像进行预处理，以便通过计算连续帧之间的差值，并通过阈值操作得到移动边缘。基于事件的方法的时间精度约为1μs。

根据图11(图23)的基于事件的方法的平均追踪误差是0.86像素，其标准偏差为0.19像素，而传统的基于帧的方法产生的平均追踪误差是5.70像素，其标准偏差为2.11像素(图24)。图23中的缩略图(a1)-(a5)以及图24中的缩略图(b1)-(b5)显示了“卡车”物体遇到遮掩的情况，该情况产生追踪误差的最大值。

值得注意的是，通过按照本发明的方法获得的出众的时间精度伴有比传统基于帧的方法更佳的追踪稳定性。在传统方法中，在于增加采集频率的(高成本)解决方案不一定总是足以准确地处理遮掩的情况。相反，由异步传感器产生的基于事件的信号的动态内容获得关于算法的更稳定的输入数据。静态障碍物不生成任何事件，所以实际上对追踪过程没有影响。

实例4

对消除模糊性的几种策略进行了测试，以追踪有遮掩的多个物体。

在包括汽车交通的实际场景中，同步追踪按照相同方向、但是以不同速度移动位置的“汽车”物体和“卡车”物体的形状。一段时间后，卡车的形状和汽车的形状在传感器10的视野中重叠在一起，直到卡车超过汽车。除卡车和汽车以外的其它物体作为背景噪声处理。

图25显示了：

·在源自“卡车”物体的事件与“卡车”物体重心之间观测到的距离(曲线100)；

·在源自“汽车”物体的事件与“汽车”物体重心之间观测到的距离(曲线101)；

·在源自“卡车”物体的事件与“汽车”物体重心之间观测到的距离(曲线102)；以及

·在源自“卡车”物体的事件与“汽车”物体重心之间观测到的距离(曲线103)。

这些曲线通过相似值时产生模糊性，意味着两辆车的形状在视野中重叠(大约2.2秒至2.9秒)。在这种情况下，除非公用区域的尺寸非常小，否则，空间信息的利用会不充足。

图26显示了“卡车”物体(曲线105)和“汽车”物体(曲线106)的平均事件率r_k。在该试验中，可以看到两条曲线是分离的，所以在整个序列中，两辆车的形状保持可以分离，所述整个序列是指汽车约为每秒3000个事件的事件率以及卡车每秒约为5000个事件的事件率。但是，不一定保证任何序列都有能够分开的这种性能。

普遍而言，通常认为把时间限制与附加限制相结合比较好，例如所述附加限制为空间限制。

图27-32显示了通过把“卡车”物体模型和“汽车”物体模型的速度与实际速度(分别为虚线曲线112和113)作比较，在执行根据图11的方法过程中估算的“卡车”物体模型(曲线110)与“汽车”物体模型(曲线111)的速度，所述实际速度是通过识别连续图像上的相应点手动确定的。平均速度分别为卡车42.0像素/秒、汽车24.3像素/秒。六幅图与消除模糊性的六个不同策略相对应：“归于最近”(图27)；“否定全部”(图28)；“修正全部”(图29)；“加权更新”(图30)；“基于率r_k的时间限制”(图31)；以及“利用位移平面Π_k组合空间限制和时间限制”(图32)。图27-32中包含的缩略图显示了对于研究方法之间的差别而言最令人关注的时刻。只要没有发生遮掩，每条曲线的开头就相同。图表右手部分所示的百分比一方面与曲线110和112之间的平均相对偏差相对应，另一方面与曲线111和113之间的平均相对偏差相对应。

在图27中可以看到“归于最近”的策略产生相当差的结果，因为在卡车模型被汽车模型遮掩之后，丢失了卡车模型。“否定全部”的策略(图28)更不尽如人意，这次是在遮掩之后丢失了汽车模型。

“修正全部”的策略(图29)看似更可取，因为保持追踪两辆车的形状，没有丢失。在序列末端，卡车生成的事件吸引了汽车模型，所产生的汽车轨迹轻微地向卡车轨迹偏离，而且在估算的汽车速度上升时，估算的卡车速度下降(见图29中的(c3))。

“加权更新”的策略在具有依赖距离的加权的不同物体之间分配由模糊事件引入的动态。图30显示了在没有丢失的情况下追踪卡车和汽车，而且速度曲线更好地对应实际速度。出于与“修正全部”的策略相同的原因，在序列末端仍有差异，但是这些误差的幅度较小。在多个物体交叉或碰撞的情况下，在以空间限制为基础的策略中，认为这种“加权更新”策略比较好。

“基于率r_k的时间限制”的策略(图31)在该试验的框架上有良好的效果。但是，当目标物体具有相似的事件率时，不保证其可靠性。

“利用位移平面Π_k组合空间限制与时间限制”的策略使用了3秒时间段Δt，以便估算“卡车”物体的位移平面Π₁和“汽车”物体的位移平面Π₂(图33)。如图32所示，该策略是使得追踪两辆车的误差最低的策略。可通过下一事实来解释这一点，即通过消除不当归属并通过获得更好的噪声鲁棒性，局部时空平面Π₁、Π₂基本上限制了周边区域。要注意到因为归属过程更可靠，所以在卡车与汽车之间的误差以更均匀的方式分布，这是有趣的。

实例5

通过应用参考图16所描述的移除由背景产生的事件的方法对由移动传感器生成的异步信号的两个序列进行测试，

在第一序列中，在内部环境中移动星形的位置，与此同时手持并同步地移动异步传感器。图34显示了的场景(a1)-(a5)的几个剪影。

为了计算结果，通过图34中的曲线116显示了根据图11的方法计算的星形物的速度(把星形物的运动与传感器的运动相结合)，并将其与手动取的用虚线117表示的实际速度作比较。估算数据与实际数据之间的平均误差估计为6％。尽管场景包括背景中的很多条边，追踪过程仍具有鲁棒性。

第二序列再次来自于具有汽车交通的外部场景。利用手动移位的异步视觉传感器10追踪汽车形状。

图35显示了估算汽车速度的结果(曲线118)，并将其与手动确定的实际速度(曲线119)作比较。尽管要处理的情况比较困难(例如，在人行道或人行横道接近汽车或重叠汽车的情况下)，但是算法的良好时空性能也会提供可接受的结果。关于速度的平均估计误差是15％。当汽车的视野发生巨大的变化时，追踪的质量从大约3.5秒开始下降(图35中的b5)

总之，即使比如在传感器和追踪的物体处于运动状态的情况下，上文所披露的基于事件的追踪也具有鲁棒性。

上述实施例是本发明的说明。在不脱离源于所附权利要求的本发明范围的情况下，可以进行各种修改。

Claims

1.在场景中追踪形状的方法，包括：

从光传感器(10)接收异步信息，所述光传感器的像素矩阵与场景相对设置，其中，对于矩阵的每个像素而言，异步信息包括异步地源自所述像素的连续事件；以及，

在异步信息中检测到归因于所述物体的事件之后，修正模型(G)，所述模型包括点集且代表追踪的物体形状，其中，检测到事件(ev(p，t))之后，修正包括：

把检测到的事件与模型中的一个点(m)相关联，所述模型的点相对于矩阵的像素(p)距离最小，检测到的事件源自所述矩阵的像素；以及，

根据矩阵的像素(p)和关联点(m)确定修正的模型，检测到的事件源自所述矩阵的像素，这与检测到所述事件(ev(p，t)之前执行的关联无关。

2.根据权利要求1所述的方法，其中，在模型(G)点的位置相对于像素(p)的距离小于阈值(d_max，d_th)，检测到的事件(ev(p，t))源自所述像素的情况下，以及在检测到所述事件不归于物体之后，不修正模型。

3.根据前述权利要求中任何一个权利要求所述的方法，进一步包括：

通过在当前时刻结束的时间窗口期间使关于点集的距离判据最小化来估算物体的位移平面，其中，在三维空间中估算位移平面(Π_k)，所述三维空间就是与像素矩阵两个方向相对应的两个空间维度以及一个时间维度，所述点集标记归于物体的检测到的事件；以及，

检测到事件(ev(p，t))之后，考虑估算的物体位移平面，从而决定是否把所述事件归于物体。

4.根据权利要求3所述的方法，其中，多个物体具有在场景中被追踪的各自形状，多个物体中的每一个分别具有在检测到归于所述物体的事件之后被修正的各自模型(G_k)以及一个估算的位移平面(Π_k)，其中，检测到可归于其中至少两个物体的事件(ev(p，t))之后，所述方法进一步包括：

计算三维空间中标记所述检测到的事件的点与分别针对所述物体估算的位移平面之间的各个距离；以及，

把所述检测到的事件归于物体，对于所述物体而言，所计算的距离最小。

5.根据权利要求3或4所述的方法，进一步包括：

估算物体的位移平面(Π_k)和标记归于物体的检测到的事件的点之间的距离的统计分布；以及，

在检测到事件(ev(p，t))之后，考虑估算的物体的位移平面以及估算的统计分布，从而决定是否把所述事件归于物体。

6.根据权利要求5的方法，进一步包括：

基于所估算的统计分布确定所容许距离值的区间(I_k)；以及，

如果在三维空间中标记所述检测到的事件的点相对于估算的位移平面的距离在容许距离值的区间以外，则不把检测到的事件归于物体。

7.根据前述权利要求中任何一项权利要求的方法，其中，多个物体具有在场景中被追踪的各自形状，其中，每个物体都具有在检测到归于所述物体的事件之后被修正的各自模型(G_k)，其中，如果在检测到事件(ev(p，t))之后，所述方法进一步包括：

如果只有其中一个物体满足具有在模型中一个点的相对于矩阵的像素(p)的距离小于阈值(d_th)的条件，检测到的事件源于所述矩阵的像素，则把检测到的事件归于所述其中一个物体。

8.根据前述权利要求中任何一项权利要求的方法，其中，多个物体具有在场景中被追踪的各自形状，其中，每个物体都具有在检测到归于物体的事件之后被修正的各自模型(G_k)，其中，在检测到可归于至少其中两个物体的事件(ev(p，t))之后，所述方法进一步包括：

对于所检测到的事件可归于的每个物体而言，通过使相对于矩阵像素(p)的距离判据最小化而把检测到的事件与所述物体的模型(G_t)的点(m)相关联，其中检测到的事件源自所述矩阵像素；以及，

把检测到的事件归于物体，对于该物体而言，最小化距离判据最低。

9.根据权利要求1至7中任何一项权利要求的方法，其中，多个物体具有在场景中被追踪的各自形状，多个物体中的每一个分别具有在检测到归于物体的事件之后被修正的各自模型(G_k)，而且，其中，在检测到可归于至少其中两个物体的事件(ev(p，t))之后，把检测到的事件不分配给所述至少其中两个物体之中的任何一个物体。

10.根据权利要求1至7中任何一项权利要求的方法，其中，多个物体具有在场景中被追踪的各自形状，多个物体中的每一个分别具有在检测到归于物体的事件之后被修正的各自模型(G_k)，而且，在检测到可归于至少其中两个物体的事件(ev(p，t))之后，把检测到的事件分配给每一个物体，检测到的事件可归于所述每一个物体。

11.根据权利要求10的方法，其中，通过权重进行物体模型(G_k)的修正，检测到的事件归于所述物体模型，所述权重取决于针对所述物体分别最小化的距离判据。

12.根据权利要求1至7中任何一项权利要求的方法，其中，多个物体具有在场景中被追踪的各自形状，多个物体中的每个物体具有在检测到归于物体的事件之后被修正的各自模型(G_k)，所述方法进一步包括：

对于每个物体而言，估算归于该物体的事件率，并记住检测到归于所述物体的最后一个事件的时刻；以及，

检测到可归于至少两个物体的事件(ev(p，t))之后，把检测到的事件归于其中一个物体，对于所述其中一个物体而言，按照所记住的时刻与检测到所述事件的时刻之间的时间间隔估算的事件率的乘积最接近1。

13.根据前述权利要求中任何一项权利要求的方法，其中，确定修正的模型包括估算(45)通过一组参数界定的空间变换(F_t)，以及把估算的空间变换应用(46)到模型(G_k)，而且，其中，估算空间变换包括根据距离的梯度计算所述参数，所述距离是在像素矩阵平面内的矩阵的像素(p)与通过把空间变换应用到与检测到的事件相关的模型的点t(m)而得到的一个点的之间的距离，检测到的事件源自所述矩阵的像素。

14.根据权利要求13的方法，其中，空间变换(F_t)包括在像素矩阵的平面内平移和旋转，其中，平移具有等于–η₁.▽_Tf(Δθ₀,ΔT₀)的矢量ΔT，旋转具有等于–η₂.▽_θf(Δθ₀,ΔT₀)的角度Δθ，其中，η₁和η₂是预定义的正收敛阶，Δθ₀和ΔT₀是旋转角度和平移矢量的特定值。

15.根据权利要求14的方法，其中，所述旋转角度和平移矢量的特定值分别为其中，p是指矩阵的像素，检测到的事件源自所述矩阵的像素，m是与检测到的事件关联的模型的点，c是旋转的中心，cp是从c指向p的矢量，cm是指从c指向m的矢量，R_Δθ0[.]是中心c和角度Δθ₀的旋度。

16.根据权利要求14或权利要求15的方法，其中，空间变换(F_t)为仿射变换，进一步包括按照像素矩阵中包含的两条轴线应用各自的比例因子。

17.根据权利要求16的方法，其中，根据s_x＝1+η₃.(|p_x|–|m_x|)以及

s_y＝1+η₃.(|p_y|–|m_y|)分别计算沿着两条轴线x、y的比例因子s_x、s_y，其中，η₃是预定义的正收敛阶，p_x和p_y是沿着轴线x和y的矩阵像素(p)的各自坐标，检测到的事件源自所述矩阵像素(p)，m_x和m_y是沿着轴线x和y的与检测到的事件关联的模型的点(m)的各自坐标。

18.在场景中追踪形状的装置，包括计算机(20)，配置该计算机利用从光传感器(10)接收的异步信息来执行在前述权利要求中所要求的方法。