CN109377516B - 一种使用动态视觉数据的光流计算方法 - Google Patents

Abstract

本发明涉及一种使用动态视觉数据的光流计算方法，是利用动态视觉传感器的高时间分辨率，以及只对场景中动态的部分有所响应的优势，提出的一种光流计算方法。通过动态视觉传感器来获取事件数据，通过伽柏核等获取数据特征并进行匹配，得到光流估计结果。相比传统光流计算方法，无需使用优化函数即可得到更加精细的光流估计结果。

Description

一种使用动态视觉数据的光流计算方法

技术领域

本公开涉及计算机视觉领域，尤其涉及一种使用动态视觉数据的光流计算方法。

背景技术

光流是运动物体在图像中的几何变化和辐射度变化的表示，光流的研究是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间像素变化的信息。

传统的光流计算方法基于一些基本的假定，比如对象在相邻两帧中的亮度是不变的，但是一般的图像采集设备所拍摄的视频的帧间隔在几十毫秒，而在这段时间内，物体的亮度等信息可能已经发生了一系列的变化，所以采用一般的图像采集设备获取的图像信息无法计算出更加精细的光流，若想得到更加精细的光流，有些方法需要对光流进行建模，并设计优化函数来限制光流的平滑度，这些方法不但使计算过程相对复杂，还会耗费时间。并且传统图像传感器记录的是整幅图像，有时需要特意对图像中的各个物体的边缘进行提取，进行大量的计算，浪费时间和资源。

所以，如何减少光流计算的计算量并提高光流计算的精细度，成为亟待解决的问题。

发明内容

有鉴于此，本公开提出了一种使用动态视觉数据的光流计算方法，能够减少光流估计的计算量并提高光流估计在时间尺度上的精细度。

根据本公开的一方面，提供了一种使用动态视觉数据的光流计算方法，其特征在于，所述方法包括：

获取动态视觉传感器采集的事件数据，所述事件数据包括：事件的坐标、时间戳和极性；

根据伽柏核的个数建立相应个数的响应平面；

针对每个响应平面，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据；

根据所述第一响应数据更新所述事件的坐标对应的响应强度；

将坐标的响应强度大于第二阈值的事件作为特征事件；

计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵；

将特征事件的坐标对应的第一特征矩阵与特征事件的时间戳对应的时间之前第一时间点的第二特征矩阵进行特征匹配，根据匹配结果激活第一特征矩阵坐标对应的坐标的输出层的细胞；

其中，所述第二特征矩阵为：所述第一特征矩阵对应的坐标的固定大小的邻域内，除该坐标外的所有坐标对应的特征矩阵；所述第一时间点和所述特征事件的时间戳对应的时间之差大于或等于预设长度；

从所有坐标的输出层的细胞中选出光流估计结果。

在一种可能的实现方式中，针对每个响应平面，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据，包括：

针对每个响应平面，将该响应平面对应的伽柏核的值叠加在该响应平面以极性增强事件的坐标为中心、该响应平面对应的伽柏核的尺度的大小的邻域上，得到该响应平面对应的第一响应数据；

其中，响应平面的大小与动态视觉传感器的分辨率相同，响应平面上的初始响应数据为零。

在一种可能的实现方式中，所述伽柏核的表达式为：

G_θ,s(X,Y)＝exp(((X²+Y²*γ²)/σ²)*cos(2*π*X/λ)) (1)

其中，

X＝x*cosθ+y*sinθ；

Y＝-x*sinθ+y*cosθ；

γ、λ和σ都是常数，s代表伽柏核的尺度，θ代表伽柏核的方向，x、y为相对坐标，即当前事件邻域内的某一个坐标减去当前事件的坐标。

在一种可能的实现方式中，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据包括：

按照事件的时间戳信息对第一响应数据进行线性衰减得到衰减后的第一响应数据；

将衰减后的第一响应数据中小于第一阈值的值置零。

在一种可能的实现方式中，按照事件的时间戳信息对第一响应数据进行线性衰减得到衰减后的第一响应数据，包括：

对第一响应数据进行线性衰减的幅度为：Leak1＝leakRate1*Δt_i，

其中，leakRate1是第一衰减率，

Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

在一种可能的实现方式中，根据所述第一响应数据更新所述事件的坐标的响应强度，包括：

将每个坐标对应的所有响应平面的第一响应数据求平方和，根据所述平方和更新该坐标对应的响应强度。

在一种可能的实现方式中，根据所述第一响应数据更新所述事件的坐标的响应强度，包括：

依照事件的时间戳信息对所述事件的坐标的响应强度进行线性衰减，对响应强度进行线性衰减的幅度为：Leak2＝leakRate2*Δt_i，

其中，leakRate2是第二衰减率，

Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

在一种可能的实现方式中，计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵，包括：

若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差大于不应期，则计算该特征事件对应的坐标的邻域内的特征事件分布，生成该特征事件坐标对应的第一特征矩阵；

若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差不大于不应期，则不计算该特征事件对应的坐标的邻域内的特征事件分布。

在一种可能的实现方式中，所述方法还包括：

为每个坐标设置一个包含M*M个细胞的输出层，其中，M为正整数；

在根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞之前，所述方法还包括：

对所有输出层的细胞的数值进行线性衰减。

在一种可能的实现方式中，将特征事件的坐标对应的第一特征矩阵与特征事件的时间戳对应的时间之前第一时间点的第二特征矩阵进行特征匹配，根据匹配结果激活第一特征矩阵坐标对应的坐标的输出层的细胞，包括：

若到达预设的结果输出时间，则根据公式(2)计算第一特征矩阵和第二特征矩阵对应的多个第一匹配结果值；

根据第二匹配结果值和第三匹配结果值计算第一比值，其中，第二匹配结果值为所述多个第一匹配结果值中的最小值，第三匹配结果值为所述多个第一匹配结果值中仅大于所述第二匹配结果值的数值；

若第一比值小于预设比例阈值，则将所述第二匹配结果值对应的坐标与第一特征矩阵对应的坐标的距离确定为所述匹配结果，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞；

若第一比值不小于预设比例阈值，则不激活第一特征矩阵对应的坐标的输出层的细胞。

本发明实施例的使用动态视觉数据的光流计算方法，是利用动态视觉传感器的高时间分辨率，以及只对场景中动态的部分有所响应的优势，提出的一种光流计算方法。通过动态视觉传感器来获取事件数据，通过伽柏核等获取数据特征并进行匹配，得到光流估计结果。相比传统光流计算方法，无需使用优化函数即可得到更加精细的光流估计结果。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的使用动态视觉数据的光流计算方法的流程图。

图2示出根据本公开一实施例的使用动态视觉数据的光流计算方法的示意图。

图3示出根据本公开一实施例的使用动态视觉数据的光流计算方法的示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

动态视觉传感器(dynamic vision sensor，简称DVS)在时域上编码光强信息时间分辨率在微秒级，DVS能够提供相互独立的事件信息，各个像素相互独立异步。当像素对应的场景中的对数光强的改变到一定值时，会产生事件，事件数据包括坐标、时间戳和极性。若像素对应的场景中的对数光强的改变不满足上述一定值，则不会给出任何输出。

图1示出根据本公开一实施例的使用动态视觉数据的光流计算方法的流程图。如图1所示，该方法包括步骤S11至S18。

图2示出根据本公开一实施例的使用动态视觉数据的光流计算方法的示意图。如图2所示，该示意图包括步骤S11至S15的光流计算方法。

在步骤S11中，获取动态视觉传感器采集的事件数据，事件数据包括：事件的坐标、时间戳和极性。

如上所述，当像素对应的场景中的对数光强的改变到一定值时，会产生事件，DVS可以采集对数光强改变到一定值的像素的坐标、光强改变的时间戳、光强的变化作为该事件的事件数据。

作为一个示例，将动态视觉传感器DVS采集得到的所有事件生成一个事件流，每个事件可以用

(事件数据)来表示，其中，i表示第i个事件，x,y表示发生该事件的像素的坐标，t表示该事件发生的时间戳，p表示该事件的极性，事件的极性可以包括光强增加和光强减少，可以通过不同的值表示不同的极性，例如：用+1表示光强增加，用0表示光强减少。

本发明实施例的使用动态视觉数据的光流计算方法，是利用动态视觉传感器的高时间分辨率，以及只对场景中动态的部分有所响应的优势，提出的一种光流计算方法。通过动态视觉传感器来获取事件数据，通过伽柏核等获取数据特征并进行匹配，得到光流估计结果。相比传统光流计算方法，无需使用优化函数即可得到更加精细的光流估计结果。

在步骤S12中，根据伽柏核的个数建立相应个数的响应平面。

在一种可能的实现方式中，所述伽柏核的表达式可以为：

G_θ,s(X,Y)＝exp(((X²+Y²*γ²)/σ²)^*cos(2*π*X/λ)) (1)

其中，

X＝x*cosθ+y*sinθ；

Y＝-x*sinθ+y*cosθ；

γ、λ和σ都是人为给定的参数，s代表伽柏核的尺度，λ的设置可以和S有关，σ可以为σ＝λ*0.8，θ代表伽柏核的方向，x、y为相对坐标，即当前事件邻域内的某一个坐标减去当前事件的坐标。

其中，响应平面可以与DVS的分辨率大小相同，例如，都可以为A*B,初始值设置为0的一个矩阵。

作为一个示例，由上述公式(1)表达的伽柏核可以根据不同的尺度和不同的方向来确定多个不同的伽柏核，例如选取的尺度可以为3*3像素、5*5像素、7*7像素、9*9像素这4种尺度，方向可以为0°、45°、90°、135°，这4种方向，则由这4种尺度和4种方向可以组成16种伽柏核，因此，可以建立16个响应平面，每个响应平面对应一种伽柏核。假如动态视觉传感器的像素个数为180*240，那么每个响应平面有180*240个对应的响应数据，响应数据的初始数值全部为零。

在步骤S13中，针对每个响应平面，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据。

在一种可能的实现方式中，针对每个响应平面，将该响应平面对应的伽柏核的值叠加在该响应平面上以极性增强事件的坐标为中心、该响应平面对应的伽柏核的尺度的大小的邻域上，得到该响应平面对应的第一响应数据。

其中，响应平面的大小与动态视觉传感器的分辨率相同，响应平面上的初始响应数据为零。

作为一个示例，若某个响应平面对应的伽柏核的尺度为3*3像素，方向为45°。假设先后有多个坐标处有极性增强的事件，例如，坐标(2,2)、(2,3)、(7,8)处先后产生极性增强的事件，首先，以坐标(2,2)处为极性增强的事件的坐标为例，则坐标(2,2)的邻域为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)、(3,1)、(3,2)、(3,3)，通过上述伽柏核的公式(1)分别求出坐标(2,2)邻域内的这些坐标的对应的伽柏核的值，然后将求出的伽柏核的值叠加在响应平面上原有的响应数据(此时为计算的第一个事件，响应平面上的初始数据为0)上，例如坐标(1,2)处叠加前的响应数据为0，通过上述伽柏核的公式(1)计算出坐标(1,2)处对应的伽柏核的值假设为2，则坐标(1,2)处的响应数据在叠加后更新为2。

在一种可能的实现方式中，还可以对上述第一响应数据进行线性衰减。

在一个示例中，可以按照事件的时间戳信息对上述第一响应数据进行线性衰减得到衰减后的第一响应数据；将衰减后的第一响应数据中小于第一阈值的值置零。

其中，第一阈值是人为给定的数值，可以由以往的实验经验得到。

在一种可能的实现方式中，按照事件的时间戳信息对第一响应数据进行线性衰减得到衰减后的第一响应数据，可以包括：对第一响应数据进行线性衰减的幅度为：Leak1＝leakRate1*Δt_i，其中，leakRate1是第一衰减率，leakRate1的设置，是人为给定的数值，由以往的实验经验得到，Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

作为一个示例，坐标(2,3)是第二个极性增强的事件的坐标，坐标(2,3)处的邻域为(1,2)、(1,3)、(1,4)、(2,2)、(2,3)、(2,4)、(3,2)、(3,3)、(3,4)。先对所有的响应平面进行线性衰减，然后通过公式(1)分别求出坐标(2,3)邻域内的这些坐标对应的伽柏核的值，然后将求出的伽柏核的值叠加在原有的响应数据上。

例如，坐标(1,2)处的响应数据SIM_θ，s(x,y)经过上次叠加后已更新为2，坐标(2,2)发生事件的时间戳为10020微秒，(2,3)发生事件的时间戳为10040微秒，leakrate1的数值为0.01/us，所以衰减量为0.01*(40-20)＝0.2，因此，经过本次线性衰减后，(1,2)对应的响应数据已经变成1.8。而坐标(1,2)处通过上述伽柏核的公式(1)计算出对应的伽柏核的值假设为1.5，则坐标(1,2)处的第一响应数据

经过本次叠加后就更新为3.3。针对每一个极性增强的事件进行以上过程的运算，可以得到该响应平面的第一响应数据。

作为一个示例，可以选取所有极性增强的事件生成一个新的事件流e_j(x,y,t,p)，其中，j表示新事件流中的第j个事件，该新的事件流中的极性p都表示极性增强，例如，p都为1。针对所有响应平面，根据新的事件流中的所有事件逐一进行处理，依次得到的所有响应平面对应的第一响应数据。

本发明实施例的使用动态视觉数据的光流计算方法，通过使用动态视觉传感器采集事件数据，并选取N个伽柏核，产生N倍于动态视觉传感器的像素个数的响应数据，不但增强了有效事件的响应数据，还为获得更加精细的光流估计结果打下了基础。

在步骤S14中，根据第一响应数据更新所述事件的坐标对应的响应强度。

在一种可能的实现方式中，步骤S14可以包括：步骤S141，将每个坐标对应的所有响应平面的第一响应数据求平方和，根据所述平方和更新该坐标对应的响应强度。

作为一个示例，坐标(x,y)对应的响应强度c(x,y)的更新方式可以表示为：

其中，

为第一响应数据，等号右边的c(x,y)为未叠加第一响应数据平方和时坐标(x,y)处的响应强度(或者称之为更新前的响应强度)，等号左边的c(x,y)为坐标(x,y)处叠加上第一响应数据平方和后的响应强度(或者称之为更新后的响应强度)。

在一种可能的实现方式中，步骤S14还可以包括：在步骤S141之前，依照事件的时间戳信息对事件的坐标的响应强度进行线性衰减(即对事件的坐标的更新前的响应强度进行线性衰减)，对响应强度进行线性衰减的幅度可以为：Leak2＝leakRate2*Δt_i，其中，leakRate2是第二衰减率，是人为给定的数值，由以往的实验经验得到。例如衰减率为10^-8/us，Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

本发明实施例的使用动态视觉数据的光流计算方法，通过使用动态视觉传感器采集事件数据，并选取N个伽柏核，产生N倍于动态视觉传感器的像素个数的响应数据，再经过线性衰减的方式去除了干扰事件的信息，并选取出更加有效的响应数据来计算每个坐标对应的响应强度。

在步骤S15中，将坐标的响应强度大于第二阈值的事件作为特征事件。

其中，第二阈值是人为给定的数值，可以由以往的实验经验得到。

本发明实施例的使用动态视觉数据的光流计算方法，通过对响应强度进行线性衰减去除干扰事件的信息，并选取出更加有效的响应强度对应的事件作为特征事件。

图3示出根据本公开一实施例的使用动态视觉数据的光流计算方法的示意图。如图3所示，该示意图包括图1中的步骤S16至S18的光流计算方法。

在步骤S16中，计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵。

特征事件分布可以表示特征事件邻域内的特征事件的分布情况，例如，取待计算的特征事件的邻域大小为11*11，则分析该特征事件周围11*11的邻域内所有特征事件的分布情况，例如，特征事件的位置分布。

作为一个示例，使用Count矩阵记录特征事件发生的次数，其中，Count矩阵的大小与动态视觉传感器的分辨率相同，例如动态视觉传感器的分辨率为180*240，则Count矩阵为180*240的矩阵。为Count矩阵建立一个特征事件队列queue，设置特征事件队列queue的事件时间窗口为T。当有特征事件生成时，例如，该生成的特征事件的坐标为(x,y)：

若生成的特征事件的时间戳与队头事件的时间戳之差小于等于T，则将其入队：

queue.push(x,y) Count(x,y)＝Count(x,y)+1

若生成的特征事件的时间戳与队头事件的时间戳之差大于T，则将队头事件弹出，将该生成的特征事件入队：

queue.pop(x_old,y_old) Count(x,y)＝Count(x,y)-1

其中，(x_old,y_old)为队头事件的事件数据中的事件的坐标。

作为一个示例，在Count矩阵中，根据该坐标各个方向上特征事件数量的统计结果，生成第一特征矩阵。例如，取特征事件邻域的大小为11*11，并将特征事件的邻域分为四个区域，该四个区域分别代表不同的方向，统计这4个区域内的特征事件的数量，生成一个2*2大小的矩阵，则该矩阵即为第一特征矩阵。

在一种可能的实现方式中，步骤S16中的，计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵，可以包括：

若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差大于不应期，则计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵；

不应期，是人为给定的数值，由以往的实验经验得到，若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差不大于不应期，则不计算该特征事件对应的坐标的邻域内的特征事件分布，由于动态视觉传感器在时域上编码光强信息的时间分辨率非常精细，在如此精细的时间之中，场景中的物体的位移可能非常的小，甚至还没有移动，所以通过设置不应期来累积场景内的物体的位移，防止了计算资源无用的使用而带来不必要的浪费。

在步骤S17中，将特征事件的坐标对应的第一特征矩阵与特征事件的时间戳对应的时间之前第一时间点的第二特征矩阵进行特征匹配，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞。

其中，第二特征矩阵为：第一特征矩阵对应的坐标的固定大小的邻域内，除该坐标外所有坐标对应的特征矩阵；第一时间点和特征事件的时间戳对应的时间之差大于或等于预设长度。

预设长度可以为一个不应期的时长。

换言之，步骤S17表示将特征事件的坐标对应的第一特征矩阵与一个不应期之前该特征事件对应的坐标的邻域内的所有特征事件分别对应的特征矩阵进行匹配，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞。

在一种可能的实现方式中，步骤S17可以包括：

步骤S171，若到达预设的结果输出时间，则根据公式(2)计算第一特征矩阵和第二特征矩阵对应的多个第一匹配结果值；

其中，预设的结果输出时间可以是根据设置的结果输出周期确定的。举例来说，可以周期性的输出光流估计结果，那么根据开始时间和结果输出周期可以确定每一次的结果输出时间。当然，也可以预先设定每次的结果输出时间，不一定是周期性的输出，本公开对此不作限定。

步骤S172，根据第二匹配结果值和第三匹配结果值计算第一比值，其中，第二匹配结果值为多个第一匹配结果值中的最小值，第三匹配结果值为多个第一匹配结果值中仅大于第二匹配结果值的数值；

步骤S173，若第一比值小于预设比例阈值，则将第二匹配结果值对应的坐标与第一特征矩阵对应的坐标的距离确定为匹配结果，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞；

步骤S174，若第一比值不小于预设比例阈值，则不激活第一特征矩阵对应的坐标的输出层的细胞。

其中，预设比例阈值可以人为设定，例如，如图3所示，预设比例阈值可以为0.6。

作为一个示例，DVS的分辨率为A*B，为每个坐标设置一个包含M*M个细胞的输出层，其中，M为正整数，且M小于A和B中较小值；其中，细胞的初始数值为零，若对细胞进行激活，则每激活一次，就对该细胞的数值累加一个常数。

作为一个示例，为每个坐标都设置一个11*11大小的输出层，即每个输出层都含有11*11个细胞，细胞的初始数值全部为零，若对细胞进行激活，则每激活一次，就对该细胞的数值累加一个常数，例如常数可以为1。

作为一个示例，若到达结果输出时间，可以先对所有输出层的细胞的数值进行线性衰减，例如都依照当前的结果输出时间和上一次结果输出时间对所有的细胞的数值进行线性衰减，对细胞的数值进行线性衰减的幅度为：Leak3＝leakRate3*Δt_i，其中，leakRate3是第三衰减率，是人为给定的数值，由以往的实验经验得到，Δt_i＝t_i-t_i-1，是当前结果输出时间与上一次结果输出时间之差，例如这一次结果输出时间为t2，上一次结果输出时间为t1，则Δt₂＝t₂-t₁。

作为另一个示例，若到达结果输出时间，可以先对所有输出层的细胞的数值进行线性衰减，例如都依照事件的时间戳信息对所有的细胞的数值进行线性衰减，对细胞的数值进行线性衰减的幅度为：Leak4＝leakRate4*Δt_i，其中，leakRate4是第四衰减率，是人为给定的数值，由以往的实验经验得到，Δt_i＝t_i-t_i-1，是当前事件的时间戳与上一事件的时间戳之差。

可以先对所有输出层的细胞的数值进行线性衰减，然后将每一个第一特征矩阵与第二特征矩阵进行特征匹配。特征匹配的相似度可以用上述公式(2)得到。

将第一特征矩阵与第二特征矩阵匹配后得到多个第一匹配结果值，在所有第一匹配结果值中选出最小值作为第二匹配结果值dist(x_i；x_nearest1)，在所有第一匹配结果值中选出仅大于第二匹配结果值的值作为第三匹配结果值dist(x_i；x_nearest2)，将第二匹配结果值和第三匹配结果值的比值作为第一比值，将第一比值与预设比例阈值γ进行比较：

若第一比值小于预设比例阈值γ，则将第二匹配结果值对应的坐标确定为匹配结果；若第一比值不小于预设比例阈值γ，则该当前待匹配的特征事件无匹配结果，则不激活第一特征矩阵对应的坐标的输出层的细胞。

作为一个示例，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞，其具体过程可以为：假如当前待匹配的特征事件对应坐标为(1,1)，将当前待匹配的特征事件对应的第一特征矩阵与当前待匹配的特征事件对应的第二特征矩阵进行匹配，假如第二特征矩阵中坐标(4,5)对应的特征矩阵被确定为最相似的匹配，而坐标(1,1)到坐标(4,5)的距离为(3,4)，所以将当前待匹配的特征事件对应的坐标(1,1)的输出层中的细胞(3,4)激活，将细胞(3,4)处的数值加1。

在步骤S18中，从所有坐标的输出层的细胞中选出光流估计结果，并将结果进行输出。

作为一个示例，将动态视觉传感器的所有像素对应的坐标遍历完之后，挑选出每个像素对应的坐标的输出层的细胞中数值最大的细胞的坐标作为该像素对应坐标的光流估计结果，并将结果进行输出。

本发明实施例的使用动态视觉数据的光流计算方法，通过为每个坐标设置包含多个细胞的输出层来累计匹配结果，并通过线性衰减的方式防止同一坐标下前一事件的信息对后一事件的信息产生影响。使用高维空间中的距离来表示匹配的相似程度，设置比例阈值来验证匹配结果的正确性，保证了匹配的精确度。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种使用动态视觉数据的光流计算方法，其特征在于，所述方法包括：

获取动态视觉传感器采集的事件数据，所述事件数据包括：事件的坐标、时间戳和极性；

根据伽柏核的个数建立相应个数的响应平面，所述伽柏核包括尺度和方向两个参数；

针对每个响应平面，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据；

根据所述第一响应数据更新所述事件的坐标对应的响应强度；

将坐标的响应强度大于第二阈值的事件作为特征事件；

计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵；

将特征事件的坐标对应的第一特征矩阵与特征事件的时间戳对应的时间之前第一时间点的第二特征矩阵进行特征匹配，根据匹配结果激活第一特征矩阵坐标对应的坐标的输出层的细胞；

其中，所述第二特征矩阵为：所述第一特征矩阵对应的坐标的固定大小的邻域内，除该坐标外的所有坐标对应的特征矩阵；所述第一时间点和所述特征事件的时间戳对应的时间之差大于或等于预设长度；

从所有坐标的输出层的细胞中选出光流估计结果，并将结果进行输出。

2.根据权利要求1所述的方法，其特征在于，针对每个响应平面，根据该响应平面对应的伽柏核和极性增强事件的坐标计算该响应平面对应的第一响应数据，包括：

针对每个响应平面，将该响应平面对应的伽柏核的值叠加在该响应平面上以极性增强事件的坐标为中心、该响应平面对应的伽柏核的尺度的大小的邻域上，得到该响应平面对应的第一响应数据；

其中，响应平面的大小与动态视觉传感器的分辨率相同，响应平面上的初始响应数据为零。

3.根据权利要求1或2所述的方法，其特征在于，所述伽柏核的表达式为：

G_θ,s(X,Y)＝exp(((X²+Y²*γ²)/σ²)*cos(2*π*X/λ)) (1)

其中，

X＝x*cosθ+y*sinθ；

Y＝-x*sinθ+y*cosθ；

γ、λ和σ都是常数，s代表伽柏核的尺度，θ代表伽柏核的方向，x、y为相对坐标，即当前事件邻域内的某一个坐标减去当前事件的坐标。

4.根据权利要求2所述的方法，其特征在于，根据该响应平面对应的伽柏核和极性增强事件的坐标计算响应平面对应的第一响应数据包括：

按照事件的时间戳信息对第一响应数据进行线性衰减得到衰减后的第一响应数据；

将衰减后的第一响应数据中小于第一阈值的值置零。

5.根据权利要求4所述的方法，其特征在于，按照事件的时间戳信息对第一响应数据进行线性衰减得到衰减后的第一响应数据，包括：

对第一响应数据进行线性衰减的幅度为：Leak1＝leakRate1*Δt_i，

其中，leakRate1是第一衰减率，

Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

6.根据权利要求1、4或5所述的方法，其特征在于，根据所述第一响应数据更新所述事件的坐标的响应强度，包括：

将每个坐标对应的所有响应平面的第一响应数据求平方和，根据所述平方和更新该坐标对应的响应强度。

7.根据权利要求1所述的方法，其特征在于，根据所述第一响应数据更新所述事件的坐标的响应强度，包括：

依照事件的时间戳信息对所述事件的坐标的响应强度进行线性衰减，对响应强度进行线性衰减的幅度为：Leak2＝leakRate2*Δt_i，

其中，leakRate2是第二衰减率，

Δt_i＝t_i-t_i-1是当前事件的时间戳与上一事件的时间戳之差。

8.根据权利要求1所述的方法，其特征在于，计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵，包括：

若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差大于不应期，则计算该特征事件对应的坐标的邻域内的特征事件分布，生成该坐标对应的第一特征矩阵；

若特征事件的时间戳与该特征事件对应坐标下前一事件的时间戳之差不大于不应期，则不计算该特征事件对应的坐标的邻域内的特征事件分布。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为每个坐标设置一个包含M*M个细胞的输出层，其中，M为正整数；

在根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞之前，所述方法还包括：

对所有输出层的细胞的数值进行线性衰减。

10.根据权利要求1或9所述的方法，其特征在于，将特征事件的坐标对应的第一特征矩阵与特征事件的时间戳对应的时间之前第一时间点的第二特征矩阵进行特征匹配，根据匹配结果激活第一特征矩阵坐标对应的坐标的输出层的细胞，包括：

若到达预设的结果输出时间，则根据公式(2)计算第一特征矩阵和第二特征矩阵对应的多个第一匹配结果值；

公式(2)中，x_i表示第一特征矩阵，x₁,x₂,…x_i-1,x_i+1,…,x_n均表示第二特征矩阵，x_j表示第二特征矩阵中的任意一个，n表示第一特征矩阵和第二特征矩阵的总个数；

根据第二匹配结果值和第三匹配结果值计算第一比值，其中，第二匹配结果值为所述多个第一匹配结果值中的最小值，第三匹配结果值为所述多个第一匹配结果值中仅大于所述第二匹配结果值的数值；

若第一比值小于预设比例阈值，则将所述第二匹配结果值对应的坐标与第一特征矩阵对应的坐标的距离确定为所述匹配结果，根据匹配结果激活第一特征矩阵对应的坐标的输出层的细胞；

若第一比值不小于预设比例阈值，则不激活第一特征矩阵对应的坐标的输出层的细胞。

Images