CN109716392A - 一种光流计算方法及计算设备 - Google Patents

Abstract

本发明公开了一种光流计算方法，该方法适于在计算设备中执行，包括步骤：获取预定时长的事件数据流，事件数据流来自动态视觉传感器，且事件数据流中包含被触发事件的坐标位置及时间戳；根据被触发事件的坐标位置和时间戳生成时间戳矩阵；按照预定扫描方向对时间戳矩阵中的元素进行扫描，以根据各个元素沿所述扫描方向的值和梯度来确定元素中的至少一个中继点；计算相邻中继点的距离和梯度方向，并根据所计算得到的结果来生成光流矩阵。本发明一并公开了相应的计算设备。

Description

一种光流计算方法及计算设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种光流计算方法及计算设备。

背景技术

动态视觉传感器(Dynamic Vision Sensor，DVS)是一种模拟基于脉冲触发式神经元的人类视网膜的生物拟态视觉传感器。该传感器内具有像素单元阵列，其中每一个像素单元均能够独立自主地响应并记录光强快速变化的区域，并采用事件触发的处理机制输出所记录的数据，故其输出不再是图像帧，而是异步的数字事件流。这样，动态视觉传感器的速度不再受传统的曝光时间和帧速率限制，可以侦测到高达万帧/秒速率运动的高速物体，同时还能大幅度地降低运算量，具有广泛的应用前景。

目前已有各种围绕着动态视觉传感器输出的事件数据流提出的光流计算方法，这些方法通过拟合事件数据流在时空联合坐标空间内形成的超平面，计算像素点运动的大小与方向。由于需要对每一个像素点搜索其空间邻域与时间邻域，并进行局部超平面的拟合，目前的动态视觉传感器光流计算方法存在计算复杂度大、时间开销多的问题，难以满足实时性的应用需求。

鉴于此，需要一种有效的光流计算方法，能够满足实时性的需求。

发明内容

本发明提供了一种光流计算方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种光流计算方法，该方法适于在计算设备中执行，包括步骤：获取预定时长的事件数据流，事件数据流来自动态视觉传感器，且事件数据流中包含被触发事件的坐标位置及时间戳；根据被触发事件的坐标位置和时间戳生成时间戳矩阵；按照预定扫描方向对时间戳矩阵中的元素进行扫描，以根据各个元素沿所述扫描方向的值和梯度来确定元素中的至少一个中继点；计算相邻中继点的距离和梯度方向，并根据所计算得到的结果来生成光流矩阵。

可选地，在根据本发明的光流计算方法中，根据被触发事件的坐标位置和时间戳生成时间戳矩阵的步骤包括：构建一个预定尺寸的时间戳矩阵，该预定尺寸根据动态视觉传感器的像素单元阵列的尺寸确定；采用零值初始化时间戳矩阵，得到初始化时间戳矩阵；在初始化时间戳矩阵中查找被触发事件的坐标位置；以及在查找到的坐标位置中写入其对应的被触发事件的时间戳，得到时间戳矩阵。

可选地，在根据本发明的光流计算方法中，预定扫描方向根据视场中物体运动的方向确定；以及预定扫描方向包括：水平扫描方向、垂直扫描方向、透视扫描方向和旋转扫描方向。

可选地，在根据本发明的光流计算方法中，根据各个元素沿扫描方向的值和梯度来确定元素中的至少一个中继点的步骤包括：根据被扫描元素的值沿扫描方向逐点计算被扫描元素的梯度；当被扫描元素的值和/或梯度满足预定条件时，确定该被扫描元素为中继点。

可选地，在根据本发明的光流计算方法中，根据所计算得到的结果来生成光流矩阵的步骤包括：构建一个预定尺寸的光流矩阵；采用零值初始化光流矩阵，得到初始化光流矩阵；在初始化光流矩阵中查找中继点的坐标位置；以及在查找到的坐标位置中写入其对应的中继点的值，生成光流矩阵。

可选地，在根据本发明的光流计算方法中，当被扫描元素的值和/或梯度满足预定条件时、确定该被扫描元素为中继点的步骤包括：当被扫描元素的梯度和与其相邻的元素的梯度的乘积小于零时，确定该被扫描元素为第一中继点；当被扫描元素的值不等于0且与其相邻的元素的值等于0时，确定该被扫描元素为第二中继点；以及将第一中继点和第二中继点均标记为中继点。

可选地，在根据本发明的光流计算方法中，计算相邻中继点的距离和梯度方向的步骤包括：依次选取两个相邻的、且中间不含零点的中继点，作为中继点对；对每个中继点对，根据两个中继点的坐标位置计算中继点对的距离；计算中继点对的梯度方向并根据梯度方向确定梯度符号值；以及将中继点对的距离和梯度符号值的乘积值作为中继点对中两个中继点的值。

可选地，在根据本发明的光流计算方法中，根据所计算得到的结果来生成光流矩阵的步骤还包括：构建一个预定尺寸的光流矩阵；采用零值初始化光流矩阵，得到初始化光流矩阵；在初始化光流矩阵中查找中继点对中两个中继点的坐标位置；以及在查找到的两个中继点的坐标位置及这两个中继点之间的坐标位置中均写入对应的两个中继点的值。

可选地，在根据本发明的光流计算方法中，在查找到的坐标位置中写入其对应的被触发事件的时间戳的步骤包括：若在事件数据流中，一个坐标位置对应多个时间戳，则从多个时间戳中选取值最大的时间戳写入该坐标位置。

可选地，在根据本发明的光流计算方法中，在查找到的坐标位置中写入其对应的被触发事件的时间戳的步骤包括：若在事件数据流中，一个坐标位置对应多个时间戳，则从多个时间戳中选取值最小的时间戳写入该坐标位置。

可选地，在根据本发明的光流计算方法中，根据梯度方向确定梯度符号值的步骤包括：当梯度方向大于零时，确定梯度符号值为+1；当梯度方向小于零时，确定梯度符号值为-1。

根据本发明的另一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述光流计算方法中的任一方法的指令。

根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得计算设备执行如上所述光流计算方法中的任一方法。

根据本发明的光流计算方案，先根据事件数据流生成时间戳矩阵，沿预定扫描方向对时间戳矩阵进行矢量跟踪，而后计算出相邻中继点的距离和梯度方向，根据计算结果来生成光流矩阵。也就是说，仅需对时间戳矩阵中的元素进行遍历操作，就可以计算出光流矩阵，从而避免了现有方法中像素局部的高复杂度的平面拟合计算过程，具有更好地可操作性和实时性。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一些实施例的计算设备100的示意图；

图2示出了根据本发明一些实施例的光流计算方法200的流程示意图；

图3示出了根据本发明一些实施例的由动态视觉传感器输出事件数据流的示意图；

图4A示出了根据本发明一个实施例的时间戳矩阵示意图；

图4B示出了根据本发明另一个实施例的时间戳矩阵示意图；

图5示出了根据本发明实施例的在时间戳矩阵中的几种预定扫描方向的示意图；以及

图6示出了根据本发明一个实施例的时间戳矩阵中的中继点示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行光流计算方法200，程序数据124中就包含了用于执行方法200的指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。本发明的实施例对此不作限制。

在光流计算中常采用运动传感器来替代传统的图像传感器，这是由于运动传感器能够响应表示相对亮度变化的事件，故运动传感器的输出数据可以比传统的图像传感器更好地记录和展示运动信息。根据一种实现方式，在场景中布置动态视觉传感器，当场景中没有物体移动时，动态视觉传感器不会显示任何内容。然而一旦其检测到场景中的物体运动时(即，光线发生变化)，就会输出动态像素(即，亮度发生变化的像素)的时序像素事件数据流。也就是说，该事件数据流按时序记录了发生事件(即，动态视觉传感器中像素的亮度发生变化)的像素信息。

根据本发明的实施方式，通过对来自动态视觉传感器的事件数据流进行处理，来计算得到光流矩阵。图2示出了根据本发明一个实施例的光流计算方法200的流程示意图。

如图2所示，方法200始于步骤S210，获取预定时长的事件数据流，事件数据流来自动态视觉传感器，且事件数据流中包含被触发事件的坐标位置及时间戳。图3示出了由动态视觉传感器输出事件数据流的示意图。如图3中以一个9×7的矩阵代表动态视觉传感器中的像素单元阵列(本领域内技术人员应当了解，图3仅作为示例，在实际应用中，动态视觉传感器中的像素阵列远不止图3所示大小)，当阵列中某个像素单元的亮度发生变化时，触发生成一个相应的事件数据e，被触发事件的坐标位置就是该像素单元的坐标位置，用e_i表示第i次触发的事件(i取1,2,3,…)，如图3，随着时间的推进，动态视觉传感器依次不断地输出事件数据e₁,e₂,e₃,e₄,...，构成一个时序的事件数据流。其中，每个事件数据e_i包括被触发事件的坐标位置和被触发时刻的时间戳，即，事件数据e_i可以表示为e_i＝(x_i,y_i,t_i)，其中，(x_i,y_i)为第i次触发事件的坐标位置，t_i为第i次触发事件的时间戳。且后触发事件的时间戳肯定大于先触发事件的时间戳，如t₂＞t₁。

图3还示出了从动态视觉传感器中获取的预定时长的事件数据流，用e_start和e_end分别表示开始获取与结束获取时刻对应的事件，在图3中，e_start＝e₂，e_end＝e₁₀。在根据本发明的实施例中，可以每隔一段时间就获取预定时长的事件数据流，本发明的实施例对所获取的事件数据流的时长不做限制。

另外，图3中还示出，在某个坐标位置处存在不止一个事件数据，如e₆,e₁₀，这表示该坐标位置先在t₆时刻被触发，生成一个事件e₆，后来又在t₁₀时刻被触发，生成一个事件e₁₀，这样，同一个坐标位置就会对应两个或三个甚至是多个时间戳。

随后在步骤S220中，根据被触发事件的坐标位置和时间戳生成时间戳矩阵。具体来说，将所获取的事件数据流中各事件数据按照对应的坐标位置、依照被触发时间(即，时间戳值)的先后顺序，依次填充形成一个时间戳矩阵。

以下示出了根据本发明的一种实施方式，生成时间戳矩阵的具体过程，具体如步骤1)-3)所述。

1)首先，构建一个预定尺寸的时间戳矩阵，其中，时间戳矩阵的预定尺寸是根据动态视觉传感器的像素单元阵列的尺寸来确定的，可选地，时间戳矩阵应该能包含传感器的阵列中所有像素单元。在根据本发明的一个实施例中，时间戳矩阵与像素单元阵列是等尺寸的，假设像素单元阵列的尺寸为768×640，则构建的时间戳矩阵的尺寸大小为768×640。

2)采用零值初始化所述时间戳矩阵，得到初始化时间戳矩阵。

3)在初始化时间戳矩阵中查找所获取的预定时长的事件数据流中，被触发事件的坐标位置，然后，在查找到的坐标位置中写入其对应的被触发事件的时间戳，得到时间戳矩阵。简单来说就是，按照事件被触发时间的先后顺序、将步骤S210中获取的事件数据对应的时间戳值，对应坐标位置依次填充到初始化时间戳矩阵中。

如前文所述，同一坐标位置的像素单元可能会被多次触发，对应生成多个事件。在这种场景下生成时间戳矩阵时，在时间戳矩阵的同一个坐标位置处会对应有不止一个时间戳值，对此，本发明的实施例提供了两种写入时间戳或填充时间戳矩阵的方式。

根据一个实施例，若在事件数据流中，一个坐标位置对应多个时间戳，则在写入时间戳时，从这多个时间戳中选取值最大的时间戳写入该坐标位置。即，当事件e_m与事件e_n对应的坐标位置相同时，在时间戳矩阵中保留最新触发的时间戳值。如图4A示出了根据本发明一个实施例的时间戳矩阵示意图，对应的事件数据流e₂,e₃,...,e₁₀为图3中生成的事件数据流，时间戳矩阵的尺寸大小还是9×7。

根据另一个实施例，若在事件数据流中，一个坐标位置对应多个时间戳，则在写入时间戳时，从这多个时间戳中选取值最小的时间戳写入该坐标位置。即，当事件e_m与事件e_n对应的坐标位置相同时，在时间戳矩阵中保留最早触发的时间戳值。如图4B示出了根据本发明另一个实施例的时间戳矩阵示意图，对应的事件数据流e₂,e₃,...,e₁₀为图3中生成的事件数据流，时间戳矩阵的尺寸大小还是9×7。

对比图4A和图4B，在图4A生成的时间戳矩阵中，坐标位置(4,1)(即第5行第2列)处写入的时间戳值为T₁₀，坐标位置(4,5)(即第5行第6列)处写入的时间戳值为T₉；在图4B生成的时间戳矩阵中，坐标位置(4,1)处写入的时间戳值为T₆，坐标位置(4,5)处写入的时间戳值为T₄。

以上仅给出一些生成时间戳矩阵的示例，在实际计算中，本领域技术人员可选取任一种方式，本发明旨在保护按照事件被触发的时间生成时间戳矩阵，对写入时间戳的方式并不做限制。

随后在步骤S230中，按照预定扫描方向对时间戳矩阵中的元素进行扫描，以根据各个元素沿该扫描方向的值和梯度来确定元素中的至少一个中继点。

在根据本发明的实施方式中，预定扫描方向根据视场中物体运动的方向确定，预定扫描方向可以是水平扫描方向、垂直扫描方向、透视扫描方向和旋转扫描方向中的一种。图5示出了根据本发明实施例的在时间戳矩阵中的几种预定扫描方向的示意图。图5中(1)表示透视扫描方向，(2)表示垂直扫描方向，(3)表示水平扫描方向，(4)表示旋转扫描方向。以(1)为例，每一条带箭头的线表示一条扫描线，按箭头指向的方向进行扫描，(1)所示的透视扫描方向为从中心点向四周扫描的方向，当然，除了(1)所示的情形外，透视扫描方向也可以是从四周向中心点扫描的方向。同样地，(2)所示的垂直扫描方向为从上到下的垂直扫描，也可以是从下到上的垂直扫描，依此可类推水平扫描方向和旋转扫描方向，此处不再赘述。图5所示的预定扫描方向仅为几个示例。预定扫描方向可通过预估视场中物体的大致运动方向来确定。例如，当已知视场中物体靠近或远离目标(目标例如是动态视觉传感器)运动时，可确定预定扫描方向为透视扫描方向；当已知视场中物体呈水平运动时，可确定预定扫描方向为水平扫描方向；当已知视场中物体呈垂直方向运动时，可确定预定扫描方向为垂直扫描方向；当已知视场中物体呈旋转运动时(如，转圈)，可确定预定扫描方向为旋转扫描方向。预定扫描方向还可以根据应用需求来确定，例如在安防应用中，一般选择水平扫描方向，又如，在自动驾驶应用中，一般会选择透视扫描方向，等等。

在确定扫描方向后，利用扫描线按所确定的预定扫描方向对时间戳矩阵中的元素进行扫描，同时，根据被扫描元素的值沿扫描方向逐点计算被扫描元素的梯度，当被扫描元素的值和/或梯度满足预定条件时，确定该被扫描元素为中继点。在根据本发明的实施例中，沿每条扫描线的起始扫描元素开始逐点跟踪，并计算每条扫描线上被扫描元素的梯度，当被扫描元素的梯度和与其相邻的元素的梯度的乘积小于零时，确定该被扫描元素为第一中继点(第一中继点也称作是梯度拐点)；同时，还可以记录每个被扫描元素的值，当被扫描元素的值不等于0且与其相邻的元素的值等于0时，确定该被扫描元素为第二中继点(第二中继点也称作是近零点)；当被扫描元素为该扫描线的最后一个扫描元素时，扫描结束。对所有的扫描线执行上述步骤，直至将时间戳矩阵全部扫描完，就得到了多个第一中继点和第二中继点，将第一中继点和第二中继点均标记为中继点。

上述判断被扫描元素是否满足预定条件的过程，亦可以通过如下一组公式来表示：

当第k个被扫描元素满足以下预定条件之中的任一个条件时，就确定第k个被扫描元素为中继点：

gradient_k-1*gradient_k＜0

Amplitude_k-1≡0且Amplitude_k≠0

Amplitude_k-1≠0且Amplitude_k≡0

式中，gradient_k表示第k个被扫描元素的梯度，gradient_k-1表示第k-1个被扫描元素的梯度，Amplitude_k表示第k个被扫描元素的值，Amplitude_k-1表示第k-1个被扫描元素的值。在根据本发明的一个实施例中，被扫描元素的梯度通过前向差分或后向差分公式算得，被扫描元素的值就是时间戳矩阵中的时间戳值，梯度计算属于本领域技术人员的已知内容，本发明的实施例对此不做限制，任何梯度计算方法均可以与本发明的实施例相结合，来实现方法200。

为进一步说明如何确定中继点，图6示出了根据本发明一个实施例的时间戳矩阵中的中继点示意图。图6以条状图的形式表示了沿扫描线的被扫描元素，其中，每个长条表示一个被扫描元素，长条的幅度代表了被扫描元素的值，幅度越高表示值越大。图6中示出了部分时间戳矩阵(可以看作是一条扫描线上的扫描结果)，其中，第一个被扫描元素值为0，第二个被扫描元素就是近零点，即中继点A，接着中继点B为梯度拐点，中继点C和D是近零点，中继点E是梯度拐点，中继点F是近零点。

随后在步骤S240中，计算相邻中继点的距离和梯度方向，并根据所计算得到的结果来生成光流矩阵。

首先，通过计算相邻中继点的距离和梯度方向来得到中继点的值。

根据本发明的实施例，沿扫描线依次选取两个相邻的、且中间不含零点(零点就是时间戳矩阵中元素值为0的点)的中继点，作为中继点对。然后，对每个中继点对，根据两个中继点的坐标位置计算该中继点对的距离，计算中继点对的梯度方向并根据该梯度方向确定梯度符号值。在根据本发明的一个实施例中，当梯度方向大于零时，确定梯度符号值为+1；当梯度方向小于零时，确定梯度符号值为-1。计算两个坐标的距离以及根据梯度值确定梯度方向均属于本领域已知内容，此处不再赘述。最后，将每个中继点对的距离和梯度符号值的乘积值作为这个中继点对中两个第一中继点的值。

继续以图6为例，中继点A和中继点B为一个中继点对，计算该中继点对的距离d_AB，记中继点A的坐标为(x_a,y_a)，中继点B的坐标为(x_b,y_b)，那么，在图6的示例中，从中继点A到中继点B成单调递增趋势，故此处简单地将中继点对的梯度符号值标记为s_AB＝+1，这样，通过计算d_AB*s_AB就得到中继点A(中继点B)的值v_AB。同样，计算得到中继点B和中继点C的值，中继点D和中继点E的值，中继点E和中继点F的值，由于中继点C和中继点D之间存在零点，故中继点C和中继点D不是一个中继点对。

然后，根据所计算得到的中继点的值来生成光流矩阵。

根据本发明的实施例，按照步骤S220生成的时间戳矩阵的尺寸，生成一个同尺寸的光流矩阵(如上文所述，光流矩阵可以是768×640大小)，并采用零值初始化该光流矩阵，得到初始化光流矩阵。然后，在初始化光流矩阵中查找各中继点的坐标位置，并在查找到的坐标位置中写入其对应的中继点的值，生成光流矩阵。

以下示出了根据本发明的一种实施方式，生成光流矩阵的具体过程，具体如步骤(1)-(3)所述。

(1)构建一个预定尺寸的光流矩阵，同时间戳矩阵，其预定尺寸是根据动态视觉传感器的像素单元阵列的尺寸来确定的。

(2)采用零值初始化光流矩阵，得到初始化光流矩阵。

(3)在初始化光流矩阵中查找中继点对中两个中继点的坐标位置，然后，在查找到的两个中继点的坐标位置及这两个中继点之间的坐标位置中均写入对应的两个中继点的值。继续以图6中的中继点A和中继点B为例，在初始化光流矩阵中找到坐标(x_a,y_a)和(x_b,y_b)，将坐标(x_a,y_a)和坐标(x_b,y_b)的值赋为v_AB，同时，将坐标(x_a,y_a)和坐标(x_b,y_b)之间的元素的值也均赋为v_AB。遍历所有的中继点，最终得到光流矩阵。在根据本发明的一些实施方式中，某个中继点可能会组成不止一个中继点对，这种情况下，在根据中继点对的计算结果生成光流矩阵时，只需要对该中继点对应的坐标位置赋一次值即可，至于选择哪一个中继点对的计算结果来赋值，本发明的实施例对此不做限制。

为更加明了地描述由时间戳矩阵生成光流矩阵的过程，以下表1示出了一个时间戳矩阵的部分示意图。

表1时间戳矩阵示例

0	23	9	0	27	0
						0	24	0	4	5	6
14	15	35	34	33	0

采用水平扫描方向、按从左到右的顺序对表1中的时间戳矩阵进行扫描，得到多个中继点，设扫描所得的中继点为：元素值为23、9、27、24、4、6、14、35、33的元素(这里将处于边缘的非零元素一并作为中继点进行处理，本发明对此不做限制)，计算中继点的距离和梯度方向，并根据计算结果生成光流矩阵。此处为简化计算过程，以相邻中继点之间包含的元素个数来表示中继点的距离，如第1行第2个元素“23”和第3个元素“9”的距离为2。以相邻中继点的元素值的变化趋势来表示中继点的梯度符号值(若相邻中继点间元素值呈增长趋势，则梯度符号值为+1，否则为-1)，如第1行第2个元素“23”和第3个元素“9”的梯度符号值为-1。这样，在初始光流矩阵中，对应写入第一行第2个元素和第3个元素的值就都是-2，如表2所示。由于第1行第4个元素为“0”，故第1行第3个元素“9”和第5个元素“27”不是一个中继点对，故不用计算距离和梯度符号值，其在光流矩阵中对应的值也保持初始的0不变(在一些实施例中，为了区分近零点，也会在光流矩阵中，对第1行第5个元素赋值为1，如表3所示，本发明对此不做限制)。特别地，第3行第3个元素“35”与第3行第1个元素“14”构成一个中继点对，与第3行第5个元素“33”又构成一个中继点对，且按预定扫描方向，在先的中继点对算得的中继点值为3，在后的中继点对算得的中继点值为-2，此时，将在先的中继点对算得的值赋给光流矩阵中对应第3行第3个元素即可。如表2和表3分别示出了两种最后计算出的光流矩阵。

表2光流矩阵示例

0	-2	-2	0	0	0
						0	0	0	3	3	3
3	3	3	-2	-2	0

表3光流矩阵示例

0	-2	-2	0	1	0
						0	1	0	3	3	3
3	3	3	-2	-2	0

需要说明的是，此处仅简单介绍了根据时间戳矩阵中各中继点的计算结果来生成光流矩阵的几种方式，本发明的实施例对此不做过多限制。本发明旨在保护沿预定扫描方向对时间戳矩阵进行矢量跟踪，以此来计算光流矢量的方式。

根据本发明的光流计算方案，先根据事件数据流生成时间戳矩阵，沿预定扫描方向对时间戳矩阵进行扫描(矢量跟踪)，而后计算出相邻中继点的距离和梯度方向，根据计算结果来生成光流矩阵，也就是说，仅需对时间戳矩阵中的元素进行遍历操作，就可以计算出光流矩阵，从而避免了现有方法中像素局部的高复杂度的平面拟合计算过程，具有更好地可操作性和实时性。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (13)

1.一种光流计算方法，所述方法适于在计算设备中执行，所述方法包括步骤：

获取预定时长的事件数据流，所述事件数据流来自动态视觉传感器，且所述事件数据流中包含被触发事件的坐标位置及时间戳；

根据被触发事件的坐标位置和时间戳生成时间戳矩阵；

按照预定扫描方向对所述时间戳矩阵中的元素进行扫描，以根据各个元素沿所述扫描方向的值和梯度来确定所述元素中的至少一个中继点；

计算相邻中继点的距离和梯度方向，并根据所计算得到的结果来生成光流矩阵。

2.如权利要求1所述的方法，其中，所述根据被触发事件的坐标位置和时间戳生成时间戳矩阵的步骤包括：

构建一个预定尺寸的时间戳矩阵，该预定尺寸根据所述动态视觉传感器的像素单元阵列的尺寸确定；

采用零值初始化所述时间戳矩阵，得到初始化时间戳矩阵；

在初始化时间戳矩阵中查找被触发事件的坐标位置；以及

在查找到的坐标位置中写入其对应的被触发事件的时间戳，得到时间戳矩阵。

3.如权利要求1或2所述的方法，其中，

所述预定扫描方向根据视场中物体运动的方向确定；以及

所述预定扫描方向包括：水平扫描方向、垂直扫描方向、透视扫描方向和旋转扫描方向。

4.如权利要求1-3中任一项所述的方法，其中，根据各个元素沿扫描方向的值和梯度来确定所述元素中的至少一个中继点的步骤包括：

根据被扫描元素的值沿扫描方向逐点计算被扫描元素的梯度；

当被扫描元素的值和/或梯度满足预定条件时，确定该被扫描元素为中继点。

5.如权利要求1-4中任一项所述的方法，其中，所述根据所计算得到的结果来生成光流矩阵的步骤包括：

构建一个所述预定尺寸的光流矩阵；

采用零值初始化所述光流矩阵，得到初始化光流矩阵；

在初始化光流矩阵中查找中继点的坐标位置；以及

在查找到的坐标位置中写入其对应的中继点的值，生成光流矩阵。

6.如权利要求4或5所述的方法，其中，所述当被扫描元素的值和/或梯度满足预定条件时、确定该被扫描元素为中继点的步骤包括：

当被扫描元素的梯度和与其相邻的元素的梯度的乘积小于零时，确定该被扫描元素为第一中继点；

当被扫描元素的值不等于0且与其相邻的元素的值等于0时，确定该被扫描元素为第二中继点；以及

将所述第一中继点和第二中继点均标记为中继点。

7.如权利要求6所述的方法，其中，所述计算相邻中继点的距离和梯度方向的步骤包括：

依次选取两个相邻的、且中间不含零点的中继点，作为中继点对；

对每个中继点对，根据两个中继点的坐标位置计算所述中继点对的距离；

计算所述中继点对的梯度方向并根据所述梯度方向确定梯度符号值；以及

将所述中继点对的距离和梯度符号值的乘积值作为所述中继点对中两个中继点的值。

8.如权利要求7所述的方法，其中，所述根据所计算得到的结果来生成光流矩阵的步骤还包括：

构建一个所述预定尺寸的光流矩阵；

采用零值初始化所述光流矩阵，得到初始化光流矩阵；

在初始化光流矩阵中查找中继点对中两个中继点的坐标位置；以及

在查找到的两个中继点的坐标位置及这两个中继点之间的坐标位置中均写入对应的两个中继点的值。

9.如权利要求2-8中任一项所述的方法，其中，在查找到的坐标位置中写入其对应的被触发事件的时间戳的步骤包括：

若在事件数据流中，一个坐标位置对应多个时间戳，则从所述多个时间戳中选取值最大的时间戳写入该坐标位置。

10.如权利要求2-8中任一项所述的方法，其中，在查找到的坐标位置中写入其对应的被触发事件的时间戳的步骤包括：

若在事件数据流中，一个坐标位置对应多个时间戳，则从所述多个时间戳中选取值最小的时间戳写入该坐标位置。

11.如权利要求7-10中任一项所述的方法，其中，根据梯度方向确定梯度符号值的步骤包括：

当所述梯度方向大于零时，确定梯度符号值为+1；

当所述梯度方向小于零时，确定梯度符号值为-1。

12.一种计算设备，包括：

一个或多个处理器；和

存储器；

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-11所述方法中的任一方法的指令。

13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-11所述的方法中的任一方法。