CN117218163A - 高频率光流估计方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及计算机视觉及神经形态计算技术领域，特别涉及一种高频率光流估计方法、装置、电子设备及存储介质，其中，方法包括：获取高频率光流的事件流数据；根据事件流数据生成事件张量序列，将事件张量序列输入预先构建的预测模型，输出高频率光流的预测候选结果与分布参数预测结果；根据分布参数预测结果聚合高频率光流的预测候选结果得到高频率光流的估计结果。由此，解决了相关技术中，从事件流数据中获得高频率光流估计结果的难度较高，对光流估计结果不确定性评估的准确性较低，对事件流数据去噪的效果较差，使得生成光流图视频的效果稳定性较差，无法满足实际使用需要等问题。

Description

高频率光流估计方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉及神经形态计算技术领域，特别涉及一种高频率光流估计方法、装置、电子设备及存储介质。

背景技术

事件相机是一种受生物启发的传感器，其工作原理为当且仅当分支光强变化时，事件相机输出数据，对应输出的数据称为事件流；其中，光流估计是事件相机的一种基础性视觉任务。

相关技术中，对于光流估计，可以使用一种基于手工模型的方法，通过建立事件信号和像素点运动间的匹配关系，并利用超参数和优化求解工具求解问题；还可以使用一种基于神经网络的方法，受RGB(Red-Green-Blue color mode，三原色色彩模式)视觉算法中的启发，可以在一定程度上解决事件相机领域的部分视觉问题。

然而，相关技术中的事件相机在视觉领域的应用尚不成熟，事件流数据的稳定性远不如RGB图像；同时，深度神经网络模型的不确定性估计中不确定性问题建模和优化较为复杂，使得构建集成模型的多样性难以得到保证。

发明内容

本申请提供一种高频率光流估计方法、装置、电子设备及存储介质，以解决相关技术中，从事件流数据中获得高频率光流估计结果的难度较高，对光流估计结果不确定性评估的准确性较低，对事件流数据去噪的效果较差，使得生成光流图视频的效果稳定性较差，无法满足实际使用需要等问题。

本申请第一方面实施例提供一种高频率光流估计方法，包括以下步骤：获取高频率光流的事件流数据；根据所述事件流数据生成事件张量序列，将所述事件张量序列输入预先构建的预测模型，输出所述高频率光流的预测候选结果与分布参数预测结果；根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果。

可选地，所述根据所述事件流数据生成事件张量序列，包括：将所述事件流数据划分为具有相同时间间隔的数据包；在空间域上累积所述数据包，并堆叠成所述事件张量序列。

可选地，所述数据包的表达式为：

E_k＝{e_i|wheret_k-1≤t_i≤t_k}，

其中，E_k为视频帧组I_k对应的事件包；e_i表示事件流中序列号为i、时间戳为t_i的单个事件，每个事件e均具有对应的x，y，p，t属性；时间间隔的时间戳为t_k-1和t_k；

所述事件张量序列中的事件张量的表达式为：

T_k＝stack(R_k)，

其中，T_k为事件张量序列中的事件张量，stack为堆叠运算；R_k为尺寸是(H,W,B)的初始张量，其中，H与W对应事件相机的空间分辨率，B为离散化超参数，初始张量R_k在(x,y,t)处的取值为：

k_b(a)＝max(0,1-|a|)，

其中，N为所述事件流数据中视频总帧数，x_i和y_i为所述数据包E_k中事件e_i帧的二维空间坐标，t_i和p_i分别为所述数据包E_k中事件e_i帧的时间戳以及极性，k_b(a)表示对时空邻域进行双线性采样。

可选地，所述预测模型包括多个编码器、光流解码器与分布参数解码器，其中，将所述事件张量序列中事件张量分组输入多个编码器进行前向传播得到多组特征向量；将所述多组特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

可选地，所述编码器包含多个随机初始化的编码器网路，每个编码器网路包含输入卷积层、隐藏卷积层和输出卷积层；所述光流解码器和分布参数解码器均包含输入层、隐藏卷积层、上采样层和输出卷积层，其中，所述分布参数解码器的输出层之前还设置有全局平均池化层。

可选地，所述估计结果的聚合公式为：

在神经网络预测模型中，有：

u_i＝μ_u,i，

v_i＝μ_v,i，

其中，u_fin和v_fin为光流估计结果，N为超参数，w_u,i,w_v,i为x,y两个方向上候选光流预测值的归一化权重，u_i和v_i分别是x与y方向上的每个候选光流预测值；分别是x,y两个方向上每个候选光流的方差预测值，μ_u,i，μ_v,i为候选项光流的标准差预测值；μ_u和μ_v分别是x，y两个方向上所有预测候选光流的平均分布均值预测值，μ_u,i和μ_v,i分别是x，y两个方向上每个预测候选光流的分布均值预测值。

可选地，在根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果之后，还包括：根据所述估计结果生成对应时间间隔内的光流图像；根据所述估计结果计算所述光流图像的不确定度评估结果，根据所述光流图像和所述不确定度评估结果构成光流图像序列；其中，

所述不确定度评估结果的计算公式为：

其中，g_u和g_v为不确定度评估结果，和/>分别是两个x与y方向上每个预测候选光流的方差预测值。

本申请第二方面实施例提供一种高频率光流估计装置，包括：获取模块，用于获取高频率光流的事件流数据；计算模块，用于根据所述事件流数据生成事件张量序列，将所述事件张量序列输入预先构建的预测模型，输出所述高频率光流的预测候选结果与分布参数预测结果；聚合模块，用于根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果。

可选地，所述计算模块进一步用于：将所述事件流数据划分为具有相同时间间隔的数据包；在空间域上累积所述数据包，并堆叠成所述事件张量序列。

可选地，所述数据包的表达式为：

E_k＝{e_i|wheret_k-1≤t_i≤t_k}，

其中，E_k为视频帧组I_k对应的事件包；e_i表示事件流中序列号为i、时间戳为t_i的单个事件，每个事件e均具有对应的x，y，p，t属性；时间间隔的时间戳为t_k-1和t_k；

所述事件张量序列中的事件张量的表达式为：

T_k＝stack(R_k)，

其中，T_k为事件张量序列中的事件张量，stack为堆叠运算；R_k为尺寸是(H,W,B)的初始张量，其中，H与W对应事件相机的空间分辨率，B为离散化超参数，初始张量R_k在(x,y,t)处的取值为：

k_b(a)＝max(0,1-|a|)，

其中，N为所述事件流数据中视频总帧数，x_i和y_i为所述数据包E_k中事件e_i帧的二维空间坐标，t_i和p_i分别为所述数据包E_k中事件e_i帧的时间戳以及极性，k_b(a)表示对时空邻域进行双线性采样。

可选地，所述预测模型包括多个编码器、光流解码器与分布参数解码器，其中，将所述事件张量序列中事件张量分组输入多个编码器进行前向传播得到多组特征向量；将所述多组特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

可选地，所述编码器包含多个随机初始化的编码器网路，每个编码器网路包含输入卷积层、隐藏卷积层和输出卷积层；所述光流解码器和分布参数解码器均包含输入层、隐藏卷积层、上采样层和输出卷积层，其中，所述分布参数解码器的输出层之前还设置有全局平均池化层。

可选地，所述估计结果的聚合公式为：

在神经网络预测模型中，有：

u_i＝μ_u,i，

v_i＝μ_v,i，

其中，u_fin和v_fin为光流估计结果，N为超参数，w_u,i,w_v,i为x,y两个方向上候选光流预测值的归一化权重，u_i和v_i分别是x与y方向上的每个候选光流预测值；分别是x,y两个方向上每个候选光流的方差预测值，σ_u,i，σ_v,i为候选项光流的标准差预测值；μ_u和μ_v分别是x，y两个方向上所有预测候选光流的平均分布均值预测值，μ_u,i和μ_v,i分别是x，y两个方向上每个预测候选光流的分布均值预测值。

可选地，所述聚合模块进一步用于：根据所述估计结果生成对应时间间隔内的光流图像；根据所述估计结果计算所述光流图像的不确定度评估结果，根据所述光流图像和所述不确定度评估结果构成光流图像序列；其中，

所述不确定度评估结果的计算公式为：

其中，g_u和g_v为不确定度评估结果，和/>分别是两个x与y方向上每个预测候选光流的方差预测值。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的高频率光流估计方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的高频率光流估计方法。

由此，本申请至少具有如下有益效果：

本申请实施例可以在事件相机领域通过模型预测和聚合等操作，实现对高频率光流的估计结果的获取，并可以对光流估计结果进行不确定性评估，由此可以更好地对事件流数据进行去噪，提升高频率光流估计结果的准确性和可靠性，提升光流图视频生成效果的稳定性和鲁棒性，满足实际使用需要。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的高频率光流估计方法的流程图；

图2为本申请一个实施例的高频率光流估计方法的流程图；

图3为本申请一个实施例的流数据可视化示意图；

图4为本申请一个实施例的光流图像与不确定性评估结果可视化示意图；

图5为本申请实施例的高频率光流估计装置的示例图；

图6为本申请实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别：与传统相机以固定帧率采集分支绝对光强不同，事件相机当且仅当分支光强变化时输出数据，对应输出的数据称为事件流，因此事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。事件相机可以应用于光流估计，光流估计是一个基础性的视觉任务，探索其基于神经网络的算法中不确定性的评估方法，对于研究基于事件相机的光流估计和其他视觉任务，以及模型可靠性评估方法都有着重要意义。

相关技术中，在基于事件相机的光流估计领域，可以使用一种基于手工模型的方法，通过建立事件信号和像素点运动间的匹配关系，并利用超参数和优化求解工具求解问题；而受传统RGB视觉算法中的启发，基于神经网络的方法一定程度上能够以类似的方式解决事件相机领域的部分视觉问题。

然而，上述相关技术中两种相机的特点以及主要的应用分支都有较大区别，事件相机领域中基于神经网络的方法尚待探索，其中尚未发掘的问题之一就是不确定性评估问题。

事件相机在视觉领域的应用尚不成熟，尤其是借鉴RGB图像视觉领域的一些神经网络算法，虽然在部分场景下有较好的表现，但由于事件流数据的稳定性远不如RGB图像，如何对结果进行不确定性评估是其应用可靠性方面的重要问题；同时，深度神经网络模型的不确定性估计在RGB图像视觉领域多依赖基于复杂先验知识或神经网络的模型集成，但不确定性问题建模和优化的复杂性使得构建集成模型的多样性难以得到保证。

对于上述问题，在事件相机领域，由于输入信号的模态差异，同一时间窗口内不同长度的事件组合天然适合用于生成多个集成模型，并用于评估预测结果的不确定性。

由此，针对上述背景技术中的从事件流数据中获得高频率光流估计结果的难度较高，对光流估计结果不确定性评估的准确性较低，对事件流数据去噪的效果较差，使得生成光流图视频的效果稳定性较差，无法满足实际使用需要等问题，本申请提供了一种高频率光流估计方法，下面参考附图描述本申请实施例的高频率光流估计方法、装置、电子设备及存储介质。

具体而言，图1为本申请实施例所提供的一种高频率光流估计方法的流程示意图。

如图1所示，该高频率光流估计方法包括以下步骤：

在步骤S101中，获取高频率光流的事件流数据。

可以理解的是，如图2所示，本申请实施例可以首先获取高频率光流得到事件流数据，以便于后续实施例利用事件流数据对高频率光流进行估计；其中，本申请实施例可以使用至少一种方式获取高频率光流的事件流数据，对此不做具体限定。

在步骤S102中，根据事件流数据生成事件张量序列，将事件张量序列输入预先构建的预测模型，输出高频率光流的预测候选结果与分布参数预测结果。

可以理解的是，本申请实施例可以在上述步骤S101中得到事件流数据后，利用该数据生成事件张量序列，并通过预先构建的模型，输出高频率光流的预测候选结果与分布参数预测结果。

在本申请实施例中，根据事件流数据生成事件张量序列，包括：将事件流数据划分为具有相同时间间隔的数据包；在空间域上累积数据包，并堆叠成事件张量序列。

其中，时间间隔可以按照实际情况进行设置，对此不做具体限定。

可以理解的是，本申请实施例可以对得到的事件流数据进行数据处理，根据任意时间间隔将事件流数据划分为具有相同时间间隔的数据包，接着在空间域上累计数据包，由此得到事件张量序列；具体过程可以如下所示：

在本申请实施例中，数据包的表达式为：

E_k＝{e_i|wheret_k-1≤t_i≤t_k}，

其中，E_k为视频帧组I_k对应的事件包；e_i表示事件流中序列号为i、时间戳为t_i的单个事件，每个事件e均具有对应的x，y，p，t属性；时间间隔的时间戳为t_k-1和t_k；事件张量序列中的事件张量的表达式为：

T_k＝stack(R_k)，

其中，T_k为事件张量序列中的事件张量，stack为堆叠运算；R_k为尺寸是(H,W,B)的初始张量，其中，H与W对应事件相机的空间分辨率，B为离散化超参数，初始张量R_k在(x,y,t)处的取值为：

k_b(a)＝max(0,1-|a|)，

其中，N为事件流数据中视频总帧数，x_i和y_i为数据包E_k中事件e_i帧的二维空间坐标，t_i和p_i分别为数据包E_k中事件e_i帧的时间戳以及极性，k_b(a)表示对时空邻域进行双线性采样。

对数据包的堆叠可以使用stack()运算，stack()运算可以将R_k在维度B上进行降序的堆叠：对B＝m时(H,W,1)的张量，将B>m的(B-m)个(未经堆叠的)张量在其上进行累加，得到T_k，即：

由此完成数据处理和堆叠，得到事件张量序列；本申请实施例在某时刻的视频帧(仅对照展示用)、事件流包，生成的光流估计图可以如图3所示。

在本申请实施例中，预测模型包括多个编码器、光流解码器与分布参数解码器，其中，将事件张量序列中事件张量分组输入多个编码器进行前向传播得到多组特征向量；将多组特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

其中，编码器包含多个随机初始化的编码器网路，每个编码器网路包含输入卷积层、隐藏卷积层和输出卷积层；光流解码器和分布参数解码器均包含输入层、隐藏卷积层、上采样层和输出卷积层，其中，分布参数解码器的输出层之前还设置有全局平均池化层。

可以理解的是，本申请实施例可以构建集成卷积神经网络，集成卷积神经网络的编码器部分包含N个随机初始化编码器网路，其中，每个网路包含输入卷积层、隐藏卷积层和输出卷积层；接着将事件张量分组输入集成卷积神经网络的多个编码器进行前向传播得到多组特征向量；将特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

具体而言，本申请实施例可以设输入卷积层的输入通道数为B，设置对应事件张量T_k的输入卷积层的卷积核的尺寸为3*3、步长为1、输出通道数为16，且隐藏卷积层的输入通道数为16、卷积核的尺寸为3*3、步长为1、输出通道数为16，以及输出卷积层的输入通道数为16、卷积核的尺寸为3*3、步长为1、输出通道数为64，N为超参数。此外，编码器的输入卷积层包含通道维度上的随机drop-out层，B个通道中的每一层输入都有p的概率被置为0，其中p为超参数。

网络解码器部分同样包含N组相同的结构，其中，光流解码器包含输入层、隐藏卷积层、上采样层和输出卷积层；本申请实施例可以设置输入层的输入通道数为64，输出层的输出通道数为2；其中，分布参数解码器相较光流解码器，在输出层之前添加额外的全局平均池化层，输出通道数为4，分别对应集成模型中每个预设高斯分布子模型在x与y方向的均值与方差。

由此，本申请实施例可以将事件张量的结果输入对应编码器，生成多个光流预测候选结果与分布参数预测结果。

在步骤S103中，根据分布参数预测结果聚合高频率光流的预测候选结果得到高频率光流的估计结果。

可以理解的是，本申请实施例可以根据分布参数预测结果对光流预测候选结果进行聚合，生成对应时间间隔内的光流图像计算；其中，本申请实施例最终的光流估计结果u_fin,v_fin通过光流预测候选结果聚合得到。

在本申请实施例中，估计结果的聚合公式为：

在神经网络预测模型中，有：

u_i＝μ_u,i，

v_i＝μ_v,i，

其中，u_fin和v_fin为光流估计结果，N为超参数，w_u,i,w_v,i为x,y两个方向上候选光流预测值的归一化权重，u_i和v_i分别是x与y方向上的每个候选光流预测值；分别是x,y两个方向上每个候选光流的方差预测值，σ_u,i，σ_v,i为候选项光流的标准差预测值；μ_u和μ_v分别是x，y两个方向上所有预测候选光流的平均分布均值预测值，μ_u,i和μ_v,i分别是x，y两个方向上每个预测候选光流的分布均值预测值。

需要说明的是，本申请实施例还可以在得到高频率光流估计的结果之后，对不确定度评估结果进行计算，计算结果可视化示意图可以如图4所示。

具体而言，在根据分布参数预测结果聚合高频率光流的预测候选结果得到高频率光流的估计结果之后，还包括：根据估计结果生成对应时间间隔内的光流图像；根据估计结果计算光流图像的不确定度评估结果，根据光流图像和不确定度评估结果构成光流图像序列；其中，

不确定度评估结果的计算公式为：

其中，g_u和g_v为不确定度评估结果，和/>分别是两个x与y方向上每个预测候选光流的方差预测值。

根据本申请实施例提出的高频率光流估计方法，可以在事件相机领域通过模型预测和聚合等操作，实现对高频率光流的估计结果的获取，并可以对光流估计结果进行不确定性评估，由此可以更好地对事件流数据进行去噪，提升高频率光流估计结果的准确性和可靠性，提升光流图视频生成效果的稳定性和鲁棒性，满足实际使用需要。

其次参照附图描述根据本申请实施例提出的高频率光流估计装置。

图5是本申请实施例的高频率光流估计装置的方框示意图。

如图5所示，该高频率光流估计装置10包括：获取模块100、计算模块200和聚合模块300。

其中，获取模块100，用于获取高频率光流的事件流数据；计算模块200，用于根据事件流数据生成事件张量序列，将事件张量序列输入预先构建的预测模型，输出高频率光流的预测候选结果与分布参数预测结果；聚合模块300，用于根据分布参数预测结果聚合高频率光流的预测候选结果得到高频率光流的估计结果。

在本申请实施例中，计算模块200进一步用于：将事件流数据划分为具有相同时间间隔的数据包；在空间域上累积数据包，并堆叠成事件张量序列。

在本申请实施例中，数据包的表达式为：

E_k＝{e_i|wheret_k-1≤t_i≤t_k}，

其中，E_k为视频帧组I_k对应的事件包；e_i表示事件流中序列号为i、时间戳为t_i的单个事件，每个事件e均具有对应的x，y，p，t属性；时间间隔的时间戳为t_k-1和t_k；事件张量序列中的事件张量的表达式为：

T_k＝stack(R_k)，

其中，T_k为事件张量序列中的事件张量，stack为堆叠运算；R_k为尺寸是(H,W,B)的初始张量，其中，H与W对应事件相机的空间分辨率，B为离散化超参数，初始张量R_k在(x,y,t)处的取值为：

k_b(a)＝max(0,1-|a|)，

其中，N为事件流数据中视频总帧数，x_i和y_i为数据包E_k中事件e_i帧的二维空间坐标，t_i和p_i分别为数据包E_k中事件e_i帧的时间戳以及极性，k_b(a)表示对时空邻域进行双线性采样。

在本申请实施例中，预测模型包括多个编码器、光流解码器与分布参数解码器，其中，将事件张量序列中事件张量分组输入多个编码器进行前向传播得到多组特征向量；将多组特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

在本申请实施例中，编码器包含多个随机初始化的编码器网路，每个编码器网路包含输入卷积层、隐藏卷积层和输出卷积层；光流解码器和分布参数解码器均包含输入层、隐藏卷积层、上采样层和输出卷积层，其中，分布参数解码器的输出层之前还设置有全局平均池化层。

在本申请实施例中，估计结果的聚合公式为：

在神经网络预测模型中，有：

u_i＝μ_u,i，

v_i＝μ_v,i，

其中，u_fin和v_fin为光流估计结果，N为超参数，w_u,i,w_v,i为x,y两个方向上候选光流预测值的归一化权重，u_i和v_i分别是x与y方向上的每个候选光流预测值；分别是x,y两个方向上每个候选光流的方差预测值，σ_u,i，σ_v,i为候选项光流的标准差预测值；μ_u和μ_v分别是x，y两个方向上所有预测候选光流的平均分布均值预测值，μ_u,i和μ_v,i分别是x，y两个方向上每个预测候选光流的分布均值预测值。

在本申请实施例中，聚合模块300进一步用于：根据估计结果生成对应时间间隔内的光流图像；根据估计结果计算光流图像的不确定度评估结果，根据光流图像和不确定度评估结果构成光流图像序列；其中，

不确定度评估结果的计算公式为：

其中，g_u和g_v为不确定度评估结果，和/>分别是两个x与y方向上每个预测候选光流的方差预测值。

需要说明的是，前述对高频率光流估计方法实施例的解释说明也适用于该实施例的高频率光流估计装置，此处不再赘述。

根据本申请实施例提出的高频率光流估计装置，可以在事件相机领域通过模型预测和聚合等操作，实现对高频率光流的估计结果的获取，并可以对光流估计结果进行不确定性评估，由此可以更好地对事件流数据进行去噪，提升高频率光流估计结果的准确性和可靠性，提升光流图视频生成效果的稳定性和鲁棒性，满足实际使用需要。

图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。

处理器602执行程序时实现上述实施例中提供的高频率光流估计方法。

进一步地，电子设备还包括：

通信接口603，用于存储器601和处理器602之间的通信。

存储器601，用于存放可在处理器602上运行的计算机程序。

存储器601可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。

处理器602可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的高频率光流估计方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种高频率光流估计方法，其特征在于，包括以下步骤：

获取高频率光流的事件流数据；

根据所述事件流数据生成事件张量序列，将所述事件张量序列输入预先构建的预测模型，输出所述高频率光流的预测候选结果与分布参数预测结果；

根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果。

2.根据权利要求1所述的高频率光流估计方法，其特征在于，所述根据所述事件流数据生成事件张量序列，包括：

将所述事件流数据划分为具有相同时间间隔的数据包；

在空间域上累积所述数据包，并堆叠成所述事件张量序列。

3.根据权利要求2所述的高频率光流估计方法，其特征在于，所述数据包的表达式为：

E_k＝{e_i|where t_k-1≤t_i≤t_k}，

其中，E_k为视频帧组I_k对应的事件包；e_i表示事件流中序列号为i、时间戳为t_i的单个事件，每个事件e均具有对应的x，y，p，t属性；时间间隔的时间戳为t_k-1和t_k；

所述事件张量序列中的事件张量的表达式为：

T_k＝stack(R_k)，

其中，T_k为事件张量序列中的事件张量，stack为堆叠运算；R_k为尺寸是(H,W,B)的初始张量，其中，H与W对应事件相机的空间分辨率，B为离散化超参数，初始张量R_k在(x,y,t)处的取值为：

k_b(a)＝max(0,1-|a|)，

其中，N为所述事件流数据中视频总帧数，x_i和y_i为所述数据包E_k中事件e_i帧的二维空间坐标，t_i和p_i分别为所述数据包E_k中事件e_i帧的时间戳以及极性，k_b(a)表示对时空邻域进行双线性采样。

4.根据权利要求1所述的高频率光流估计方法，其特征在于，所述预测模型包括多个编码器、光流解码器与分布参数解码器，其中，

将所述事件张量序列中事件张量分组输入多个编码器进行前向传播得到多组特征向量；将所述多组特征向量分别送入对应的光流解码器与分布参数解码器进行解码，生成多个光流预测候选结果与分布参数预测结果。

5.根据权利要求4所述的高频率光流估计方法，其特征在于，所述编码器包含多个随机初始化的编码器网路，每个编码器网路包含输入卷积层、隐藏卷积层和输出卷积层；所述光流解码器和分布参数解码器均包含输入层、隐藏卷积层、上采样层和输出卷积层，其中，所述分布参数解码器的输出层之前还设置有全局平均池化层。

6.根据权利要求1所述的高频率光流估计方法，其特征在于，所述估计结果的聚合公式为：

在神经网络预测模型中，有：

u_i＝μ_u,i，

v_i＝μ_v,i，

其中，u_fin和v_fin为光流估计结果，N为超参数，w_u,i,w_v,i为x,y两个方向上候选光流预测值的归一化权重，u_i和v_i分别是x与y方向上的每个候选光流预测值；分别是x,y两个方向上每个候选光流的方差预测值，σ_u,i，σ_v,i为候选项光流的标准差预测值；μ_u和μ_v分别是x，y两个方向上所有预测候选光流的平均分布均值预测值，μ_u,i和μ_v,i分别是x，y两个方向上每个预测候选光流的分布均值预测值。

7.根据权利要求1所述的高频率光流估计方法，其特征在于，在根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果之后，还包括：

根据所述估计结果生成对应时间间隔内的光流图像；

根据所述估计结果计算所述光流图像的不确定度评估结果，根据所述光流图像和所述不确定度评估结果构成光流图像序列；其中，

所述不确定度评估结果的计算公式为：

其中，g_u和g_v为不确定度评估结果，和/>分别是两个x与y方向上每个预测候选光流的方差预测值。

8.一种高频率光流估计装置，其特征在于，包括：

获取模块，用于获取高频率光流的事件流数据；

计算模块，用于根据所述事件流数据生成事件张量序列，将所述事件张量序列输入预先构建的预测模型，输出所述高频率光流的预测候选结果与分布参数预测结果；

聚合模块，用于根据所述分布参数预测结果聚合所述高频率光流的预测候选结果得到所述高频率光流的估计结果。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的高频率光流估计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的高频率光流估计方法。