CN114627150A - 基于事件相机的数据处理及运动估计方法及装置 - Google Patents

基于事件相机的数据处理及运动估计方法及装置 Download PDF

Info

Publication number
CN114627150A
CN114627150A CN202210249593.XA CN202210249593A CN114627150A CN 114627150 A CN114627150 A CN 114627150A CN 202210249593 A CN202210249593 A CN 202210249593A CN 114627150 A CN114627150 A CN 114627150A
Authority
CN
China
Prior art keywords
event
data
time
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210249593.XA
Other languages
English (en)
Inventor
粟傈
王向禹
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202210249593.XA priority Critical patent/CN114627150A/zh
Publication of CN114627150A publication Critical patent/CN114627150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明提出一种基于事件相机的的数据处理及运动估计方法及装置，其中方法包括，获取事件流数据，并获取事件流数据对应的更新时间；根据更新时间对事件流数据进行预处理编码，得到事件流数据对应的编码数据；并对编码数据通过下采样方法进行处理，生成训练数据；将事件流数据恢复成事件量图，对事件量图通过下采样方法进行处理，生成二值自监督图像；将训练数据输入神经网络中进行训练，并利用自监督图像以及整体损失函数进行训练损失计算，完成神经网络的训练；通过训练完成后的神经网络进行运动估计。该方法通过脉冲神经网络对编码数据进行处理，可以用于运动估计，光流估计，物体追踪等应用。

Description

基于事件相机的数据处理及运动估计方法及装置
技术领域
本发明涉及计算视觉领域，涉及一种基于事件相机的运动估计方法。
背景技术
当前针对的事件相机处理方式主要有：(1)将事件流数据恢复成二值图，然后在二值图上使用传统的视觉算法进行数据的运动估计处理；(2)从事件流数据中提取不同极性的时空信息，分别对其进行处理来实现需求。对于传统图像数据，主要是通过如帧差法等进行运动估计。
对于现有的基于事件相机的数据处理方式，在学习过程中需要提供灰度图来进行自监督学习，对于自采集数据，该方法具有较高的采集成本，因此极度依赖数据集。并且对于现有方法，大量算法需要异步事件流提供极性信息，而对于一些型号的事件相机无法保证同时提供极性信息以及异步时间戳信息，导致了一些算法缺乏通用性。
并且对于现有的神经网络处理方法，大部分采用传统神经网络的方式，未能最大限度的发挥出事件相机异步更新且时空离散的优势，同时能够大幅降低数据运算量。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于事件相机的数据处理及运动估计方法，用于运动估计，光流估计，物体追踪等应用。
本发明的第二个目的在于提出一种基于事件相机的数据处理及运动估计装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于事件相机的数据处理及运动估计方法，包括：
获取事件流数据，并获取所述事件流数据对应的更新时间；
根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；
将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；
将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；
通过训练完成后的神经网络进行运动估计。
另外，根据本发明上述实施例的基于事件相机的数据处理及运动估计方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据，包括：
根据采样时间进行事件截取；
通过“事件-时间”的编码方式对截取的事件循环编码；
输出编码数据。
进一步地，在本发明的一个实施例中，所述通过“事件-时间”的编码方式对截取的事件循环编码，包括：
将所述截取的事件均分为N部分；
对均分的第n个部分，在“事件”通道上逐像素计算事件累积量并做归一化处理；在“时间”通道上对每个像素点上的最后发生事件的时间数据进行归一化处理；通过组合所述“事件”通道与所述“时间”通道得到“事件-时间”双通道编码数据；
重复上个步骤，直到所述N部分事件均处理完毕；
将所述双通道编码数据组合得到“事件-时间”四通道编码数据。
进一步地，在本发明的一个实施例中，所述下采样方法，包括：
设定一个阈值，所述阈值用于与特定时空中出现的事件数量进行对比；
采用下采样方法对数据尺寸进行处理，公式如下所示：
Wh(m,n)＝max{Vh(x+i,y+i)|i∈[1,0,-1]}，
其中，(x,y)为原始图像中的坐标，(m,n)为输出图像中的坐标，h的取值范围为[1,N]；
若事件量数据大于预先设定的阈值，则该数据是有效的；反之该点所产生的事件为噪声事件，应当予以去除。
进一步地，在本发明的一个实施例中，所述将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像，包括：
根据采样时间进行事件截取；
对所述截取的时间逐像素计算事件的累积量，获取事件量数据；
采用下采样方法对所述事件量数据尺寸进行处理，并过滤所述事件量数据中的噪声数据；
获取每个像素上事件的累积量的值映射到二值图的灰度值，输出与编码数据尺寸相同的单通道二值自监督图像。
进一步地，在本发明的一个实施例中，所述将所述编码数据输入神经网络中进行训练，包括：
所述神经网络由脉冲神经网络以及传统人工神经网络组成，所述编码数据先经SNN编码，再经ANN解码，其中，ANN部分由卷积神经网络以及残差网络构成。
进一步地，在本发明的一个实施例中，所述整体损失函数，包括：
所述损失函数分包括预测损失与平滑损失，整体损失的计算函数如下式所示：
Ltotal＝Lpatch+λLsmooth，
其中，Lpatch为预测损失，Lsmooth为平滑损失，λ为权重值。
为达上述目的，本发明第二方面实施例提出了一种基于事件相机的数据处理及运动估计装置，包括：
获取模块，用于获取事件流数据，并获取所述事件流数据对应的更新时间；
预处理模块，用于根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；
生成模块，用于将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；
训练模块，用于将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；
运动估计模块，用于通过训练完成后的神经网络进行运动估计。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于事件相机的数据处理及运动估计方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于事件相机的数据处理及运动估计方法。
本发明提出的基于事件相机的数据处理及运动估计方法，简化了数据的时空编码方式，并且降低了自监督数据的获取成本，使方法可适用于不同型号的事件相机数据格式。该基于事件相机的数据处理及运动估计方法通过脉冲神经网络对编码数据进行处理，可以用于运动估计，光流估计，物体追踪等应用。相比于传统图像的处理方法，可充分利用时空中的数据,并实现数据量的有效降低。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于事件相机的数据处理及运动估计方法的流程示意图。
图2为本发明实施例所提供的一种基于事件相机的数据处理及运动估计装置的流程示意图。
图3为本发明实施例所提供的整体流程图。
图4为本发明实施例所提供的对事件数据进行编码的流程图。
图5(a)为本发明实施例所提供的单个数据编码示意图。
图5(b)为本发明实施例所提供的单个数据编码示意图
图6为本发明实施例所提供的单个编码数据的结构示意图。
图7为本发明实施例所提供的当N取10时，编码结果的示意图。
图8(a)为本发明实施例所提供的原始采集到的事件流数据所恢复成的二值帧示意图。
图8(b)为本发明实施例所提供的经过去噪处理后的事件流数据恢复成的二值帧示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于事件相机的数据处理及运动估计方法和装置。
图1为本发明实施例所提供的一种基于事件相机的数据处理及运动估计方法的流程示意图。
如图1所示，该基于事件相机的数据处理及运动估计方法包括以下步骤：
S1:获取事件流数据，并获取事件流数据对应的更新时间；
S2:根据更新时间对事件流数据进行预处理编码，得到事件流数据对应的编码数据；并对编码数据通过下采样方法进行处理，生成训练数据；
S3:将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；
S4:将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；
S5:通过训练完成后的神经网络进行运动估计。
该实施例的整体数据处理流程如图3所示，对于事件相机输出的数据，可以采用本发明中的编码方式进行编码，图像尺寸调整与去噪，随后通过提出的事件相机自监督数据生成方法生成自监督数据，再通过提出的改进的损失函数进行训练过程中训练损失的计算。
首先，对从事件相机采集到的数据进行编码处理。在使用神经网络对数据进行处理前，需对事件流数据进行预处理编码，为充分发挥事件流数据的异步特性，我们设计了“事件-时间”的编码方式。该方法可适用于任意型号的事件相机，充分利用了事件相机数据的时空离散的特性。
因部分类型的事件相机并非异步输出事件流数据，因此为确保适合正确编码，首先应确保事件流数据按更新时间升序进行排序。随后采用本专利提出的“事件-时间”编码方式，该方法能够利用脉冲神经网络的特性并充分利用事件相机的输出数据。该方法的具体编码步骤如下。编码流程如图4。
进一步地，在本发明的一个实施例中，根据更新时间对事件流数据进行预处理编码，得到事件流数据对应的编码数据，包括：
根据采样时间进行事件截取；
通过“事件-时间”的编码方式对截取的事件循环编码；
输出编码数据：
进一步地，在本发明的一个实施例中，通过“事件-时间”的编码方式对截取的事件循环编码，包括：
将所述截取的事件均分为N部分；
对均分的第n个部分，在“事件”通道上逐像素计算事件累积量并做归一化处理；在“时间”通道上对每个像素点上的最后发生事件的时间数据进行归一化处理；通过组合“事件”通道与“时间”通道得到“事件-时间”双通道编码数据；
重复上个步骤，直到所述N部分事件均处理完毕；
将双通道编码数据组合得到“事件-时间”四通道编码数据。
对于收集到的事件流数据，对其采取固定时长的Tsamplems采样时间窗口，截取该采样时间窗口内的事件流数据。对于所截取的每一部分依次进行编码。
首先将该采样时间窗口内的事件流数据均分为N部分，对每个部分中的事件数据分别进行“事件-时间”的双通道编码处理。
对于“事件”通道，需对第n部分内的事件进行逐像素的累加处理，计算方法如公式(1)所示，其中δ是Kronecker delta函数，u为当前像素点，k为事件数据的索引。通过该公式可得到“事件-时间”编码的第一通道“事件”通道上的原始事件量数据。为保证数据在尺度上保持一致，将事件量数据进行归一化处理，即可得到“事件-时间”编码的第一通道“事件”通道。计算公式如公式(2)所示，其中
Figure BDA0003546374500000061
为当前第n(n∈[1,N])部分中事件量最少像素点对应的事件量的值，
Figure BDA0003546374500000062
为事件量最多的像素点所对应的事件量值，en为当前像素点对应的事件量的值。
Figure BDA0003546374500000063
Figure BDA0003546374500000064
对于“时间”通道，需对每个像素点上的最后发生事件的时间数据进行归一化处理，为与事件量数据在尺度上保持一致，将时间数据进行归一化处理，即可得到“事件-时间”编码的第二通道“时间”通道。计算公式如公式(3)所示，其中
Figure BDA0003546374500000065
为第n部分中时间戳的最小值，取该时间窗口内的第一个事件所对应的时间，
Figure BDA0003546374500000066
为第n部分中时间戳的最大值，取该时间窗口内最后一个事件所对应的时间，tn为当前事件所发生的时间。
Figure BDA0003546374500000067
将这两个通道进行组合，“事件”通道为第一通道，“时间”通道为第二通道，即可得到该部分的“事件-时间”编码，对N部分依次执行该编码即可得到该采样时间窗口内的N个“事件-时间”编码。
编码后的结果如图5(a)所示(示意图，仅作为说明使用，不代表真实数据)。其中对第n部分的事件信息构成一个双通道数据，其中第一通道为在该事件批次内在该像素点产生的事件的数量累加和的归一化值，范围为[0,255]；第二通道为第一通道中产生事件的像素点所产生的最后事件的时间进行线性归一化后的值，范围为[0,255]。
当“事件-时间”编码完成后，为方便神经网络处理，需将事件相机直出的数据缩放为神经网络对应的输入尺寸，同时进行去噪操作，这里提出一种基于事件相机数据的下采样方法，该方法同时还可以进行去噪操作。
进一步地，在本发明的一个实施例中，所述下采样方法，包括：
设定一个阈值，所述阈值用于与特定时空中出现的事件数量进行对比；
采用下采样方法对数据尺寸进行处理，公式如下所示：
Wh(m,n)＝max{Vh(x+i,y+i)|i∈[1,0,-1]}，
其中，(x,y)为原始图像中的坐标，(m,n)为输出图像中的坐标，h的取值范围为[1,N]；
若事件量数据大于预先设定的阈值，则该数据是有效的；反之该点所产生的事件为噪声事件，应当予以去除。
具体地，需预先设定一个阈值Thr1，对上一步得到的数据进行步长为3的最大池化操作，操作如公式(4)所示，其中(x,y)为原始图像中的坐标，(m,n)为输出图像中的坐标，h的取值范围为[1,N]。对该像素以及该像素八邻域内的数值进行比较，求出其中的事件量最大值。
同时为过滤噪声，如果该数据大于预先设定的阈值Thr1，则认为该数值是有效的，在编码后的双通道“事件-时间”编码数据中保持该像素点的原始归一化后的数据；反之认为该点所产生的事件为噪声事件，应当予以去除，在编码数据中的事件量以及时间的数值均为0。经过该步骤，可对于编码数据进行有效的尺寸缩放，同时有效的去除噪声事件。
Wh(m,n)＝max{Vh(x+i,y+i)|i∈[1,0,-1]} (4)
当完成“事件-时间”编码以及尺寸调整、去噪后，为充分利用事件流的离散特性以及脉冲神经网络在时间上的离散性质，需对编码后的N组“事件-时间”数据进行组合。将其平均分为前后两部分，并依次将其组合成四通道数据，组合结果如图5(b)所示，即组合方式为第k组“事件-时间”编码与第
Figure BDA0003546374500000071
组“事件-时间”编码共同组合成一组四通道数据，其中k取值为[1,N]最终共生成
Figure BDA0003546374500000072
组四通道数据，在时间窗口内取N＝10后的编码结果如图6所示，共生成
Figure BDA0003546374500000073
个四通道编码结果(该图仅作示意，不代表真实数据，且N可取8，10，12，14等值)。
相比于传统的基于帧的相机，现有的带有真实监督数据的事件相机数据集非常稀少。为方便进行神经网络进行自监督训练，因此本专利提出了一种获取自监督图像的方式，该方法可以极大的降低获取训练过程中所需自监督数据的成本。
进一步地，在本发明地一个实施例中，将所述事件流数据恢复成事件量图，对所述事件量图通过下采样方法进行处理，生成二值自监督图像，包括：
根据采样时间进行事件截取；
对所述截取的时间逐像素计算事件的累积量，获取事件量数据；
采用下采样方法对所述事件量数据尺寸进行处理，并过滤所述事件量数据中的噪声数据；
获取每个像素上事件的累积量的值映射到二值图的灰度值，输出与编码数据尺寸相同的单通道二值自监督图像。
该方法中采用将异步事件流数据恢复成事件帧(即用作自监督学习的图像)的方式。因事件相机极易受噪声影响(包括环境噪声及硬件固有噪声)，为降低噪声影响，增强学习效果，在生成自监督图像时需对其进行去噪声操作，对于真实感受到明暗变化的像素点，往往在该点会连续产生多个事件，而对于在时空中出现的零星事件点，则可以被看作噪声点。利用这一特性可以进行较好的去噪操作。生成二值自监督图像的具体步骤如下。流程如图7所示。
首先设定一个阈值Thr2，该阈值可用于过滤噪声事件，用于与特定时空中出现的事件数量进行对比。
使用公式(1)在采样时间内对每个像素点上的事件进行累加操作，即计算在采样时间Tsample内，在该像素点发生多少个事件，并记该数值为V(x,y)，其中(x,y)代表该像素点的坐标，此时的到的数据为尺寸为原始的相机直出尺寸相同的事件量数据。
对上一步输出的事件量数据进行裁切与缩放。采用本发明中的下采样方法，将其转换为与编码数据相同的尺寸。采用下采样方法对数据尺寸进行处理，公式如下所示：
Wh(m,n)＝max{Vh(x+i,y+i)|i∈[1,0,-1]}，
其中，(x,y)为原始图像中的坐标，(m,n)为输出图像中的坐标，h的取值范围为[1,N]；
为过滤噪声，如公式(5)所示，如果该数据大于预先设定的阈值Thr2，则认为该数值是有效的，在自监督二值图中体现为白色点，即灰度值为255；反之认为该点所产生的事件为噪声事件，应当予以去除，在自监督二值图中体现为黑色背景，即灰度值为0。
Figure BDA0003546374500000091
经过该步骤，得到与编码数据尺寸相同的单通道二值自监督图像。如图8(a)、图8(b)所示，图中为一个网球从图片下方向图片上方快速运动时所产生的事件流数据恢复成的自监督图像，其中图8(a)是未经去噪处理生成的二值图，图8(b)是经过去噪处理生成的二值图，从图中可以明显看出，使用该方法可以在尽量保存原有物体信息的前提下有效去除噪声。验证了该方法以及下采样去噪方法的有效性。
进一步地，在本发明的一个实施例中，将所述编码数据输入神经网络中进行训练，包括：
神经网络由脉冲神经网络以及传统人工神经网络组成，编码数据先经SNN编码，再经ANN解码，其中，ANN部分由卷积神经网络以及残差网络构成。
用于处理该数据的神经网络由脉冲神经网络以及传统人工神经网络组成，对于数据先经SNN编码充分提取时空信息，再经ANN解码以保证计算的有效性，其中ANN部分由卷积神经网络以及残差网络等结构构成。
其中，输入神经网络时，为充分体现SNN的效果，需按照如图6所示的编码的数据按顺序进行输入，每次输入一个四通道数据，共输入
Figure BDA0003546374500000092
轮。对于训练过程中所预测的数据，使用该专利中所生成的二值自监督图像以及所提出的损失函数进行学习。
进一步地，在本发明的一个实施例中，整体损失函数，包括：
损失函数包括预测损失与平滑损失，整体损失的计算函数如下式所示：
Ltotal＝Lpatch+λLsmooth，
其中，Lpatch为预测损失，Lsmooth为平滑损失，λ为权重值。
由于本发明采用了从事件流数据进行二值自监督图像的生成，从而用于损失计算。此方法在降低了数据获取成本的前提下也带来了一定问题，从图8可以明显看出，为了降低噪声的影响，使用事件流恢复出的二值自监督图像存在明显的内部空洞现象，使得其内部以及边缘不连续，这种情况会对逐像素的损失计算方式造成较大影响，为了尽可能降低该现象在损失计算过程中所造成的影响，所以后续对公式(7)所述的损失计算方法进行改进，对以该像素点为中心，其附近M×M大小的patch进行做差求出每个点的灰度差值，再对其进行求均值处理，通过计算Lpatch(即邻居像素损失)的方式来计算该点及其邻居点的平均灰度差，如公式(9)所示，将某个像素点周围的邻居像素的灰度值也一同进行损失计算，可以最大限度的降低二值自监督图像内部及边缘空洞的影响。
本发明中损失函数主要分为两部分，分别是预测损失与平滑损失。其中预测损失是为了计算预测前后同一像素位置上的灰度差以用作优化，平滑损失是为了使相邻像素点之间的预测数值具有空间一致性。为了恰当评估在该采样时间内的预测损失，在训练网络中采用本发明所提出的二值自监督图像构造方法，使用该时间窗口前一时间窗口中构建的自监督图像以及当前时间窗口内构造的自监督图像作为预测的起、止状态，即起止状态对应的二值图为(It,It+dt)，其中dt为每次计算所间隔时间窗口的步长。通过神经网络输出的预测值将被用于进行两张图之间的像素坐标变换，即通过预测出的预测数据做反推，将像素点的坐标信息从It+dt转换至It′。此时理想状态下转换后的图像It′与原始图像It相同位置上对应的灰度值应相同。
预测损失的目的在于最小化第一张二值图It与通过第二张二值图及预测数据恢复出的重建图It′之间的灰度差。该损失函数利用了“亮度恒定”假设，该假设如公式(6)所示，即在δt时间内，横坐标变换了δx的距离，纵坐标变换了δy的距离。即第一张二值图上的(x,y)坐标变换到第二张图上的(x+δx,y+δy)坐标，这两个像素点所对应的灰度信息应当相同，其中(δx,δy)为x,y方向上的预测值。
I(x,y,t)＝I(x+δx,y+δy,t+δt) (6)
根据该假设，逐像素计算预测损失函数可设计如公式(7)所示。
Figure BDA0003546374500000101
其中It和It+dt代表第一张二值图和第二张二值图，u(x,y)和v(x,y)分别是(x,y)点在水平与竖直方向(即x方向与y方向)上的预测值，u、v为经过坐标变换后的像素点坐标。ρ为Charbonnier Loss，已经有大量文献验证使用该方法可以用来提高模型性能，使得模型更加健壮，对模型异常值能有更好的处理，同时使得模型能够较快的收敛，其函数如公式(8)所示。其中该公式中的ε值为可调超参数。
Figure BDA0003546374500000102
Figure BDA0003546374500000111
同时，为了增强像素点与其邻居像素所预测数据的空间一致性，使用一个平滑函数Lsmooth来最小化邻居像素点之间的预测的误差值，作为预测的正则化操作。该损失表示如公式(10)所示。
Figure BDA0003546374500000112
其中H为预测输出的高度值，W为预测输出的宽度值，u,v分别是预测的矩阵的横坐标与纵坐标。即对预测进行梯度计算，从而得到平滑损失Lsmooth。
最终通过一个权重值λ用于进行预测损失Lpatch和平滑损失Lsmooth的权重调节。进行预测损失与平滑损失的计算，整体损失的计算函数如公式(11)所示。
Ltotal＝Lpatch+λLsmooth (11)
本发明实施例提出的基于事件相机的数据处理及运动估计方法，简化了数据的时空编码方式，并且降低了自监督数据的获取成本，使方法可适用于不同型号的事件相机数据格式。该基于事件相机的数据处理及运动估计方法通过脉冲神经网络对编码数据进行处理，可以用于运动估计，光流估计，物体追踪等应用。相比于传统图像的处理方法，可充分利用时空中的数据,并实现数据量的有效降低。
为了实现上述实施例，本发明还提出一种基于事件相机的数据处理及运动估计装置。
图2为本发明实施例提供的一种基于事件相机的数据处理及运动估计装置的结构示意图。
如图2所示，该基于事件相机的数据处理及运动估计装置包括：获取模块10，预处理模块20，生成模块30，训练模块40，运动估计模块50，其中，
获取模块，用于获取事件流数据，并获取事件流数据对应的更新时间；
预处理模块，用于根据更新时间对事件流数据进行预处理编码，得到事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；
生成模块，用于将事件流数据恢复成事件量图，对事件量图通过下采样方法进行处理，生成二值自监督图像；
训练模块，用于将训练数据输入神经网络中进行训练，并利用自监督图像以及整体损失函数进行训练损失计算，完成神经网络的训练；
运动估计模块，用于通过训练完成后的神经网络进行运动估计。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的基于事件相机的数据处理及运动估计方法。
为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的基于事件相机的数据处理及运动估计方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于事件相机的数据处理及运动估计方法，其特征在于，包括以下步骤：
获取事件流数据，并获取所述事件流数据对应的更新时间；
根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；
将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；
将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；
通过训练完成后的神经网络进行运动估计。
2.根据权利要求1所述的方法，其特征在于，根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据，包括：
根据采样时间进行事件截取；
通过“事件-时间”的编码方式对截取的事件循环编码；
输出编码数据。
3.根据权利要求2所述的方法，其特征在于，所述通过“事件-时间”的编码方式对截取的事件循环编码，包括：
将所述截取的事件均分为N部分；
对均分的第n个部分，在“事件”通道上逐像素计算事件累积量并做归一化处理；在“时间”通道上对每个像素点上的最后发生事件的时间数据进行归一化处理；通过组合所述“事件”通道与所述“时间”通道得到“事件-时间”双通道编码数据；
重复上个步骤，直到所述N部分事件均处理完毕；
将所述双通道编码数据组合得到“事件-时间”四通道编码数据。
4.根据权利要求1所述的方法，其特征在于，所述下采样方法，包括：
设定一个阈值，所述阈值用于与特定时空中出现的事件数量进行对比；
采用下采样方法对数据尺寸进行处理，公式如下所示：
Wh(m,n)＝max{Vh(x+i,y+i)|i∈[1,0,-1]}，
其中，(x,y)为原始图像中的坐标，(m,n)为输出图像中的坐标，h的取值范围为[1,N]；
若事件量数据大于预先设定的阈值，则该数据是有效的；反之该点所产生的事件为噪声事件，应当予以去除。
5.根据权利要求1所述的方法，其特征在于，所述将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像，包括：
根据采样时间进行事件截取；
对所述截取的时间逐像素计算事件的累积量，获取事件量数据；
采用下采样方法对所述事件量数据尺寸进行处理，并过滤所述事件量数据中的噪声数据；
获取每个像素上事件的累积量的值映射到二值图的灰度值，输出与编码数据尺寸相同的单通道二值自监督图像。
6.根据权利要求1所述的方法，其特征在于，所述将所述编码数据输入神经网络中进行训练，包括：
所述神经网络由脉冲神经网络以及传统人工神经网络组成，所述编码数据先经SNN编码，再经ANN解码，其中，ANN部分由卷积神经网络以及残差网络构成。
7.根据权利要求1所述的方法，其特征在于，所述整体损失函数，包括：
所述损失函数分包括预测损失与平滑损失，整体损失的计算函数如下式所示：
Ltotal＝Lpatch+λLsmooth，
其中，Lpatch为预测损失，Lsmooth为平滑损失，λ为权重值。
8.一种基于事件相机的数据处理及运动估计装置，其特征在于，包括：
获取模块，用于获取事件流数据，并获取所述事件流数据对应的更新时间；
预处理模块，用于根据所述更新时间对所述事件流数据进行预处理编码，得到所述事件流数据对应的编码数据；并对所述编码数据通过下采样方法进行处理，生成训练数据；
生成模块，用于将所述事件流数据恢复成事件量图，对所述事件量图通过所述下采样方法进行处理，生成二值自监督图像；
训练模块，用于将所述训练数据输入神经网络中进行训练，并利用所述自监督图像以及整体损失函数进行训练损失计算，完成所述神经网络的训练；
运动估计模块，用于通过训练完成后的神经网络进行运动估计。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的基于事件相机的数据处理及运动估计方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于事件相机的数据处理及运动估计方法。
CN202210249593.XA 2022-03-14 2022-03-14 基于事件相机的数据处理及运动估计方法及装置 Pending CN114627150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210249593.XA CN114627150A (zh) 2022-03-14 2022-03-14 基于事件相机的数据处理及运动估计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210249593.XA CN114627150A (zh) 2022-03-14 2022-03-14 基于事件相机的数据处理及运动估计方法及装置

Publications (1)

Publication Number Publication Date
CN114627150A true CN114627150A (zh) 2022-06-14

Family

ID=81902783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210249593.XA Pending CN114627150A (zh) 2022-03-14 2022-03-14 基于事件相机的数据处理及运动估计方法及装置

Country Status (1)

Country Link
CN (1) CN114627150A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171221A (zh) * 2022-09-06 2022-10-11 上海齐感电子信息科技有限公司 动作识别方法及动作识别系统
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法
CN116188533A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171221A (zh) * 2022-09-06 2022-10-11 上海齐感电子信息科技有限公司 动作识别方法及动作识别系统
CN115171221B (zh) * 2022-09-06 2022-12-06 上海齐感电子信息科技有限公司 动作识别方法及动作识别系统
CN115937261A (zh) * 2023-01-09 2023-04-07 中国人民解放军国防科技大学 基于事件相机的空间目标运动参数测量方法
CN116188533A (zh) * 2023-04-23 2023-05-30 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备
CN116188533B (zh) * 2023-04-23 2023-08-08 深圳时识科技有限公司 特征点跟踪方法与装置、电子设备

Similar Documents

Publication Publication Date Title
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN114627150A (zh) 基于事件相机的数据处理及运动估计方法及装置
CN109919032B (zh) 一种基于动作预测的视频异常行为检测方法
CN111861925B (zh) 一种基于注意力机制与门控循环单元的图像去雨方法
CN113011329B (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN111260738A (zh) 基于相关滤波和自适应特征融合的多尺度目标跟踪方法
CN114463218B (zh) 一种基于事件数据驱动的视频去模糊方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN112104869B (zh) 一种视频大数据存储及转码优化系统
CN115601403A (zh) 一种基于自注意力机制的事件相机光流估计方法及装置
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
CN111814644B (zh) 一种基于扰动视觉解释的视频异常事件检测方法
CN113378775A (zh) 一种基于深度学习的视频阴影检测与消除方法
CN113158905A (zh) 一种基于注意力机制的行人重识别方法
CN109308709B (zh) 基于图像分割的Vibe运动目标检测算法
CN112487874B (zh) 一种基于事件相机消除背景噪声的方法及系统
CN112270691B (zh) 一种基于动态滤波器网络的单目视频结构和运动预测方法
CN111444913B (zh) 一种基于边缘引导稀疏注意力机制的车牌实时检测方法
CN111488839B (zh) 一种目标检测方法和目标检测系统
CN112837238A (zh) 图像处理方法及装置
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN116188555A (zh) 一种基于深度网络与运动信息的单目室内深度估计算法
CN115641564A (zh) 一种轻量化停车位检测方法
CN117561540A (zh) 使用帧序列执行计算机视觉任务的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination