CN114137247B - 基于事件相机的速度感知方法、装置、设备和介质 - Google Patents
基于事件相机的速度感知方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN114137247B CN114137247B CN202111444748.7A CN202111444748A CN114137247B CN 114137247 B CN114137247 B CN 114137247B CN 202111444748 A CN202111444748 A CN 202111444748A CN 114137247 B CN114137247 B CN 114137247B
- Authority
- CN
- China
- Prior art keywords
- line
- event
- cluster
- coordinates
- constraint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000011022 operating instruction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000791900 Selene vomer Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于事件相机的速度感知方法、装置、设备和介质，通过获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线‑线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。本申请算法与之前算法的相比，可以在不论是增加的事件扰动还是对IMU给出的角速度添加更高噪声水平时都更加鲁棒，而且在更小的时间间隔条件下也可以取得更高的精度。
Description
技术领域
本申请涉及事件相机、速度感知技术领域，特别是涉及一种基于事件相机的速度感知方法、装置、设备和介质。
背景技术
动态视觉传感器(事件相机)是受生物启发的低延迟传感器，其特性使事件相机成为高动态或者低光照条件等挑战性视觉应用的绝佳选择。然而由于其原理与传统相机完全不同，需要开发新的算法来解决即时定位与地图构建领域的视觉里程计问题。基于此，有研究引入了连续事件线约束(CELC)并提出了一种基于线的闭式求解器来进行速度初始化，然而他们的求解器对事件流中的常见噪声表现出较差的鲁棒性。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于事件相机的速度感知方法、装置、设备和介质，以解决现有技术中求解器对事件流中的常见噪声表现出的鲁棒性较差的问题。
为实现上述目的及其他相关目的，本申请提供一种基于事件相机的速度感知方法，所述方法包括：S1、获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；S2、随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；S3、依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
于本申请的一实施例中，所述方法包括：在所述簇中随机抽取至少5个事件；其中，包含：两个位于时间间隔开头的事件，两个位于时间间隔末尾的事件，以供分别形成两个线观测；一个位于时间间隔中点的中心事件，以形成点观测。
于本申请的一实施例中，所述方法包括：用j表示线簇集的编号，则两个线观测分别表示为lsj和lej，所在时间戳为tsj和tej；中心事件表示为ekj＝{xkj，ykj，tkj，skj}，tkj为事件的时间戳，skj为事件的极性；观测向量为fkj＝K-1[xkj，ykj，1]T，[xkj，ykj，1]为中心事件坐标，K为事件相机内参矩阵。
于本申请的一实施例中，所述CELC约束为：fkj TBkjv＝0；其中， 代表从tkj到tsj旋转/>的三列；/>代表从tkj到tej旋转/>的三列；fkj T为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度。
于本申请的一实施例中，所述基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，包括：所述普吕克坐标为：L＝[dT，mT]T；其中，m＝r×d；d表示具有方向的长度；m表示几何面积；r表示3D线上的点相对于事件相机中心的位置cs；L上事件点的测量可以用普吕克坐标表示：其中，/>fk为观测向量；ω表示IMU数据提供的已知角速度；Rsk为旋转矩阵；/>旋转后的观测向量；tsk＝v(tk-ts)；tsk表示观测向量/>在时间戳tk的事件相机中心的位置ck相对于cs的位置；v表示线速度；普吕克坐标的线-线交叉约束为：/>普吕克坐标自身的约束为：/>
于本申请的一实施例中，所述方法包括：重复步骤S2和S3，采用角度误差度量作为内点度量，基于RANSAC算法鲁棒地求出对应每个线簇集的最终3D线。
于本申请的一实施例中，所述方法包括：将各3D线重投影至各事件所在时间的虚拟帧，当事件到3D线的正交误差小于阈值则令该事件为内点，据以计算每个线簇集的内点率；重复步骤S2和S3并计算每个线簇集的内点率，直至所有内点率的平均值超过预设值或达到最大迭代，并将每个线簇集当前的3D线作为最终3D线。
为实现上述目的及其他相关目的，本申请提供一种基于事件相机的速度感知装置，所述装置包括：获取模块，用于获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；处理模块，用于随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请提供的一种基于事件相机的速度感知方法、装置、设备和介质，通过获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
具有以下有益效果：
本申请算法与之前算法的相比，可以在不论是增加的事件扰动还是对IMU给出的角速度添加更高噪声水平时都更加鲁棒，而且在更小的时间间隔条件下也可以取得更高的精度。
附图说明
图1显示为本申请于一实施例中基于事件相机的速度感知方法的流程示意图。
图2显示为本申请于一实施例中CELC的几何示意图。
图3显示为本申请于一实施例中普吕克坐标求解3D线的几何示意图。
图4A-4B显示为本申请于一实施例中本方法与其他方法得到的速度方向角误差比较的极坐标直方图。
图5显示为本申请于一实施例中基于事件相机的速度感知装置的模块示意图。
图6显示为本申请于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述问题，本申请公开了一种基于事件相机的速度感知方法、装置、设备和介质，
本申请主要通过嵌套的两层RANSAC框架，用于在基于事件的惯性里程计系统中进行线速度初始化，利用连续事件线约束(CELC)来估计初始线速度，然后提出了一个用于从事件中恢复3D线的最小求解器，以鲁棒地求出3D线并隐式地验证所估计线速度的质量。本申请的目的是：从位于事件相机前面的3D线生成事件的短时间切片中求出事件相机的速度，并与之前的算法相比提高其鲁棒性。
如图1所示，展示为本申请于一实施例中的基于事件相机的速度感知方法的流程示意图。如图所示，所述方法包括：
步骤S1：获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集。
事件相机即为动态视觉传感器，不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。
IMU(Inertial measurement unit)为惯性测量单元，是测量物体三轴姿态角(或角速率)以及加速度的装置。
于本申请中，事件相机输出一系列事件点和IMU数据，这里利用IMU数据中的角速度，假设角速度已知来求线速度，对应有公式v＝ω·r，线速度v的定义是：单位时间内通过的弧长；角速度ω的定义是：单位时间内通过的弧度数。
本申请假设速度在短时间间隔内恒定的，则在给定的短时间间隔Δt内进行针对事件流的线聚类和提取。
步骤S2：随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度。
RANSAC是“RANdom SAmple Consensus(随机抽样一致)”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。
于本申请中，随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件相当于“外层RANSAC”，如随机抽取2个线簇集，每个线簇集中随机抽取5个事件。
例如，随机抽取2个线簇集，在所述簇中随机抽取至少5个事件；其中，包含：两个位于时间间隔开头的事件，两个位于时间间隔末尾的事件，以供分别形成两个线观测；一个位于时间间隔中点的中心事件，以形成点观测。简单来说，两个线观测和一个点观测是RANSAC运算初步计算需要的最小条件。
如图2所示，展示为CELC的几何示意图。用j表示线簇集的编号，则两个线观测分别表示为lsj和Iej，所在时间戳为tsj和tej；中心事件可以表示为ekj＝{xkj，ykj，tkj，skj}，tkj为事件的时间戳，skj为事件的极性；观测向量为fkj＝K-1[xkj，ykj，1]T，[xkj，ykj，1]为中心事件坐标，其坐标可以通过fkj＝K-1[xkj，ykj，1]T来归一化，K为已知的事件相机内参矩阵。
进一步地，依据上述给出的样本，基于经典多视图几何中的三焦点张量推导出了CELC约束(连续事件线约束)，如图2给出的CELC约束，这样就变成了一个齐次线性方程组(即Ax＝b)，其最小二乘解为矩阵A'A最小特征值所对应的特征向量，然后用SVD方法(奇异值分解法)求出一个线速度闭式解。
具体来说，由fkj＝K-1[xkj，ykj，1]T可得，所述CELC约束为：fkj TBkju＝0。其中，
这里的三角点：代表从tkj到tsj旋转/>的三列；
代表从tkj到tej旋转/>的三列；
fkj T为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度。对应图2所示，其中的tskj和tekj可以由v表示。
步骤S3：依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
进一步地，通过步骤S2获得了初始线速度假设，再针对每个线簇集，随机选择若干个事件，即相当于“内层RANSAC”。例如，可随机选择4个事件。
如图3所示，显示了基于于普吕克坐标(Pliicker)的线-线交叉约束以及普吕克坐标自身的约束的原理图，利用这些约束使用代数方法解多项式方程系统就可以求出相对应的3D线。
优选地，由于每条3D线的求解对于每个线簇集是单独的，索引线簇集j将不在求3D线的公式中使用。基于普吕克坐标的线求解器的几何示意如图3所示。未知量为3D线的普吕克坐标，可以表示为：
L＝[dT，mT]T；
其中，m＝r×d；d表示具有方向的长度；m表示几何面积；r表示3D线上的点相对于事件相机中心cs的位置。已知变量是观测向量和在时间戳tk的相机中心ck相对于cs的位置，由tsk给出。
L上事件点的测量可以用普吕克坐标表示：
其中，fk为观测向量；ω表示IMU数据提供的已知角速度；Rsk为旋转矩阵；/>旋转后的观测向量；tsk＝v(tk-ts)；tsk表示观测向量/>在时间戳tk的事件相机中心的位置ck相对于cs的位置；v表示线速度。
进而普吕克坐标的线-线交叉约束可以表示为：
普吕克坐标自身的约束可以表示为：
其中，||||表示绝对值。
于本申请一实施例中，所述方法包括：重复步骤S2和S3，采用角度误差度量作为内点度量，用经典的RANSAC框架鲁棒地求出对应每个线簇集的最终3D线。具体包括：
A、将各3D线重投影至各事件所在时间的虚拟帧，当事件到3D线的正交误差小于阈值则令该事件为内点，据以计算每个线簇集的内点率。
对于每个事件，将求出的每条3D线重新投影回事件所在时间的虚拟帧，并评估事件到线的正交误差。本申请将符合当前位姿的判断叫做内点，那么内点可以由正交误差是否小于给定的内点阈值来判定，进一步的可以得到每个线簇集的内点率。
B、重复步骤S2和S3并计算每个线簇集的内点率，直至所有内点率的平均值超过预设值或达到最大迭代，并将每个线簇集当前的3D线作为最终3D线。
简单来说，一旦所有内点率的平均值超过某个阈值或达到最大迭代，就终止外层RANSAC。
为了验证本申请的RANSAC框架，本申请在两个真实数据上进行了实验。这些数据集由分辨率为346×260的DAVIS346事件相机采集。真实值由外部运动跟踪系统提供。第一个数据集实在一架载有DAVIS346的无人机(UAV)以45°朝下看的方式采集。第二个数据集由小型自动地面车(AGV)采集并使用向下看的方式。为使本申请更明显易懂，使用真实线速度与估计线速度之间的方向误差来评估本方法的结果：
其中，vgt和vest分别是真实线速度与估计线速度。如图4A-4B显示了误差的极坐标直方图。分布越接近于0的代表误差越小，可以看出，本申请所提出的方法CELC-SAC获得了比之前的方法CELC-ME更准确的结果。
综上所述，本申请提供的算法与之前的相比，可以在不论是增加的事件扰动还是对IMU给出的角速度添加更高噪声水平时都更加鲁棒，而且在更小的时间间隔条件下也可以取得更高的精度。
如图5所示，展示为本申请于一实施例中的基于事件相机的速度感知装置的模块示意图。如图所示，所述装置500包括：
获取模块501，用于获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；
处理模块502，用于随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
需要说明的是，上述系统各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块502可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上处理模块502的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图6所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备600包括：存储器601、及处理器602；所述存储器601用于存储计算机指令；所述处理器602运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备600中的所述存储器601的数量均可以是一或多个，所述处理器602的数量均可以是一或多个，而图6中均以一个为例。
于本申请一实施例中，所述计算机设备600中的处理器602会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器601中，并由处理器602来运行存储在存储器601中的应用程序，从而实现如图1所述的方法。
所述存储器601可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memorv)，例如至少一个磁盘存储器。所述存储器601存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备600的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图6中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种基于事件相机的速度感知方法、装置、设备和介质，通过获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三角点张量推导出CELC约束，以得到初始线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (7)
1.一种基于事件相机的速度感知方法，其特征在于，所述方法包括：
S1、获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；
S2、随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三焦点张量推导出CELC约束，以得到初始线速度；所述CELC约束为fkj TBkjv＝0；
其中，用j表示线簇集的编号，则两个线观测分别表示为lsj和lej，所在时间戳为tsj和tej；中心事件表示为ekj＝{xkj,ykj,tkj,skj}，tkj为事件的时间戳，skj为事件的极性；观测向量为fkj＝K-1[xkj,ykj,1]T，[xkj,ykj,1]为中心事件坐标，K为事件相机内参矩阵；
代表从tkj到tsj旋转/>的三列；/>代表从tkj到tej旋转/>的三列；
fkj T为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度；
S3、依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线；其中，所述普吕克坐标为：L＝[dT,mT]T；其中，m＝r×d；d表示具有方向的长度；m表示几何面积；r表示3D线上的点相对于事件相机中心的位置cs；L上事件点的测量可以用普吕克坐标表示：其中，/>fk为观测向量；ω表示IMU数据提供的已知角速度；Rsk为旋转矩阵；/>旋转后的观测向量；tsk＝v(tk-ts)；tsk表示观测向量/>在时间戳tk的事件相机中心的位置ck相对于cs的位置；ts为时间戳；v表示线速度；所述普吕克坐标的线-线交叉约束为：/>所述普吕克坐标自身的约束为：/>
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
在所述线簇集中随机抽取至少5个事件；其中，包含：两个位于时间间隔开头的事件，两个位于时间间隔末尾的事件，以供分别形成两个线观测；一个位于时间间隔中点的中心事件，以形成点观测。
3.根据权利要求1所述的方法，其特征在于，所述方法包括：
重复步骤S2和S3，采用角度误差度量作为内点度量，基于RANSAC算法鲁棒地求出对应每个线簇集的最终3D线。
4.根据权利要求3所述的方法，其特征在于，所述方法包括：
将各3D线重投影至各事件所在时间的虚拟帧，当事件到3D线的正交误差小于阈值则令该事件为内点，据以计算每个线簇集的内点率；
重复步骤S2和S3并计算每个线簇集的内点率，直至所有内点率的平均值超过预设值或达到最大迭代，并将每个线簇集当前的3D线作为最终3D线。
5.一种基于事件相机的速度感知装置，其特征在于，所述装置包括：
获取模块，用于获取事件相机输出的事件流和IMU数据，对事件流的线进行聚类和提取以得到多个线簇集；
处理模块，用于随机抽取若干个所述线簇集并在抽取的各所述线簇集中随机抽取若干个事件，基于三焦点张量推导出CELC约束，以得到初始线速度；所述CELC约束为fkj TBkjv＝0；其中，用j表示线簇集的编号，则两个线观测分别表示为lsj和lej，所在时间戳为tsj和tej；中心事件表示为ekj＝{xkj,ykj,tkj,skj}，tkj为事件的时间戳，skj为事件的极性；观测向量为fkj＝K-1[xkj,ykj,1]T，[xkj,ykj,1]为中心事件坐标，K为事件相机内参矩阵； 代表从tkj到tsj旋转的三列；/>代表从tkj到tej旋转/>的三列；fkj T为观测向量；ω表示IMU数据提供的已知角速度，v表示线速度；依据所述初始线速度对每个所述线簇集随机抽取若干个事件，利用基于普吕克坐标的线-线交叉约束以及普吕克坐标自身的约束，求出对应每个所述线簇集的3D线；其中，所述普吕克坐标为：L＝[dT,mT]T；其中，m＝r×d；d表示具有方向的长度；m表示几何面积；r表示3D线上的点相对于事件相机中心的位置cs；L上事件点的测量可以用普吕克坐标表示：
其中，/>fk为观测向量；ω表示IMU数据提供的已知角速度；Rsk为旋转矩阵；/>旋转后的观测向量；tsk＝v(tk-ts)；tsk表示观测向量/>在时间戳tk的事件相机中心的位置ck相对于cs的位置；ts为时间戳；v表示线速度；所述普吕克坐标的线-线交叉约束为：/>所述普吕克坐标自身的约束为：
6.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至4中任意一项所述的方法。
7.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111444748.7A CN114137247B (zh) | 2021-11-30 | 2021-11-30 | 基于事件相机的速度感知方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111444748.7A CN114137247B (zh) | 2021-11-30 | 2021-11-30 | 基于事件相机的速度感知方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114137247A CN114137247A (zh) | 2022-03-04 |
| CN114137247B true CN114137247B (zh) | 2024-01-19 |
Family
ID=80385908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111444748.7A Active CN114137247B (zh) | 2021-11-30 | 2021-11-30 | 基于事件相机的速度感知方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114137247B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205679A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合 |
| CN110415344A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的运动补偿方法 |
| CN111798485A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 一种利用imu增强的事件相机光流估计方法及系统 |
| CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10260862B2 (en) * | 2015-11-02 | 2019-04-16 | Mitsubishi Electric Research Laboratories, Inc. | Pose estimation using sensors |
| EP3451288A1 (en) * | 2017-09-04 | 2019-03-06 | Universität Zürich | Visual-inertial odometry with an event camera |
-
2021
- 2021-11-30 CN CN202111444748.7A patent/CN114137247B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108205679A (zh) * | 2016-12-20 | 2018-06-26 | 三星电子株式会社 | 针对动态视觉传感器跟踪的多尺度加权匹配和传感器融合 |
| CN110415344A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 基于事件相机的运动补偿方法 |
| CN111798485A (zh) * | 2020-06-30 | 2020-10-20 | 武汉大学 | 一种利用imu增强的事件相机光流估计方法及系统 |
| CN112649016A (zh) * | 2020-12-09 | 2021-04-13 | 南昌大学 | 一种基于点线初始化的视觉惯性里程计方法 |
Non-Patent Citations (3)
| Title |
|---|
| Real-Time Visual SLAM for Autonomous Underwater Hull Inspection Using Visual Saliency;Ayoung Kim;IEEE TRANSACTIONS ON ROBOTICS;第29卷(第3期);719-713 * |
| Visual-Inertial SLAM for a Small Helicopter in Large Outdoor Environments;Markus W. Achtelik;IEEE/RSJ International Conference on Intelligent Robots and Systems;2651-2652 * |
| 视觉与惯性传感器融合的SLAM 技术综述;杨观赐;贵州大学学报( 自然科学版);第37卷(第6期);1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114137247A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Robust and efficient relative pose with a multi-camera system for autonomous driving in highly dynamic environments | |
| Ventura et al. | A minimal solution to the generalized pose-and-scale problem | |
| CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
| CN108280858B (zh) | 多视图重建中的一种线性全局相机运动参数估计方法 | |
| TWI795885B (zh) | 視覺定位方法、設備和電腦可讀儲存介質 | |
| CN108122280A (zh) | 一种三维点云的重建方法及装置 | |
| Albl et al. | Rolling shutter camera absolute pose | |
| CN111415420A (zh) | 空间信息确定方法、装置及电子设备 | |
| Masselli et al. | A new geometric approach for faster solving the perspective-three-point problem | |
| CN116402976A (zh) | 三维目标检测模型训练方法及装置 | |
| CN114663488A (zh) | 一种基于深度学习的火箭助推器分离运动参数测量方法 | |
| Bullinger et al. | 3d vehicle trajectory reconstruction in monocular video data using environment structure constraints | |
| Zhang et al. | A visual-inertial dynamic object tracking SLAM tightly coupled system | |
| CN114137247B (zh) | 基于事件相机的速度感知方法、装置、设备和介质 | |
| Liu et al. | Globally optimal consensus maximization for relative pose estimation with known gravity direction | |
| Guan et al. | Affine correspondences between multi-camera systems for 6DOF relative pose estimation | |
| CN114119885A (zh) | 图像特征点匹配方法、装置及系统、地图构建方法及系统 | |
| Liu et al. | Absolute orientation and localization estimation from an omnidirectional image | |
| CN111811501A (zh) | 一种基于树干特征的无人机定位方法、无人机及存储介质 | |
| CN112802120B (zh) | 基于非均匀分割累加表和正交消隐点的相机外参标定方法 | |
| Hui et al. | Determining shape and motion from non-overlapping multi-camera rig: A direct approach using normal flows | |
| CN109919998A (zh) | 卫星姿态确定方法、装置和终端设备 | |
| Chen et al. | 360ORB-SLAM: A Visual SLAM System for Panoramic Images with Depth Completion Network | |
| JP7258250B2 (ja) | 位置・姿勢推定装置、位置・姿勢推定方法、及びプログラム | |
| Duan et al. | Filtering 2D-3D Outliers by Camera Adjustment for Visual Odometry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |