CN113888639A - 基于事件相机与深度相机的视觉里程计定位方法及系统 - Google Patents
基于事件相机与深度相机的视觉里程计定位方法及系统 Download PDFInfo
- Publication number
- CN113888639A CN113888639A CN202111230468.6A CN202111230468A CN113888639A CN 113888639 A CN113888639 A CN 113888639A CN 202111230468 A CN202111230468 A CN 202111230468A CN 113888639 A CN113888639 A CN 113888639A
- Authority
- CN
- China
- Prior art keywords
- key frame
- camera
- map
- depth
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000000007 visual effect Effects 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 19
- 238000012216 screening Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 8
- 238000005286 illumination Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明的基于事件相机与深度相机的视觉里程计定位方法及系统，将事件相机与深度相机结合，利用事件相机替代一般RGB‑D系统中的常规相机，通过由事件相机采集的事件流生成时间表面图，并将关键帧时刻采集的深度图投影至事件相机平面，与生成的关键帧时刻的时间表面图相结合，获得的最近关键帧的局部地图，再将新生成的时间表面图与最近关键帧的局部地图配准，获得当前时刻相机相对于最近关键帧的相对位姿以及全局位姿；再根据相对位姿的值判断是否需要构建新的最近关键帧的局部地图或者继续利用当前的最近关键帧的局部地图进行配准；本发明不仅具有定位精度高，算法效率高，可实时处理的优点，并且可以在挑战性的光照条件下正常工作。
Description
技术领域
本申请涉及计算机视觉技术领域，尤其涉及基于事件相机与深度相机的视觉里程计定位方法及系统。
背景技术
近年来，机器人、无人机、自动驾驶、VR/AR等产品和技术持续火爆，逐步渗透社会生活的各个领域，并对经济和社会发展产生重要影响。基于SLAM技术的即时定位与追踪能力是上述智能移动设备感知与认知周边环境所必须的关键技术，其重要的学术和应用价值始终受到学术和产业界的高度重视。
自上世纪80年代SLAM概念的提出至今。SLAM系统使用的传感器不断拓展，由早期的声呐，到后来的2D/3D激光雷达，及单目、双目、RGB-D等各种相机，SLAM系统一直在综合各种需求不断演进。尽管基于激光雷达的定位技术在无人驾驶行业中已得到广泛应用，但是视觉相机凭借便宜、轻便和低功耗的特点及获取信息丰富、特征区分度高的优势，使得视觉SLAM在VR/AR、无人机、室内机器人等小型移动终端上有着其他技术无法替代的优越性。但视觉SLAM也存在诸多不足：如高机动运动场景采集的图像产生运动模糊，固定帧率相机采集的数据存在时延，常规相机尚不具备高动态光照环境适应能力等。因此现有解决方案通常将常规相机与其他传感器相融合，例如惯性测量单元，深度传感器，激光雷达等。
值得注意的是，自2010年消费级RGB-D相机问世以来，深度相机与常规相机的组合在室内场景的应用中非常流行。尽管RGB-D相机组合可以提供高频率，高分辨率的深度图像，显著提高了单目视觉里程计和SLAM方法的准确性和鲁棒性，但仍然存在以下缺点：
1.大多数RGB-D相机解决方案依赖于基于清晰图像的稀疏特征提取或强度图像边缘对齐，尽管它们具有较好的算法收敛性，在光照条件良好时候具有较好的稳定性和较高的计算效率，但由于高度依赖于清晰图像也导致了这些解决方案依旧无法在高动态运动或低光照条件等挑战性场景进行精准、稳定的定位。
2.虽然部分方法仅使用深度图像而无需依赖清晰的RGB图像，因此可以在低光照条件下运行，但是这些方法需要连续的高帧率深度图像，耗电量较大，并且它们通常算法复杂度高，对计算资源要求很高，通常需要GPU资源才能实现实时定位建图功能。
近年来，一种名为事件相机的新型动态视觉传感器逐渐进入人们的视线。与基于帧的传统相机不同，事件相机对像素进行独立异步处理，当一个像素的亮度变化累计达到阈值即输出一个事件，并以脉冲形式异步返回。事件相机具有低延迟(<1us)、高动态范围(>140dB)、低功耗(mW级)的优势，其异步特性和高时间分辨率意味着触发的事件模式不容易受到运动模糊之类的伪影的影响。此外，事件相机适用于非常高的动态范围，使其具有强大的潜力来应对复杂的照明场景。但是，由于事件数据不包含绝对强度信息且高度异步，因此处理事件数据需要从计算机视觉基础理论入手，构造全新的数学模型和算法。现有基于事件相机的视觉里程计和视觉SLAM研究成果仍处于早期阶段，主要有以下几种：将事件相机和传统相机结合，从常规相机图像中检测稀疏特征点利用事件数据追踪特征并估计相机运动位姿；将惯性测量单元(IMU)与事件相机和常规相机相结合，为事件流提供初始运动参数并用事件流进行运动补偿，依此生成轮廓清晰的事件图进而提取特征点并估计相机运动位姿；将两个有共同视域的事件相机组成双目相机，利用立体视觉几何约束和左右相机的事件流估计当前场景的深度信息，并通过交替定位和建图的方式实现视觉里程计功能。但上述方法具有诸多缺点：
1.基于强度图像提取特征点的方法会由于常规相机在挑战性光照的场景失效，而无法稳定工作。
2.尽管事件相机和IMU的组合可以在短时间内视觉失效的情况下工作，但是由于惯性测量单元在长时间后会积累大量误差，在无法利用视觉信息校正漂移的情况下依旧产生严重的鲁棒性问题。
3.双目立体事件相机系统采用交替定位和建图的方法依赖于较长时间且精确的初始化结果，并且由于计算复杂度较高，以及事件相机在高机动运动时候产生大量事件数据的特性，只能在平缓温和的运动模式下工作。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于事件相机与深度相机的视觉里程计定位方法及系统，解决利用现有技术中的视觉SLAM和视觉里程计定位在高动态运动场景和复杂光照条件下测量偏差大或难以观测的问题。
为实现上述目标及其他相关目标，本申请提供一种基于事件相机与深度相机的视觉里程计定位方法，包括：获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；若所述相对位姿不大于设定阈值时，则继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿；其中，所述最近关键帧的局部地图的构建方式包括：将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图。
于本申请的一或多个实施例中，所述积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图的方式包括：积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上；将所述二维图像上的像素点位置的值高于设定阈值的像素点进行可视化，以生成当前时刻的时间表面图。
于本申请的一或多个实施例中，所述将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图的方式包括：将与所述事件相机同步的深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图。
于本申请的一或多个实施例中，所述将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图的方式包括：基于所述深度相机在关键帧时刻采集的深度图的各像素点的深度值，获得投影至事件相机平面上每个像素点所分别对应的一或多个深度值；基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图中各像素点对应有一深度值。
于本申请的一或多个实施例中，所述基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图的方式包括：基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点；将筛选的各像素点所对应的各深度值进行前景点识别，以分别选择一深度值作为筛选的各像素点的深度值，并生成半稠密边缘轮廓深度图。
于本申请的一或多个实施例中，所述将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿的方式包括：将构建的最近关键帧的局部地图中各三维点投影至生成的当前时刻的时间表面图，以获得多个投影点的位置的值；根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数；基于所述六自由度的运动参数，获得当前时刻相机相对于最近关键帧的相对位姿。
于本申请的一或多个实施例中，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数的方式包括：基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数。
于本申请的一或多个实施例中，所述基于优化函数，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数的方式包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的的六自由度运动参数变化量；基于六自由度运动参数变化量以及上一时刻的六自由度的运动参数，获得对应当前时刻的六自由度的运动参数；其中，所述优化函数为：
其中，其中，ρ是鲁棒核函数，W为映射函数，
为最近关键帧的局部地图中三维点集合，
为当前时刻的负时间-表面图，
是三维点在关键帧下的坐标，θrel为上一时刻的六自由度的运动参数，Δθrel为当前时刻的六自由度运动参数变化量。
于本申请的一或多个实施例中，所述若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿的方式包括：所述若所述相对位姿大于设定阈值时，则将下一时刻作为新的最近关键帧，将下一时刻采集的深度图投影至事件相机平面，并与生成的下一时刻的时间表面图相结合，获得新的最近关键帧时刻的局部地图；将生成的最近关键帧时刻下一时刻的时间表面图与构建的新的最近关键帧的局部地图进行3D-2D配准，获得最近关键帧时刻下一时刻相机相对于新的最近关键帧的相对位姿
为实现上述目标及其他相关目标，本申请提供一种基于事件相机与深度相机的视觉里程计定位系统，包括：获取模块，用于获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；时间表面图生成模块，连接所述获取模块，用于积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；关键帧局部地图构建模块，连接所述获取模块以及时间表面图生成模块，用于将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图；相对位姿计算模块，连接所述时间表面图生成模块以及关键帧局部地图构建模块，用于将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；全局位姿计算模块，连接所述相对位姿计算模块，用于根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；新关键帧插入模块，连接所述相对位姿计算模块以及关键帧局部地图构建模块，用于在所述相对位姿大于设定阈值时，则令所述关键帧局部地图构建模块构建新的最近关键帧的局部地图，以使所述系统采用构建的新的最近关键帧的局部地图与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；维持定位模块，连接所述相对位姿计算模块，用于在所述相对位姿不大于设定阈值时，则令系统继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿。
如上所述，本申请的基于事件相机与深度相机的视觉里程计定位方法及系统，本发明将事件相机与深度相机结合，利用事件相机替代一般RGB-D系统中的常规相机，通过由事件相机采集的事件流生成时间表面图，并将关键帧时刻采集的深度图投影至事件相机平面，与生成的关键帧时刻的时间表面图相结合，获得的最近关键帧的局部地图，再将新生成的时间表面图与最近关键帧的局部地图配准，获得当前时刻相机相对于最近关键帧的相对位姿以及全局位姿；再根据相对位姿的值判断是否需要构建新的最近关键帧的局部地图或者继续利用当前的最近关键帧的局部地图进行配准；本发明不仅具有定位精度高，算法效率高，可实时处理的优点，并且可以在挑战性的光照条件下正常工作。
附图说明
图1显示为本申请实施例中基于事件相机与深度相机的视觉里程计定位方法的流程示意图。
图2显示为本申请实施例中基于事件相机与深度相机的视觉里程计定位方法的流程示意图。
图3显示为本申请实施例中基于事件相机与深度相机的视觉里程计定位系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统，本说明书中的各项细节也可以基于不同观点与应用系统，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。
为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。
在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。
本发明提供一种基于事件相机与深度相机的视觉里程计定位方法，将事件相机与深度相机结合，利用事件相机替代一般RGB-D系统中的常规相机，通过由事件相机采集的事件流生成时间表面图，并将关键帧时刻采集的深度图投影至事件相机平面，与生成的关键帧时刻的时间表面图相结合，获得的最近关键帧的局部地图，再将新生成的时间表面图与最近关键帧的局部地图配准，获得当前时刻相机相对于最近关键帧的相对位姿以及全局位姿；再根据相对位姿的值判断是否需要构建新的最近关键帧的局部地图或者继续利用当前的最近关键帧的局部地图进行配准；本发明不仅具有定位精度高，算法效率高，可实时处理的优点，并且可以在挑战性的光照条件下正常工作。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示本发明实施例中的基于事件相机与深度相机的视觉里程计定位方法的流程示意图。
所述方法包括：
步骤S11：获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件。
可选的，事件相机与深度相机进行了内参数标定以及二者之间的外参数联合标定，深度相机以及事件相机同步实时采集的深度图以及事件，其中事件相机对当前环境进行连续拍摄获取对应的事件输出。
步骤S12：积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图。
具体的，将毫秒级局部时间内触发的事件积累，将事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图。
可选的，步骤S12包括：积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上；将所述二维图像上的像素点位置的值高于设定阈值的像素点进行可视化，以生成当前时刻的时间表面图。
可选的，将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上的各像素点的值由一个指数衰减核函数获得，如下：
其中，t是当前时刻时间，tlast(x)为该坐标位置x上最近触发的一个事件的时间戳，τ为一个固定的衰减参数，该参数可根据设备运动模式调整。
可选的，所述时间表面图将每个像素位置在移动过程中亮度的变化可视化，并强调了最近时刻触发事件的像素位置。时间-表面图上的值由[0,1]映射至[0,255]以便可视化和处理，同时只考虑高于某固定阈值的像素位置上的值，其余像素的值将被设置为0。
步骤S13：将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿。
其中，所述最近关键帧的局部地图的构建方式包括：将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图。
可选的，所述将所述深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图的方式包括：
将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图由筛选的全部像素点构成。
将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图。
可选的，所述将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图的方式包括：
基于所述深度相机在关键帧时刻采集的深度图的各像素点的深度值，获得投影至事件相机平面上每个像素点所分别对应的一或多个深度值；
基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图中各像素点对应有一深度值；具体的，由于在投影的事件相机平面与时间表面图在相同的时间相机坐标系下，时间表面上的各像素点在所述投影的事件相机平面具有对应关系的像素点，因此在投影的事件相机平面上找到与所述时间表面图的各像素点所对应的像素点，筛选具有深度值的像素点，并构成半稠密边缘轮廓深度图，且每个像素点都对应有一深度值。
可选的，由于上述深度映射过程将深度图像上深度值映射到事件相机上亚像素位置而非像素中心，且可能存在遮挡或者深度不可观测的情况。因此所述基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图的方式包括：
基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点；具体的，基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点，并将筛选的每个像素创建一个单独深度值列表，包含映射到该像素位置上的所有深度值。
将筛选的各像素点所对应的各深度值进行前景点识别，以分别选择一深度值作为筛选的各像素点的深度值，并生成半稠密边缘轮廓深度图。可选的，可以采用深度聚类策略可以识别前景点，并通过插值获得该像素位置上的最终深度，该策略确保半稠密区域中像素始终为不受遮挡的前景点，且可以有效减少深度测量误差。
可选的，对在关键帧时刻tref提取的时间-表面图τref(·)，将在tref时刻由深度相机获得的深度图，根据所述深度相机以及事件相机之间固定外参数Ted投影到事件相机平面，公式如下：
其中，
是时间-表面图上一像素点，
为该点在深度相机图像平面上对应的点，深度值为
πe/d和
分别表示事件和深度相机的图像-相机坐标系的投影和反投影变换。D(a)＝diag(a，a，a，1)代表一个对角线值为a和1的对角矩阵。
最终可获得点
的深度值：
可选的，筛选多个像素点的方式还可以为：在所述时间表面图找到与投影的事件相机平面上各像素点相对应的像素点，筛选在时间表面图像素点位置的值高于设定阈值的像素点，以构成半稠密边缘轮廓深度图。
可选的，步骤S13包括：将构建的最近关键帧的局部地图中各三维点投影至生成的当前时刻的时间表面图，以获得多个投影点的位置的值；
根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数；
基于所述六自由度的运动参数，获得当前时刻相机相对于最近关键帧的相对位姿。
可选的，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数。
可选的，将构建的最近关键帧的局部地图中一个三维点
投影根据六自由度的运动参数θrel投影到当前时刻的时间-表面图的3D-2D的映射函数为：
其中，θref用于表征关键帧相对于世界坐标系下的六自由度运动参数，
是时间-表面图上一像素点，
为
的深度值，D(a)＝diag(a，a，a，1)代表一个对角线值为a和1的对角矩阵；T-1(θref)为在关键帧相机相对于世界坐标系的位姿。
通过配准投影到当前时刻下事件相机的像素平面的半稠密三维点云地图与当前时刻的负时间-表面图
可获得优化六自由度运动参数θrel的优化函数：
其中，ρ是鲁棒核函数，W为映射函数，
为当前时刻的负时间-表面图，
是三维点在关键帧下的坐标，
为时间-表面图上一点，
为最近关键帧的局部地图中三维点集合。
通过该优化函数可获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数。
可选的，所述基于优化函数，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数的方式包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的的六自由度运动参数变化量；
基于六自由度运动参数变化量以及上一时刻的六自由度的运动参数，获得对应当前时刻的六自由度的运动参数；
其中，所述优化函数为：
其中，ρ是鲁棒核函数，W为映射函数，
为最近关键帧的局部地图中三维点集合，
为当前时刻的负时间-表面图，
是三维点在关键帧下的坐标，θrel为上一时刻的六自由度的运动参数，Δθrel为当前时刻的六自由度运动参数变化量。
步骤S14：根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿。
可选的，通过上述优化过程可获得当前时刻事件相机相对于关键帧的相对位姿，进而利用已知关键帧绝对位姿获得相机当前时刻的全局位姿。
步骤S15：若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿。
具体的，当关键帧和当前帧之间基线距离大于设定阈值时，增加新关键帧，构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿。
可选的，所述若所述相对位姿大于设定阈值时，则将下一时刻作为新的最近关键帧，将下一时刻采集的深度图投影至事件相机平面，并与生成的下一时刻的时间表面图相结合，获得新的最近关键帧时刻的局部地图；将生成的最近关键帧时刻下一时刻的时间表面图与构建的新的最近关键帧的局部地图进行3D-2D配准，获得最近关键帧时刻下一时刻相机相对于新的最近关键帧的相对位姿。
同样的，再根据关键帧时刻下一时刻的相机相对于新的最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得全局位姿；
再根据相对位姿进行判断是否大于设定阈值，来决定下一时刻是继续利用当前的最近关键帧进行配准，还是构建新的最近关键帧的局部地图，如此循环，直至任务结束。
步骤S16：若所述相对位姿不大于设定阈值时，则继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿；
同样的，再根据下一时刻的相机相对于该最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得全局位姿；
再根据相对位姿进行判断是否大于设定阈值，来决定下一时刻是继续利用当前的最近关键帧进行配准，还是构建新的最近关键帧的局部地图，如此循环，直至任务结束。
为了更好的描述所述基于事件相机与深度相机的视觉里程计定位方法，提供一具体实施例进行说明；
实施例1：一种基于事件相机与深度相机的视觉里程计定位方法。如图2所示为视觉里程计定位方法的流程示意图。
所述方法包括：
获取由经过标定内外参数的Azure Kinect相机(深度相机)以及Prophesee-Gen3相机(事件相机)同步实时采集的深度图以及事件信息；并且获取Pointgrey-GS3相机(常规相机)采集的数据用于参与对比实验。
将毫秒级局部时间内触发的事件积累，将事件沿时间维度投影至虚拟的二维图像上，定义生成的针对事件流的虚拟二维图像叫做时间-表面图；
将与所述事件相机同步的深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；
将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图；
所述将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，估计对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数，并获得当前时刻相机相对于最近关键帧的相对位姿；
当关键帧和当前帧之间基线距离大于设定阈值时，增加新关键帧，获得新关键帧的半稠密点云地图，并根据当前定位结果获得其相对位姿。
当关键帧和当前帧之间基线距离不大于设定阈值时，继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿。
本发明通过光学跟踪系统获得相机的真实运动轨迹，通过若干次试验，最终证明本申请所提出的视觉里程计方法可以应用在实际场景中，并且与学术界先进的基于RGB-D相机的方法Canny-VO和Kinect Fusion进行比较，本申请方法获得了更好的结果。
本申请在具有不同运动特性，照明条件和深度相机帧率的几个真实序列上测试本方法。对于不同的运动特性，这些序列名称以fast,medium(mid)和slow区分；对于不同照明条件，将从明到暗以bright，darkish，dim，dark区分；测试序列包含三种不同测试场景，分别根据场景中特征纹理起名为calib，table和sofa；结果如表1所示。此外，实验在深度相机采样频率1Hz至30Hz的条件下，在table-bright序列上测试了各方法表现结果，结果如表2所示。与真实轨迹比较的结果以相对旋转误差Rrpe，相对位置误差trpe和绝对位置误差tate表示，其中旋转误差的单位是度，平移误差的单位是厘米。
表一：本发明与学术界现有方法定位结果对照表
表二.不同深度相机帧率情况下各方法结果对照表
从表1可以看出，本方法与基于RGB-D相机的方法在常规照明条件下均可正常工作，并且计算结果与真实值非常接近。并且在弱光照环境下本方法依旧有效，而使用常规相机的Canny-VO方法则失效。
从表2中可以看出，本方法在深度相机采样帧率从1Hz至30Hz情况下均可正常工作，而使用常规相机和深度相机的Canny-VO以及仅使用深度相机的Kinect Fusion在帧率降至5Hz时已无法正常工作。
本实施例中，本发明和Canny-VO方法在一个8核CPU的普通台式机上运行，而Kinect Fusion方法由于需要大量计算资源，因此需要在一台32核CPU和2块NvidiaRTX2080Ti的高性能主机上运行。上述结果均证明了本方法的有效性和优越性。
与上述实施例原理相似的是，本发明提供一种基于事件相机与深度相机的视觉里程计定位系统。
以下结合附图提供具体实施例：
如图3展示本发明实施例中的一种基于事件相机与深度相机的视觉里程计定位系统的结构示意图。
所述系统包括：
获取模块31，用于获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；
时间表面图生成模块32，连接所述获取模块31，用于积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；
关键帧局部地图构建模块33，连接所述获取模块31以及时间表面图生成模块32，用于将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图；
相对位姿计算模块34，连接所述时间表面图生成模块32以及关键帧局部地图构建模块33，用于将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；
全局位姿计算模块35，连接所述相对位姿计算模块34，用于根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；
新关键帧插入模块36，连接所述相对位姿计算模块34以及关键帧局部地图构建模块33，用于在所述相对位姿大于设定阈值时，则令所述关键帧局部地图构建模块33构建新的最近关键帧的局部地图，以使所述系统采用构建的新的最近关键帧的局部地图与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；
维持定位模块，连接所述相对位姿计算模块34，用于在所述相对位姿不大于设定阈值时，则令系统继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿，无需构建新的最近关键帧的局部地图。
需说明的是，应理解图3系统实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现；
例如各模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
因此，由于该基于事件相机与深度相机的视觉里程计定位系统的实现原理已在前述实施例中进行了叙述，因此此处不作重复赘述。
可选的，所述时间表面图生成模块32用于积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上；将所述二维图像上的像素点位置的值高于设定阈值的像素点进行可视化，以生成当前时刻的时间表面图。
可选的，所述关键帧局部地图构建模块33用于将与所述事件相机同步的深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图。
可选的，所述关键帧局部地图构建模块33用于基于所述深度相机在关键帧时刻采集的深度图的各像素点的深度值，获得投影至事件相机平面上每个像素点所分别对应的一或多个深度值；基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图中各像素点对应有一深度值。
可选的，所述关键帧局部地图构建模块33用于基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点；将筛选的各像素点所对应的各深度值进行前景点识别，以分别选择一深度值作为筛选的各像素点的深度值，并生成半稠密边缘轮廓深度图。
可选的，所述相对位姿计算模块34用于将构建的最近关键帧的局部地图中各三维点投影至生成的当前时刻的时间表面图，以获得多个投影点的位置的值；根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数；基于所述六自由度的运动参数，获得当前时刻相机相对于最近关键帧的相对位姿。
可选的，所述相对位姿计算模块34用于基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数。
可选的，所述相对位姿计算模块34用于，所述基于优化函数，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数的方式包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的的六自由度运动参数变化量；
基于六自由度运动参数变化量以及上一时刻的六自由度的运动参数，获得对应当前时刻的六自由度的运动参数；
其中，所述优化函数为：
其中，ρ是鲁棒核函数，W为映射函数，
为最近关键帧的局部地图中三维点集合，
为当前时刻的负时间-表面图，
是三维点在关键帧下的坐标，θrel为上一时刻的六自由度的运动参数，Δθrel为当前时刻的六自由度运动参数变化量。
可选的，新关键帧插入模块36用于所述若所述相对位姿大于设定阈值时，则将下一时刻作为新的最近关键帧，令所述关键帧局部地图构建模块将下一时刻采集的深度图投影至事件相机平面，并与生成的下一时刻的时间表面图相结合，获得新的最近关键帧时刻的局部地图；相对位姿计算模块将生成的最近关键帧时刻下一时刻的时间表面图与构建的新的最近关键帧的局部地图进行3D-2D配准，获得最近关键帧时刻下一时刻相机相对于新的最近关键帧的相对位姿。
综上所述，本申请的基于事件相机与深度相机的视觉里程计定位方法及系统，本发明将事件相机与深度相机结合，利用事件相机替代一般RGB-D系统中的常规相机，通过由事件相机采集的事件流生成时间表面图，并将关键帧时刻采集的深度图投影至事件相机平面，与生成的关键帧时刻的时间表面图相结合，获得的最近关键帧的局部地图，再将新生成的时间表面图与最近关键帧的局部地图配准，获得当前时刻相机相对于最近关键帧的相对位姿以及全局位姿；再根据相对位姿的值判断是否需要构建新的最近关键帧的局部地图或者继续利用当前的最近关键帧的局部地图进行配准；本发明不仅具有定位精度高，算法效率高，可实时处理的优点，并且可以在挑战性的光照条件下正常工作。所以，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种基于事件相机与深度相机的视觉里程计定位方法，其特征在于，包括：
获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；
积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；
将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；
根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；
若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；
若所述相对位姿不大于设定阈值时，则继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿；
其中，所述最近关键帧的局部地图的构建方式包括：将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图。
2.根据权利要求1中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图的方式包括：
积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上；
将所述二维图像上的像素点位置的值高于设定阈值的像素点进行可视化，以生成当前时刻的时间表面图。
3.根据权利要求2中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述将所述深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图的方式包括：
将与所述事件相机同步的深度相机在关键帧时刻采集的深度图根据所述深度相机以及事件相机之间固定外参数投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图；
将所述半稠密边缘轮廓深度图中的各像素点归一化，并基于各像素点所对应的深度值，获得三维点云集合形式的最近关键帧的局部地图。
4.根据权利要求3中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并基于关键帧时刻的时间表面图，筛选多个像素点，以生成最近关键帧的半稠密边缘轮廓深度图的方式包括：
基于所述深度相机在关键帧时刻采集的深度图的各像素点的深度值，获得投影至事件相机平面上每个像素点所分别对应的一或多个深度值；
基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图；其中，所述半稠密边缘轮廓深度图中各像素点对应有一深度值。
5.根据权利要求4中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选关键帧时刻的时间表面图上的多个像素点，以生成半稠密边缘轮廓深度图的方式包括：
基于投影的事件相机平面上各像素点所分别对应的各深度值，筛选所述时间表面图上的具有深度值的多个像素点；
将筛选的各像素点所对应的各深度值进行前景点识别，以分别选择一深度值作为筛选的各像素点的深度值，并生成半稠密边缘轮廓深度图。
6.根据权利要求1中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿的方式包括：
将构建的最近关键帧的局部地图中各三维点投影至生成的当前时刻的时间表面图，以获得多个投影点的位置的值；
根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数；
基于所述六自由度的运动参数，获得当前时刻相机相对于最近关键帧的相对位姿。
7.根据权利要求6中所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值，计算获得对应各投影点与当前时刻的时间表面图中各像素点完全重合的六自由度的运动参数的方式包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数。
8.根据权利要求7所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述基于优化函数，所述根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的六自由度的运动参数的方式包括：
基于优化函数，根据多个投影点的位置的值以及当前时刻的时间表面图中各像素点的位置的值计算获得对应各投影点与该时间表面图中与各投影点所对应的各像素点重合的的六自由度运动参数变化量；
基于六自由度运动参数变化量以及上一时刻的六自由度的运动参数，获得对应当前时刻的六自由度的运动参数；
其中，所述优化函数为：
其中，ρ是鲁棒核函数，W为映射函数，
为最近关键帧的局部地图中三维点集合，
9.根据权利要求1所述的基于事件相机与深度相机的视觉里程计定位方法，其特征在于，所述若所述相对位姿大于设定阈值时，则构建新的最近关键帧的局部地图，用于与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿的方式包括：
所述若所述相对位姿大于设定阈值时，则将下一时刻作为新的最近关键帧，将下一时刻采集的深度图投影至事件相机平面，并与生成的下一时刻的时间表面图相结合，获得新的最近关键帧时刻的局部地图；
将生成的最近关键帧时刻下一时刻的时间表面图与构建的新的最近关键帧的局部地图进行3D-2D配准，获得最近关键帧时刻下一时刻相机相对于新的最近关键帧的相对位姿。
10.一种基于事件相机与深度相机的视觉里程计定位系统，其特征在于，包括：
获取模块，用于获取由经过标定内外参数的深度相机以及事件相机同步实时采集的深度图以及事件；
时间表面图生成模块，连接所述获取模块，用于积累毫秒级局部时间内的事件流，并将所述事件流中的各事件沿时间维度投影至虚拟的二维图像上，以生成当前时刻的时间表面图；
关键帧局部地图构建模块，连接所述获取模块以及时间表面图生成模块，用于将与所述事件相机同步的深度相机在关键帧时刻采集的深度图投影至事件相机平面，并与生成的关键帧时刻的时间表面图相结合，获得最近关键帧的局部地图；
相对位姿计算模块，连接所述时间表面图生成模块以及关键帧局部地图构建模块，用于将生成的当前时刻的时间表面图与构建的最近关键帧的局部地图进行3D-2D配准，获得当前时刻相机相对于最近关键帧的相对位姿；
全局位姿计算模块，连接所述相对位姿计算模块，用于根据当前时刻相机相对于最近关键帧的相对位姿以及最近关键帧的绝对位姿，获得相机当前时刻的全局位姿；
新关键帧插入模块，连接所述相对位姿计算模块以及关键帧局部地图构建模块，用于在所述相对位姿大于设定阈值时，则令所述关键帧局部地图构建模块构建新的最近关键帧的局部地图，以使所述系统采用构建的新的最近关键帧的局部地图与新的最近关键帧时刻的下一时刻生成的时间表面图进行3D-2D配准，以获得新的最近关键帧时刻的下一时刻相机相对于新的最近关键帧的相对位姿；
维持定位模块，连接所述相对位姿计算模块，用于在所述相对位姿不大于设定阈值时，则令系统继续采用该最近关键帧的局部地图与下一时刻生成的时间表面图进行3D-2D配准，以获得下一时刻相机相对于该最近关键帧的相对位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230468.6A CN113888639B (zh) | 2021-10-22 | 2021-10-22 | 基于事件相机与深度相机的视觉里程计定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111230468.6A CN113888639B (zh) | 2021-10-22 | 2021-10-22 | 基于事件相机与深度相机的视觉里程计定位方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113888639A true CN113888639A (zh) | 2022-01-04 |
| CN113888639B CN113888639B (zh) | 2024-03-26 |
Family
ID=79004338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111230468.6A Active CN113888639B (zh) | 2021-10-22 | 2021-10-22 | 基于事件相机与深度相机的视觉里程计定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888639B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114885144A (zh) * | 2022-03-23 | 2022-08-09 | 清华大学 | 基于数据融合的高帧率3d视频生成方法及装置 |
| CN116310408A (zh) * | 2022-11-29 | 2023-06-23 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
| CN117808847A (zh) * | 2024-02-29 | 2024-04-02 | 中国科学院光电技术研究所 | 融合仿生动态视觉的空间非合作目标特征跟踪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3451288A1 (en) * | 2017-09-04 | 2019-03-06 | Universität Zürich | Visual-inertial odometry with an event camera |
| US20200011668A1 (en) * | 2018-07-09 | 2020-01-09 | Samsung Electronics Co., Ltd. | Simultaneous location and mapping (slam) using dual event cameras |
| CN112749665A (zh) * | 2021-01-15 | 2021-05-04 | 东南大学 | 一种基于图像边缘特征的视觉惯性slam方法 |
-
2021
- 2021-10-22 CN CN202111230468.6A patent/CN113888639B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3451288A1 (en) * | 2017-09-04 | 2019-03-06 | Universität Zürich | Visual-inertial odometry with an event camera |
| CN111052183A (zh) * | 2017-09-04 | 2020-04-21 | 苏黎世大学 | 利用事件相机的视觉惯性里程计 |
| US20200011668A1 (en) * | 2018-07-09 | 2020-01-09 | Samsung Electronics Co., Ltd. | Simultaneous location and mapping (slam) using dual event cameras |
| CN112749665A (zh) * | 2021-01-15 | 2021-05-04 | 东南大学 | 一种基于图像边缘特征的视觉惯性slam方法 |
Non-Patent Citations (2)
| Title |
|---|
| 祝朝政;何明;杨晟;吴春晓;刘斌;: "单目视觉里程计研究综述", 计算机工程与应用, no. 07, 1 April 2018 (2018-04-01) * |
| 陈博洋;孙韶媛;叶国林;赵海涛;: "基于视觉里程计的单目红外视频三维重建", 激光与红外, no. 10, 20 October 2017 (2017-10-20) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114885144A (zh) * | 2022-03-23 | 2022-08-09 | 清华大学 | 基于数据融合的高帧率3d视频生成方法及装置 |
| CN114885144B (zh) * | 2022-03-23 | 2023-02-07 | 清华大学 | 基于数据融合的高帧率3d视频生成方法及装置 |
| CN116310408A (zh) * | 2022-11-29 | 2023-06-23 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
| CN116310408B (zh) * | 2022-11-29 | 2023-10-13 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
| CN117808847A (zh) * | 2024-02-29 | 2024-04-02 | 中国科学院光电技术研究所 | 融合仿生动态视觉的空间非合作目标特征跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113888639B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
| CN109059895B (zh) | 一种基于手机摄像头和传感器的多模态室内测距及定位方法 | |
| CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| US11263810B2 (en) | Surface reconstruction for environments with moving objects | |
| CN103886107B (zh) | 基于天花板图像信息的机器人定位与地图构建系统 | |
| WO2015134795A2 (en) | Method and system for 3d capture based on structure from motion with pose detection tool | |
| Honegger et al. | Embedded real-time multi-baseline stereo | |
| CN112750168B (zh) | 事件相机内参的标定方法、装置、计算机设备和存储介质 | |
| WO2020083307A1 (en) | Method, apparatus, and storage medium for obtaining depth image | |
| CN111721281B (zh) | 位置识别方法、装置和电子设备 | |
| CN113223045A (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| Liu et al. | A SLAM-based mobile augmented reality tracking registration algorithm | |
| CN111681275A (zh) | 一种双特征融合的半全局立体匹配方法 | |
| WO2023284358A1 (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| Zhang et al. | A stereo SLAM system with dense mapping | |
| Isakova et al. | FPGA design and implementation of a real-time stereo vision system | |
| Thangarajah et al. | Vision-based registration for augmented reality-a short survey | |
| Xu et al. | Robust and accurate depth estimation by fusing LiDAR and stereo | |
| Ding et al. | Stereovision based generic obstacle detection and motion estimation using v-stxiel algorithm | |
| WO2022198631A1 (en) | Method, apparatus and system for auto-labeling | |
| CN109087338A (zh) | 一种图像稀疏光流的提取方法和装置 | |
| CN112348865B (zh) | 一种回环检测方法、装置、计算机可读存储介质及机器人 | |
| Lu et al. | A new real time environment perception method based on visual image for micro UAS flight control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |