CN116758311A - 一种适合弱光环境的视觉slam构建方法 - Google Patents

一种适合弱光环境的视觉slam构建方法 Download PDF

Info

Publication number
CN116758311A
CN116758311A CN202310742418.9A CN202310742418A CN116758311A CN 116758311 A CN116758311 A CN 116758311A CN 202310742418 A CN202310742418 A CN 202310742418A CN 116758311 A CN116758311 A CN 116758311A
Authority
CN
China
Prior art keywords
event
visual
key frame
information
construction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310742418.9A
Other languages
English (en)
Inventor
宋韬
杨昊
郭帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Publication of CN116758311A publication Critical patent/CN116758311A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
    • G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉定位技术领域，具体涉及一种适合弱光环境的视觉SLAM构建方法，该方法包括前端计算和后端优化。前端计算方法包括：采集运动平台上的事件相机输出的事件流和IMU输出的测量值；从事件流中筛选出候选事件，提取候选事件的事件角点并进行跟踪，得到视觉信息；利用IMU测量值构建IMU预积分约束；利用纯视觉三维重建和视觉惯性对齐对系统进行初始化，初始化完成后将视觉信息和IMU信息传入后端。后端方法包括：基于视觉信息和IMU预积分约束的滑动窗口优化；利用时间曲面作为输入进行回环检测；利用位姿图优化消除机器人移动轨迹的累积误差。本发明视觉SLAM构建方法，解决了在弱光环境下视觉SLAM定位精度下降的问题，极大地提升了视觉SLAM算法的鲁棒性，更好地支持了移动机器人在弱光环境下的定位。

Description

一种适合弱光环境的视觉SLAM构建方法
技术领域
本发明属于计算机视觉定位技术领域，具体涉及一种适合弱光环境的视觉SLAM构建方法。
背景技术
随着人工智能技术的飞速发展，无人驾驶、虚拟现实、人脸识别等领域的研究成为了当前的热点。其中，无人驾驶在一些地图已知的城市环境中已取得车道级的定位效果，但在环境未知的非结构化道路上行驶，并且不能应用诸如GPS、北斗、伽利略等有信号源定位传感器的情况下，如何实现自主的地图构建与精确定位是该领域的研究难点之一。SLAM(Simultaneous Localization andMapping，同步定位与地图创建)是指无人平台在未知环境中利用无信号源传感器如，相机、Lidar、里程计、惯性传感器和有信号源传感器GPS、北斗，实现无人平台对环境进行感知并同时构建高精度地图与定位本体位姿的方法。SLAM是实现自主导航和环境探索的前提和基础。但在光照不充足的环境中，视觉SLAM会出现特征丢失、特征跟踪失败问题，导致系统的定位精度下降和鲁棒性差。因此，亟需研究一种适合弱光环境的视觉SLAM构建方法。
发明内容
针对现有技术中存在的问题和不足，本发明的目的旨在提供一种适合弱光环境的视觉SLAM构建方法。
为实现发明目的，本发明采用的技术方案如下：
本发明提供了一种适合弱光环境的视觉SLAM构建方法，所述适合弱光环境的视觉SLAM构建方法包括以下步骤：
S1：采集搭载在同一运动平台上的事件相机输出的事件流和惯性测量单元输出的测量值；
S2：按照事件流的固定频率更新SAE(Surface ofActive Events，SAE)，利用更新后的SAE按照所述事件流的频率生成TS(Time ofSurface，TS)和PTS(Polarity TimeofSurface，PTS)；
S3：将所述TS作为掩码，遍历所述事件流，找到所述事件流中每个事件在TS上对应的像素值，筛选出像素值大于设定阈值的事件，得到候选事件；
S4：在SAE上对所述候选事件进行候选特征检测，得到候选事件特征；对所述候选事件特征进行细化筛选，从所述候选事件特征中筛选出事件角点；
S5：获得所述事件角点的速度信息、深度信息，将所述事件角点的位置信息、速度信息、深度信息和TS作为视觉信息；
S6：利用惯性测量单元输出的测量值构建相邻PTS间的预积分约束，得到预积分信息；
S7：对SLAM系统进行初始化处理，将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中进行处理，得到SLAM系统当前时刻的状态变量；
S8：利用步骤S7得到的SLAM系统当前时刻的状态变量，通过相邻时刻PTS的位置差值和对应事件角点的视差，判断步骤S2生成的TS是否为关键帧；若是关键帧，执行步骤S9，若不是关键帧，返回步骤S2对下一时刻的事件流进行处理；
S9：对所述关键帧进行回环检测，若检测到所述关键帧的历史回环帧，执行步骤S10；若未检测到所述关键帧的历史回环帧，将所述关键帧加入到关键帧数据库中，然后返回步骤S2对下一时刻的事件流进行处理；
S10：找出所述关键帧和历史回环帧的特征匹配关系，然后对所述特征匹配关系进行验证，去除错误匹配，得到所述关键帧和历史回环帧之间的位姿变化；
S11：将所述关键帧和历史回环帧之间的位姿变化作为回环状态量输入到SLAM系统后端的滑动窗口模型中进行优化，得到优化后的回环状态量；对优化后的回环状态量进行位姿图优化，消除所述关键帧和历史回环帧之间的轨迹误差，并采用消除误差后的轨迹更新所述关键帧数据库。
根据上述的视觉SLAM构建方法，优选地，，步骤S2中利用更新后的SAE按照所述事件流的频率生成TS的公式为：
步骤S2中利用更新后的SAE按照所述事件流的频率生成PTS的公式为：
其中，(x,y)为SAE上的像素位置，t为生成TS的时间，tlast为像素(x,y)处上一个事件的时间戳，δ为常数衰减参数，exp为指数函数；p为像素(x,y)处事件的极性。
根据上述的视觉SLAM构建方法，优选地，步骤S4中利用Arc*算法在SAE上对所述候选事件进行候选特征检测。
根据上述的视觉SLAM构建方法，优选地，步骤S4中采用Harris算法对所述候选事件特征进行细化筛选。
根据上述的视觉SLAM构建方法，优选地，步骤S5中获得所述事件角点的速度信息的方法为：针对所述事件角点，在PTS上采用LK光流对前一时刻的事件角点进行跟踪，得到所述事件角点在像素平面上的速度信息。
根据上述的视觉SLAM构建方法，优选地，步骤S5中获得所述事件角点的深度信息的方法为：对所述事件角点进行去畸变和三角化处理，得到事件角点的深度信息。
根据上述的视觉SLAM构建方法，优选地，步骤S7中将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中进行处理的具体操作为：在滑动窗口模中利用所述视觉信息和所述IMU预积分信息构建视觉残差和预积分残差，通过对所述视觉残差和预积分残差进行非线性优化，得到SLAM系统当前时刻的状态变量。
根据上述的视觉SLAM构建方法，优选地，步骤S7中所述非线性优化方法为高斯牛顿法。
根据上述的视觉SLAM构建方法，优选地，步骤S10的具体操作为：从关键帧上提取FAST特征点，采用Brief描述子算法计算所述关键帧FAST特征点、事件角点的描述子，找出所述关键帧和历史回环帧的特征匹配关系，然后利用PnP方法对所述特征匹配关系进行验证，去除错误匹配，得到所述关键帧和历史回环帧的位姿变化。更加优选地，从关键帧上提取的FAST特征点的数量与场景有关，场景不同，特征点的数量不同；针对本发明的场景，从关键帧上提取的FAST特征点的数量为400个。
根据上述的视觉SLAM构建方法，优选地，步骤S1中所述惯性测量单元输出的测量值为线加速度和角速度；步骤S6中所述预积分约束为位置约束、姿态约束和速度约束。
根据上述的视觉SLAM构建方法，优选地，步骤S7中采用纯视觉三维重建和视觉惯性对齐对SLAM系统进行初始化处理。
根据上述的视觉SLAM构建方法，优选地，步骤S9中采用词袋模型进行回环检测。通过判断步骤S2中生成的TS和关键帧数据库中的关键帧的相似性，判断是否具有回环关系。
根据上述的视觉SLAM构建方法，优选地，步骤S11中所述关键帧和历史回环帧之间的轨迹误差为当前TS(TS和PTS的时间戳一致，因为都是按照事件流的频率创建的，因此在此刻的TS对应了一帧PTS)与历史回环帧之间的所有PTS位姿的误差。
根据上述的视觉SLAM构建方法，优选地，步骤S1中所述运动平台为移动机器人。
与现有技术相比，本发明取得的积极有益效果如下：
(1)事件相事件相机机是一种受生物启发的视觉传感器，当像素的亮度变化超过阈值时输出事件；与标准相机相比，事件相事具有高动态范围、高时间分辨率(低延迟)、无运动模糊等优势，本发明采用事件相机采集弱光环境下的事件流，并对事件流进行事件特征筛选、检测，提高视觉SLAM系统在弱光环境下的定位精度和鲁棒性，更好地支持了移动机器人在弱光环境下的定位；同时也解决了现有视觉SLAM构建方法在光照不充足的环境中出现特征丢失、特征跟踪失败导致的定位精度下降的技术难题。
(2)本发明采用TS作为掩码，遍历用于更新SAE的事件流，找到所述事件流中每个事件在TS上对应的像素值，筛选出像素值大于设定阈值的事件后进行特征筛选，该操作能够大大减少用于特征检测的事件数量，保证只对最新的事件进行后续处理，能够确保后续处理的实时性。
(3)本发明在采用Arc*算法对事件特征进行检测后，进一步采用Harris算法对所述候选事件特征进行细化筛选，经过Harris算法的细化筛选，能够更准确地提取事件特征，同时也解决了Arc*算法对事件特征检测不准确，会错误地检测出事件特征的技术问题。
(4)本发明将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中进行优化处理，其中，视觉信息为事件特征的重投影误差，IMU信息为预积分残差。在后端优化中，通过减小重投影误差和预积分残差，更新移动机器人的位姿，能够得到趋近最优的移动机器人的位姿。
(5)本发明通过对优化后的回环状态量进行位姿图优化能够消除机器人移动轨迹的累积误差，提高检测的精准度。
附图说明
图1为本发明适合弱光环境的视觉SLAM构建方法的流程示意图，分为前端和后端两部分；
图2为本发明适合弱光环境的视觉SLAM构建方法中前端计算的流程示意图；
图3为本发明适合弱光环境的视觉SLAM构建方法中前端事件特征检测的流程示意图；
图4为本发明利用Arc*算法在SAE上对所述候选事件进行候选特征检测的原理示意图；
图5为本发明适合弱光环境的视觉SLAM构建方法中优化流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施过程中的技术方案进行清楚、详细地介绍，显然，本发明所述的实施例仅是本发明的一部分实施例，并非所有的实施例。
除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、部件和/或它们的组合。下列实施例中未注明具体条件的实验方法，均采用本技术领域常规技术。
实施例1：
一种适合弱光环境的视觉SLAM构建方法，如图1所示，包括前端计算和后端优化。
其中，如图2、图3所示，前端计算的步骤如下：
S1：在移动机器人上搭载事件相机和惯性测量单元(IMU)，搭载完成后，进行事件相机和IMU内参、外参标定。完成上述操作后，搭载所述传感器的移动机器人在光照不足的场景中进行移动，并采集所述事件相机输出的事件流和惯性测量单元输出的测量值，所述惯性测量单元输出的测量值为线加速度和角速度。其中，SLAM系统接收事件相机输出的事件流，事件的表达方式为(x,y,t,p)，x和y其中代表事件发生的位置，t表示事件发生的时间戳，p表示事件的极性，p＝1表示事件对应的像素亮度增强，p＝-1表示事件对应的像素位置亮度减弱。
S2：按照所述事件流的固定频率更新SAE(Surface ofActive Events，SAE)，利用更新后的SAE按照所述事件流的频率生成TS(Time ofSurface，TS)和PTS(Polarity TimeofSurface，PTS)。
SAE是一张二维图像，每个像素上存储该像素位置最新事件的时间戳。利用更新后的SAE按照所述事件流的频率生成TS的公式为：
步骤S2中利用更新后的SAE按照所述事件流的频率生成PTS的公式为：
其中，(x,y)为SAE上像素位置，t为生成TS的时间，tlast为像素(x,y)处上一个事件的时间戳，δ为常数衰减参数，exp为指数函数；p为像素(x,y)处事件的极性。
S3：将所述TS作为掩码，遍历所述事件流，找到所述事件流中每个事件在TS上对应的像素值，筛选出像素值大于设定阈值的事件，得到候选事件；
S4：利用Arc*算法在SAE上对所述候选事件进行候选特征检测，得到候选事件特征；然后采用Harris算法对所述候选事件特征进行细化筛选，从所述候选事件特征中筛选出事件角点。
其中，采用Arc*算法在SAE上对所述候选事件进行候选特征检测的原理为(如图4所示)：角点作为两条边的交点，当事件相机和场景发生相对运动时，与角点关联的两条边触发的事件流在SAE的分布上出现显著区分，其中一部分的值显著高于另一部分。图4中SAE上白色区域为表示没有事件触发的区域，蓝色区域表示存在事件的区域，其中颜色越深表示SAE上的像素强度(时间戳)越大，触发的事件越新。
采用Harris算法对所述候选事件特征进行细化筛选的具体操作为：首先对于每一个候选事件特征，以该候选事件特征为中心，在SAE上取9×9大小的模板；接着构建一个大小同为9×9的二进制像素块P，设此像素块P上的像素坐标为(i,j)，其中i和j分别表示该像素在P上的垂直坐标和水平坐标；将模板中所有像素存储的时间戳按照升序排列，并从中挑选出前25个时间戳，记录挑选出的25个时间戳像素位置(p,q)，p和q分别表示该像素在patch上的垂直坐标和水平坐标，其在像素块P上对应位置的像素置为1，其它位置默认为0，即：
然后采用二进制像素块计算每个候选事件特征的Harris得分，如果Harris得分大于阈值，则认为所述候选事件特征为事件角点。
S5：针对所述事件角点，在PTS上采用LK光流对前一时刻的事件角点进行跟踪，得到所述事件角点在像素平面上的速度信息；然后对所述事件角点进行去畸变和三角化处理，恢复事件角点的深度信息；将事件角点的位置信息、速度信息、深度信息和TS作为视觉信息；
S6：利用惯性测量单元输出的测量值构建相邻PTS间的预积分约束，得到预积分信息；所述预积分约束为位置约束、姿态约束和速度约。
如图5所示，后端优化的具体步骤如下：
S7：判断SLAM系统是否初始化，若SLAM系统未初始化，采用纯视觉三维重建和视觉惯性对齐对SLAM系统进行初始化处理，直至SLAM系统初始化成功。将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中，在滑动窗口模中利用所述视觉信息和所述IMU预积分信息构建视觉残差和预积分残差，采用高斯牛顿法对所述视觉残差和预积分残差进行非线性优化，得到SLAM系统当前时刻(即当前的PTS)的状态变量，状态变量包括位置、姿态、速度、IMU零偏。采用滑动窗口模型优化能够限制优化的规模，保证SLAM系统的实时性。
S8：利用步骤S7得到的SLAM系统当前时刻的状态变量，通过相邻时刻PTS的位置差值和对应事件角点的视差，判断步骤S2生成的TS是否为关键帧；若是关键帧，执行步骤S9，若不是关键帧，返回步骤S2对下一时刻的事件流进行处理。
S9：采用词袋模型对所述关键帧进行回环检测(采用词袋模型判断所述关键帧与关键帧数据库中存储的关键帧的相似性)，若检测到所述关键帧的历史回环帧，执行步骤S10；若未检测到所述关键帧的历史回环帧，将所述关键帧加入到关键帧数据库中，然后返回步骤S2对下一时刻的事件流进行处理。
S10：从关键帧上提取FAST特征点，采用Brief描述子算法计算所述关键帧FAST特征点、事件角点的描述子，找出所述关键帧和历史回环帧的特征匹配关系(特征匹配关系即匹配的事件角点)，，然后利用PnP方法对所述特征匹配关系进行验证，去除错误匹配，得到所述关键帧和历史回环帧之间的位姿变化。
S11：将所述关键帧和历史回环帧之间的位姿变化作为回环状态量输入到SLAM系统后端的滑动窗口模型中进行优化，得到优化后的回环状态量；对优化后的回环状态量进行位姿图优化，消除所述关键帧和历史回环帧之间的轨迹误差，并采用消除误差后的轨迹更新所述关键帧数据库。
以上所述仅为本发明的较佳实施例而已，但不仅限于上述实例，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适合弱光环境的视觉SLAM构建方法，其特征在于，包括以下步骤：
S1：采集搭载在同一运动平台上的事件相机输出的事件流和惯性测量单元输出的测量值；
S2：按照事件流的固定频率更新SAE，利用更新后的SAE按照所述事件流的频率生成TS和PTS；
S3：将所述TS作为掩码，遍历所述事件流，找到所述事件流中每个事件在TS上对应的像素值，筛选出像素值大于设定阈值的事件，得到候选事件；
S4：在SAE上对所述候选事件进行候选特征检测，得到候选事件特征；对所述候选事件特征进行细化筛选，从所述候选事件特征中筛选出事件角点；
S5：获得所述事件角点的速度信息、深度信息，将所述事件角点的位置信息、速度信息、深度信息和TS作为视觉信息；
S6：利用惯性测量单元输出的测量值构建相邻PTS间的预积分约束，得到预积分信息；
S7：对SLAM系统进行初始化处理，将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中进行处理，得到SLAM系统当前时刻的状态变量；
S8：利用步骤S7得到的SLAM系统当前时刻的状态变量，通过相邻时刻PTS的位置差值和对应事件角点的视差，判断步骤S2生成的TS是否为关键帧；若是关键帧，执行步骤S9，若不是关键帧，返回步骤S2对下一时刻的事件流进行处理；
S9：对所述关键帧进行回环检测，若检测到所述关键帧的历史回环帧，执行步骤S10；若未检测到所述关键帧的历史回环帧，将所述关键帧加入到关键帧数据库中，然后返回步骤S2对下一时刻的事件流进行处理；
S10：找出所述关键帧和历史回环帧的特征匹配关系，然后对所述特征匹配关系进行验证，去除错误匹配，得到所述关键帧和历史回环帧之间的位姿变化；
S11：将所述关键帧和历史回环帧之间的位姿变化作为回环状态量输入到SLAM系统后端的滑动窗口模型中进行优化，得到优化后的回环状态量；对优化后的回环状态量进行位姿图优化，消除所述关键帧和历史回环帧之间的轨迹误差，并采用消除误差后的轨迹更新所述关键帧数据库。
2.根据权利要求1所述的视觉SLAM构建方法，其特征在于，步骤S2中利用更新后的SAE按照所述事件流的频率生成TS的公式为：
步骤S2中利用更新后的SAE按照所述事件流的频率生成PTS的公式为：
其中，(x,y)为SAE上的像素位置，t为生成TS的时间，tlast为像素(x,y)处上一个事件的时间戳，δ为常数衰减参数，exp为指数函数；p为像素(x,y)处事件的极性。
3.根据权利要求2所述的视觉SLAM构建方法，其特征在于，步骤S4中利用Arc*算法在SAE上对所述候选事件进行候选特征检测。
4.根据权利要求3所述的视觉SLAM构建方法，其特征在于，步骤S4中采用Harris算法对所述候选事件特征进行细化筛选。
5.根据权利要求4所述的视觉SLAM构建方法，其特征在于，步骤S5中获得所述事件角点的速度信息的方法为：针对所述事件角点，在PTS上采用LK光流对前一时刻的事件角点进行跟踪，得到所述事件角点在像素平面上的速度信息。
6.根据权利要求5所述的视觉SLAM构建方法，其特征在于，步骤S5中获得所述事件角点的深度信息的方法为：对所述事件角点进行去畸变和三角化处理，得到事件角点的深度信息。
7.根据权利要求6所述的视觉SLAM构建方法，其特征在于，步骤S7中将时间戳一致的所述视觉信息和所述预积分信息输入已经完成初始化的SLAM系统后端的滑动窗口模型中进行处理的具体操作为：在滑动窗口模中利用所述视觉信息和所述IMU预积分信息构建视觉残差和预积分残差，通过对所述视觉残差和预积分残差进行非线性优化，得到SLAM系统当前时刻的状态变量。
8.根据权利要求7所述的视觉SLAM构建方法，其特征在于，步骤S7中所述非线性优化方法为高斯牛顿法。
9.根据权利要求8所述的视觉SLAM构建方法，其特征在于，步骤S10的具体操作为：从关键帧上提取FAST特征点，采用Brief描述子算法计算所述关键帧FAST特征点、事件角点的描述子，找出所述关键帧和历史回环帧的特征匹配关系，然后利用PnP方法对所述特征匹配关系进行验证，去除错误匹配，得到所述关键帧和历史回环帧的位姿变化。
10.根据权利要求9所述的视觉SLAM构建方法，其特征在于，步骤S1中所述惯性测量单元输出的测量值为线加速度和角速度；步骤S6中所述预积分约束为位置约束、姿态约束和速度约束。
CN202310742418.9A 2023-05-31 2023-06-21 一种适合弱光环境的视觉slam构建方法 Pending CN116758311A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2023106330447 2023-05-31
CN202310633044 2023-05-31

Publications (1)

Publication Number Publication Date
CN116758311A true CN116758311A (zh) 2023-09-15

Family

ID=87951118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310742418.9A Pending CN116758311A (zh) 2023-05-31 2023-06-21 一种适合弱光环境的视觉slam构建方法

Country Status (1)

Country Link
CN (1) CN116758311A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117739996A (zh) * 2024-02-21 2024-03-22 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法
CN117739996B (zh) * 2024-02-21 2024-04-30 西北工业大学 一种基于事件相机惯性紧耦合的自主定位方法

Similar Documents

Publication Publication Date Title
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN108406731A (zh) 一种基于深度视觉的定位装置、方法及机器人
CN103680291B (zh) 基于天花板视觉的同步定位与地图绘制的方法
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
US11145076B1 (en) Incorporation of semantic information in simultaneous localization and mapping
CN103605978A (zh) 基于三维实景数据的城市违章建筑识别系统及方法
CN111959495B (zh) 车辆的控制方法、装置及车辆
CN111830953A (zh) 车辆自定位方法、装置及系统
CN103411621A (zh) 一种面向室内移动机器人的光流场视觉/ins组合导航方法
CN111912416A (zh) 用于设备定位的方法、装置及设备
CN208323361U (zh) 一种基于深度视觉的定位装置及机器人
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
Liu et al. Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs
CN115619826A (zh) 一种基于重投影误差和深度估计的动态slam方法
CN116758311A (zh) 一种适合弱光环境的视觉slam构建方法
CN113012197A (zh) 一种适用于动态交通场景的双目视觉里程计定位方法
CN113066129A (zh) 基于动态环境下的目标检测的视觉定位与建图系统
CN116563376A (zh) 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置
CN116977628A (zh) 一种应用于动态环境的基于多模态语义框架的slam方法及系统
CN112595728B (zh) 一种道路问题确定方法和相关装置
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
Notz et al. Extraction and assessment of naturalistic human driving trajectories from infrastructure camera and radar sensors
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN112432653A (zh) 基于点线特征的单目视觉惯性里程计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination