CN114596382A - 一种基于全景相机的双目视觉slam方法及系统 - Google Patents

一种基于全景相机的双目视觉slam方法及系统 Download PDF

Info

Publication number
CN114596382A
CN114596382A CN202210153764.9A CN202210153764A CN114596382A CN 114596382 A CN114596382 A CN 114596382A CN 202210153764 A CN202210153764 A CN 202210153764A CN 114596382 A CN114596382 A CN 114596382A
Authority
CN
China
Prior art keywords
camera
panoramic
key frame
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210153764.9A
Other languages
English (en)
Inventor
王军华
王鼎
田雨涵
徐敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210153764.9A priority Critical patent/CN114596382A/zh
Publication of CN114596382A publication Critical patent/CN114596382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于计算机视觉技术领域，具体为一种基于全景相机的双目视觉SLAM方法和系统。本发明包括：使用两个全景相机获取图像；相机进行标定，根据全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；对获取的全景图像进行识别、特征匹配、计算有效匹配点对应的空间点的深度信息，得到相应的空间三维坐标；跟踪并估计当前相机在环境中的位置和姿态信息，同时选取新关键帧；根据跟踪定位获取的新关键帧进行图像重建；根据跟踪定位获取的新关键帧进行闭环检测，获得更为准确的相机位姿和地图点，实现高精定位和建图。本发明在无人驾驶、机器人导航和增强现实等方面具有广阔的应用前景。

Description

一种基于全景相机的双目视觉SLAM方法及系统
技术领域
本发明属于计算机视觉技术领域，具体涉及基于全景相机的双目视觉SLAM方法和系统。
背景技术
随着移动机器人和无人驾驶技术的快速发展，同步定位与地图构建（Simultaneous Localization and Mapping，SLAM）作为其中的核心模块成为业内的研究热点，它能实现智能机器人和车辆在未知环境中的定位与建图功能。而其中视觉SLAM是以相机作为传感器来采集信息。由于相机相比激光雷达来说拥有模型简单、信息量大、成本低廉、便于安装和功耗低等优点，视觉SLAM在增强现实、智能机器人等领域都有许多运用。然而相机易受到光照变化等环境因素的影响，因此提升视觉SLAM的系统精度和鲁棒性成为该领域的一项重要工作。
视觉SLAM通常可使用单目相机，双目相机和RGB-D相机来实现。使用单目相机时，视觉SLAM具有尺度不确定性，需要通过运动来估计场景特征点的深度，因此可能会出现尺度漂移等问题，影响定位的精度。而使用双目相机和RGB-D相机在相机静止时也能确定场景特征点的深度，因此能够更好地实现定位和建图等功能。此外，由于传统的基于视场角有限的普通双目相机的视觉SLAM通常在相机快速移动和拐弯时性能较差，容易跟踪丢失，且通常只能检测到同向闭环。而全景相机能增大视场角，在相机快速拐弯时拥有更好鲁棒性，同时能够实现反向闭环检测。因此双目全景视觉SLAM系统不仅克服单目尺度不确定性等问题，还能克服了传统的使用视场角有限相机的不足，从而进行更高精度的定位和建图。
发明内容
针对上述情况，本发明的目的在于提供一种鲁棒性好、定位精度高的基于全景相机的双目视觉SLAM方法及系统。
本发明提供的基于全景相机的双目视觉SLAM方法，具体步骤包括：图像获取，相机标定，图像识别, 跟踪定位，图像重建, 闭环检测；其中：
（一）图像获取，使用两个全景相机，两个全景相机以某一固定帧率采集图像序列，并进行图像预处理，以便于后续在标定模块和识别模块中提升精度；
（二）相机标定，令两个全景相机同时拍摄不同位姿下的标定板，得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵；根据所述全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；
（三）图像识别，即对获取的全景图像进行语义识别，并对运动物体和图像盲区等无效区域生成相应的掩膜；然后对同一时刻拍摄的双目全景图像提取特征点，并对两幅图像中的特征点进行匹配，剔除误差较大的匹配点对，得到满足要求的有效匹配点对；根据有效匹配点对恢复出对应的空间点的三维坐标；这里所谓“误差较大”根据实际经验确定；
（四）跟踪定位，即跟踪并估计当前相机在环境中的位置和姿态等信息，然后基于当前帧和参考帧，使用光束法平差来进行位姿优化；如果当前帧和最邻近关键帧之间的差异足够多，则将当前帧视为新的关键帧，并添加到关键帧库中；这里所谓“差异足够多”根据实际经验确定；
（五）图像重建，根据跟踪定位获取的新关键帧，以及对应的相机位姿和地图点坐标，绘制稀疏地图、相机位姿以及共视图；并使用光束法平差对其进行局部优化，不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧；
（六）闭环检测，根据跟踪定位获取的新关键帧，将新关键帧与关键帧库中的每一帧进行比对，寻找与新关键帧足够相似的关键帧；如果有满足要求的关键帧，则将其作为闭环关键帧；此时可视为检测到了闭环，即相机返回了先前经过的位置；然后使用光束法平差进行全局优化，以获得更为准确的相机位姿和地图点。这里所谓“足够相似”根据实际经验确定；
步骤（一）图像获取，具体操作过程如下：
将两个全景相机固定在某一运动平台上，合理调整两个相机间的相对位置和朝向，尽可能地避免设备间的遮挡；根据使用场景调整全景相机的焦距，并使两个相机的焦距尽量保持一致；
连接两个全景相机后，以某一固定帧率采集图像序列，然后根据具体情况对图像进行预处理，预处理包括：伽马校正、高光抑制，以及图像的去噪和去模糊等，以便于进行后续的相机标定和特征识别。
本发明还包括基于全景相机的双目视觉SLAM系统，该系统包括如下模块：图像获取，相机标定，图像识别, 跟踪定位，图像重建, 闭环检测，优化模块；其中，图像获取，相机标定，图像识别, 跟踪定位，图像重建, 闭环检测，依次执行基于全景相机的双目视觉SLAM方法的六个步骤的操作，优化模块包括位姿优化子模块、局部优化子模块、全局优化子模块，分别执行步骤（四）中位置和姿态优化操作、步骤（五）中局部优化操作、步骤（六）中全局优化操作。
本发明的创新之处在于：
（1）采用全景相机代替普通相机实现双目视觉SLAM。由于普通相机视场角有限，因此在相机快速拐弯时，双目视觉SLAM系统容易跟踪丢失。因为相邻帧之间的重叠区域可能较少。然而全景相机具有360°视角，当相机快速拐弯时，也能够保证相邻帧之间有足够的重叠区域，因此跟踪过程更加鲁棒；
（2）双目全景视觉SLAM能够确定场景点的深度信息，能够克服单目的尺度不确定性等问题；
（3）全景相机的双目视觉SLAM系统能够实现反向闭环检测。使用视场角有限的相机时，通常仅能识别同向的闭环，无法识别反向闭环。因为相机的视场角有限，当从反方向回到同一地点时，当前关键帧可能与先前的并不相似，因此无法检测到闭环。而全景相机能克服这一缺陷，即便是从反方向回到先前经过的位置，也能保证当前关键帧与先前生成的关键帧足够相似，因此能够实现反向闭环检测，从而进行全局优化以更有效地提升双目视觉SLAM的精度。
附图说明
图1为本发明的实施例公开的一种基于全景相机的双目视觉SLAM方法框图。
图2为本发明的实施例公开的一种基于全景相机的双目视觉SLAM方法中图像识别的处理步骤。
图3为本发明的实施例公开的两个全景相机连接到计算机处理系统的装置示意图。
图4为本发明的实施例公开的一种全景相机的光路示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
如图1所示，本发明实施例提供了一种基于全景相机的双目视觉SLAM系统，所述系统包括：
图像获取模块：通过两个全景相机以某一固定帧率采集图像序列，并进行图像预处理，以便于后续在标定模块和识别模块中提升精度；
标定模块：用于对相机进行标定。令两个全景相机同时拍摄不同位姿下的标定板，标定模块将得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵。根据所述全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；
获得全景相机模型所需的各项参数，以及两个全景相机间的相对位置；
识别模块：对全景图像进行识别并提取有效区域的特征点，处理步骤如图2所示。对两个全景相机在同一时刻获取的图像进行特征匹配和筛选，并得出相应空间点的三维坐标；
定位模块：执行跟踪过程并估计当前相机在环境中的位置和姿态等信息，同时选取新关键帧；
建图模块：绘制稀疏地图、相机位姿以及共视图等。并不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧；
闭环检测模块：根据定位模块获取的新关键帧进行闭环检测，判断相机是否返回了先前经过的位置；
优化模块：包括位姿优化，局部优化和全局优化。其中位姿优化是仅优化相机位姿，而局部优化是优化局部关键帧和地图点，全局优化是优化所有关键帧和地图点。
如图2,3,4所示，本发明实施例提供了一种基于全景相机的双目视觉SLAM方法，包括如下步骤。
步骤1：将两个全景相机固定在某一运动平台上，合理调整两个相机间的相对位置和朝向。如图3所示，可将1全景相机A和2全景相机B上下同向放置，尽可能地避免设备间的遮挡，然后再连接3计算机处理系统。亦可根据具体使用情况改变相机的相对位置和朝向，例如上下反向放置或左右放置等，本发明实施例并不对此做出限制。根据使用场景分别调节两个全景相机，并使其对同一物体成清晰像。
步骤2：连接了两个全景相机后，所述图像获取模块将以某一固定帧率采集图像序列，然后根据具体情况对图像进行预处理，例如伽马校正、高光抑制，以及图像的去噪和去模糊等，以便于进行后续的相机标定和特征识别。
步骤3：通过标定模块对相机进行标定。令两个全景相机同时拍摄不同位姿下的标定板，标定模块将得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵。根据所述全景相机模型可实现空间点坐标和全景图像的像素坐标间的相互转换。
步骤4：标定完成后，识别模块将识别图像获取模块输出的图像序列，处理步骤如图2所示。识别模块将对全景图像进行语义识别，并对运动物体和图像盲区等无效区域生成相应的掩膜。然后对同一时刻拍摄的双目全景图像提取特征点，并对两幅图像中的特征点进行匹配，剔除误差较大的匹配点对，得到满足要求的有效匹配点对。根据有效匹配点对恢复出对应的空间点的三维坐标。
本发明实施例还公开一种全景相机的光路示意图，如图4所示。经过4物面上的物点X_1和X_2的光线，穿过5双次折反射式全景环形透镜后，通过6中继透镜组，在7像面上生成像点p_1和p_2，7像面上包括8图像区域和9盲区。由于一些杂散光的干扰，盲区上可能会生成一些无效的光斑，如果在此处提取特征点，将会影响系统的精度。因此应该识别出盲区并且避免在此区域提取特征点。同时，在动态物体上提取特征点也会带来系统定位误差，应当识别出动态物体，如车辆和人等，并生成掩膜以避开这些无效区域，并根据有效区域中的静态场景来提取特征点。
步骤5：定位模块执行跟踪过程并估计当前相机的位姿，优化模块基于当前帧和参考帧，使用光束法平差来进行位姿优化，从而获得当前相机在环境中的位置和姿态等信息。如果当前帧和最邻近关键帧之间的差异足够多，则将当前帧视为新的关键帧，输入到建图模块和闭环检测模块，并将新关键帧添加到关键帧库中。
步骤6：建图模块从定位模块获取新关键帧，以及对应的相机位姿和地图点坐标。然后根据这些信息绘制稀疏地图，相机位姿以及共视图等。优化模块使用光束法平差进行局部优化，不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧。
步骤7：闭环检测模块从定位模块获取新关键帧后，将新关键帧与关键帧库中的每一帧进行比对，寻找与新关键帧足够相似的关键帧。如果有满足要求的关键帧，则将其作为闭环关键帧。此时可视为检测到了闭环，即相机返回了先前经过的位置。优化模块使用光束法平差进行全局优化，以获得更为准确的相机位姿和地图点。
综上所述，本发明的创新之处在于： 1、采用全景相机代替普通相机实现双目视觉SLAM。由于普通相机视场角有限，因此在相机快速拐弯时，双目视觉SLAM系统容易跟踪丢失。因为相邻帧之间的重叠区域可能较少。然而全景相机具有360°视角，当相机快速拐弯时，也能够保证相邻帧之间有足够的重叠区域，因此跟踪过程更加鲁棒。2、双目全景视觉SLAM能够确定场景点的深度信息，能够克服单目的尺度不确定性等问题。3、全景相机的双目视觉SLAM系统能够实现反向闭环检测。使用视场角有限的相机时，通常仅能识别同向的闭环，无法识别反向闭环。因为相机的视场角有限，当从反方向回到同一地点时，当前关键帧可能与先前的并不相似，因此无法检测到闭环。而全景相机能克服这一缺陷，即便是从反方向回到先前经过的位置，也能保证当前关键帧与先前生成的关键帧足够相似，因此能够实现反向闭环检测，从而进行全局优化以更有效地提升双目视觉SLAM的精度。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备（可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器）执行本发明的各个实施例上述方法的部分或全部步骤。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种基于全景相机的双目视觉SLAM方法，其特征在于，具体步骤如下：
（一）图像获取，使用两个全景相机，以某一固定帧率采集图像序列，并进行图像预处理，以便于后续在标定模块和识别模块中提升精度；
（二）相机标定，令两个全景相机同时拍摄不同位姿下的标定板，得出全景相机模型所需的各项参数，以及两个全景相机间的刚体变换矩阵；根据所述全景相机模型实现空间点坐标和全景图像的像素坐标间的相互转换；
（三）图像识别，即对获取的全景图像进行语义识别，并对运动物体和图像盲区无效区域生成相应的掩膜；然后对同一时刻拍摄的双目全景图像提取特征点，并对两幅图像中的特征点进行匹配，剔除误差较大的匹配点对，得到满足要求的有效匹配点对；根据有效匹配点对恢复出对应的空间点的三维坐标；
（四）跟踪定位，即跟踪并估计当前相机在环境中的位置和姿态信息，然后基于当前帧和参考帧，使用光束法平差来进行位姿优化；如果当前帧和最邻近关键帧之间的差异足够多，则将当前帧视为新的关键帧，并添加到关键帧库中；
（五）图像重建，根据跟踪定位获取的新关键帧，以及对应的相机位姿和地图点坐标，绘制稀疏地图、相机位姿以及共视图；并使用光束法平差对其进行局部优化，不断更新地图点和相机位姿，同时在关键帧库中去除冗余的关键帧；
（六）闭环检测，根据跟踪定位获取的新关键帧，将新关键帧与关键帧库中的每一帧进行比对，寻找与新关键帧足够相似的关键帧；如果有满足要求的关键帧，则将其作为闭环关键帧；此时可视为检测到了闭环，即相机返回了先前经过的位置；然后使用光束法平差进行全局优化，以获得更为准确的相机位姿和地图点。
2.根据权利要求1所述的基于全景相机的双目视觉SLAM方法，其特征在于，步骤（一）图像获取的具体操作过程如下：
将两个全景相机固定在某一运动平台上，合理调整两个相机间的相对位置和朝向，避免设备间的遮挡；根据使用场景调整全景相机的焦距，并使两个相机的焦距保持一致；
连接两个全景相机后，以某一固定帧率采集图像序列，然后根据具体情况对图像进行预处理，预处理包括：伽马校正、高光抑制，以及图像的去噪和去模糊，以便于进行后续的相机标定和特征识别。
3. 一种基于权利要求1所述方法的基于全景相机的双目视觉SLAM系统，其特征在于，包括：图像获取模块，相机标定模块，图像识别模块, 跟踪定位模块，图像重建模块, 闭环检测模块，优化模块；其中，图像获取模块，相机标定模块，图像识别模块, 跟踪定位模块，图像重建模块, 闭环检测模块，依次执行基于全景相机的双目视觉SLAM方法的六个步骤的操作，优化模块包括位姿优化子模块、局部优化子模块、全局优化子模块，分别执行步骤（四）中位置和姿态优化操作、步骤（五）中局部优化操作、步骤（六）中全局优化操作。
CN202210153764.9A 2022-02-19 2022-02-19 一种基于全景相机的双目视觉slam方法及系统 Pending CN114596382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210153764.9A CN114596382A (zh) 2022-02-19 2022-02-19 一种基于全景相机的双目视觉slam方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210153764.9A CN114596382A (zh) 2022-02-19 2022-02-19 一种基于全景相机的双目视觉slam方法及系统

Publications (1)

Publication Number Publication Date
CN114596382A true CN114596382A (zh) 2022-06-07

Family

ID=81805600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210153764.9A Pending CN114596382A (zh) 2022-02-19 2022-02-19 一种基于全景相机的双目视觉slam方法及系统

Country Status (1)

Country Link
CN (1) CN114596382A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456124A (zh) * 2023-12-26 2024-01-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、系统、智能终端及计算机可读存储介质
CN117710467A (zh) * 2024-02-06 2024-03-15 天津云圣智能科技有限责任公司 无人机定位方法、设备及飞行器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456124A (zh) * 2023-12-26 2024-01-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN117456124B (zh) * 2023-12-26 2024-03-26 浙江大学 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN117495698A (zh) * 2024-01-02 2024-02-02 福建卓航特种设备有限公司 飞行物识别方法、系统、智能终端及计算机可读存储介质
CN117710467A (zh) * 2024-02-06 2024-03-15 天津云圣智能科技有限责任公司 无人机定位方法、设备及飞行器

Similar Documents

Publication Publication Date Title
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
CN109345588B (zh) 一种基于Tag的六自由度姿态估计方法
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
Usenko et al. Visual-inertial mapping with non-linear factor recovery
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
Caruso et al. Large-scale direct SLAM for omnidirectional cameras
CN114596382A (zh) 一种基于全景相机的双目视觉slam方法及系统
CN109993793B (zh) 视觉定位方法及装置
CN112785702A (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
US8305430B2 (en) System and method for multi-camera visual odometry
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN112435262A (zh) 基于语义分割网络和多视图几何的动态环境信息检测方法
Agostinho et al. A practical survey on visual odometry for autonomous driving in challenging scenarios and conditions
Miao et al. UniVIO: Unified direct and feature-based underwater stereo visual-inertial odometry
Huang et al. 360vo: Visual odometry using a single 360 camera
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
CN115471748A (zh) 一种面向动态环境的单目视觉slam方法
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
Forechi et al. Visual global localization with a hybrid WNN-CNN approach
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN114140527A (zh) 一种基于语义分割的动态环境双目视觉slam方法
Dai et al. A Review of Common Techniques for Visual Simultaneous Localization and Mapping
Nguyen et al. Calibbd: Extrinsic calibration of the lidar and camera using a bidirectional neural network
CN114821113A (zh) 基于自适应鲁棒核的单目视觉惯性slam方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination