CN112819943A - 一种基于全景相机的主动视觉slam系统 - Google Patents

一种基于全景相机的主动视觉slam系统 Download PDF

Info

Publication number
CN112819943A
CN112819943A CN202110055610.1A CN202110055610A CN112819943A CN 112819943 A CN112819943 A CN 112819943A CN 202110055610 A CN202110055610 A CN 202110055610A CN 112819943 A CN112819943 A CN 112819943A
Authority
CN
China
Prior art keywords
module
visual
camera
chassis
dynamic support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110055610.1A
Other languages
English (en)
Other versions
CN112819943B (zh
Inventor
徐国艳
陈冠宏
周彬
陈志发
廖亚萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110055610.1A priority Critical patent/CN112819943B/zh
Publication of CN112819943A publication Critical patent/CN112819943A/zh
Application granted granted Critical
Publication of CN112819943B publication Critical patent/CN112819943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/42—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于视觉SLAM处理技术和移动底盘导航路径规划技术领域，特别涉及一种基于全景相机的主动视觉SLAM系统，包括智能底盘模块、全景相机模块、相机动态支架、单目相机模块和处理器，处理器包括评价模块、视觉SLAM处理模块、全局规划模块、局部路径规划模块以及动态支架规划控制模块。本发明通过增加一个可以任意半径做曲线运动的智能底盘模块、安装在一个多自由度相机动态支架上的单目相机模块、一个用于对环境整体进行评估的全景相机模块，达到了改善传统视觉SLAM建图扫描时没有目的性问题。本发明使得视觉建图和定位更具目的性，提高了建图和定位的速度，改善了建图和定位的质量，增强了建图和定位的可靠性和灵活性。

Description

一种基于全景相机的主动视觉SLAM系统
技术领域
本发明属于视觉同时定位与建图(Simultaneous Localization And Mapping，SLAM)处理技术和移动底盘导航路径规划技术领域，特别涉及一种基于全景相机的主动视觉SLAM系统。
背景技术
近年来，SLAM处理技术发展迅速，其通过单目相机、双目相机或深度相机等视觉传感器或激光雷达等激光传感器获取周围环境的信息，能够通过特定的计算方法求解出传感器本身的位置和运动轨迹，并且同时建立周围环境的三维地图。视觉SLAM技术一直以来都是机器人自主导航、辅助驾驶、增强现实和三维重建领域的重点研究技术，它与视觉图像处理、特征点提取与匹配等技术息息相关。目前较为热点的视觉建图和定位领域中，移动底盘常常作为视觉SLAM系统的承载平台，通过移动底盘的自主导航，可以实现自主的视觉SLAM建图与定位。
然而，当前的视觉SLAM技术存在很多不足。首先，当前的视觉SLAM存在传感器视野小，采集图像信息量小的缺点。比如，中国专利CN111176300A所公开的基于SLAM导航的光伏电站运维机器人充电系统中，运维机器人上设置的光场相机存在视觉视野相对较小，同一时刻采集图像信息量小的不足。其次，当前的视觉SLAM存在易受光照变化影响、在环境纹理不丰富的地方效果不佳的缺点。比如中国专利CN211580758U公开的一种基于视觉SLAM的绿化修剪机器人中，由于装置在面对室外环境光线变化和环境纹理不丰富的场景时没有很好的应对策略，可能造成视觉SLAM系统无法有效地建立环境地图和进行自身定位。最后，视觉SLAM还存在视觉探索过程过于盲目，建图和定位效率不高的缺点。比如中国专利CN104062977B公开的基于视觉SLAM的四旋翼无人机全自主飞行控制方法中，所述装置利用安装在四旋翼无人机底部的摄像头采集图像信息，存在摄像头采集图像受无人机自身位置限制的不足，在不干涉无人机原先轨迹的情况下，无法保证能采集到最适合视觉SLAM系统的图像。
发明内容
针对以上当前视觉SLAM技术中常见的缺点，本发明提出了一种基于全景相机的主动视觉SLAM系统，用于对本系统所处环境进行主动观测，进而建图，并进行定位，以达到快速、高效、高质量建图和定位的目的。其中，全景相机可以快速对本系统所处环境进行探测价值评价，根据视觉SLAM探测价值可以对环境生成评价分值场，该分值场将用于指导相机动态支架和智能导航底盘运动移动至合适的位置和姿态，从而使固定在相机动态支架前端的单目相机处于最佳拍摄视角。本发明的改进还在于视觉SLAM处理模块可以根据已经建立的地图信息自主判断最可能产生回环的区域，从而引导本装置的单目相机采集最可能产生回环的区域图像，从而进一步提升了视觉SLAM系统整体的工作效率。
为实现上述目的，本发明提供了一种基于全景相机的主动视觉SLAM系统，包括智能底盘模块、全景相机模块、相机动态支架、单目相机模块和处理器，所述处理器包括评价模块、视觉SLAM处理模块、全局规划模块、局部路径规划模块以及动态支架规划控制模块；所述相机动态支架上端固连有所述单目相机模块；
所述全景相机模块用于获取所述系统所在环境的视觉全景图像并发送至所述评价模块；
所述评价模块用于根据所述视觉全景图像对所述环境的探测价值进行整体评价，选出有价值探测区域作为目标区域并将其位置信息发送至所述全局规划模块和所述动态支架规划控制模块；
所述单目相机模块用于对所述目标区域进行图像采集，获取单目视觉图像并发送至视觉SLAM处理模块；
所述视觉SLAM处理模块用于：基于所述单目视觉图像，建立所述环境的三维特征点云地图，并对其进行平面二维化处理，得到对应的二维栅格地图；对所述系统所在位置进行实时定位并将所述系统的位置信息发送至所述全局规划模块和所述动态支架规划控制模块；以及进行回环检测；
所述全局规划模块用于根据所述目标区域的位置信息以及所述系统的位置信息，实时确定所述系统在所述二维栅格地图中的位置坐标，并在所述二维栅格地图中规划确定所述系统达到所述目标区域的导航路径，并发送至所述智能底盘模块和所述局部路径规划模块；
所述局部路径规划模块用于：根据所述系统在所述二维栅格地图中的位置坐标，建立所述系统在所述二维栅格地图中的位置坐标对应关系，从而根据所述二维栅格地图中所述系统所处区域中的环境物体二维平面占据情况以及获取的导航路径，对所述导航路径进行局部避障路径优化处理；
所述智能底盘模块用于按照优化处理后的导航路径移动所述系统且承载所述全景相机模块、所述相机动态支架、所述单目相机模块和所述处理器；
所述动态支架规划控制模块用于根据所述系统的位置信息、所述相机动态支架的当前位姿、以及由所述目标区域的位置信息计算出的相机最佳拍摄姿态，计算输出控制指令控制所述相机动态支架的运动姿态和运动速度，以避免所述单目相机模块与所述环境中的物体发生碰撞。
优选地，所述智能底盘模块包括底盘、移动轮、驱动轮控制模块、超声波雷达、IMU传感器以及轮式里程计；所述全景相机模块、所述相机动态支架、所述单目相机模块和所述处理器设置于所述底盘的上表面；所述移动轮设置于所述底盘的底部；所述底盘呈壳体状，所述驱动轮控制模块、所述IMU传感器以及所述轮式里程计设置于所述底盘内部；所述超声波雷达布置于所述底盘侧表面；
所述驱动轮控制模块用于驱动所述移动轮；所述超声波雷达用于检测不易被所述视觉SLAM处理模块识别的高透材质障碍物，并发送至所述局部路径规划模块。
优选地，所述视觉SLAM处理模块包括特征提取单元、计算模块以及三维特征点云地图建立单元；
所述特征提取单元用于根据ORB特征提取从所述单目相机模块获取的单目视觉图像中的特征点，然后对相邻两帧图像中提取出的特征点进行特征点匹配；
所述计算模块用于基于匹配完成的特征点，利用对极几何约束法，计算出所述单目相机模块的运动变化，进而得到所述相机动态支架的当前位姿；然后结合所述轮式里程计提供的里程计信息、所述IMU传感器提供的角速度和线加速度信息以及所述相机动态支架的当前位姿，实时计算出所述系统在所述环境的相对位置；
所述三维特征点云地图建立单元用于基于提取的图像特征点，实时建立所述环境的三维特征点云地图，并将其保存至所述全局规划模块，用于所述智能底盘模块的运动规划。
优选地，所述全景相机模块包括两个鱼眼镜头和图像拼接单元，
所述两个鱼眼镜头中心位置相同且放置方向相反，各鱼眼镜头的视角为180°；
所述图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，然后使用RANSAC算法匹配的特征向量估计单应矩阵，完成两个图像拼接，获得所述环境的视觉全景图像。
优选地，所述评价模块根据所述视觉全景图像对所述环境的探测价值进行整体评价，具体过程为：
利用特定大小和形状的评价搜索框，以特定步长对所述视觉全景图像进行评价；对于单个搜索框内的图像，评价值由特征点数量、特征点分布状况和特征点质量三个因素构成，单个搜索框内特征点数量越大，任意两个特征点之间的平均距离越大，特征点质量越高，则该搜索框评价得分越高；其中，特征点质量评价依据为，待评价像素点周围与其亮度差异大的像素点的数量越多，则该像素点质量越好。
优选地，所述局部路径规划模块中，所述环境物体二维平面占据情况包括所述智能底盘模块附近的障碍物位置以及所述智能底盘模块自身尺寸。
优选地，所述动态支架规划控制模块中，基于所述系统所处位置、所述三维点云地图和所述智能底盘模块的位姿计算输出所述控制指令。
优选地，所述智能底盘模块配置成以任意半径做曲线运动。
优选地，所述相机动态支架具有7自由度。
本发明的有益效果：
1)本发明可以利用全景相机模块生成的全景图对周围环境进行探测价值评分，生成评分场，该评分场用于引导智能底盘模块和相机动态支架做出必要的运动，将单目相机模块送至拍摄高价值探测区域的最佳位姿，从而达到主动探测有价值区域的作用，即实现主动视觉SLAM功能。相比于现有的视觉SLAM技术，本发明提出的主动视觉SLAM可以明显提升视觉建图和定位速度，增强系统的目的性，避免视觉传感器探测无价值区域，从而改善了视觉SLAM总体效率；
2)本发明在全景相机模块和评价模块的引导下，智能底盘模块和相机动态支架引导视觉传感器重点探索有价值区域，在拍摄有价值物体或区域时，采用优化的拍摄视角，对于建立高质量环境点云地图，采集环境中物体的细节信息有促进意义；
3)本发明的视觉SLAM处理模块可以通过已有的点云地图信息，分析出最可能产生回环的区域，引导智能底盘模块和相机动态支架让单目相机模块主动地采集这些区域的图像，进而增加检测到回环的概率，从而提升系统整体建图和定位质量；
4)本发明整个系统安装在一个具备以任意半径曲线运动的能力的智能导航底盘上，智能导航底盘的这种特性提升了其在狭小空间中的通过性，与此同时，底盘四周还安装有多个超声波雷达，用于探测高透性障碍物，如玻璃和透明塑料等，弥补了全景相机模块对透光物体识别效果差的弱点，从而增加了整个系统的安全性；
5)本发明的单目相机模块4成本低廉，可有效降低本发明整个系统的整体成本；相机动态支架3具有7个自由度，可以灵活地将单目相机模块4送至理想的位置和姿态；全景相机模块2具备高效的环境探测能力，其360°的全景视野能为整个系统对环境的初步评价提供巨大的便利，其提供的信息具有可靠性强、信息量大的特点。
附图说明
图1为本发明实施例的基于全景相机的主动视觉SLAM系统的各模块连接示意图；
图2为本发明实施例的处理器的结构示意图；
图3为本发明实施例的基于全景相机的主动视觉SLAM系统的结构安装示意图。
附图中：
1、智能底盘模块；11、底盘；12、驱动轮；13、超声波雷达；
2、全景相机模块；3、相机动态支架；4、单目相机模块；
5、处理器；51、评价模块；52、视觉SLAM处理模块；53、全局规划模块；54、局部路径规划模块；55、动态支架规划控制模块。
具体实施方式
下面结合附图和实施例进一步描述本发明，应该理解，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，本实施例提供的基于全景相机的主动视觉SLAM系统包括智能导航底盘模块1、全景相机模块2、相机动态支架3、单目相机模块4和处理器5。其中，处理器5包括评价模块51、视觉SLAM处理模块52、全局规划模块53、局部路径规划模块54以及动态支架规划控制模块55，如图2所示。
在本实施例中，智能底盘模块1包括底盘11、3个移动轮12、驱动轮控制模块、6个超声波雷达13、IMU传感器以及轮式里程计。底盘11呈壳体状，驱动轮控制模块、IMU传感器以及轮式里程计设置于底盘11内部。如图3所示，全景相机模块2固连于底盘11的上表面中间位置，相机动态支架3的上端与单目相机模块4固连，下端固连于底盘11上表面的一端，处理器5设置于底盘11上表面的另一端。3个移动轮12均匀安装于底盘11底部，其中两个移动轮为驱动滚轮，另外一个为承重滚轮。智能底盘模块1用于移动整个系统并承载本系统涉及的其他模块，根据系统的决策结果，通过驱动轮控制模块控制两个驱动轮2转动，以达到移动位置的目的。有利地，6个超声波雷达13呈环状均匀设置于底盘11侧表面，用于探测底盘11四周的高透性障碍物，如玻璃和透明塑料等。
本发明的全景相机模块2用于获取系统所在环境的视觉全景图像，该模块获取的图像由两个鱼眼相机获得的图像拼接而成，获得的视觉全景图像将用于评价模块51对系统所在环境的探测价值进行整体评价，评价后生成评价值场，评价值场将用于选出有价值探测区域作为目标区域，以引导系统的其他模块对该目标区域进行进一步详细扫描。
本发明的单目相机模块4用于对目标区域进行详细的图像采集，该模块通过预先设置好的标定程序标定其内参，发送获得的单目视觉图像至视觉SLAM处理模块52。
本发明的视觉SLAM处理模块8用于处理单目相机模块4发送来的单目视觉图像，完成对图像特征点的提取，建立所述环境的三维特征点云地图，并对其进行平面二维化处理，得到对应的二维栅格地图；此外还对智能底盘模块1所在位置(即系统所在位置)进行实时定位并将系统的位置信息发送至全局规划模块53和动态支架规划控制模块55；同时进行回环检测，以判断整个系统是否到达了曾经到达的地方。
本发明的全局规划模块53用于根据选出的目标区域的位置以及获取到的系统的位置信息，实时确定系统在二维栅格地图中的位置坐标，并在二维栅格地图中规划确定系统达到目标区域的位置的导航路径，并发送至智能底盘模块1和局部路径规划模块54。
本发明的局部路径规划模块54用于根据系统在二维栅格地图中的位置坐标，建立系统在二维栅格地图中的位置坐标对应关系，从而根据二维栅格地图中系统所处区域的环境物体二维平面占据情况以及获取的导航路径，对二维栅格地图中系统达到目标区域的导航路径进行局部避障路径优化处理。
本发明的动态支架规划控制模块55用于生成相机动态支架3的控制指令，以控制相机动态支架3的运动姿态和运动速度。此处的控制指令根据评价模块51输出的目标区域的位置、智能底盘模块1的当前位置、视觉SLAM处理模块52生成的环境点云信息，将单目相机模块4送至理想位置的同时，避免与环境中的物体发生碰撞。
本发明的整体系统设计思路在于：
1)获取全景相机模块2的视觉全景图像，按照特定形状大小的搜索框，以特定的步长，对视觉全景图像进行全覆盖评价，评价机制中综合考虑了单个搜索框中的特征点数量、特征点分布情况和特征点质量。通过对视觉全景图像进行评价，找到对视觉SLAM系统最有价值的探测区域，如纹理丰富的区域、光照条件适当的区域，同时回避视觉价值低的区域，比如无纹理、光照过高或过低的区域。这些高价值的探测区域位置将被发送给全局规划模块53用于生成可供智能底盘模块1运动的控制指令，高价值的探测区域位置同时也会发送给动态支架规划控制模块55。动态支架规划控制模块55会综合考虑智能底盘模块1的位置、相机动态支架3当前位姿(空间位置和姿态)以及由高价值的探索区域位置计算出的相机最佳拍摄位姿，计算出相机动态支架3的运动指令并发送给相机动态支架3，相机动态支架3按照该指令运动，将单目相机模块4送至理想的位置和姿态。
2)将本发明系统的各个模块全部安装在一个智能导航底盘1上，该智能导航底盘1具备以任意半径曲线运动的能力，这种特性提升了其在狭小空间中的通过性。与此同时，底盘11侧面四周安装有6个超声波雷达13，用于探测高透性障碍物，弥补了全景相机模块2对透光物体识别效果差的弱点，从而增加了整个系统的安全性。特别地，智能导航底盘1还具备无线充电功能，当智能导航底盘1的电量低于一定值时，可以自主导航找到环境中特定的无限充电器，以实现自动充电的目的。
综上，本发明主动寻找最佳视觉图像区域和最可能出现回环检测区域的特性，有效改善了现有多数视觉SLAM系统在拍摄环境视觉图像时存在的盲目性问题，提高了视觉SLAM全过程的完成速度，提高了视觉建图和定位的质量，增强了视觉SLAM系统的鲁棒性。在具体技术应用时，本发明从硬件设计和实现角度而言，设计由单目相机模块4、相机动态支架3、智能底盘模块1和全景相机模块2四个层次的硬件实现。整套硬件的设计和实现都是为了实现主动的视觉SLAM系统，即作为视觉图像采集设备的单目相机模块4能够被所设计的硬件自主地送至最佳视觉探测位置和姿态，以及最可能出现回环的位置和姿态，从而可以提高整个视觉SLAM系统的效率和质量，避免视觉视觉SLAM系统在视觉探测价值低的区域浪费大量的建图和定位时间。
具体地，本发明的视觉SLAM处理模块52的处理过程如下：
1)根据ORB特征提取单目相机模块4生成的单目视觉图像的特征点。特征点提取的主要依据是计算待测像素和周围像素之间亮度的差异，若周围像素与待测像素之间亮度差异超过一定阈值的像素数量达到一定标准，则认为该待测像素点为特征点。待测像素与周围像素亮度差异超过一定阈值的数量也用于衡量特征点的质量。
2)将特征点的质量信息发送给评价模块51用于生成系统所在环境的全景评价值场，然后对相邻两帧图像中提取出的特征点进行特征点匹配，匹配算法为快速近似最邻近算法，该算法适用于匹配点数极多的场景。
3)利用匹配完成的特征点计算单目相机模块4的运动，计算方法为对极几何约束，通过空间中同一点在相邻两帧相机视角中像素位置的几何关系，推算出单目相机模块4的运动变化，结合智能底盘模块1提供的轮式里程计信息、IMU传感器单元信息及相机动态支架3的位姿信息，实时地计算出本系统在所在环境中的相对位置，并实时建立环境的三维特征点云地图，并将其保存用于智能底盘模块1的运动规划。
4)进行回环检测：视觉SLAM处理模块52会根据评价模块51发来的全景评价值场数据，计算出最有可能检测出回环的区域，并将这些区域的位置信息发送给智能底盘模块1和动态支架规划控制模块55，用于达到使单目相机模块4主动地探索这些高价值区域的目的。
本发明的全景相机模块2的处理过程为：
读取中心位置相同，方向相反放置的鱼眼镜头图像，每个鱼眼镜头的视角为180°，检测并提取两个鱼眼相机的图像的特征和关键点，匹配两个图像之间的描述符，然后使用RANSAC算法匹配的特征向量估计单应矩阵，从而完成两个鱼眼镜头图像拼接，生成视觉全景图像。
本发明的评价模块51的处理过程为：
读取全景相机模块2生成的视觉全景图像，以特定形状和大小的搜索框，以一定步长对视觉全景图像进行覆盖式搜索，搜索框的形状为以球心为光源，矩形光束在球面上的投影形状，这能保证视觉全景图像可以得到全覆盖且不重复的搜索。搜索框移动的步长可调，当系统处于高评价质量模式时，步长较小；当系统处于高速评价模式时，步长较大。对于单个搜索框，将计算该搜索框的视觉探测价值得分，计算依据包括三个部分：特征点数量、特征点分布情况和特征点质量，这三个部分分别占评价总分值的40％、40％和20％。其中，特征点数量越大，则得分越高；特征点分布用搜索框内任意两个特征点之间的平均欧式距离表示，平均欧式距离越大，则认为特征点分布情况越好，得分越高；特征点质量由该特征点和周围像素半径的圆周上像素的亮度差异决定，差异值大于一定阈值的像素点数量越高，则认为特征点质量越好。当所有位置的搜索框都完成各自的探测价值评分后，将生成一张全景评价值场，该评价值场用于引导本系统中的其他模块工作，从而实现主动的视觉SLAM。将高价值探测区域作为目标区域，其长、宽和高将被近似为一个立方体保存下来，这个虚拟立方体的几何中心将作为单目相机模块4的最佳探测朝向发送给全局规划模块53和动态支架规划控制模块55。
本发明的全局规划模块53的处理过程为：
全局规划模块53用于计算出一条系统当前位置到目标区域位置的可通行路径，该路径可以以距离最短为目标，也可以以速度最快为目标。本发明的全局规划模块53的设计基于成熟的路径规划算法的，但同时多考虑了高价值区域位置信息和相机动态支架当前的位姿信息，作为优化选择方案。此外，全局规划模块53在计算路径时还要确保整个系统能平滑运动，不会产生方向或速度突变的情况。最后，全局规划模块53还将对地形和可通行空间进行综合评估，保证整个系统运动全过程安全可靠。
本发明的局部路径规划模块54用于在周围环境部分已知或未知的前提下，根据评价模块51计算出的目标区域位置以及获取到的系统的当前位置信息，使得系统在向目标区域移动的同时，可以避开附近的障碍物。局部路径规划模块54在计算局部导航路径时，有两个主要约束目标：一是跟随全局规划模块51输出的导航路径，二是回避障碍物。在实际实施时，这两个主要约束目标将以合力场的形式引导局部路径规划，其中导航路径的引导方向作为吸引力，而避障约束作为排斥力，生成的合力即为局部路径规划模块54计算出的优化路径方向。与此同时，优选地，本发明中的局部路径规划模块54，还引入了运动学约束，即速度、加速度和加速度的变化率三个约束，其中，速度和加速度约束是为了保证系统能实现规划出的优化路径，加速度变化率约束的引入是为了保证单目相机模块4能以较平顺的速度移动，以获得清晰、稳定、适用于视觉SLAM建图和定位的连续图像。
本发明的动态支架规划控制模块55的处理过程为：
根据评价模块51输出的目标区域位置计算出理想相机拍摄位姿，输出控制指令控制相机动态支架3的运动。在计算控制指令时，同时考虑系统本身所处环境位置、视觉SLAM处理模块52建立的三维点云地图、智能底盘模块1的位姿以及保证单目相机模块4平顺工作的相机动态支架3的运动速度。优选地，动态支架规划控制模块55还将用于向相机动态支架3发送避障指令，这些避障指令综合评估了环境的三维点云地图、当前相机动态支架3的位姿、智能导航底盘1的当前位置和优化路径信息，主动地控制相机动态支架3达到合适的位置和姿态以躲避障碍物，提升整个装置总体的通过性。
本发明在普通视觉SLAM的基础之上，通过增加一个可以任意半径做曲线运动的智能底盘模块1、安装在一个7自由度相机动态支架3上的单目相机模块4、一个用于对环境整体进行评估的全景相机模块6，达到了改善传统视觉SLAM建图扫描时没有目的性问题的目的。本发明弥补了传统的视觉SLAM系统不能主动地选择重点扫描区域的弱点，使得视觉建图和定位更具目的性，因此更加高效，提高了建图和定位的速度，改善了建图和定位的质量，增强了建图和定位的可靠性和灵活性。
该文中出现的电器元件均通过变压器与外界的主控器及220V市电电连接，并且主控器可为计算机等起到控制的常规已知设备。
在本发明的描述中，需要理解的是，术语"内部"、"上表面"、"中间位置"、"上端"、"下端"、"另一端"、"一端"、"底部"、"侧表面"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，术语"安装"、"固连"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以对本发明的实施例作出若干变型和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于全景相机的主动视觉SLAM系统，其特征在于，包括智能底盘模块(1)、全景相机模块(2)、相机动态支架(3)、单目相机模块(4)和处理器(5)，所述处理器(5)包括评价模块(51)、视觉SLAM处理模块(52)、全局规划模块(53)、局部路径规划模块(54)以及动态支架规划控制模块(55)；所述相机动态支架(3)上端固连有所述单目相机模块(4)；
所述全景相机模块(2)用于获取所述系统所在环境的视觉全景图像并发送至所述评价模块(51)；
所述评价模块(51)用于根据所述视觉全景图像对所述环境的探测价值进行整体评价，选出有价值探测区域作为目标区域并将其位置信息发送至所述全局规划模块(53)和所述动态支架规划控制模块(55)；
所述单目相机模块(4)用于对所述目标区域进行图像采集，获取单目视觉图像并发送至视觉SLAM处理模块(52)；
所述视觉SLAM处理模块(52)用于：基于所述单目视觉图像，建立所述环境的三维特征点云地图，并对其进行平面二维化处理，得到对应的二维栅格地图；对所述系统所在位置进行实时定位并将所述系统的位置信息发送至所述全局规划模块(53)和所述动态支架规划控制模块(55)；以及进行回环检测；
所述全局规划模块(53)用于根据所述目标区域的位置信息以及所述系统的位置信息，实时确定所述系统在所述二维栅格地图中的位置坐标，并在所述二维栅格地图中规划确定所述系统达到所述目标区域的导航路径，并发送至所述智能底盘模块(1)和所述局部路径规划模块(54)；
所述局部路径规划模块(54)用于：根据所述系统在所述二维栅格地图中的位置坐标，建立所述系统在所述二维栅格地图中的位置坐标对应关系，从而根据所述二维栅格地图中所述系统所处区域中的环境物体二维平面占据情况以及获取的导航路径，对所述导航路径进行局部避障路径优化处理；
所述智能底盘模块(1)用于按照优化处理后的导航路径移动所述系统且承载所述全景相机模块(2)、所述相机动态支架(3)、所述单目相机模块(4)和所述处理器(5)；
所述动态支架规划控制模块(55)用于根据所述系统的位置信息、所述相机动态支架(3)的当前位姿、以及由所述目标区域的位置信息计算出的相机最佳拍摄姿态，计算输出控制指令控制所述相机动态支架(3)的运动姿态和运动速度，以避免所述单目相机模块(4)与所述环境中的物体发生碰撞。
2.根据权利要求1所述的系统，其特征在于，所述智能底盘模块(1)包括底盘(11)、移动轮(12)、驱动轮控制模块、超声波雷达(13)、IMU传感器以及轮式里程计；所述全景相机模块(2)、所述相机动态支架(3)、所述单目相机模块(4)和所述处理器(5)设置于所述底盘(11)的上表面；所述移动轮(12)设置于所述底盘(11)的底部；所述底盘(11)呈壳体状，所述驱动轮控制模块、所述IMU传感器以及所述轮式里程计设置于所述底盘(11)内部；所述超声波雷达(3)布置于所述底盘(11)侧表面；
所述驱动轮控制模块用于驱动所述移动轮(12)；所述超声波雷达(13)用于检测不易被所述视觉SLAM处理模块(52)识别的高透材质障碍物，并发送至所述局部路径规划模块(54)。
3.根据权利要求2所述的系统，其特征在于，所述视觉SLAM处理模块(8)包括特征提取单元、计算模块以及三维特征点云地图建立单元；
所述特征提取单元用于根据ORB特征提取从所述单目相机模块(4)获取的单目视觉图像中的特征点，然后对相邻两帧图像中提取出的特征点进行特征点匹配；
所述计算模块用于基于匹配完成的特征点，利用对极几何约束法，计算出所述单目相机模块(4)的运动变化，进而得到所述相机动态支架(3)的当前位姿；然后结合所述轮式里程计提供的里程计信息、所述IMU传感器提供的角速度和线加速度信息以及所述相机动态支架(3)的当前位姿，实时计算出所述系统在所述环境的相对位置；
所述三维特征点云地图建立单元用于基于提取的图像特征点，实时建立所述环境的三维特征点云地图，并将其保存至所述全局规划模块(53)，用于所述智能底盘模块(1)的运动规划。
4.根据权利要求1所述的系统，其特征在于，所述全景相机模块(2)包括两个鱼眼镜头和图像拼接单元，
所述两个鱼眼镜头中心位置相同且放置方向相反，各鱼眼镜头的视角为180°；
所述图像拼接单元用于检测并提取两个鱼眼镜头采集的两个图像的特征和关键点，匹配两个图像之间的描述符，然后使用RANSAC算法匹配的特征向量估计单应矩阵，完成两个图像拼接，获得所述环境的视觉全景图像。
5.根据权利要求1所述的系统，其特征在于，所述评价模块(51)根据所述视觉全景图像对所述环境的探测价值进行整体评价，具体过程为：
利用特定大小和形状的评价搜索框，以特定步长对所述视觉全景图像进行评价；对于单个搜索框内的图像，评价值由特征点数量、特征点分布状况和特征点质量三个因素构成，单个搜索框内特征点数量越大，任意两个特征点之间的平均距离越大，特征点质量越高，则该搜索框评价得分越高；其中，特征点质量评价依据为，待评价像素点周围与其亮度差异大的像素点的数量越多，则该像素点质量越好。
6.根据权利要求1所述的系统，其特征在于，所述局部路径规划模块(54)中，所述环境物体二维平面占据情况包括所述智能底盘模块(1)附近的障碍物位置以及所述智能底盘模块(1)自身尺寸。
7.根据权利要求1所述的系统，其特征在于，所述动态支架规划控制模块(55)中，基于所述系统所处位置、所述三维点云地图和所述智能底盘模块(1)的位姿计算输出所述控制指令。
8.根据权利要求1所述的系统，其特征在于，所述智能底盘模块(1)配置成以任意半径做曲线运动。
9.根据权利要求1所述的系统，其特征在于，所述相机动态支架(3)具有7自由度。
CN202110055610.1A 2021-01-15 2021-01-15 一种基于全景相机的主动视觉slam系统 Active CN112819943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110055610.1A CN112819943B (zh) 2021-01-15 2021-01-15 一种基于全景相机的主动视觉slam系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110055610.1A CN112819943B (zh) 2021-01-15 2021-01-15 一种基于全景相机的主动视觉slam系统

Publications (2)

Publication Number Publication Date
CN112819943A true CN112819943A (zh) 2021-05-18
CN112819943B CN112819943B (zh) 2022-08-30

Family

ID=75869712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110055610.1A Active CN112819943B (zh) 2021-01-15 2021-01-15 一种基于全景相机的主动视觉slam系统

Country Status (1)

Country Link
CN (1) CN112819943B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113611143A (zh) * 2021-07-29 2021-11-05 同致电子科技（厦门）有限公司 一种新型记忆泊车系统及其建图系统
CN114034299A (zh) * 2021-11-08 2022-02-11 中南大学 一种基于主动激光slam的导航系统
CN114331194A (zh) * 2021-12-30 2022-04-12 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的建筑测量管理方法和系统
WO2022143261A1 (zh) * 2020-12-29 2022-07-07 深圳市普渡科技有限公司 栅格地图质量评估方法、装置、计算机设备及存储介质
CN115421505A (zh) * 2022-11-04 2022-12-02 北京卓翼智能科技有限公司 一种无人机集群系统及无人机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
US20170067739A1 (en) * 2014-05-05 2017-03-09 Hexagon Technology Center Gmbh Surveying system
US20170153646A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
US20170067739A1 (en) * 2014-05-05 2017-03-09 Hexagon Technology Center Gmbh Surveying system
US20170153646A1 (en) * 2014-06-17 2017-06-01 Yujin Robot Co., Ltd. Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
US20190234746A1 (en) * 2016-09-14 2019-08-01 Zhejiang University Method for simultaneous localization and mapping
CN109079799A (zh) * 2018-10-23 2018-12-25 哈尔滨工业大学（深圳） 一种基于仿生的机器人感知控制系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘光伟等: "室内移动机器人主动SLAM技术研究", 《机械设计与制造》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022143261A1 (zh) * 2020-12-29 2022-07-07 深圳市普渡科技有限公司 栅格地图质量评估方法、装置、计算机设备及存储介质
CN113611143A (zh) * 2021-07-29 2021-11-05 同致电子科技（厦门）有限公司 一种新型记忆泊车系统及其建图系统
CN114034299A (zh) * 2021-11-08 2022-02-11 中南大学 一种基于主动激光slam的导航系统
CN114034299B (zh) * 2021-11-08 2024-04-26 中南大学 一种基于主动激光slam的导航系统
CN114331194A (zh) * 2021-12-30 2022-04-12 深圳前海贾维斯数据咨询有限公司 一种基于数字孪生的建筑测量管理方法和系统
CN115421505A (zh) * 2022-11-04 2022-12-02 北京卓翼智能科技有限公司 一种无人机集群系统及无人机

Also Published As

Publication number Publication date
CN112819943B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN112819943B (zh) 一种基于全景相机的主动视觉slam系统
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CA2950791C (en) Binocular visual navigation system and method based on power robot
US11927457B2 (en) System and method for real time control of an autonomous device
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
KR100901311B1 (ko) 자율이동 플랫폼
WO2019128070A1 (zh) 目标跟踪方法及装置、移动设备及存储介质
CN102866706B (zh) 一种采用智能手机导航的清扫机器人及其导航清扫方法
CN109901590B (zh) 桌面机器人的回充控制方法
CN111958591A (zh) 一种语义智能变电站巡检机器人自主巡检方法及系统
CN110737271B (zh) 一种水面机器人自主巡航系统及方法
CN109917420A (zh) 一种自动行走装置和机器人
CN110246175A (zh) 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法
JP2022554248A (ja) 無人飛行体を使用する構造体スキャン
WO2015180021A1 (zh) 剪枝机器人系统
CN109773783B (zh) 一种基于空间点云识别的巡防智能机器人及其警务系统
CN110163963B (zh) 一种基于slam的建图装置和建图方法
CN113085896A (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
EP3566178A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
CN111786465A (zh) 一种变电站巡检机器人无线充电系统及方法
Yoshida et al. 3D laser scanner with gazing ability
CN113498667A (zh) 一种基于全景机器视觉的智能割草机器人
JP2022540640A (ja) 自律的デバイスのリアルタイム制御のためのシステムおよび方法
CN116339326A (zh) 一种基于立体相机的自主充电定位方法及系统
Nabbe et al. Opportunistic use of vision to push back the path-planning horizon

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant