CN112476433A - 一种基于识别阵列边界的移动机器人定位方法 - Google Patents

一种基于识别阵列边界的移动机器人定位方法 Download PDF

Info

Publication number
CN112476433A
CN112476433A CN202011318912.5A CN202011318912A CN112476433A CN 112476433 A CN112476433 A CN 112476433A CN 202011318912 A CN202011318912 A CN 202011318912A CN 112476433 A CN112476433 A CN 112476433A
Authority
CN
China
Prior art keywords
mobile robot
positioning
array
robot
wheel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011318912.5A
Other languages
English (en)
Other versions
CN112476433B (zh
Inventor
吴金龙
陈应洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Monster Robot Co ltd
Original Assignee
Shenzhen Monster Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Monster Robot Co ltd filed Critical Shenzhen Monster Robot Co ltd
Priority to CN202011318912.5A priority Critical patent/CN112476433B/zh
Publication of CN112476433A publication Critical patent/CN112476433A/zh
Priority to PCT/CN2021/132590 priority patent/WO2022105933A1/zh
Application granted granted Critical
Publication of CN112476433B publication Critical patent/CN112476433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/005—Manipulators mounted on wheels or on carriages mounted on endless tracks or belts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于识别阵列边界的移动机器人定位方法，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：通过惯性测量单元得到移动机器人的姿态信息；通过轮式编码器得到移动机器人的轮式里程；通过摄像头提取移动机器人所处单块阵列的边界数据，然后通过标定得到的摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；通过轮式里程获取阵列边界数据；将边界数据通过轮式里程投影到世界坐标系，得到视觉定位；将轮式里程和视觉定位进行融合得到移动机器人最终的定位。本发明具有操作简单、定位高效且准确的特点。

Description

一种基于识别阵列边界的移动机器人定位方法
技术领域
本发明涉及一种基于识别阵列边界的移动机器人定位方法。
背景技术
目前移动机器人的定位技术主要基于五种方法，GNSS(Global NavigationStatellite System，全球卫星导航系统)和RTK(Real Time Kinematic)、惯性导航(陀螺仪、加速度计)、轮速计、激光SLAM、视觉SLAM。GNSS利用卫星信号进行定位，可以配合惯性导航一起使用，定位精度在米级。通过RTK利用基站进行修正，定位精度可以达到厘米级。这种方法只能在室外使用，且易受场景(如高楼、隧道等)、信号强度的影响。轮速计通常配合惯性导航一起使用，这种方法不依赖外部环境，但随着时间的变化，定位结果与实际结果会产生较大的偏移。激光SLAM，利用激光获取的点云进行定位，既可以获取里程计式的相对定位，也可以建立地图后，通过匹配进行地图定位。视觉SLAM，类似激光SLAM，将其中用于定位的激光点云换成了由图像像素产生的图像点云。
在现有的移动机器人定位技术中大多数无法用于玻璃阵列场景下移动机器人的导航任务。玻璃场景下，机器人通常在竖直平面上工作，这一点使得GNSS系统完全失效。同时在室外玻璃场景下，如高楼的玻璃外墙环境，机器人通常处于空旷的玻璃平面上，这一点使得基于激光的定位系统失效。基于惯性导航和轮速计的定位系统虽然没有完全失效，但无法解决机器人打滑后的定位问题(这一点在玻璃幕墙场景下时常发生)，且长时间工作后会产生较大漂移。因此这种方法只能产生一个局部的短暂可用的定位信息。
一般来说，可以通过视觉SLAM为机器人提供一个全局的、无漂的定位信息来解决这些问题。但传统的视觉SLAM技术基于场景图像的特征点进行定位建图，在玻璃场景下，图像的相似度较高，且特征信息较为稀疏，无法直接获取到有用的定位信息，得不到较好的建图定位的效果。
总的来说，目前尚没有良好适用于玻璃阵列场景以及光伏阵列场景的移动机器人定位技术，业界大部分用于玻璃阵列场景以及光伏阵列场景的机器人不具备定位功能，而是采用传统的控制方式进行作业，少部分采用轮式编码器配合惯性测量单元的方式进行定位。但由于作业平面外部条件因素不同，机器人在作业平面上行走时打滑的情况不同(打滑在玻璃平面以及光伏平面都时常发生)，这将导致轮式编码器无法获得准确的里程信息。同时惯性测量单元提供的姿态信息会随时间以及温度的变化会产生漂移，导致移动机器人的里程信息随之漂移。因此该种方式在车轮打滑后会完全失效，无法适应一些复杂场景，移动机器人无法较好的完成点到点的导航需求，且有一定安全隐患。
发明内容
鉴于现有技术中存在的上述问题，本发明的主要目的在于提供一种基于识别阵列边界的移动机器人定位方法。
本发明的技术方案是这样的：
一种基于识别阵列边界的移动机器人定位方法，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身，所述机身包括底盘以及支撑框架，其特征在于，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：
S1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；
S4：通过步骤S2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；
S5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；
S6：通过扩展卡尔曼滤波器将步骤S2得到的轮式里程和步骤S5得到的视觉定位进行融合即可得到移动机器人最终的定位。
所述机身还包括固定板以及上盖，所述支撑框架固定设置在所述底盘上，所述固定板固定设置在所述支撑框架的上端，所述上盖包覆设置在所述固定板上。
所述底盘上位于左侧和右侧的位置均设置有行走机构，所述移动机器人在所述行走机构的驱动下进行移动。
预先构建环境地图，具体包括以下步骤：
S01：传感器标定，对惯性测量单元和多个摄像头的参数进行标定；
S02：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S03：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S04：通过设置在移动机器人上的多个摄像头，获取移动机器人的所处环境的多角度图像数据，通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，并将图像中的边界数据投影到机器人坐标系；
S05：将机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，并将数据进行存储，以此构建基于边界数据的环境地图。
步骤S01中，对设置在移动机器人上的惯性测量单元和多个摄像头的参数进行标定，具体包括惯性测量单元数据的初始零偏和随机游走误差，以及各个摄像头的内部参数和外部参数。
在预先构建环境地图的过程中，同时进行回环检测，若检测到回环便对环境地图进行相应的矫正。
所述行走机构包括驱动电机、驱动轮、橡胶履带、张紧轮以及同步轮，其中：所述驱动电机的输出轴与所述驱动轮固定连接，所述驱动轮在所述驱动电机的驱动下进行转动；所述驱动轮通过所述橡胶履带驱动所述同步轮进行转动，所述驱动轮与所述同步轮之间设置有多个所述张紧轮。
所述底盘上位于左侧和右侧的位置分别设置有第一定位通孔和第二定位通孔，且所述第一定位通孔和第二定位通孔中均设置有一所述橡胶履带。
所述支撑框架包括第一支撑板、第二支撑板、第三支撑板以及第四支撑板，其中：所述第一支撑板沿长度方向设置在所述底盘的左侧壁，所述第二支撑板沿长度方向设置在所述底盘的前侧壁，所述第三支撑板沿长度方向设置在所述底盘的右侧壁，所述第四支撑板设置在所述底盘的后侧壁。
所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板的高度均相同，且所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板为一体成型。
本发明具有以下优点和有益效果：本发明实施例的基于识别阵列边界的移动机器人定位方法，阵列包括玻璃阵列和光伏阵列，移动机器人包括机身，机身包括底盘以及支撑框架，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：S1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；S2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；S3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；S4：通过步骤S2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；S5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；S6：通过扩展卡尔曼滤波器将步骤S2得到的轮式里程和步骤S5得到的视觉定位进行融合即可得到移动机器人最终的定位；通过上述设计，也即本发明为在玻璃阵列场景以及光伏阵列场景下工作的移动机器人，提供一个全局可靠且无偏的定位信息，使得移动机器人可以高效且准确的完成玻璃阵列场景以及光伏阵列场景下进行点到点定位的任务，进而完成一些基于点到点定位的高层次任务，如玻璃幕墙以及光伏阵列的覆盖清洁作业等。
附图说明
图1为本发明实施例提供的移动机器人在光伏阵列场景中进行定位的立体结构示意图。
图2为图1中移动机器人去掉外壳的放大立体结构示意图。
图3为本发明实施例提供的移动机器人在竖直分布的玻璃阵列场景中玻璃的外侧表面进行定位的立体结构示意图。
图4为图3中移动机器人去掉外壳的放大立体结构示意图。
图5为本发明实施例提供的移动机器人在水平分布或倾斜分布的玻璃阵列场景中玻璃的上表面进行定位的立体结构示意图。
图6为图5中移动机器人去掉外壳的放大立体结构示意图。
图7为本发明实施例提供的移动机器人去掉外壳、固定板以及多个摄像头后的放大俯视结构示意图。
具体实施方式
下面将参照附图和具体实施例对本发明作进一步的说明。
如图1至图7所示：本发明实施例提供的基于识别阵列边界的移动机器人定位方法，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身100，所述机身100包括底盘101以及支撑框架，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身，所述机身包括底盘以及支撑框架，其特征在于，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：
S1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的各摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；
S4：通过步骤S2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；
S5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；
S6：通过扩展卡尔曼滤波器将步骤S2得到的轮式里程和步骤S5得到的视觉定位进行融合即可得到移动机器人最终的定位(位置和姿态)。
预先构建环境地图，具体包括以下步骤：
S01：传感器标定，对惯性测量单元和多个摄像头的参数进行标定；
S02：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S03：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S04：通过设置在移动机器人上的多个摄像头，获取移动机器人的所处环境的多角度图像数据，通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，并将图像中的边界数据投影到机器人坐标系；
S05：将机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，并将数据进行存储，以此构建基于边界数据的环境地图。
步骤S01中，对设置在移动机器人上的惯性测量单元和多个摄像头的参数进行标定，具体包括惯性测量单元数据的初始零偏和随机游走误差，以及各个摄像头的内部参数和外部参数。
在预先构建环境地图的过程中，同时进行回环检测，若检测到回环便对环境地图进行相应的矫正。
如图7所示，所述机身100还包括固定板104以及上盖105，所述支撑框架固定设置在所述底盘101上，所述固定板104固定设置在所述支撑框架的上端，所述上盖105包覆设置在所述固定板104上。所述底盘101上位于左侧和右侧的位置均设置有行走机构，所述移动机器人在所述行走机构的驱动下进行移动。
所述行走机构包括驱动电机110、驱动轮111、橡胶履带112、张紧轮113以及同步轮114，其中：所述驱动电机110的输出轴与所述驱动轮111固定连接，所述驱动轮111在所述驱动电机110的驱动下进行转动；所述驱动轮111通过所述橡胶履带112驱动所述同步轮114进行转动，所述驱动轮111与所述同步轮114之间设置有多个所述张紧轮113。
所述底盘101上位于左侧和右侧的位置分别设置有第一定位通孔106和第二定位通孔107，且所述第一定位通孔106和第二定位通孔107中均设置有一所述橡胶履带112。
所述支撑框架包括第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124，其中：所述第一支撑板121沿长度方向设置在所述底盘101的左侧壁，所述第二支撑板122沿长度方向设置在所述底盘101的前侧壁，所述第三支撑板123沿长度方向设置在所述底盘101的右侧壁，所述第四支撑板124设置在所述底盘101的后侧壁。
所述第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124的高度均相同，且所述第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124为一体成型，进而可提高第一支撑板121、第二支撑板122、第三支撑板123以及第四支撑板124相结合的牢固性，安全可靠性得到一定程度的提高，进而达到延长支撑框架的使用寿命的目的。
如图1至图2所示，当所述移动机器人在光伏阵列场景中进行定位时，多个所述摄像头包括第一摄像头131、第二摄像头132、第三摄像头133以及第四摄像头134，其中：所述第一摄像头131通过第一支架151固定设置在所述固定板104上表面左侧中心位置的上方，所述第二摄像头132通过第二固定支架152固定设置在所述固定板104上表面前侧中心位置的上方，所述第三摄像头133通过第三固定支架153固定设置在所述固定板104上表面右侧中心位置的上方，所述第四摄像头134通过第四固定支架154固定设置在固定板104上表面后侧中心位置的上方。同时，上述第一摄像头131、第二摄像头132、第三摄像头133以及第四摄像头134均为1080p130度广角摄像头。
如图3至图4所示，当所述移动机器人在竖直分布的玻璃阵列场景中玻璃的外侧表面进行定位时，例如在竖直分布的玻璃幕墙上进行定位时，多个所述摄像头包括第五摄像头135、第六摄像头136以及第七摄像头137，其中：所述第五摄像头135通过第五固定支架155固定设置在所述固定板104上表面左侧的前端上方，所述第六摄像头136通过第六固定支架156固定设置在所述固定板104上表面前侧中心位置的上方，且所述第七摄像头137通过第七固定支架157固定设置在所述固定板104上表面右侧的前端上方。同时，上述第五摄像头135、第六摄像头136以及第七摄像头137均为1080p130度广角摄像头。
如图5至图6所示，当所述移动机器人在水平分布或倾斜分布的玻璃阵列场景中玻璃的上表面进行定位时，例如在倾斜分布的玻璃顶棚上进行定位时，多个所述摄像头包括第八摄像头138、第九摄像头139、第十摄像头140以及第十一摄像头141，其中：所述第八摄像头138通过第八固定支架158固定设置在所述固定板104上表面左侧的前端上方，所述第九摄像头139通过第九固定支架159固定设置在所述固定板104上表面前侧中心位置的上方，所述第十摄像头140通过第十固定支架160固定设置在所述固定板104上表面右侧的前端上方，且所述第十一摄像头141通过第十一固定支架161固定设置在所述固定板104上表面后侧中心位置的上方。同时，上述第八摄像头138、第九摄像头139、第十摄像头140以及第十一摄像头141均为1080p130度广角摄像头。
本发明实施例提供的基于识别阵列边界的移动机器人定位方法，可为移动机器人提供一个厘米级的全局无漂的定位信息，且该发明能准确的获取移动机器人在玻璃平面以及光伏平面上的打滑信息。在视觉信息丢失后，通过轮速计以及惯性导航能在一定时间范围内保证移动机器人的基本定位需求，使移动机器人能在复杂的玻璃场景下完成点到点的导航、区域覆盖等高精度任务。本发明的定位方法，具有极高的鲁棒性和精确性，且本发明的定位方法的成本极低(低成本的传感器、一定的计算成本)，同时该发明用于视觉定位的阵列边界信息是所有玻璃阵列场景以及光伏阵列场景都具有的基本信息，因此本发明还具有很高的适用性；对于具有类似边界信息的其他阵列场景，也可以通过本发明的定位方法获得厘米级的定位效果。
本发明的定位由轮式里程与视觉里程两部分融合获得。轮式里程，将惯性测量单元测得的姿态信息直接作为轮式里程计航迹推演的姿态信息，代替通过两轮差速模型计算出的机器人姿态。而后结合轮速计获取的轮速，二者紧耦合得到轮式里程。视觉定位，由于玻璃阵列以及光伏阵列上可用于定位的参照物较少，且场景相似度较高，传统的视觉定位技术难以在玻璃幕墙上取得较好的效果。本方案应用语义SLAM技术，通过外置的多个摄像头获取环境图片，而后通过深度学习的模型进行语义分割或端到端学习的方法，提取所处单块阵列(玻璃阵列以及光伏阵列)的边界信息，再与预先建立好或实时构建的地图进行匹配，计算重投影误差，而后通过非线性优化得到使重投影误差最小的机器人的位姿，该视觉里程定位能准确得到机器人在水平和竖直方向的位移及姿态(朝向)。考虑到复杂环境下视觉信息可能丢失的情况，本发明最后通过扩展卡尔曼滤波器将上述两个定位进行融合，最终形成一个全局可靠、精确稳定的低成本的定位系统。在其他类似的阵列场景，通过跟换提取边界信息的深度学习模型，即可通过同样的方式获取一个厘米级的定位。
因此本发明基于语义SLAM技术通过深度学习的方法对玻璃场景下的玻璃边界信息进行特定提取，建立包含所有玻璃边界信息(玻璃与玻璃之间的缝隙、玻璃与墙面之间的衔接线、玻璃与金属框之间的衔接线、玻璃悬空处的边界等，材质包括橡胶、塑料等)的平面2D地图，而后基于此地图得到一个厘米级的视觉定位信息。需要注意的是在定位时若摄像头范围内仅有一条玻璃边界信息，此时只能获得机器人相对这条线的距离以及机器人的朝向，不能获得机器人沿这条线段方向的位置信息，因此本方案采用多个摄像头为机器人提供图像信息，扩大机器人的可视范围，保证单一时刻内机器人能看到多条不同方向的玻璃边界信息。
光伏场景基本与玻璃场景一致，不同的是玻璃场景下构建的是玻璃阵列的边界信息，光伏场景是通过提取光伏阵列的边界信息(光伏板的金属边框)来构建地图。还需说明的是光伏阵列通过处于空旷的室外环境且光伏阵列相对地面的倾斜程度通常不高，GNSS配合RTK的组合导航方式在此场景下有一定可用性，但考虑到其高额的成本(建立基站等配套成本)，本方案不使用此技术。
综上，在玻璃阵列场景以及光伏阵列场景下，本方案的机器人定位信息由多传感器融合获得，传感器包括，轮式编码器、惯性测量单元(Inertial Measurement Unit，简称IMU)以及外置摄像头。通过轮式编码器与惯性测量单元的紧耦合，可以得到一个基本的全局定位，该定位主要用于全局建图以及在视觉信息丢失时保证移动机器人基本的定位需求。另外本方采用多个摄像头配合语义SLAM技术以玻璃阵列以及光伏阵列的边界为感知信息为机器人提供一个无漂、精确的全局视觉定位信息。二者相融合构成本方案的定位系统。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于识别阵列边界的移动机器人定位方法，所述阵列包括玻璃阵列和光伏阵列，所述移动机器人包括机身，所述机身包括底盘以及支撑框架，其特征在于，通过预先构建环境地图，并根据环境地图进行匹配得到视觉定位，然后通过轮式里程融合视觉定位得到移动机器人的全局定位，包括以下步骤：
S1：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S2：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S3：通过设置在移动机器人上的多个摄像头，获取移动机器人所处环境的多角度图像数据，然后通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，将图像中的边界数据投影到机器人坐标系；
S4：通过步骤S2中得到的移动机器人的轮式里程，获取移动机器人在当前里程一定范围内所处环境地图中的阵列边界数据；
S5：将当前观测到的机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，而后将获取到的移动机器人所处单块阵列的边界数据与获取到的环境地图中存放的阵列边界数据进行匹配，计算二者之间的重投影误差，再通过非线性优化得到使重投影误差最小的移动机器人的视觉定位；
S6：通过扩展卡尔曼滤波器将步骤S2得到的轮式里程和步骤S5得到的视觉定位进行融合即可得到移动机器人最终的定位。
2.根据权利要求1所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述机身还包括固定板以及上盖，所述支撑框架固定设置在所述底盘上，所述固定板固定设置在所述支撑框架的上端，所述上盖包覆设置在所述固定板上。
3.根据权利要求2所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述底盘上位于左侧和右侧的位置均设置有行走机构，所述移动机器人在所述行走机构的驱动下进行移动。
4.根据权利要求1-3中任一所述的基于识别阵列边界的移动机器人定位方法，其特征在于，预先构建环境地图，具体包括以下步骤：
S01：传感器标定，对惯性测量单元和多个摄像头的参数进行标定；
S02：通过设置在移动机器人上的惯性测量单元，获取移动机器人所处环境的IMU数据，得到移动机器人的姿态信息；
S03：通过设置在移动机器人上的轮式编码器，获取移动机器人的轮速，然后结合移动机器人的姿态信息进行航迹推演，得到移动机器人的轮式里程；
S04：通过设置在移动机器人上的多个摄像头，获取移动机器人的所处环境的多角度图像数据，通过深度学习模型进行语义分割或端到端学习的方法，提取移动机器人所处单块阵列的边界数据，然后通过标定得到的多个摄像头的参数获取像素平面到机器人坐标系的坐标变换，并将图像中的边界数据投影到机器人坐标系；
S05：将机器人坐标系下的边界数据通过轮式里程投影到世界坐标系，并将数据进行存储，以此构建基于边界数据的环境地图。
5.根据权利要求4所述的基于识别阵列边界的移动机器人定位方法，其特征在于，步骤S01中，对设置在移动机器人上的惯性测量单元和多个摄像头的参数进行标定，具体包括惯性测量单元数据的初始零偏和随机游走误差，以及各个摄像头的内部参数和外部参数。
6.根据权利要求4所述的基于识别阵列边界的移动机器人定位方法，其特征在于，在预先构建环境地图的过程中，同时进行回环检测，若检测到回环便对环境地图进行相应的矫正。
7.根据权利要求3所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述行走机构包括驱动电机、驱动轮、橡胶履带、张紧轮以及同步轮，其中：所述驱动电机的输出轴与所述驱动轮固定连接，所述驱动轮在所述驱动电机的驱动下进行转动；所述驱动轮通过所述橡胶履带驱动所述同步轮进行转动，所述驱动轮与所述同步轮之间设置有多个所述张紧轮。
8.根据权利要求7所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述底盘上位于左侧和右侧的位置分别设置有第一定位通孔和第二定位通孔，且所述第一定位通孔和第二定位通孔中均设置有一所述橡胶履带。
9.根据权利要求4所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述支撑框架包括第一支撑板、第二支撑板、第三支撑板以及第四支撑板，其中：所述第一支撑板沿长度方向设置在所述底盘的左侧壁，所述第二支撑板沿长度方向设置在所述底盘的前侧壁，所述第三支撑板沿长度方向设置在所述底盘的右侧壁，所述第四支撑板设置在所述底盘的后侧壁。
10.根据权利要求9所述的基于识别阵列边界的移动机器人定位方法，其特征在于，所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板的高度均相同，且所述第一支撑板、第二支撑板、第三支撑板以及第四支撑板为一体成型。
CN202011318912.5A 2020-11-23 2020-11-23 一种基于识别阵列边界的移动机器人定位方法 Active CN112476433B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011318912.5A CN112476433B (zh) 2020-11-23 2020-11-23 一种基于识别阵列边界的移动机器人定位方法
PCT/CN2021/132590 WO2022105933A1 (zh) 2020-11-23 2021-11-23 一种基于识别阵列边界的移动机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011318912.5A CN112476433B (zh) 2020-11-23 2020-11-23 一种基于识别阵列边界的移动机器人定位方法

Publications (2)

Publication Number Publication Date
CN112476433A true CN112476433A (zh) 2021-03-12
CN112476433B CN112476433B (zh) 2023-08-04

Family

ID=74932868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318912.5A Active CN112476433B (zh) 2020-11-23 2020-11-23 一种基于识别阵列边界的移动机器人定位方法

Country Status (2)

Country Link
CN (1) CN112476433B (zh)
WO (1) WO2022105933A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113198765A (zh) * 2021-05-03 2021-08-03 深圳怪虫机器人有限公司 一种可自动返航以及续航的光伏清洁机器人
CN113414157A (zh) * 2021-06-20 2021-09-21 深圳怪虫机器人有限公司 一种基于视觉slam的光伏清洁机器人
CN113568415A (zh) * 2021-09-26 2021-10-29 深圳市商汤科技有限公司 一种移动机器人及其沿边移动方法、计算机存储介质
CN114415698A (zh) * 2022-03-31 2022-04-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
WO2022105933A1 (zh) * 2020-11-23 2022-05-27 深圳怪虫机器人有限公司 一种基于识别阵列边界的移动机器人定位方法
CN114877892A (zh) * 2022-07-11 2022-08-09 泉州通维科技有限责任公司 一种用于光伏机器人的融合定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CN108253963A (zh) * 2017-12-20 2018-07-06 广西师范大学 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN109959377A (zh) * 2017-12-25 2019-07-02 北京东方兴华科技发展有限责任公司 一种机器人导航定位系统及方法
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340852B2 (en) * 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
CN110458885B (zh) * 2019-08-27 2024-04-19 纵目科技（上海）股份有限公司 基于行程感知与视觉融合的定位系统和移动终端
CN111687859A (zh) * 2020-06-20 2020-09-22 深圳怪虫机器人有限公司 一种光伏清洁机器人获取最优作业路径的方法
CN112476433B (zh) * 2020-11-23 2023-08-04 深圳怪虫机器人有限公司 一种基于识别阵列边界的移动机器人定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CN108253963A (zh) * 2017-12-20 2018-07-06 广西师范大学 一种基于多传感器融合的机器人自抗扰定位方法以及定位系统
CN109959377A (zh) * 2017-12-25 2019-07-02 北京东方兴华科技发展有限责任公司 一种机器人导航定位系统及方法
CN109579844A (zh) * 2018-12-04 2019-04-05 电子科技大学 定位方法及系统
CN110706248A (zh) * 2019-08-20 2020-01-17 广东工业大学 一种基于slam的视觉感知建图算法及移动机器人

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105933A1 (zh) * 2020-11-23 2022-05-27 深圳怪虫机器人有限公司 一种基于识别阵列边界的移动机器人定位方法
CN113198765A (zh) * 2021-05-03 2021-08-03 深圳怪虫机器人有限公司 一种可自动返航以及续航的光伏清洁机器人
CN113414157A (zh) * 2021-06-20 2021-09-21 深圳怪虫机器人有限公司 一种基于视觉slam的光伏清洁机器人
WO2022267336A1 (zh) * 2021-06-20 2022-12-29 深圳怪虫机器人有限公司 一种基于视觉slam的光伏清洁机器人
CN113568415A (zh) * 2021-09-26 2021-10-29 深圳市商汤科技有限公司 一种移动机器人及其沿边移动方法、计算机存储介质
CN113568415B (zh) * 2021-09-26 2022-01-18 深圳市商汤科技有限公司 一种移动机器人及其沿边移动方法、计算机存储介质
CN114415698A (zh) * 2022-03-31 2022-04-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备
CN114877892A (zh) * 2022-07-11 2022-08-09 泉州通维科技有限责任公司 一种用于光伏机器人的融合定位方法

Also Published As

Publication number Publication date
WO2022105933A1 (zh) 2022-05-27
CN112476433B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN112476433B (zh) 一种基于识别阵列边界的移动机器人定位方法
US11802769B2 (en) Lane line positioning method and apparatus, and storage medium thereof
CN109887057B (zh) 生成高精度地图的方法和装置
Kelly et al. Combined visual and inertial navigation for an unmanned aerial vehicle
CN110411444B (zh) 一种地面下采掘移动设备用惯性导航定位系统与定位方法
CN110044354A (zh) 一种双目视觉室内定位与建图方法及装置
US10800344B2 (en) Aerial photogrammetric device and aerial photogrammetric method
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN109676604A (zh) 机器人曲面运动定位方法及其运动定位系统
CN107145578A (zh) 地图构建方法、装置、设备和系统
CN108226938A (zh) 一种agv小车的定位系统和方法
CN107235013A (zh) 车载导航定位全景云台
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN114088087B (zh) 无人机gps-denied下高可靠高精度导航定位方法和系统
CN111427363B (zh) 一种机器人导航控制方法及系统
CN110864692A (zh) 掘进机的位姿确定方法
CN111182174A (zh) 一种扫地机器人补光的方法及装置
WO2018133077A1 (zh) 一种智能轮椅的环境信息收集与反馈系统及方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN114910069A (zh) 一种无人机的融合定位初始化系统及方法
US8332181B1 (en) System and method for alignment using a portable inertial device
CN117234203A (zh) 一种多源里程融合slam井下导航方法
CN116659490A (zh) 低成本视觉-惯性融合的slam方法
CN112556681A (zh) 一种基于视觉的果园机械导航定位方法
KR20210051030A (ko) 센서 바이어스 보정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant