CN115222905B - 基于视觉特征的空地多机器人地图融合方法 - Google Patents
基于视觉特征的空地多机器人地图融合方法 Download PDFInfo
- Publication number
- CN115222905B CN115222905B CN202210791822.0A CN202210791822A CN115222905B CN 115222905 B CN115222905 B CN 115222905B CN 202210791822 A CN202210791822 A CN 202210791822A CN 115222905 B CN115222905 B CN 115222905B
- Authority
- CN
- China
- Prior art keywords
- map
- sub
- ugv
- uav
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 97
- 238000013178 mathematical model Methods 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims description 66
- 230000004927 fusion Effects 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 description 22
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000283084 Balaenoptera musculus Species 0.000 description 1
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于视觉特征的空地多机器人地图融合方法，其利用地面移动机器人和无人机独立采集数据并创建各自的子地图；根据相应的子地图，分别构建相应的子地图数学模型，并对不同子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；再根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图；上述方法分别通过UGV和UAV使用算法构建局部子地图，局部地图拥有误差小、精度高的特性，通过数据关联将各自的子地图进行融合，最终能够合并成精度较高的全局一致性地图，使得利用本方法得到的地图更加完整，并且具有更小的误差。
Description
技术领域
本发明涉及图像定位的技术领域，特别涉及基于视觉特征的空地多机器人地图融合方法。
背景技术
目前，单独使用地面移动机器人(Unmanned Ground Vehicle，UGV)或无人机(Unmanned Aerial Vehicle，UAV)解决室内大场景中定位与建图(SimultaneousLocalization and Mapping，SLAM)问题的效果各有优劣。UGV具有负载大的优势，可以携带多个高性能传感器实现精准的环境建模，但是受限于对环境的通过性，UGV无法遍历全部环境以构建完整地图。相对应的，UAV具有良好的环境通过能力，通过搭载小型深度相机可以快速构建稠密的点云地图，但是续航弱，且搭载的传感器性能有限导致大场景下效果较差。
虽然使用地空多机器人能够有效解决SLAM存在的众多问题，但是UGV和UAV使用不同传感器所创建地图存在差异性，存在无法提取出相同特征实现子地图数据关联的问题，这无法有效合并形成精度较高的全局一致性地图。
发明内容
针对现有技术存在的缺陷，本发明提供基于视觉特征的空地多机器人地图融合方法，其利用地面移动机器人和无人机独立采集数据并创建各自的子地图；根据相应的子地图，分别构建相应的子地图数学模型，并对不同子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；再根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图；上述方法分别通过UGV和UAV使用算法构建局部子地图，局部地图拥有误差小、精度高的特性，通过数据关联将各自的子地图进行融合，最终能够合并成精度较高的全局一致性地图，使得利用本方法得到的地图更加完整，并且具有更小的误差。
本发明提供基于视觉特征的空地多机器人地图融合方法，其包括如下步骤：
步骤S1，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据；
步骤S2，对所述UGV数据进行分析处理，构建形成UGV子地图；对所述UAV数据进行分析处理，构建形成UAV子地图；
步骤S3，根据所述UGV子地图，构建UGV子地图数学模型；根据所述UAV子地图，构建UAV子地图数学模型；对所述UGV子地图数学模型和所述UAV子地图数学模型进行图像视频检测闭环关联处理，得到所述UGV子地图与所述UAV子地图之间的关联矩阵；
步骤S4，根据所述关联矩阵，对所述UGV子地图和所述UAV子地图进行融合，得到全局立体栅格地图。
进一步，在所述步骤S1中，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据具体包括：
当地面移动机器人UGV在室内场景的地面进行移动过程中，指示所述地面移动机器人UGV的激光雷达设备对室内场景进行扫描检测，得到UGV激光雷达数据；
当无人机UAV在所述室内场景进行飞行过程中，指示所述无人机UAV的摄像设备对所述室内场景进行拍摄，得到UAV图像数据。
进一步，在所述步骤S2中，对所述UGV数据进行分析处理，构建形成UGV子地图具体包括：
利用Cartographer算法对所述UGV激光雷达数据进行处理，根据UGV激光雷达数据包含的每个激光雷达数据帧，生成对应的局部子地图；
计算连续两个局部子地图之间的变换矩阵；再根据所述变换矩阵，将所有局部子地图，共同构建形成UGV子地图。
进一步，在所述步骤S2中，计算连续两个局部子地图之间的变换矩阵具体包括：
计算所述激光雷达设备在时间上连续的两次扫描检测得到的两个激光雷达数据帧分别对应的两个局部子地图之间的变换矩阵；其中，所述变换矩阵是指两个局部子地图在室内场景对应的三维空间上的三维空间坐标变换矩阵。
进一步，在所述步骤S2中，根据所述变换矩阵，将所有局部子地图，共同构建形成UGV子地图具体包括：
根据所述变换矩阵，对所有局部子地图中所有连续的两个局部子地图分别进行拼接，从而构建形成UGV子地图。
进一步，在所述步骤S2中，对所述UAV数据进行分析处理，构建形成UAV子地图具体包括：
利用RGBD SLAM方法，将所述UAV图像数据的每一帧图像与其对应的拍摄景深进行关联，提取得到每一帧图像的2D特征点对应的深度信息，从而将每一帧图像的2D特征点转换为3D特征点；
再根据每一帧图像的所有3D特征点信息，将所述UAV图像数据的所有帧图像组合转换为3D形式的UAV子地图。
进一步，在所述步骤S3中，根据所述UGV子地图，构建UGV子地图数学模型具体包括：
以所述UGV子地图对应的坐标系C1为基准，从所述UGV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UGV子地图数学模型。
进一步，在所述步骤S3中，根据所述UAV子地图，构建UAV子地图数学模型具体包括：
以所述UAV子地图对应的坐标系C2为基准，从所述UAV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UAV子地图数学模型。
进一步，在所述步骤S3中，对所述UGV子地图数学模型和所述UAV子地图数学模型进行图像视频检测闭环关联处理，得到所述UGV子地图与所述UAV子地图之间的关联矩阵具体包括：
从所述UGV子地图数学模型和所述UAV子地图数学模型各自对应的图像序列中分别提取得到相应的ORB特征；
基于所述ORB特征，确定所述UGV子地图与所述UAV子地图之间所有相似的图像；
根据所述UGV子地图与所述UAV子地图之间所有相似的图像，构建所述UGV子地图与所述UAV子地图之间的全局约束；
根据所述全局约束，得到将所述UAV子地图进行坐标转换到所述UGV子地图上的变换矩阵最优解，并将所述变换矩阵最优解作为所述UGV子地图与所述UAV子地图之间的关联矩阵。
进一步，在所述步骤S4中，根据所述关联矩阵，对所述UGV子地图和所述UAV子地图进行融合，得到全局立体栅格地图具体包括：
根据所述关联矩阵，将所述UAV子地图转换到所述UGV子地图的坐标系后；再按照立体栅格地图融合方法，将所述UGV子地图和所述UAV子地图进行全局地图融合，从而得到地空多机器人全局一致性地图。
相比于现有技术，该基于视觉特征的空地多机器人地图融合方法利用地面移动机器人和无人机独立采集数据并创建各自的子地图；根据相应的子地图，分别构建相应的子地图数学模型，并对不同子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；再根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图；上述方法分别通过UGV和UAV使用算法构建局部子地图，局部地图拥有误差小、精度高的特性，通过数据关联将各自的子地图进行融合，最终能够合并成精度较高的全局一致性地图，使得利用本方法得到的地图更加完整，并且具有更小的误差。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于视觉特征的空地多机器人地图融合方法的流程示意图。
图2为图1所示的基于视觉特征的空地多机器人地图融合方法对应的流程框图。
图3为图1所示的基于视觉特征的空地多机器人地图融合方法中空地多机器人数据关联结构图。
图4为图1所示的基于视觉特征的空地多机器人地图融合方法中子地图位姿变换优化函数对应的优化情况示意图。
图5，7，9分别为本发明实际的实验场景1，2，3对应的UGV创建的子地图。
图6，8，10分别为本发明实际的实验场景1，2，3对应的UAV创建的子地图。
图11为本发明实际的实验场景1的建图结果对比示意图。
图12为本发明实际的实验场景2的建图结果对比示意图。
图13为本发明实际的实验场景3的建图结果对比示意图。
图14为本发明实际的实验场景1，2，3的建图精度误差对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的基于视觉特征的空地多机器人地图融合方法的流程示意图。该基于视觉特征的空地多机器人地图融合方法包括如下步骤：
步骤S1，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据；
步骤S2，对UGV数据进行分析处理，构建形成UGV子地图；对UAV数据进行分析处理，构建形成UAV子地图；
步骤S3，根据UGV子地图，构建UGV子地图数学模型；根据UAV子地图，构建UAV子地图数学模型；对UGV子地图数学模型和UAV子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；
步骤S4，根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图。
上述技术方案的有益效果为：该基于视觉特征的空地多机器人地图融合方法利用地面移动机器人和无人机独立采集数据并创建各自的子地图；根据相应的子地图，分别构建相应的子地图数学模型，并对不同子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；再根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图；上述方法分别通过UGV和UAV使用算法构建局部子地图，局部地图拥有误差小、精度高的特性，通过数据关联将各自的子地图进行融合，最终能够合并成精度较高的全局一致性地图，使得利用本方法得到的地图更加完整，并且具有更小的误差。
请参阅图2，为图1所示的基于视觉特征的空地多机器人地图融合方法对应的流程框图。该图2以流程框图的形式简化地呈现出本发明的基于视觉特征的空地多机器人地图融合方法的过程，其与上述图1本质上是相同的，故这里不对图2进行详细的叙述。
优选地，在步骤S1中，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据具体包括：
当地面移动机器人UGV在室内场景的地面进行移动过程中，指示地面移动机器人UGV的激光雷达设备对室内场景进行扫描检测，得到UGV激光雷达数据；
当无人机UAV在室内场景进行飞行过程中，指示无人机UAV的摄像设备对室内场景进行拍摄，得到UAV图像数据。
上述技术方案的有益效果为：在实际测量工作中，地面移动机器人上会安装有激光雷达设备，当地面机器人在室内空间的地面进行移动过程中，激光雷达设备会对室内空间的地面区域进行激光雷达扫描，从而得到相应的激光雷达数据；其中，该激光雷法数据包括室内空间地面区域的激光点云数据。相应地，无人机上会安装有深度相机等摄像设备，当无人机在室内空间的上空进行飞行过程中，摄像设备会对室内空间的上空区域进行拍摄，从而得到相应的图像数据；其中，该图像数据包括室内空间上空区域的影像。
优选地，在步骤S2中，对UGV数据进行分析处理，构建形成UGV子地图具体包括：
利用Cartographer算法对UGV激光雷达数据进行处理，根据UGV激光雷达数据包含的每个激光雷达数据帧，生成对应的局部子地图；
计算连续两个局部子地图之间的变换矩阵；再根据变换矩阵，将所有局部子地图，共同构建形成UGV子地图。
上述技术方案的有益效果为：Cartographer算法为常用的SLAM计算方法，在实际操作中，每当激光雷达设备完成一次激光雷达扫描后，会相应形成一个激光雷达数据帧，此时对当前形成的激光雷达数据帧进行Cartographer算法处理，生成对应的局部子地图，这样当激光雷达设备在连续进行多次激光雷达扫描后，会形成多个局部子地图。再计算连续连个局部子地图之间在三维空间上的变换矩阵，以此对所有局部子地图进行三维空间上的组合。
在实际应用中，利用Cartographer算法对UGV激光雷达数据进行处理，根据UGV激光雷达数据包含的每个激光雷达数据帧，生成对应的局部子地图可包括：
每当获取得到最新一次激光雷达扫描后形成的激光雷达数据帧后，便与当前最近建立的局部子地图进行匹配，使得上述最新的激光雷达数据帧插入到当前最近建立的局部子地图最优位置，其具体利用下面公式(1)来实现上述过程：
在上述公式(1)中，hk表示最新一次激光雷达扫描后形成的激光雷达数据帧；Tξ表示将最新一次激光雷达扫描后形成的激光雷达数据帧插入到当前最近建立的局部子地图对应旋转矩阵；K表示激光雷达扫描得到的激光雷达数据帧的总数量；Msmooth表示平滑处理函数；argmin表示使用高斯牛顿方法求解最小二乘问题；
通过上述公式(1)，在不断插入最新的激光雷达数据帧的同时更新局部子地图，当不再有新的激光雷达数据帧插入到局部子地图时，即认为当前局部子地图已经创建完成。
此外，局部子地图还可使用基于八叉树数据结构的立体栅格地图Octomap，上述地图由占据、空闲和未知三种立体栅格组成；其中，每一个立体栅格可通过下面公式(2)进行实时更新，
L(n|z1：t+1)＝L(n|z1：t-1)+L(n|zt) (2)
在上述公式(2)中，L(.)函数表示对数比(Log Odds Ratio)；L(n|z1：t+1)表示已知时刻1到时刻t+1之间测量数据z1：t+1条件下叶子节点n的对数比；L(n|z1：t-1)表示已知时刻1到时刻t-1之间测量数据z1：t-1条件下叶子节点n的对数比；L(n|zt)表示已知时刻t时刻测量数据zt条件下叶子节点n的对数比。
优选地，在步骤S2中，计算连续两个局部子地图之间的变换矩阵具体包括：
计算激光雷达设备在时间上连续的两次扫描检测得到的两个激光雷达数据帧分别对应的两个局部子地图之间的变换矩阵；其中，变换矩阵是指两个局部子地图在室内场景对应的三维空间上的三维空间坐标变换矩阵。
上述技术方案的有益效果为：两个不同局部子地图是分属不同激光雷达扫描形成的，这样两个局部子地图相互之间不可避免存在三维空间坐标的差异，通过计算连续两个局部子地图之间在三维空间坐标变换矩阵，能够保证两个局部子地图之间精确进行组合，有效减小组合产生的误差。
优选地，在步骤S2中，根据变换矩阵，将所有局部子地图，共同构建形成UGV子地图具体包括：
根据变换矩阵，对所有局部子地图中所有连续的两个局部子地图分别进行拼接，从而构建形成UGV子地图。
上述技术方案的有益效果为：通过上述方式，利用在三维空间的坐标变换矩阵，能够将所有局部子地图中所有相邻连续的两个局部子地图分别进行拼接，从而实现所有局部子地图的相互逐一拼接，保证最终形成的UGV子地图能够全面反映室内场景地面区域的真实情况。
优选地，在步骤S2中，对UAV数据进行分析处理，构建形成UAV子地图具体包括：
利用RGBD SLAM方法，将UAV图像数据的每一帧图像与其对应的拍摄景深进行关联，提取得到每一帧图像的2D特征点对应的深度信息，从而将每一帧图像的2D特征点转换为3D特征点；
再根据每一帧图像的所有3D特征点信息，将UAV图像数据的所有帧图像组合转换为3D形式的UAV子地图。
上述技术方案的有益效果为：RGBD SLAM方法为常用的SLAM计算方法，在实际操作中，当深度相机等摄像设备对室内场景的上空区域进行深度拍摄后，会得到帧序列形式的UAV图像数据，该UAV图像数据中的每一帧图像一一对应不同的拍摄景深，将UAV图像数据的每一帧图像与其对应的拍摄景深进行关联，并将每一帧图像的2D特征点转换3D特征点，能够实现UAV图像数据的三维转换，从而提高后续进行地图融合后的地图三维视觉可靠性。
在实际应用中，RGBD SLAM方法具体包括：
SLAM前端将一帧图像和对应的深度数据关联，利用针孔相机模型构建相似三角形，结合相机内参数、相机外参数转换后得到点云信息。前端视觉里程计的局部帧间匹配采用PnP Ransac(Perspective-n-Point Random sample consensus)的方式来实现，其中的特征描述因子通过汉明距离进行初步筛选后结合随机采样一致性算法进行匹配。还有，将筛选后的2D特征点恢复处深度信息，从而转变为3D特征点，再通过3D-3D点对来计算相机的位姿变换。上述局部帧间匹配采用光束平差法重投影进行优化位姿μ，其可用下面公式(3)表征，
在上述公式(3)中，μ*表示优化后的位姿对应的向量；μ表示优化前的位姿对应的向量；^表示将向量转换为反对称矩阵；K表示相机内参矩阵；Pi表示第i个空间坐标点；ui表示第i个像素坐标；exp表示指数映射；n表示每一帧图像包含的像素点总数量；argmin表示使用高斯牛顿方法求解最小二乘问题；si表示第i个像素的像素深度；表示计算每一个投影点在图像上的实际像素坐标ui与预测像素坐标/>之间的误差，利用所有像素坐标的二阶范数||.||2 2，使其取最小值的位姿，即为相机的最优姿态估计μ*；
SLAM后端则使用位姿图优化方法估计机器人的位姿E，其通过下面公式(4)所示，
在上述公式(4)中，表示第i个待优化关键图像帧的位姿；Ti,j表示第i个待优化关键图像帧与第j个待优化关键图像帧之间的位姿变换；/> 表示利用位姿约束Ti,j将第j个关键帧位姿x* j投影到第i个关键帧位姿x* i所在的坐标系中，计算它们之间的位姿误差的二阶范数||.||2 2，使其取最小值，即得到所有关键帧的最优状态估计E；
通过构建一个最小二乘问题优化所有位姿，使得E最小的就是机器人的最优状态估计。
优选地，在步骤S3中，根据UGV子地图，构建UGV子地图数学模型具体包括：
以UGV子地图对应的坐标系C1为基准，从UGV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UGV子地图数学模型。其中，对应的点云数据、图像像素数据、图像深度数据和位姿数据可分别表示为
上述技术方案的有益效果为：通过上述方式，在UGV子地图对应的空间坐标系中，以点云数据、图像像素数据、图像深度数据和位姿数据作为UGV子地图数学模型的四个模型元素，能够最大限度地全面有效地表征UGV子地图数学模型，从而提高UGV子地图数学模型的构建可靠性；其中，利用点云数据、图像像素数据、图像深度数据和位姿数据构建相应子地图数据模型属于本领域的常规技术，这里不做详细的叙述。
优选地，在步骤S3中，根据UAV子地图，构建UAV子地图数学模型具体包括：
以UAV子地图对应的坐标系C2为基准，从UAV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UAV子地图数学模型。其中，对应的点云数据、图像像素数据、图像深度数据和位姿数据可分别表示为
上述技术方案的有益效果为：通过上述方式，在UAV子地图对应的空间坐标系中，以点云数据、图像像素数据、图像深度数据和位姿数据作为UAV子地图数学模型的四个模型元素，能够最大限度地全面有效地表征UAV子地图数学模型，从而提高UAV子地图数学模型的构建可靠性；其中，利用点云数据、图像像素数据、图像深度数据和位姿数据构建相应子地图数据模型属于本领域的常规技术，这里不做详细的叙述。
综上，UGV的位姿数据和UAV的位姿数据均可采用4元数的形式表示，其可如下面公式(5)所示，
{t,x,y,z,qx,qy,qz,qw} (5)
在上述公式(5)中，t表示时间戳；x、y、z表示在X、Y、Z轴上的平移；qx、qy、qz、qw表示以四元数形式表示的旋转。四元数表示的姿态信息可以转换为位姿变换矩阵T，包含3×3的旋转矩阵R、3×1的平移向量t和维数兼容的值全为1的向量I，即
其中，上述旋转矩阵R可通过下面公式(6)表示，
请参阅图3所示，为图1所示的基于视觉特征的空地多机器人地图融合方法中空地多机器人数据关联结构图。该图3完整反映了空地多机器人中点云数据、图像像素数据、图像深度数据和位姿数据之间的关联方案。在该图3中，对于UGV采集的数据，SubmapC1是其建立的子地图，代表UGV位姿及对应变换矩阵集合，/>代表图像帧数据集合，/>代表其它深度数据、点云数据等。对于UAV采集的数据，SubmapC2代表其建立的子地图，代表UAV位姿及对应变换矩阵集合，/>代表图像帧数据集合，/>代表深度数据流集合，中间的双实线框代表图像相似性检测部分。单实线代表数据对应关系，点划线代表构建初始解的关联关系，粗线代表图像相似度匹配部分。
优选地，在步骤S3中，对UGV子地图数学模型和UAV子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵具体包括：
从UGV子地图数学模型和UAV子地图数学模型各自对应的图像序列中分别提取得到相应的ORB特征；
基于ORB特征，确定UGV子地图与UAV子地图之间所有相似的图像；
根据UGV子地图与UAV子地图之间所有相似的图像，构建UGV子地图与UAV子地图之间的全局约束；
根据全局约束，得到将UAV子地图进行坐标转换到UGV子地图上的变换矩阵最优解，并将变换矩阵最优解作为UGV子地图与UAV子地图之间的关联矩阵。
上述技术方案的有益效果为：通过上述方式，以UGV子地图数学模型和UAV子地图数学模型各自对应的图像序列的ORB特征为基准，并利用汉明距离作为两个图像序列中图像相似性的判断依据(即若两个图像序列中对应的两个图像的ORB特征之间的汉明距离小于预设阈值，则确定对应的两个图像属于相似的图像；否则，确定对应的两个图像不属于相似的图像)；再以所有相似的图像为基准，构建UGV子地图与UAV子地图之间的全局约束关系，并且对该全局约束关系进行相应的最小二乘问题优化解算，能够得到将UAV子地图进行坐标转换到UGV子地图上的变换矩阵最优解，从而实现对UAV子地图与UGV子地图的同一空间坐标融合。其中，构建上述全局约束关系和对上述全局约束关系进行相应的最小二乘问题优化解算均属于本领域的常规技术，这里不做详细的叙述。
在实际应用中，分别从UGV和UAV创建的子地图中的图像序列提取ORB特征，使用描述子对它们进行数据关联。使用汉明距离作为图像相似性的判断依据，当ORB特征之间的汉明距离小于预设预设，则确定对应的两个图像属于相似的图像，此时判读ORB特征关联成功，以及统计成功匹配的ORB特征数量；否则，确定对应的两个图像不属于相似的图像。
比如，当UGV和UAV里对应的图像分别是和/>时，它们之间成功关联的ORB特征的数量记为/>计算子地图中所有图像之间的特征关联数之后，其中n，m分别表示UGV子地图和UAV子地图各自包含的图像数量，最终得到满足一定特征关联数的L个成功关联的图像对，形成如下集合：/>
在得到UGV和UAV子地图中的关联图像对之后，利用UAV图像数据中的深度信息计算对应视觉特征的3D位置信息，之后，采用EPNP(Estimation Perspective N Point)方法计算它与UGV图像之间的相对位姿变换。
EPNP利用多对匹配成功的特征信息计算机器人位姿变换，在世界坐标系中使用虚拟控制点的加权表示特征三维坐标，通过求解控制点在相机参考坐标系下的坐标来计算机器人的位姿变换，如下面公式(7)所示：
在上述公式(7)中，U和V表示奇异分解后得到的酉矩阵，和/>表示两个相机下ORB特征点集的质心坐标。
再输入两幅匹配好的图像和/>以及对应的深度数据流/>到EPNP中，计算得到UAV相机图像/>变换到UGV相机图像/>的位姿变换，再通过各自的相机坐标系转换为UAV和UGV基础坐标系之间的变换关系Tk。
将位姿变换矩阵Tk转换为旋转矩阵，并通过反对称以李代数形式的位姿ξ表示，使用BA构建最小二乘问题对其优化，其如下面公式(8)所示，
在上述公式(8)中，ξ*表示优化后的位姿对应的向量；^表示将向量转换为反对称矩阵；K表示相机内参矩阵；Pj表示第j个空间坐标点；uj表示第j个像素坐标；exp表示指数映射；n表示每一帧图像包含的像素点总数量；argmin表示使用高斯牛顿方法求解最小二乘问题；sj表示第j个像素的像素深度；表示计算每一个投影点在图像上的实际像素坐标uj与预测像素坐标/>之间的误差，利用所有像素坐标的二阶范数||.||2 2，使其取最小值的位姿，即为相机的最优姿态估计ξ*。
在优化结束后得到位姿，将ξ*转换为位姿变换矩阵选取具备最多特征关联束的图像对，利用里程计算信息计算它们之间的初始位姿变换矩阵，基于关联特征形成的约束进行优化，最后得到最优的位姿变换矩阵/>
具体地，根据上述公式(5)和(6)将将UGV在ik的位姿矩阵化得到将UAV在jk的位姿矩阵化得到/>根据上述公式/>中匹配的图像/>计算UAV子图坐标系到UGV子图的初始变换矩阵为/>其如下所示：
在上述公式(9)中，表示匹配图像之间的相机位姿变换。
再根据下面公式(10)中的所有L对相似图像集合计算每个得到矩阵集合如下：
基于上式建立关于子地图位姿变换优化函数，选定具备最多特征关联数的初始解，基优化后得到
从图4可以得到上述公式(11)对应的优化情况，在该图4所示为优化方向，将初始解和位姿放入到优化器中，优化的方法是依据式(14)计算得到的L组变换矩阵，计算从UAV转换到UGV子图中特征点对的距离误差和el(x)，优化后得到这个误差最小的矩阵。
代价函数采用如下的L组的匹配图像下的全局误差函数：
本发明通过LM算法进行优化，得到全局最优的位姿变换矩阵。
其中，LM算法需要计算误差项关于优化变量相机位姿的导数雅克比矩阵J(x)，将其线性化后如下式(13)：
E(x+Δx)≈E(x)+J(x)Δx (13)
将最小二乘问题展开对关于Δx的求导，令其为0，问题转化为下式(14)：
(H+λI)Δx＝g (14)
在上述公式(14)中，H＝J(x)TJ(x)表示海森矩阵，g表示展开的其余部分，λ表示调节因子。
最后当优化误差与上一次优化的结果在一个很小的范围δ内，或者达到优化次数上限，算法退出，如下式(15)：
|E(x+Δx)-E(x)|<δ (15)
从而在优化完毕后，得到最优的坐标系变换矩阵
优选地，在步骤S4中，根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图具体包括：
根据关联矩阵，将UAV子地图转换到UGV子地图的坐标系后；再按照立体栅格地图融合方法，将UGV子地图和UAV子地图进行全局地图融合，从而得到地空多机器人全局一致性地图。
上述技术方案的有益效果为：通过上述方式，以关联矩阵作为UAV子地图转换到UGV子地图的坐标系对应的坐标变换矩阵，这样可将UAV子地图融合统一到UGV子地图中，并且确保融合得到的地空多机器人全局一致性地图在室内场景的地面区域和上空区域均具有完整性和协调性，避免融合得到地图发生扭曲和失真。
在实际应用中，以UGV的第一个子地图为基准建立全局坐标系，将UGV和UAV建立的所有子地图转换到该坐标系下构建全局地图。对于UGV所创建的连续子地图，相应的位姿变换矩阵T为：
在上述公式(16)中，表示第i个子地图相对于第1个子地图的位姿变换；/>表示单位矩阵。
UAV创建的子图到UGV第j张子图的最优变换矩阵为UAV子图转换到全局坐标系的矩阵/>如下式(17)所示：
综上，首先根据最优变换矩阵将UAV子地图转换到UGV子地图的坐标系下，然后根据/>将空地局部子地图融合结果转换到世界坐标系下，按照立体栅格地图融合方法进行全局地图融合，最后得到空地多机器人全局一致性地图。
UAV创建的子地图到UGV创建的第j张子地图的最优变换矩阵为UAV创建的子地图转换到全局坐标系的矩阵/>如下式所示，
首先根据最优变换矩阵将UAV子地图转换到UGV子地图的坐标系下，然后根据/>将空地局部子地图融合结果转换到世界坐标系下，按照立体栅格地图融合方法进行全局地图融合，最后得到空地多机器人全局一致性地图。
从上述实施例的内容可知，该基于视觉特征的空地多机器人地图融合方法利用地面移动机器人和无人机独立采集数据并创建各自的子地图；根据相应的子地图，分别构建相应的子地图数学模型，并对不同子地图数学模型进行图像视频检测闭环关联处理，得到UGV子地图与UAV子地图之间的关联矩阵；再根据关联矩阵，对UGV子地图和UAV子地图进行融合，得到全局立体栅格地图；上述方法分别通过UGV和UAV使用算法构建局部子地图，局部地图拥有误差小、精度高的特性，通过数据关联将各自的子地图进行融合，最终能够合并成精度较高的全局一致性地图，使得利用本方法得到的地图更加完整，并且具有更小的误差。
还有，为了验证本发明中的算法有效性，利用UGV和UAV在三个场景中进行了实验验证。UGV为蓝鲸机器人小强XQ4-PRO，无人机为阿木实验室P200。其中UGV搭载了RFANS-32激光雷达与D435i深度相机，UAV搭载了D435i深度相机。两者系统均采用Ubuntu16.04系统，ROS版本为Kinect，数据处理的计算机配置为I7-4790K CPU，NVIDIA GeForce GTX 970和Ubuntu18.04。
UGV感知环境采用的传感器是北科天绘RFANS-32线机械式激光雷达，性能参数如下面表1：
表1 RFANS-32性能参数
UAV感知环境的主要传感器是D435i深度相机，该相机携带了惯性测量单元(Inertial Measurement Unit,IMU)，性能参数如下面表2：
表2 D435i性能参数
进一步，UGV创建的子地图如图6、9、12所示。UAV创建的子地图如图7、10、13所示，子地图中每一个立体栅格对应真实环境中的0.1米。
对UGV和UAV子地图的建图结果分析如下：
图11、图12、图13中的(a1)和(a2)是使用3.3.3节中优化前矩阵对UGV和UAV子地图融合得到的结果局部放大特写。图11、图12、图13的(b1)和(b2)是根据位姿与特征构建多重约束，通过优化后的变换矩阵对UGV和UAV子地图融合得到环境模型的局部放大图。对比空地多机器人子地图融合优化前后的效果图可知，位姿矩阵在优化后实现了更好的子地图融合效果。
图11、图12、图13的(c1)是单UGV使用Cartographer方法建立的全局地图。UGV在室内环境采集数据时，机器人在局部小范围内反复扫描，室内狭窄区域限制了激光雷达的发射角，导致传感器无法感知室内所有区域，存在无法对环境进行完整建模的缺点。本发明使用UAV获得质量较高的点云地图，然后转化为立体栅格图。然后使用本发明所提方法将UAV子地图与UGV所建地图进行融合，得到效果更好的全局地图。
基于视觉特征的空地多机器人子地图融合方法得到的全局地图如图11、图12、图13中的(c2)所示，框线表示使用本文所提算法融合UGV和UAV子地图的区域。在实际环境中选取若干角点，计算了栅格角点之间的距离，并对真实环境距离进行测量与之对比，结果如下面表3所示。
表3建图精度对比
计算表3中场景1、2、3的建图精度算法与真实距离的最大误差和平均误差，结果如表4、图14所示。
表4建图精度误差对比
由表4、图14可知，在场景1、2、3中，本文所提的空地多机器人子地图融合方法的最大误差与平均误差均小于单机器人Cartographer方法。
经实验结果分析，单UGV机器人使用激光雷达建图不完整，且易产生误差导致精度较低。使用本发明所提的空地多机器人子地图融合方法可以更加精准、全面地构建全局立体栅格地图。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.基于视觉特征的空地多机器人地图融合方法，其特征在于，其包括如下步骤：
步骤S1，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据；
步骤S2，对所述UGV数据进行分析处理，构建形成UGV子地图；对所述UAV数据进行分析处理，构建形成UAV子地图，包括：
利用Cartographer算法对所述UGV激光雷达数据进行处理，根据UGV激光雷达数据包含的每个激光雷达数据帧，生成对应的局部子地图；计算连续两个局部子地图之间的变换矩阵；再根据所述变换矩阵，将所有局部子地图，共同构建形成UGV子地图；
其中，计算连续两个局部子地图之间的变换矩阵具体包括：计算所述激光雷达设备在时间上连续的两次扫描检测得到的两个激光雷达数据帧分别对应的两个局部子地图之间的变换矩阵；其中，所述变换矩阵是指两个局部子地图在室内场景对应的三维空间上的三维空间坐标变换矩阵；
步骤S3，根据所述UGV子地图，构建UGV子地图数学模型；根据所述UAV子地图，构建UAV子地图数学模型；
对所述UGV子地图数学模型和所述UAV子地图数学模型进行图像视频检测闭环关联处理，得到所述UGV子地图与所述UAV子地图之间的关联矩阵，包括：
从所述UGV子地图数学模型和所述UAV子地图数学模型各自对应的图像序列中分别提取得到相应的ORB特征；
基于所述ORB特征，确定所述UGV子地图与所述UAV子地图之间所有相似的图像；根据所述UGV子地图与所述UAV子地图之间所有相似的图像，构建所述UGV子地图与所述UAV子地图之间的全局约束；
根据所述全局约束，得到将所述UAV子地图进行坐标转换到所述UGV子地图上的变换矩阵最优解，并将所述变换矩阵最优解作为所述UGV子地图与所述UAV子地图之间的关联矩阵；
步骤S4，根据所述关联矩阵，对所述UGV子地图和所述UAV子地图进行融合，得到全局立体栅格地图，包括：
根据所述关联矩阵，将所述UAV子地图转换到所述UGV子地图的坐标系后；再按照立体栅格地图融合方法，将所述UGV子地图和所述UAV子地图进行全局地图融合，从而得到地空多机器人全局一致性地图。
2.如权利要求1所述的基于视觉特征的空地多机器人地图融合方法，其特征在于：在所述步骤S1中，通过地面移动机器人UGV和无人机UAV分别独立进行数据采集，从而得到UGV数据和UAV数据具体包括：
当地面移动机器人UGV在室内场景的地面进行移动过程中，指示所述地面移动机器人UGV的激光雷达设备对室内场景进行扫描检测，得到UGV激光雷达数据；
当无人机UAV在所述室内场景进行飞行过程中，指示所述无人机UAV的摄像设备对所述室内场景进行拍摄，得到UAV图像数据。
3.如权利要求2所述的基于视觉特征的空地多机器人地图融合方法，其特征在于：在所述步骤S2中，根据所述变换矩阵，将所有局部子地图，共同构建形成UGV子地图具体包括：
根据所述变换矩阵，对所有局部子地图中所有连续的两个局部子地图分别进行拼接，从而构建形成UGV子地图。
4.如权利要求3所述的基于视觉特征的空地多机器人地图融合方法，其特征在于：在所述步骤S2中，对所述UAV数据进行分析处理，构建形成UAV子地图具体包括：利用RGBD SLAM方法，将所述UAV图像数据的每一帧图像与其对应的拍摄景深进行关联，提取得到每一帧图像的2D特征点对应的深度信息，从而将每一帧图像的2D特征点转换为3D特征点；
再根据每一帧图像的所有3D特征点信息，将所述UAV图像数据的所有帧图像组合转换为3D形式的UAV子地图。
5.如权利要求4所述的基于视觉特征的空地多机器人地图融合方法，其特征在于：在所述步骤S3中，根据所述UGV子地图，构建UGV子地图数学模型具体包括：以所述UGV子地图对应的坐标系C1为基准，从所述UGV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UGV子地图数学模型。
6.如权利要求5所述的基于视觉特征的空地多机器人地图融合方法，其特征在于：在所述步骤S3中，根据所述UAV子地图，构建UAV子地图数学模型具体包括：以所述UAV子地图对应的坐标系C2为基准，从所述UAV子地图中提取得到点云数据、图像像素数据、图像深度数据和位姿数据，从而构建形成UAV子地图数学模型。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210791822.0A CN115222905B (zh) | 2022-07-05 | 2022-07-05 | 基于视觉特征的空地多机器人地图融合方法 |
| PCT/CN2022/127636 WO2024007485A1 (zh) | 2022-07-05 | 2022-10-26 | 基于视觉特征的空地多机器人地图融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210791822.0A CN115222905B (zh) | 2022-07-05 | 2022-07-05 | 基于视觉特征的空地多机器人地图融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115222905A CN115222905A (zh) | 2022-10-21 |
| CN115222905B true CN115222905B (zh) | 2024-03-22 |
Family
ID=83610553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210791822.0A Active CN115222905B (zh) | 2022-07-05 | 2022-07-05 | 基于视觉特征的空地多机器人地图融合方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115222905B (zh) |
| WO (1) | WO2024007485A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222905B (zh) * | 2022-07-05 | 2024-03-22 | 苏州大学 | 基于视觉特征的空地多机器人地图融合方法 |
| CN115965673B (zh) * | 2022-11-23 | 2023-09-12 | 中国建筑一局(集团)有限公司 | 基于双目视觉的集中式多机器人定位方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632606A (zh) * | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 信息处理方法和装置 |
| CN103941750A (zh) * | 2014-04-30 | 2014-07-23 | 东北大学 | 基于小型四旋翼无人机的构图装置及方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN110110763A (zh) * | 2019-04-19 | 2019-08-09 | 苏州大学 | 一种基于最大公共子图的栅格地图融合方法 |
| CN110119144A (zh) * | 2019-04-19 | 2019-08-13 | 苏州大学 | 基于子地图特征匹配的多机器人slam算法 |
| CN111413965A (zh) * | 2020-03-11 | 2020-07-14 | 西安工程大学 | 一种基于uav协同感知的ugv行驶路径规划方法 |
| CN113108773A (zh) * | 2021-04-22 | 2021-07-13 | 哈尔滨理工大学 | 一种融合激光与视觉传感器的栅格地图构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115222905B (zh) * | 2022-07-05 | 2024-03-22 | 苏州大学 | 基于视觉特征的空地多机器人地图融合方法 |
-
2022
- 2022-07-05 CN CN202210791822.0A patent/CN115222905B/zh active Active
- 2022-10-26 WO PCT/CN2022/127636 patent/WO2024007485A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632606A (zh) * | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 信息处理方法和装置 |
| CN103941750A (zh) * | 2014-04-30 | 2014-07-23 | 东北大学 | 基于小型四旋翼无人机的构图装置及方法 |
| CN106595659A (zh) * | 2016-11-03 | 2017-04-26 | 南京航空航天大学 | 城市复杂环境下多无人机视觉slam的地图融合方法 |
| CN110110763A (zh) * | 2019-04-19 | 2019-08-09 | 苏州大学 | 一种基于最大公共子图的栅格地图融合方法 |
| CN110119144A (zh) * | 2019-04-19 | 2019-08-13 | 苏州大学 | 基于子地图特征匹配的多机器人slam算法 |
| CN111413965A (zh) * | 2020-03-11 | 2020-07-14 | 西安工程大学 | 一种基于uav协同感知的ugv行驶路径规划方法 |
| CN113108773A (zh) * | 2021-04-22 | 2021-07-13 | 哈尔滨理工大学 | 一种融合激光与视觉传感器的栅格地图构建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多传感器融合的空地机器人协同建图技术研究;何彦兵;《中国矿业大学硕士学位论文》;第3-5章 * |
| 基于多模态信息的空地融合协同SLAM方法;陈一彬;《浙江工业大学工学硕士学位论文》;第4-6页，第2-4章，图1-3、3-1、4-1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115222905A (zh) | 2022-10-21 |
| WO2024007485A1 (zh) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| US11461912B2 (en) | Gaussian mixture models for temporal depth fusion | |
| CN115222905B (zh) | 基于视觉特征的空地多机器人地图融合方法 | |
| RU2713611C2 (ru) | Способ моделирования трехмерного пространства | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| KR20180004151A (ko) | 실시간 맵핑 및 로컬리제이션을 위한 장치 및 방법 | |
| Wulf et al. | Benchmarking urban six‐degree‐of‐freedom simultaneous localization and mapping | |
| CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
| Surmann et al. | 3D mapping for multi hybrid robot cooperation | |
| JP2012118666A (ja) | 三次元地図自動生成装置 | |
| CN109900274B (zh) | 一种图像匹配方法及系统 | |
| CN111899280A (zh) | 采用深度学习和混合型位姿估计的单目视觉里程计方法 | |
| Barczyk et al. | Towards realistic covariance estimation of ICP-based Kinect V1 scan matching: The 1D case | |
| Nirmal et al. | Homing with stereovision | |
| CN117456114B (zh) | 基于多视图的三维图像重建方法及系统 | |
| Ikeda et al. | 3D indoor environment modeling by a mobile robot with omnidirectional stereo and laser range finder | |
| Lyons et al. | Evaluation of field of view width in stereo-vision-based visual homing | |
| Nardi et al. | Generation of laser-quality 2D navigation maps from RGB-D sensors | |
| Guan et al. | Relative pose estimation for multi-camera systems from affine correspondences | |
| CN114419259B (zh) | 一种基于物理模型成像仿真的视觉定位方法及系统 | |
| Panek et al. | Visual localization using imperfect 3d models from the internet | |
| Murray et al. | Patchlets: Representing stereo vision data with surface elements | |
| Vemprala et al. | Collaborative localization for micro aerial vehicles | |
| CN113158816B (zh) | 面向室外场景物体的视觉里程计二次曲面路标构建方法 | |
| Ruf et al. | FaSS-MVS--Fast Multi-View Stereo with Surface-Aware Semi-Global Matching from UAV-borne Monocular Imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |