CN113570716A - 云端三维地图构建方法、系统及设备 - Google Patents
云端三维地图构建方法、系统及设备 Download PDFInfo
- Publication number
- CN113570716A CN113570716A CN202110860557.2A CN202110860557A CN113570716A CN 113570716 A CN113570716 A CN 113570716A CN 202110860557 A CN202110860557 A CN 202110860557A CN 113570716 A CN113570716 A CN 113570716A
- Authority
- CN
- China
- Prior art keywords
- map
- cloud
- image
- dimensional
- map data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000005457 optimization Methods 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000003860 storage Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 58
- 238000005259 measurement Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 27
- 238000005070 sampling Methods 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000000272 proprioceptive effect Effects 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种云端三维地图构建方法及系统、设备和计算机可读存储介质，其中，该云端三维地图构建方法包括：采用不同通信设备分别采集多组地图数据；将采集到的所述多组地图数据上传到云端；在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果；对所述处理结果进行优化，并得到优化结果；将每一组优化结果进行地图融合，以构建成三维地图。本发明提供的技术方案可以支持多设备采集，效率高速度快，且算法在云端进行，不受平台计算性能制约，可以并行化处理，同时兼顾效率和精度。
Description
技术领域
本发明涉及通信领域，尤其涉及一种云端三维地图构建方法及系统、设备和计算机可读存储介质。
背景技术
三维视觉地图是增强现实、机器人、无人驾驶等领域的关键技术之一，是自动辨识周围环境、视觉定位等技术的核心。随着各种传感器的普及、处理能力的增强以及各种应用需求的推动，每天都在采集越来越多的图像数据，同时生成并更新三维地图。
目前，无人驾驶、增强现实领域对三维地图的精度和效率要求越来越高，一方面需要高效的采集设备和方式，另一方面需要高精度的计算中心来支撑大规模数据的处理。目前三维地图的构建大都依赖于高精度的激光雷达或高精度RTK，对于消费级例如手机，运动相机，VR设备等廉价产品的建图的精度是一个挑战。目前市面上的建图系统大多是单设备独立采集和建图，效率低下，现有技术依赖外部设备的单一性，不能支持手机、机器人、 AR/VR设备、运动相机等多设备采集的数据联合建图。当多个设备采集的地图存在重复时，造成存储和计算资源浪费，而且多个设备的多传感器的融合建图也是一个技术难题，多时空，多时段的地图更新和融合是一个复杂问题。同时，在大范围采集数据时需要更高效的采集方式，海量数据的存储以及建图中心的处理能力也是巨大挑战，由于大规模建图设计海量数据和超大运算量，本地化建图受到很大制约，建图规模规模、速度和精度都有瓶颈。
因此，如何在降低成本和门槛的同时，满足三维地图的高精度和高效率的要求是业界亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种云端三维地图构建方法及系统、设备和计算机可读存储介质，支持多设备采集，效率高速度快，且算法在云端进行，不受平台计算性能制约，可以并行化处理，同时兼顾效率和精度。
一方面，本发明提出一种云端三维地图构建方法，其中，所述云端三维地图构建方法包括：
采用不同通信设备分别采集多组地图数据；
将采集到的所述多组地图数据上传到云端；
在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果；
对所述处理结果进行优化，并得到优化结果；
将每一组优化结果进行地图融合，以构建成三维地图。
优选的，所述通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理的步骤包括：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
优选的，所述对所述处理结果进行优化的步骤包括：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
优选的，所述云端三维地图构建方法还包括：
在完成地图融合之后，判断是否更新已有地图；
如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
如果不更新，则下载构建完成的所述三维地图。
另一方面，本发明还提出一种云端三维地图构建系统，其中，所述云端三维地图构建系统包括：
采集模块，用于采用不同通信设备分别采集多组地图数据；
上传模块，用于将采集到的所述多组地图数据上传到云端；
视觉惯性里程计模块，用于在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果；
优化模块，用于对所述处理结果进行优化，并得到优化结果；
融合模块，用于将每一组优化结果进行地图融合，以构建成三维地图。
优选的，所述视觉惯性里程计模块，具体用于：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
优选的，所述优化模块，具体用于：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
优选的，所述云端三维地图构建系统还包括：
更新模块，用于在完成地图融合之后，判断是否更新已有地图，如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
下载模块，用于如果不更新，则下载构建完成的所述三维地图。
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的云端三维地图构建方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述任一项所述的云端三维地图构建方法。
本发明提供的技术方案具有以下优点：可以支持多设备采集，效率高速度快，且算法在云端进行，不受平台计算性能制约，可以并行化处理，同时兼顾效率和精度；提供了一种多设备、多时空、多传感器融合的云端地图构建和更新方法，本算法在地图优化、融合和更新时都利用了惯性测量单元的时间戳、速度和零偏等信息，最大化保证了建图精度；通过多设备采集方案，可以实现高效快速采集，设备支持的多样性，可以使采集更灵活；利用云端多设备并行处理后再融合，地图构建和地图更新速度快。
附图说明
图1为本发明一实施方式中云端三维地图构建方法的流程示意图；
图2为本发明一实施方式中关键帧筛选的示意图；
图3为本发明一实施方式中云端三维地图构建系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下将对本发明所提供的一种云端三维地图构建方法进行详细说明。
请参阅图1，为本发明一实施方式中云端三维地图构建方法的流程示意图。
在步骤S11中，采用不同通信设备分别采集多组地图数据；
在本实施方式中，使用不同通信设备分别或者同时采集地图数据，其中，通信设备属于用户侧的各类通信设备，例如手机、机器人、增强现实(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、运动相机等等，这类通信设备都可以采集地图数据，包括：利用摄像头采集的图像数据或者视频数据，或者利用加速度计、陀螺仪采集的惯性测量单元(Inertial Measurement Unit，IMU)数据，如果通信设备具备GPS功能，则通信设备的GPS数据也一并采集，当然，摄像头采集的图像数据或者视频数据，和加速度计、陀螺仪采集的IMU数据是必须有的，GPS数据可有可无。在本实施方式中，每个通信设备采集到的地图数据算作一组，使用不同通信设备采集到M组地图数据，M为大于1的整数。
在步骤S12中，将采集到的多组地图数据上传到云端。
在本实施方式中，云端是属于网络侧的设备，例如服务器，云端的服务器分别与不同的通信设备进行通信，不同通信设备分别将各自采集到的多组地图数据上传到云端的服务器进行存储，然后备注更新的地图ID编号，如果没有备注，则默认为新建地图，而不是更新地图。
在步骤S13中，在云端中，通过视觉惯性里程计算法将多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果。
在本实施方式中，所述通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理的步骤包括：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
在本实施方式中，在云端的服务器接收到上传的地图数据后，启动视觉惯性里程计 (Visual Inertial Odometry，VIO)模块读取服务器中的数据，通过VIO算法对多组地图数据按照每组一个单元并行处理，每组地图数据得到一组处理结果。在本实施方式中，每组视觉惯性里程计模块的输入包括：序列化的图像(＞＝10Hz)、序列化图像中每张图像的时间戳和同步采集惯性测量单元(Inertial Measurement Unit，IMU)信息(＞＝100Hz，每帧IMU信息包括加速度计的数据以及时间戳，陀螺仪的数据以及时间戳)，通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每组地图数据的处理结果包括：每张图像的时间戳、每张图像的六自由度位姿(即位置和姿态)，以及对应的IMU的时间戳、速度和零偏(bias)。
在本实施方式中，这里的VIO算法可以是单目或多目VIO算法，包括但不限于EKF、MSCKF、VISLAM等各种基于优化或者滤波的VIO算法。在本实施方式中，这里的VIO 算法涉及的方法和框架有很多种，开源框架也有很多，例如VIORB、ROVIO、VINS-mono、 VINS-fusion、S-MSCKF、RVIO、openvins等等。在本实施方式中，如何融合视觉和IMU？对于不同的框架会有一些差异，主体分为基于优化和滤波两种，优化法被看作是一个最大似然估计(MaximumLikelihood Estimation，ML)公式，其中迭代地找到测量总概率最高的状态；滤波法被看作是一个最大后验估计(Maximum a posteriori estimation，MAP)公式，其中平台姿态的先验分布由本体感觉传感器的测量值构成，似然分布由外感受传感器的测量值构成。在本实施方式中，对于非线性动态模型和/或非线性测量模型，迭代EKF 等价于基于优化的方法迭代更新EKF中的每一步，优化法可以通过添加来自内部传感器或其它源测量的正则化项或先验项，将ML问题重新表述为MAP问题，这些是在线或因果算法，其中当前估计依赖于当前和以前的测量，离线或非随机算法是批处理过程，其中当前估计依赖于完整的数据集，或者可以说它们不仅依赖于当前和以前的测量，而且还依赖于未来的测量。在本实施方式中，在优化法中，批处理被分解为求解一组线性代数方程，在滤波法中，卡尔曼平滑算法可以通过前向和后向两种方法得到后向高斯分布。
在本实施方式中，并行化处理过程包括：对于上传的M组地图数据，每一组地图数据包括序列化的图像(＞＝10Hz)、序列化图像中每张图像的时间戳和同步采集IMU信息(＞＝100Hz，每帧IMU信息包括加速度计的数据以及时间戳，陀螺仪的数据以及时间戳)。每一组数据的处理被当做一个进程，放在某个服务器中运行VIO算法，启动进程可以由主服务器通过检测空闲机器，将每组地图数据随机发送到空闲机器上运行VIO算法，处理的结果返回到主服务器上。在本实施方式中，视觉惯性里程计算法比其它方法(例如视觉里程计VO/VSLAM方法，运动恢复结构SFM(Structure from motion)方法等)更能充分利用视频的序列信息，保证单个组的轨迹和地图精度比较高，而且能直接恢复场景的真实尺度。
在步骤S14中，对处理结果进行优化，并得到优化结果；
在本实施方式中，所述对所述处理结果进行优化的步骤包括：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
在本实施方式中，将步骤S13中M组地图数据的处理结果按照每组一个单元并行处理，得到M组输出，其中，每一组输入包括：该组的每一帧图像，图像的时间戳，以及每一张图像的六自由度位姿(即位置和姿态)，每一张图像对应的的IMU数据，即IMU的时间戳、速度和零偏(bias)。其中，输出包括：联合IMU与视觉优化后的关键帧(keyframe)，三维点云坐标，与每一个关键帧对应的IMU数据(即IMU的时间戳、速度和零偏)，其中，关键帧包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系。
在本实施方式中，对处理结果进行优化，每一个单元都做如下操作：
(1)特征提取，每一张图提取特征点和描述子，这里包括但不限于特征fast，Dog，harris，orb，breaf，或者深度学习特征superpoint，loft等，其中特征点和描述子主要用于后续图像或者特征匹配相关的计算；
(2)图像匹配，根据步骤(1)中的特征点和描述子做图像匹配，包括但不限于根据时序匹配，暴力匹配，词袋检索topN，深度学习检索topN或者空间位置做匹配后三角化，其中，图像匹配指的是根据每张图像的特征和描述子，通过匹配其它图特征点，特征点的描述子差异在一定阈值内，则认为相似，得到图像与图像之间特征点的匹配个数，两个图像的匹配特征点个数达到阈值，则认为两个图匹配成功；其中，时序匹配是指：按照图像的时间戳顺序对图像做匹配，每张图和在时间上与本图相差ta秒以内的其他图像做两两图像匹配；其中，暴力匹配是指：每张图与其他所有图做两两匹配；其中，词袋检索topN 是指：BOW(bagof words)模型是信息检索领域的文档表示方法，通过词袋模型检测到相似图像，topN就是提取出与目标图像相似度最高的前N张图，然后将这N张图与目标图像两两图像匹配；其中，深度学习检索topN是指：通过深度学习算法(例如NetVlad，MobileNet， HF-Net等)检索图像，得到与目标图像相似度最高的前N张图，然后将这N张图与目标图像两两图像匹配；其中，空间位置做匹配是指：每张图和在空间上与本图达到阈值(例如位置距离A米，角度差异B度)的其他图像做两两图像匹配；其中，三角化是指：已知两张图像的特征点的匹配关系，通过立体几何三角化得到三维空间的坐标点，这里匹配三角化主要是为了得到图像的2D特征点对应的空间3D点坐标；
(3)关键帧筛选，如图2实线方格是筛选出的关键帧所在的相机位置和朝向，虚线方格是筛除的非关键帧所在的相机位置和朝向，筛选一部分图像做关键帧(keyframe)，关键帧包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等，筛选原则包括但不限于根据帧间共视点个数均匀采样，帧间共视点比例均匀采样，帧间空间位置均匀采样，帧间时间间隔均匀采样等；其中，帧间共视点个数均匀采样是指：遍历每一帧图像，对于每一帧图像而言，如果当前帧2D特征对应的3D点与另外一帧图像2D特征对应的3D点的重复个数达到Po(即经验值)个，则把当前帧剔除，不做关键帧，剩下的就是关键帧；其中，帧间共视点比例均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧2D特征对应的3D点总数为Ps，与另外一帧图像的3D点的重复个数Pc(即经验值)个，其中Pc占当前帧2D特征对应的3D点总数的比例为Pc/Ps，如果Pc/Ps大于Pth1 (即经验值)则把当前帧剔除，不做关键帧，剩下的就是关键帧；其中，帧间空间位置均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧在空间位置上与其他帧达到阈值(距离小于Tb(即经验值)度，角度差异小于Rb(即经验值)度)则不作关键帧，剩下的就是关键帧；其中，帧间时间间隔均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧在在时间上与其他帧相差tb(即经验值)秒以内，则把当前帧剔除，不做关键帧，剩下的就是关键帧；
(4)闭环检测，包括但不限于词袋检索、深度学习检索，检索到相似图像以后，图像做两两2D特征匹配后做3D点融合，建立共视关联关系，其中，闭环检测又称回环检测，是指通过图像识别曾到达某场景，把此刻或者此图像生成的地图与其他时刻或者其他图像生成的地图做匹配；其中，闭环检测的方法包括：遍历所有关键帧keyframe，求解每一个关键帧的闭环候选帧，例如关键帧KFa通过词袋检索(如基于orb或者sift等BOW检索) 或深度学习检索(如NetVlad，MobileNet，HF-Net等)，求解出KFa与所有关键帧中最相似最高的topN作为候选关键帧Candidates1，然后通过共视簇covisibility clustering判断候选是否可靠，其中，共视簇判断方法是：遍历候选帧Candidates1中每一个候选关键帧，若与此候选关键帧的topM(M＝1，2，3...)的共视帧在候选关键帧Candidates1中，且不是KFa 的共视帧，则该候选帧可靠，其中，如果两个图像存在共同的3D点，则它们是共视帧， topM的共视帧是指共视的3D点个数在共视帧里排名前M的帧；其中，筛选出的可靠的候选关键帧为Candidates2，Candidates2中的每一个关键帧与当前关键帧KFa进行图像2D 特征点匹配，匹配点达到S个则可信，可信的候选关键帧为Candidates3，对Candidates3 中的3D点赋值给当前帧KFa的2D点，使用ransac求解pose，求解成功则闭环检测完成，然后对关键帧Kfa与Candidates3的3D点进行合并，并更新Kfa与Candidates3的3D点和 2D点的对应关系；
(5)全局优化，联合关键帧、3D点、IMU、GPS(如果有的话)做全局优化(global BA)，输入的是一系列关键帧keyframe(包括图像位姿、2D点特征和描述子、2D特征与 3D点云的链接关系等等)，3D点云坐标，每一个关键帧对应的IMU数据，如IMU的时间戳，IMU的速度和IMU的bias；优化的结果包括关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)，3D点云，IMU数据，IMU的时间戳，IMU 的速度和IMU的bias；
状态向量：
其中xR表示某一时刻关键帧的状态量，包括： IMU坐标系下关键帧的位置
IMU坐标系下关键帧的角度qWS，IMU坐标系下关键帧的速度
陀螺仪的bias bg以及加速度计的bias ba；
联合视觉惯性投影映射的cost functionJ(x)：包含视觉的投影误差er和IMU的预测误差项es，
其中，k是关键帧的id索引，i表示相机设备的id索引，j表示3D路标点的id索引，
表示 3D路标点的测量值的信息矩阵，
表示IMU误差项的信息矩阵；
视觉的投影误差投影误差：
其中，Zi，j，k表示图像坐标系的观测值，hi(·)表示相机模型的投影，
表示路标点的齐次坐标，j表示3D路标点的id索引，
表示IMU到id为i的相机设备的转换关系，
表示id为k的关键帧在IMU坐标系下的位姿(包括位置和角度)
IMU的预测误差项：
其中，
表示k和k+1的关键帧之间的同步IMU的测量误差和为
表示预测的id为k+1的关键帧在世界坐标系下的位置，
表示测量得到的id为k+1的关键帧在世界坐标系下的位置，
表示预测的id为k+1的关键帧在世界坐标系下的角度，
表示测量得到的id为k+1的关键帧在世界坐标系下的角度，
表示预测与测量之间的角度差，xsb表示速度和bias的状态量
在步骤S15中，将每一组优化结果进行地图融合，以构建成三维地图。
在本实施方式中，所述云端三维地图构建方法还包括：
在完成地图融合之后，判断是否更新已有地图；
如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
如果不更新，则下载构建完成的所述三维地图。
在本实施方式中，输入是全局优化模块得到的M组结果，每组结果包括一系列关键帧 (包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)，3D点云， IMU数据，IMU的时间戳，IMU的速度和IMU的bias，输出是融合的一组结果，包括一系列关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)， 3D点云，IMU数据，IMU的时间戳，IMU的速度和IMU的bias。
具体做法是将全局优化模块得到的M组结果，放在一起做闭环检测，与全局优化模块的步骤S14闭环检测做法一样，然后联合M组关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)、3D点云、IMU、GPS(如果有的话)做全局优化，与全局优化模块的步骤S14全局优化做法一样。
请参阅图3，为本发明一实施方式中云端三维地图构建系统的结构示意图。
在本实施方式中，云端三维地图构建系统10包括：采集模块11、上传模块12、视觉惯性里程计模块13、优化模块14和融合模块15。
采集模块11，用于采用不同通信设备分别采集多组地图数据。
在本实施方式中，使用不同通信设备分别或者同时采集地图数据，其中，通信设备属于用户侧的各类通信设备，例如手机、机器人、AR设备、VR设备、运动相机等等，这类通信设备都可以采集地图数据，包括：利用摄像头采集的图像数据或者视频数据，或者利用加速度计、陀螺仪采集的IMU数据，如果通信设备具备GPS功能，则通信设备的GPS 数据也一并采集，当然，摄像头采集的图像数据或者视频数据，和加速度计、陀螺仪采集的IMU数据是必须有的，GPS数据可有可无。在本实施方式中，每个通信设备采集到的地图数据算作一组，使用不同通信设备采集到M组地图数据，M为大于1的整数。
上传模块12，用于将采集到的所述多组地图数据上传到云端。
在本实施方式中，云端是属于网络侧的设备，例如服务器，云端的服务器分别与不同的通信设备进行通信，不同通信设备分别将各自采集到的多组地图数据上传到云端的服务器进行存储，然后备注更新的地图ID编号，如果没有备注，则默认为新建地图，而不是更新地图。
视觉惯性里程计模块13，用于在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果。
在本实施方式中，视觉惯性里程计模块13，具体用于：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
在本实施方式中，在云端的服务器接收到上传的地图数据后，启动VIO模块读取服务器中的数据，通过VIO算法对多组地图数据按照每组一个单元并行处理，每组地图数据得到一组处理结果。在本实施方式中，每组视觉惯性里程计模块的输入包括：序列化的图像(＞＝10Hz)、序列化图像中每张图像的时间戳和同步采集IMU信息(＞＝100Hz，每帧IMU 信息包括加速度计的数据以及时间戳，陀螺仪的数据以及时间戳)，通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每组地图数据的处理结果包括：每张图像的时间戳、每张图像的六自由度位姿(即位置和姿态)，以及对应的IMU的时间戳、速度和零偏(bias)。
在本实施方式中，这里的VIO算法可以是单目或多目VIO算法，包括但不限于EKF、MSCKF、VISLAM等各种基于优化或者滤波的VIO算法。在本实施方式中，这里的VIO 算法涉及的方法和框架有很多种，开源框架也有很多，例如VIORB、ROVIO、VINS-mono、 VINS-fusion、S-MSCKF、RVIO、openvins等等。在本实施方式中，如何融合视觉和IMU？对于不同的框架会有一些差异，主体分为基于优化和滤波两种，优化法被看作是一个最大似然估计(MaximumLikelihood Estimation，ML)公式，其中迭代地找到测量总概率最高的状态；滤波法被看作是一个最大后验估计(Maximum a posteriori estimation，MAP)公式，其中平台姿态的先验分布由本体感觉传感器的测量值构成，似然分布由外感受传感器的测量值构成。在本实施方式中，对于非线性动态模型和/或非线性测量模型，迭代EKF 等价于基于优化的方法迭代更新EKF中的每一步，优化法可以通过添加来自内部传感器或其它源测量的正则化项或先验项，将ML问题重新表述为MAP问题，这些是在线或因果算法，其中当前估计依赖于当前和以前的测量，离线或非随机算法是批处理过程，其中当前估计依赖于完整的数据集，或者可以说它们不仅依赖于当前和以前的测量，而且还依赖于未来的测量。在本实施方式中，在优化法中，批处理被分解为求解一组线性代数方程，在滤波法中，卡尔曼平滑算法可以通过前向和后向两种方法得到后向高斯分布。
在本实施方式中，并行化处理过程包括：对于上传的M组地图数据，每一组地图数据包括序列化的图像(＞＝10Hz)、序列化图像中每张图像的时间戳和同步采集IMU信息(＞＝100Hz，每帧IMU信息包括加速度计的数据以及时间戳，陀螺仪的数据以及时间戳)。每一组数据的处理被当做一个进程，放在某个服务器中运行VIO算法，启动进程可以由主服务器通过检测空闲机器，将每组地图数据随机发送到空闲机器上运行VIO算法，处理的结果返回到主服务器上。在本实施方式中，视觉惯性里程计算法比其它方法(例如视觉里程计VO/VSLAM方法，运动恢复结构SFM(Structure from motion)方法等)更能充分利用视频的序列信息，保证单个组的轨迹和地图精度比较高，而且能直接恢复场景的真实尺度。
优化模块14，用于对所述处理结果进行优化，并得到优化结果。
在本实施方式中，优化模块14具体用于：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
在本实施方式中，将视觉惯性里程计模块13中M组地图数据的处理结果按照每组一个单元并行处理，得到M组输出，其中，每一组输入包括：该组的每一帧图像，图像的时间戳，以及每一张图像的六自由度位姿(即位置和姿态)，每一张图像对应的的IMU数据，即IMU的时间戳、速度和零偏(bias)。其中，输出包括：联合IMU与视觉优化后的关键帧(keyframe)，三维点云坐标，与每一个关键帧对应的IMU数据(即IMU的时间戳、速度和零偏)，其中，关键帧包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系。
在本实施方式中，对处理结果进行优化，每一个单元都做如下操作：
(1)特征提取，每一张图提取特征点和描述子，这里包括但不限于特征fast，Dog，harris，orb，breaf，或者深度学习特征superpoint，loft等，其中特征点和描述子主要用于后续图像或者特征匹配相关的计算；
(2)图像匹配，根据步骤(1)中的特征点和描述子做图像匹配，包括但不限于根据时序匹配，暴力匹配，词袋检索topN，深度学习检索topN或者空间位置做匹配后三角化，其中，图像匹配指的是根据每张图像的特征和描述子，通过匹配其它图特征点，特征点的描述子差异在一定阈值内，则认为相似，得到图像与图像之间特征点的匹配个数，两个图像的匹配特征点个数达到阈值，则认为两个图匹配成功；其中，时序匹配是指：按照图像的时间戳顺序对图像做匹配，每张图和在时间上与本图相差ta秒以内的其他图像做两两图像匹配；其中，暴力匹配是指：每张图与其他所有图做两两匹配；其中，词袋检索topN 是指：BOW(bagof words)模型是信息检索领域的文档表示方法，通过词袋模型检测到相似图像，topN就是提取出与目标图像相似度最高的前N张图，然后将这N张图与目标图像两两图像匹配；其中，深度学习检索topN是指：通过深度学习算法(例如NetVlad，MobileNet， HF-Net等)检索图像，得到与目标图像相似度最高的前N张图，然后将这N张图与目标图像两两图像匹配；其中，空间位置做匹配是指：每张图和在空间上与本图达到阈值(例如位置距离A米，角度差异B度)的其他图像做两两图像匹配；其中，三角化是指：已知两张图像的特征点的匹配关系，通过立体几何三角化得到三维空间的坐标点，这里匹配三角化主要是为了得到图像的2D特征点对应的空间3D点坐标；
(3)关键帧筛选，如图2实线方格是筛选出的关键帧所在的相机位置和朝向，虚线方格是筛除的非关键帧所在的相机位置和朝向，筛选一部分图像做关键帧(keyframe)，关键帧包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等，筛选原则包括但不限于根据帧间共视点个数均匀采样，帧间共视点比例均匀采样，帧间空间位置均匀采样，帧间时间间隔均匀采样等；其中，帧间共视点个数均匀采样是指：遍历每一帧图像，对于每一帧图像而言，如果当前帧2D特征对应的3D点与另外一帧图像2D特征对应的3D点的重复个数达到Po(即经验值)个，则把当前帧剔除，不做关键帧，剩下的就是关键帧；其中，帧间共视点比例均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧2D特征对应的3D点总数为Ps，与另外一帧图像的3D点的重复个数Pc(即经验值)个，其中Pc占当前帧2D特征对应的3D点总数的比例为Pc/Ps，如果Pc/Ps大于Pth1 (即经验值)则把当前帧剔除，不做关键帧，剩下的就是关键帧；其中，帧间空间位置均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧在空间位置上与其他帧达到阈值(距离小于Tb(即经验值)度，角度差异小于Rb(即经验值)度)则不作关键帧，剩下的就是关键帧；其中，帧间时间间隔均匀采样是指：遍历每一帧图像，对于每一帧图像而言，当前帧在在时间上与其他帧相差tb(即经验值)秒以内，则把当前帧剔除，不做关键帧，剩下的就是关键帧；
(4)闭环检测，包括但不限于词袋检索、深度学习检索，检索到相似图像以后，图像做两两2D特征匹配后做3D点融合，建立共视关联关系，其中，闭环检测又称回环检测，是指通过图像识别曾到达某场景，把此刻或者此图像生成的地图与其他时刻或者其他图像生成的地图做匹配；其中，闭环检测的方法包括：遍历所有关键帧keyframe，求解每一个关键帧的闭环候选帧，例如关键帧KFa通过词袋检索(如基于orb或者sift等BOW检索) 或深度学习检索(如NetVlad，MobileNet，HF-Net等)，求解出KFa与所有关键帧中最相似最高的topN作为候选关键帧Candidates1，然后通过共视簇covisibility clustering判断候选是否可靠，其中，共视簇判断方法是：遍历候选帧Candidates1中每一个候选关键帧，若与此候选关键帧的topM(M＝1，2，3...)的共视帧在候选关键帧Candidates1中，且不是KFa 的共视帧，则该候选帧可靠，其中，如果两个图像存在共同的3D点，则它们是共视帧， topM的共视帧是指共视的3D点个数在共视帧里排名前M的帧；其中，筛选出的可靠的候选关键帧为Candidates2，Candidates2中的每一个关键帧与当前关键帧KFa进行图像2D 特征点匹配，匹配点达到S个则可信，可信的候选关键帧为Candidates3，对Candidates3 中的3D点赋值给当前帧KFa的2D点，使用ransac求解pose，求解成功则闭环检测完成，然后对关键帧Kfa与Candidates3的3D点进行合并，并更新Kfa与Candidates3的3D点和 2D点的对应关系；
(5)全局优化，联合关键帧、3D点、IMU、GPS(如果有的话)做全局优化(global BA)，输入的是一系列关键帧keyframe(包括图像位姿、2D点特征和描述子、2D特征与 3D点云的链接关系等等)，3D点云坐标，每一个关键帧对应的IMU数据，如IMU的时间戳，IMU的速度和IMU的bias；优化的结果包括关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)，3D点云，IMU数据，IMU的时间戳，IMU 的速度和IMU的bias；
状态向量：
其中xR表示某一时刻关键帧的状态量，包括： IMU坐标系下关键帧的位置
IMU坐标系下关键帧的角度qWS，IMU坐标系下关键帧的速度
陀螺仪的bias bg以及加速度计的bias ba；
联合视觉惯性投影映射的cost functionJ(x)：包含视觉的投影误差er和IMU的预测误差项es，
其中， k是关键帧的id索引，i表示相机设备的id索引，j表示3D路标点的id索引，
表示 3D路标点的测量值的信息矩阵，
表示IMU误差项的信息矩阵；
视觉的投影误差投影误差：
其中，Zi，j，k表示图像坐标系的观测值，hi(·)表示相机模型的投影，
表示路标点的齐次坐标，j表示3D路标点的id索引，
表示IMU到id为i的相机设备的转换关系，
表示id为k的关键帧在IMU坐标系下的位姿(包括位置和角度)
IMU的预测误差项：
其中，
表示k和k+1的关键帧之间的同步IMU的测量误差和为
表示预测的id为k+1的关键帧在世界坐标系下的位置，
表示测量得到的id为k+1的关键帧在世界坐标系下的位置，
表示预测的id为k+1的关键帧在世界坐标系下的角度，
表示测量得到的id为k+1的关键帧在世界坐标系下的角度，
表示预测与测量之间的角度差，xsb表示速度和bias的状态量
融合模块15，用于将每一组优化结果进行地图融合，以构建成三维地图。
在本实施方式中，输入是优化模块14得到的M组结果，每组结果包括一系列关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)，3D点云， IMU数据，IMU的时间戳，IMU的速度和IMU的bias，输出是融合的一组结果，包括一系列关键帧(包括图像位姿，2D点特征和描述子，2D特征与3D点云的链接关系等等)， 3D点云，IMU数据，IMU的时间戳，IMU的速度和IMU的bias。
具体做法是将优化模块14得到的M组结果，放在一起做闭环检测，与优化模块14中的闭环检测做法一样，然后联合M组关键帧(包括图像位姿，2D点特征和描述子，2D 特征与3D点云的链接关系等等)、3D点云、IMU、GPS(如果有的话)做全局优化，与优化模块14中的全局优化做法一样。
在本实施方式中，云端三维地图构建系统还包括：
更新模块，用于在完成地图融合之后，判断是否更新已有地图，如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
下载模块，用于如果不更新，则下载构建完成的所述三维地图。
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的云端三维地图构建方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述的云端三维地图构建方法。
本发明提供的技术方案具有以下优点：可以支持多设备采集，效率高速度快，且算法在云端进行，不受平台计算性能制约，可以并行化处理，同时兼顾效率和精度；提供了一种多设备、多时空、多传感器融合的云端地图构建和更新方法，本算法在地图优化、融合和更新时都利用了惯性测量单元的时间戳、速度和零偏等信息，最大化保证了建图精度；通过多设备采集方案，可以实现高效快速采集，设备支持的多样性，可以使采集更灵活；利用云端多设备并行处理后再融合，地图构建和地图更新速度快。
值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，的存储介质，如ROM/RAM、磁盘或光盘等。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种云端三维地图构建方法，其特征在于，所述云端三维地图构建方法包括：
采用不同通信设备分别采集多组地图数据；
将采集到的所述多组地图数据上传到云端；
在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果；
对所述处理结果进行优化，并得到优化结果；
将每一组优化结果进行地图融合，以构建成三维地图。
2.如权利要求1所述的云端三维地图构建方法，其特征在于，所述通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理的步骤包括：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
3.如权利要求2所述的云端三维地图构建方法，其特征在于，所述对所述处理结果进行优化的步骤包括：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
4.如权利要求1所述的云端三维地图构建方法，其特征在于，所述云端三维地图构建方法还包括：
在完成地图融合之后，判断是否更新已有地图；
如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
如果不更新，则下载构建完成的所述三维地图。
5.一种云端三维地图构建系统，其特征在于，所述云端三维地图构建系统包括：
采集模块，用于采用不同通信设备分别采集多组地图数据；
上传模块，用于将采集到的所述多组地图数据上传到云端；
视觉惯性里程计模块，用于在所述云端中，通过视觉惯性里程计算法将所述多组地图数据按照每组一个单元进行并行处理，并分别得到每组地图数据的处理结果；
优化模块，用于对所述处理结果进行优化，并得到优化结果；
融合模块，用于将每一组优化结果进行地图融合，以构建成三维地图。
6.如权利要求5所述的云端三维地图构建系统，其特征在于，所述视觉惯性里程计模块，具体用于：
输入每一组地图数据中的序列化图像、所述序列化图像中每张图像的时间戳，和同步采集惯性测量单元信息；
通过视觉惯性里程计算法将输入的信息和同步采集的信息进行计算，得到每张图像的六自由度位置和姿态，以及对应的惯性测量单元的时间戳、速度和零偏，以作为对每组地图数据的处理结果。
7.如权利要求6所述的云端三维地图构建系统，其特征在于，所述优化模块，具体用于：
提取经过并行处理后每张图像的特征点和描述子；
根据所述特征点和所述描述子进行图像匹配；
在匹配之后对图像进行关键帧的筛选；
将筛选出来的关键帧进行闭环检测；
输入所述关键帧、三维点云坐标、与每一个所述关键帧对应的所述惯性测量单元的时间戳、速度和零偏进行并行计算；
输出并行计算后的数据作为优化结果。
8.如权利要求5所述的云端三维地图构建系统，其特征在于，所述云端三维地图构建系统还包括：
更新模块，用于在完成地图融合之后，判断是否更新已有地图，如果更新，则通过上述步骤将需要更新的地图与已有地图进行融合；
下载模块，用于如果不更新，则下载构建完成的所述三维地图。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的云端三维地图构建方法的步骤。
10.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述权利要求1-4中任一项所述的云端三维地图构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860557.2A CN113570716A (zh) | 2021-07-28 | 2021-07-28 | 云端三维地图构建方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110860557.2A CN113570716A (zh) | 2021-07-28 | 2021-07-28 | 云端三维地图构建方法、系统及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570716A true CN113570716A (zh) | 2021-10-29 |
Family
ID=78168723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110860557.2A Pending CN113570716A (zh) | 2021-07-28 | 2021-07-28 | 云端三维地图构建方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570716A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114639006A (zh) * | 2022-03-15 | 2022-06-17 | 北京理工大学 | 一种回环检测方法、装置和电子设备 |
| CN116408807A (zh) * | 2023-06-06 | 2023-07-11 | 广州东焊智能装备有限公司 | 一种基于机器视觉和轨迹规划的机器人控制系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN111174799A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 地图构建方法及装置、计算机可读介质、终端设备 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
-
2021
- 2021-07-28 CN CN202110860557.2A patent/CN113570716A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108489482A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| WO2019157925A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 视觉惯性里程计的实现方法及系统 |
| CN111174799A (zh) * | 2019-12-24 | 2020-05-19 | Oppo广东移动通信有限公司 | 地图构建方法及装置、计算机可读介质、终端设备 |
| CN112634451A (zh) * | 2021-01-11 | 2021-04-09 | 福州大学 | 一种融合多传感器的室外大场景三维建图方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114639006A (zh) * | 2022-03-15 | 2022-06-17 | 北京理工大学 | 一种回环检测方法、装置和电子设备 |
| CN114639006B (zh) * | 2022-03-15 | 2023-09-26 | 北京理工大学 | 一种回环检测方法、装置和电子设备 |
| CN116408807A (zh) * | 2023-06-06 | 2023-07-11 | 广州东焊智能装备有限公司 | 一种基于机器视觉和轨迹规划的机器人控制系统 |
| CN116408807B (zh) * | 2023-06-06 | 2023-08-15 | 广州东焊智能装备有限公司 | 一种基于机器视觉和轨迹规划的机器人控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634451B (zh) | 一种融合多传感器的室外大场景三维建图方法 | |
| US10203209B2 (en) | Resource-aware large-scale cooperative 3D mapping using multiple mobile devices | |
| US11313684B2 (en) | Collaborative navigation and mapping | |
| JP6410530B2 (ja) | Ｖｓｌａｍ最適化のための方法 | |
| WO2019157925A1 (zh) | 视觉惯性里程计的实现方法及系统 | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| Hu et al. | A sliding-window visual-IMU odometer based on tri-focal tensor geometry | |
| US20160327395A1 (en) | Inverse sliding-window filters for vision-aided inertial navigation systems | |
| WO2018026544A1 (en) | Square-root multi-state constraint kalman filter for vision-aided inertial navigation system | |
| CN109903330B (zh) | 一种处理数据的方法和装置 | |
| Maffra et al. | Real-time wide-baseline place recognition using depth completion | |
| CN112115874B (zh) | 一种融合云端的视觉slam系统及方法 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| EP3612799A1 (en) | Distributed device mapping | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN113570716A (zh) | 云端三维地图构建方法、系统及设备 | |
| WO2023005457A1 (zh) | 位姿计算方法和装置、电子设备、可读存储介质 | |
| WO2022062480A1 (zh) | 移动设备的定位方法和定位装置 | |
| CN111932616A (zh) | 一种利用并行计算加速的双目视觉惯性里程计方法 | |
| Zhao et al. | RTSfM: Real-time structure from motion for mosaicing and DSM mapping of sequential aerial images with low overlap | |
| CN116295412A (zh) | 一种基于深度相机的室内移动机器人稠密建图与自主导航一体化方法 | |
| CN115063480A (zh) | 位姿确定方法、装置、电子设备和可读存储介质 | |
| Son et al. | Synthetic deep neural network design for lidar-inertial odometry based on CNN and LSTM | |
| CN110052020B (zh) | 便携式装置或机器人系统中运行的设备、控制设备和方法 | |
| CN110634160A (zh) | 二维图形中目标三维关键点提取模型构建及姿态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |