CN113255600B - 基于客户端的点云地图更新优化方法、系统、介质及设备 - Google Patents
基于客户端的点云地图更新优化方法、系统、介质及设备 Download PDFInfo
- Publication number
- CN113255600B CN113255600B CN202110723358.7A CN202110723358A CN113255600B CN 113255600 B CN113255600 B CN 113255600B CN 202110723358 A CN202110723358 A CN 202110723358A CN 113255600 B CN113255600 B CN 113255600B
- Authority
- CN
- China
- Prior art keywords
- map
- point
- client
- cloud
- new
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于客户端的点云地图优化更新方法、系统、介质及设备,包括:步骤1:在客户端中选择新地图点:提取客户端中的本地地图点和对应关键帧特征点信息,与云端地图中对应区域的关键帧进行匹配,根据匹配相似度挑选出需要更新的地图点,对需要更新的地图点添加至云端地图中并标记时间;步骤2:在云端优化更新新地图:确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧与旧地图点进行联合优化以更新云端地图。本发明将客户端地图不定期更新到云端地图上,保证了客户端和云端对同一场景的一致性。
Description
技术领域
本发明涉及计算机技术领域,具体地,涉及一种基于客户端的点云地图更新优化方法、系统、介质及设备。
背景技术
现阶段,基于视觉SLAM的MR应用在服务端上建立的地图的流程是:先采集数据再建立离线地图(包含关键帧信息、地图点以及共视关系)。当场景随着时间发生变化,则需要重新采集数据然后再建立离线地图,每建立一次地图的时间是很长的,当场景只是局部发生改变,这样的重复建图存在太多冗余计算量,且每次建图需消耗大量的时间,这样的代价太高。
专利文献CN108007453A(申请号:CN201711307139.0)公开了一种基于点云的地图更新方法、装置及电子设备。其中,方法包括:每当获取一帧点云数据后,确定在生成该帧点云数据时待定位物体的预估方位信息;判断预设的地图存储区域内是否存储有与待定位物体对应的环境地图;若否,根据生成该帧点云数据时待定位物体的预估方位信息以及该帧点云数据,在预设的地图存储区域内绘制与待定位物体对应的环境地图;若是,根据生成该帧点云数据时待定位物体的预估方位信息,将该帧点云数据与待定位物体对应的环境地图进行匹配,根据匹配结果更新与待定位物体对应的环境地图。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于客户端的点云地图更新优化方法、系统、介质及设备。
根据本发明提供的基于客户端的点云地图优化更新方法,包括:
步骤1:在客户端中选择新地图点:提取客户端中的本地地图点和对应关键帧特征点信息,与云端地图中对应区域的关键帧进行匹配,根据匹配相似度挑选出需要更新的地图点,对需要更新的地图点添加至云端地图中并标记时间;
步骤2:在云端优化更新新地图:确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧与旧地图点进行联合优化以更新云端地图。
优选的,采用ORB特征提取算法进行客户端中的本地地图点和对应关键帧特征点信息的提取,采用kdtree算法加速特征点的匹配。
优选的,在优化过程中根据时间顺序对新地图点设置权重值,时间越近则权重值越高,采用基于LM算法的光束法平差模型进行优化,表达式为:
优选的,当需更新的地图点与原地图点处于不同子地图块时,则需要对光束法平差模型增加约束条件:
若添加的新地图点大于预设阈值,则删除离新地图点距离小于预设阈值的旧地图点和共视能力低于预设阈值的地图点。
根据本发明提供的基于客户端的点云地图优化更新系统,包括:
模块M1:在客户端中选择新地图点:提取客户端中的本地地图点和对应关键帧特征点信息,与云端地图中对应区域的关键帧进行匹配,根据匹配相似度挑选出需要更新的地图点,对需要更新的地图点添加至云端地图中并标记时间;
模块M2:在云端优化更新新地图:确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧与旧地图点进行联合优化以更新云端地图。
优选的,采用ORB特征提取算法进行客户端中的本地地图点和对应关键帧特征点信息的提取,采用kdtree算法加速特征点的匹配。
优选的,在优化过程中根据时间顺序对新地图点设置权重值,时间越近则权重值越高,采用基于LM算法的光束法平差模型进行优化,表达式为:
优选的,当需更新的地图点与原地图点处于不同子地图块时,则需要对光束法平差模型增加约束条件:
若添加的新地图点大于预设阈值,则删除离新地图点距离小于预设阈值的旧地图点和共视能力低于预设阈值的地图点。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的方法的步骤。
根据本发明提供的一种基于客户端的点云地图优化更新设备,包括:控制器;
所述控制器包括所述的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现上述的基于客户端的点云地图优化更新方法的步骤;或者,所述控制器包括上述的基于客户端的点云地图优化更新系统。
与现有技术相比,本发明具有如下的有益效果:
(1)本发明将客户端地图不定期更新到云端地图上,保证了客户端和云端对同一场景的一致性;
(2)本发明提出的方法可以让服务端地图根据时间设定,依靠客户端的局部地图来更新云端地图,这样不仅减少不必要的地图更新而且可以自动的更新地图,不需要再重新采集数据和建立离线地图,节约了大量时间。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为新旧地图联合优化过程中多个子地图的分布示意图;
图2为多客户端中新地图点选择方法流程图;
图3为新地图在云端的优化与更新方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例:
本发明提供了一种在多客户端下大规模云端地图的更新和优化方法,基于SLAM算法的云端大地图包含了地图点云和关键帧信息,对大地图进行均匀分块,云端地图用来给客户端(AR眼镜)提供初始定位和定位更新功能,然而因为实际场景的变化,所以云端地图也应随之更新。
本发明包含两部分:客户端中新地图点的选择和新地图在云端的优化更新。
如图2,客户端中新地图点选择的具体步骤包括:
步骤1.1、提取客户端(包含多客户端)中的本地地图点和对应的关键帧特征点信息,采用ORB特征提取算法进行特征提取;
步骤1.2、与云端地图中对应的附近区域关键帧进行匹配,采用kdtree算法加速特征点的匹配,根据匹配相似度挑选出需要更新的地图点;
步骤1.3、对需要更新的地图点添加至云端地图中,并标记时间。
如图3,新地图在云端优化更新的具体步骤包括:
步骤2.1、确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧以及这些关键帧能看到的旧地图点进行联合优化,优化过程中对新地图点根据时间的远近设置不同权重值,时间近的权重高,否则权值低;优化方法采用基于LM算法的光束法平差(bundle adjustment)模型,优化模型如下:
新旧地图的联合优化一般会横跨多个子地图,如图1所示,两个矩形是两个子地图,其中圆点表示地图点,三角形表示关键帧,图中的3号和4号地图点横跨了两个自地图,当优化其中一个子地图时,则需要对光束法平差模型增加约束条件:
步骤2.2、当地图中某个子地图中添加的新地图点大于一定的阈值,则删除离新地图点距离小于一定阈值的旧地图点和一些共视关系弱的地图点,从而达到地图更新的目的。
多客户端地图点提取一般提取共视关系强的地图点作为待选新地图点;为了解决不定期地图的更新,将新地图标记时间,以方便以后地图更新的需要;为了和旧地图进行共视关联,需要将新地图的关键帧和旧关键帧进行特征匹配,当匹配度高时则认为新旧关键帧中的目标变化不大,如果匹配度低或者仅局部匹配高,根据1中所述新地图点的共视关系又很强,则认为存在场景中目标的更新,这些地图点和关键帧将被认为是场景的新目标。
新旧地图建立共视关系的目的是为了方便优化过程中对误差的分摊;因为云端地图规模很大,所以优化选择在多个子地图中进行,子地图的数量不应过多,否则反而增加优化的复杂度;当实际场景发生变化时,往往在同一位置上的地图点也会发生变化,所以可以根据位置关系对地图点进行删除更新处理;除此之外,地图中地图点的有效共视才对地图有意义,所以根据优化后的误差来判断地图点的共视关系,删除一些共视弱的地图点和关键帧,以防止地图的冗余。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (6)
1.一种基于客户端的点云地图优化更新方法,其特征在于,包括:
步骤1:在客户端中选择新地图点:提取客户端中的本地地图点和对应关键帧特征点信息,与云端地图中对应区域的关键帧进行匹配,根据匹配相似度挑选出需要更新的地图点,对需要更新的地图点添加至云端地图中并标记时间;
步骤2:在云端优化更新新地图:确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧与旧地图点进行联合优化以更新云端地图;
在优化过程中根据时间顺序对新地图点设置权重值,时间越近则权重值越高,采用基于LM算法的光束法平差模型进行优化,表达式为:
当需更新的地图点与原地图点处于不同子地图块时,则需要对光束法平差模型增加约束条件:
若添加的新地图点大于预设阈值,则删除离新地图点距离小于预设阈值的旧地图点和共视能力低于预设阈值的地图点。
2.根据权利要求1所述的基于客户端的点云地图优化更新方法,其特征在于,采用ORB特征提取算法进行客户端中的本地地图点和对应关键帧特征点信息的提取,采用kdtree算法加速特征点的匹配。
3.一种基于客户端的点云地图优化更新系统,其特征在于,包括:
模块M1:在客户端中选择新地图点:提取客户端中的本地地图点和对应关键帧特征点信息,与云端地图中对应区域的关键帧进行匹配,根据匹配相似度挑选出需要更新的地图点,对需要更新的地图点添加至云端地图中并标记时间;
模块M2:在云端优化更新新地图:确认待更新的地图点所在的子地图块,将新地图点所能共视到的新关键帧与旧地图点进行联合优化以更新云端地图;
在优化过程中根据时间顺序对新地图点设置权重值,时间越近则权重值越高,采用基于LM算法的光束法平差模型进行优化,表达式为:
当需更新的地图点与原地图点处于不同子地图块时,则需要对光束法平差模型增加约束条件:
若添加的新地图点大于预设阈值,则删除离新地图点距离小于预设阈值的旧地图点和共视能力低于预设阈值的地图点。
4.根据权利要求3所述的基于客户端的点云地图优化更新系统,其特征在于,采用ORB特征提取算法进行客户端中的本地地图点和对应关键帧特征点信息的提取,采用kdtree算法加速特征点的匹配。
5.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时实现权利要求1或2所述的方法的步骤。
6.一种基于客户端的点云地图优化更新设备,其特征在于,包括:控制器;
所述控制器包括权利要求5所述的存储有计算机程序的计算机可读存储介质,所述计算机程序被处理器执行时实现权利要求1或2所述的基于客户端的点云地图优化更新方法的步骤;或者,所述控制器包括权利要求3或4所述的基于客户端的点云地图优化更新系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110723358.7A CN113255600B (zh) | 2021-06-29 | 2021-06-29 | 基于客户端的点云地图更新优化方法、系统、介质及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110723358.7A CN113255600B (zh) | 2021-06-29 | 2021-06-29 | 基于客户端的点云地图更新优化方法、系统、介质及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113255600A CN113255600A (zh) | 2021-08-13 |
CN113255600B true CN113255600B (zh) | 2021-10-01 |
Family
ID=77190024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110723358.7A Active CN113255600B (zh) | 2021-06-29 | 2021-06-29 | 基于客户端的点云地图更新优化方法、系统、介质及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113255600B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107818592A (zh) * | 2017-11-24 | 2018-03-20 | 北京华捷艾米科技有限公司 | 协作式同步定位与地图构建的方法、系统及交互系统 |
CN108007453A (zh) * | 2017-12-11 | 2018-05-08 | 北京奇虎科技有限公司 | 基于点云的地图更新方法、装置及电子设备 |
CN108225302A (zh) * | 2017-12-27 | 2018-06-29 | 中国矿业大学 | 一种石化工厂巡检机器人定位系统和方法 |
CN109633537A (zh) * | 2018-12-27 | 2019-04-16 | 浙江绿晶环境服务有限公司 | 一种基于uwb测距的员工定位系统 |
CN109709801A (zh) * | 2018-12-11 | 2019-05-03 | 智灵飞(北京)科技有限公司 | 一种基于激光雷达的室内无人机定位系统及方法 |
US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
CN110412635A (zh) * | 2019-07-22 | 2019-11-05 | 武汉大学 | 一种环境信标支持下的gnss/sins/视觉紧组合方法 |
CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110310373B (zh) * | 2019-06-28 | 2023-12-12 | 京东方科技集团股份有限公司 | 一种增强现实设备的图像处理方法和增强现实设备 |
CN111105439B (zh) * | 2019-11-28 | 2023-05-02 | 同济大学 | 一种使用残差注意力机制网络的同步定位与建图方法 |
-
2021
- 2021-06-29 CN CN202110723358.7A patent/CN113255600B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10390003B1 (en) * | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
CN107818592A (zh) * | 2017-11-24 | 2018-03-20 | 北京华捷艾米科技有限公司 | 协作式同步定位与地图构建的方法、系统及交互系统 |
CN108007453A (zh) * | 2017-12-11 | 2018-05-08 | 北京奇虎科技有限公司 | 基于点云的地图更新方法、装置及电子设备 |
CN108225302A (zh) * | 2017-12-27 | 2018-06-29 | 中国矿业大学 | 一种石化工厂巡检机器人定位系统和方法 |
CN109709801A (zh) * | 2018-12-11 | 2019-05-03 | 智灵飞(北京)科技有限公司 | 一种基于激光雷达的室内无人机定位系统及方法 |
CN109633537A (zh) * | 2018-12-27 | 2019-04-16 | 浙江绿晶环境服务有限公司 | 一种基于uwb测距的员工定位系统 |
CN110412635A (zh) * | 2019-07-22 | 2019-11-05 | 武汉大学 | 一种环境信标支持下的gnss/sins/视觉紧组合方法 |
CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
Non-Patent Citations (4)
Title |
---|
go: A General Framework for Graph Optimization;Rainer Kummerle 等;《2011 IEEE International Conference on Robotics and Automation》;20111231;第3607-3613页 * |
Semantic SLAM With More Accurate Point Cloud Map in Dynamic Environments;YINGCHUN FAN 等;《IEEE Access》;20200626;第112237-112252页 * |
一种基于点云地图的机器人室内实时重定位方法;马跃龙 等;《系统仿真学报》;20171231;第29卷;第15-29页 * |
结构光系统含平面距离约束的平差标定及加权集成测量模型;何曾范 等;《西安交通大学学报》;20200229;第54卷(第2期);第166-174页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113255600A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114236552B (zh) | 基于激光雷达的重定位方法及系统 | |
CN104423960A (zh) | 一种项目持续集成的方法及系统 | |
CN111737227B (zh) | 数据修改方法及系统 | |
CA2398148A1 (en) | System and method for managing bi-directional relationships between objects | |
CN110647318A (zh) | 一种有状态应用的实例创建方法、装置、设备及介质 | |
CN109033220B (zh) | 标注数据的自动选取方法、系统、设备和存储介质 | |
CN110597821B (zh) | 数据仓库表结构变更方法及装置 | |
CN107316176A (zh) | 保单处理的控制方法和装置 | |
CN105607606B (zh) | 一种基于双主板架构的数据采集装置及方法 | |
CN113255600B (zh) | 基于客户端的点云地图更新优化方法、系统、介质及设备 | |
CN114036248A (zh) | 高精地图数据的处理方法、装置及电子设备 | |
CN114689036A (zh) | 地图更新方法、自动驾驶方法、电子设备及存储介质 | |
KR101795547B1 (ko) | 디지털 고도모델 생성방법 및 장치 | |
CN116781699A (zh) | 一种基于分布式边缘计算的数据通信方法及系统 | |
CN108052294B (zh) | 一种分布式存储系统的修改写方法和修改写系统 | |
CN108520259B (zh) | 一种前景目标的提取方法、装置、设备及存储介质 | |
CN108958917A (zh) | 云计算的任务调度方法及系统 | |
CN114821513A (zh) | 一种基于多层网络的图像处理方法及装置、电子设备 | |
CN103778218A (zh) | 基于云计算的标准信息一致性预警系统及方法 | |
CN110935175A (zh) | 数据处理方法及装置 | |
CN117171935B (zh) | 管网拓扑结构的修复方法、设备、系统及芯片 | |
CN117292373B (zh) | 三维模型的通道识别方法、装置、电子设备及存储介质 | |
CN112632208B (zh) | 一种交通流轨迹变形方法及装置 | |
CN113628215B (zh) | 图像处理方法、系统、设备及存储介质 | |
CN116720234B (zh) | 一种曲面网格生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PP01 | Preservation of patent right | ||
PP01 | Preservation of patent right |
Effective date of registration: 20221226 Granted publication date: 20211001 |