CN116698007A - 融合地图构建方法、装置、机器人和存储介质 - Google Patents
融合地图构建方法、装置、机器人和存储介质 Download PDFInfo
- Publication number
- CN116698007A CN116698007A CN202310609501.9A CN202310609501A CN116698007A CN 116698007 A CN116698007 A CN 116698007A CN 202310609501 A CN202310609501 A CN 202310609501A CN 116698007 A CN116698007 A CN 116698007A
- Authority
- CN
- China
- Prior art keywords
- image frame
- key frame
- current
- frame
- updated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 238000010276 construction Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012216 screening Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及一种融合地图构建方法、装置、机器人和存储介质。所述方法包括：基于激光雷达建图得激光位姿数据集对图像采集设备采集的图像帧集进行插值得各图像帧的各位姿；基于各图像帧的位姿和各相邻图像帧之间的特征匹配关系从图像帧集筛选关键帧集，构建关键帧集各关键帧与初始地图点集中各初始地图点的对应关系得对应关系集；基于从关键帧集依次选出的当前关键帧和当前关键帧对应的相关关键帧集之间的特征匹配关系，对初始地图点集和对应关系集进行更新得更新地图点集和更新对应关系集；基于更新地图点集转化的三维地图点集、更新对应关系集和更新对应关系集中各关键帧的位姿构建目标融合地图。采用本方法能扩大机器人正常定位运行的环境范围。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种融合地图构建方法、装置、机器人和存储介质。
背景技术
目前机器人的普及使得机器人进入越来越多的复杂场景，例如商超、地下停车场、餐厅、工厂、写字楼，这类场景中包含动态场景和黑暗场景。现有技术中机器人要么仅通过激光进行定位运行，要么仅通过视觉SLAM进行定位运行，无法实现机器人在多场景(比如动态场景和黑暗场景)下均能正常运行，从而导致机器人正常定位运行的环境范围较小。
发明内容
基于此，有必要针对上述技术问题，提供一种能够实现激光地图和视觉地图融合建图以控制机器人在多场景下均能高效准确地正常定位运行的融合地图构建方法、装置、机器人和存储介质，用于扩大机器人正常定位运行的环境范围。
一种融合地图构建方法，所述方法应用于机器人，所述机器人上搭载有激光雷达和图像采集设备；所述方法包括：
获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；
获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；
从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；
将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
在其中一个实施例中，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿包括：
从所述图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从所述激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳；
将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿。
在其中一个实施例中，获取各相邻图像帧之间的特征匹配关系包括：
对所述图像帧集中各图像帧进行特征点提取操作，得到各图像帧对应的各特征点，所述特征点包括描述子；
从所述图像帧集中依次选出各所述图像帧相邻的第一图像帧和第二图像帧，获取所述第一图像帧对应的第一描述子和所述第二图像帧对应的第二描述子；
遍历所述第一图像帧对应的第一描述子，将第二描述子中与所述第一描述子最相似的描述子作为第一目标描述子，构建所述第一描述子与所述第一目标描述子的第一对应关系；
遍历所述第二图像帧对应的第二描述子，将第一描述子中与所述第二描述子最相似的描述子作为第二目标描述子，构建所述第二描述子与所述第二目标描述子的第二对应关系；
将第一对应关系和第二对应关系中关系一致的描述子对应的特征点进行匹配，得到所述图像帧集中各所述第一图像帧和各所述第二图像帧对应的特征匹配关系。
在其中一个实施例中，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集包括：
基于所述图像帧集中各所述图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为所述关键帧集中的关键帧；
或者，
基于所述图像帧集中各所述图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为所述关键帧集中的关键帧。
在其中一个实施例中，从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集包括：
获取预设距离，依次从所述关键帧集中选出当前关键帧，基于当前关键帧对应的位姿和预设距离，从所述关键帧集中选出当前关键帧对应的相关关键帧集；
对所述当前关键帧和所述相关关键帧集中各相关关键帧进行特征匹配，得到所述当前关键帧和各所述相关关键帧的特征匹配关系；
当所述当前关键帧的当前匹配特征点对应的初始地图点集中的初始地图点与所述相关关键帧的当前相关匹配特征点对应的初始地图点不一致时，将当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，得到更新地图点；
将更新地图点加入所述初始地图点集中，将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点；
遍历所述关键帧集中的关键帧，得到所述更新地图点集和更新对应关系集。
在其中一个实施例中，更新地图点集包括各更新地图点在对应的关键帧上的像素坐标，所述将所述更新地图点集转化为三维地图点集包括：
基于所述更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将所述更新地图点集转化成三维地图点集。
在其中一个实施例中，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图包括：
计算所述三维地图点集中各三维地图点在对应的各关键帧上的各总重投影误差，当总重投影误差大于预设像素数量时，将三维地图点与对应的关键帧的对应关系从所述更新对应关系集中删除，得到中间对应关系集；
从所述三维地图点集中依次选出当前三维地图点，计算当前三维地图点对应的对应关键帧数目，当对应关键帧数目小于预设数目时，将当前三维地图点从所述三维地图点集中删除，将当前三维地图点与当前三维地图点对应的关键帧的对应关系从所述中间对应关系集中删除，得到目标三维地图点集和目标对应关系集；
基于所述目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿构建所述目标融合地图。
一种融合地图构建装置，所述装置包括：
插值模块，用于获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；
匹配模块，用于获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；
更新模块，用于从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；
构建模块，用于将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
在其中一个实施例中，所述插值模块，还用于从所述图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从所述激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳；将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿。
在其中一个实施例中，所述匹配模块，还用于对所述图像帧集中各图像帧进行特征点提取操作，得到各图像帧对应的各特征点，所述特征点包括描述子；从所述图像帧集中依次选出各所述图像帧相邻的第一图像帧和第二图像帧，获取所述第一图像帧对应的第一描述子和所述第二图像帧对应的第二描述子；遍历所述第一图像帧对应的第一描述子，将第二描述子中与所述第一描述子最相似的描述子作为第一目标描述子，构建所述第一描述子与所述第一目标描述子的第一对应关系；遍历所述第二图像帧对应的第二描述子，将第一描述子中与所述第二描述子最相似的描述子作为第二目标描述子，构建所述第二描述子与所述第二目标描述子的第二对应关系；将第一对应关系和第二对应关系中关系一致的描述子对应的特征点进行匹配，得到所述图像帧集中各所述第一图像帧和各所述第二图像帧对应的特征匹配关系。
在其中一个实施例中，所述匹配模块，还用于基于所述图像帧集中各所述图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为所述关键帧集中的关键帧；
或者，
基于所述图像帧集中各所述图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为所述关键帧集中的关键帧。
在其中一个实施例中，所述更新模块，还用于获取预设距离，依次从所述关键帧集中选出当前关键帧，基于当前关键帧对应的位姿和预设距离，从所述关键帧集中选出当前关键帧对应的相关关键帧集；对所述当前关键帧和所述相关关键帧集中各相关关键帧进行特征匹配，得到所述当前关键帧和各所述相关关键帧的特征匹配关系；当所述当前关键帧的当前匹配特征点对应的初始地图点集中的初始地图点与所述相关关键帧的当前相关匹配特征点对应的初始地图点不一致时，将当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，得到更新地图点；将更新地图点加入所述初始地图点集中，将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点；遍历所述关键帧集中的关键帧，得到所述更新地图点集和更新对应关系集。
在其中一个实施例中，所述构建模块，还用于基于所述更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将所述更新地图点集转化成三维地图点集。
在其中一个实施例中，所述构建模块，还用于计算所述三维地图点集中各三维地图点在对应的各关键帧上的各总重投影误差，当总重投影误差大于预设像素数量时，将三维地图点与对应的关键帧的对应关系从所述更新对应关系集中删除，得到中间对应关系集；从所述三维地图点集中依次选出当前三维地图点，计算当前三维地图点对应的对应关键帧数目，当对应关键帧数目小于预设数目时，将当前三维地图点从所述三维地图点集中删除，将当前三维地图点与当前三维地图点对应的关键帧的对应关系从所述中间对应关系集中删除，得到目标三维地图点集和目标对应关系集；基于所述目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿构建所述目标融合地图。
一种机器人，所述机器人上搭载有激光雷达和图像采集设备，所述机器人还包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器用于执行所述计算机可读指令时实现上述融合地图构建方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述融合地图构建方法的步骤。
上述融合地图构建方法、装置、机器人和存储介质，通过获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。实现了激光位姿数据与视觉地图的融合建图，有效地结合了激光地图和视觉地图的特性，使得机器人基于融合地图能够在多场景下高效正确的定位运行，从而扩大了机器人正常定位运行的环境范围。
附图说明
图1为一个实施例中融合地图构建方法的流程示意图；
图2为一个实施例中位姿插值的流程示意图；
图3为一个实施例中特征匹配的流程示意图；
图4为一个实施例中关键帧创建的流程示意图；
图5为一个实施例中数据更新的流程示意图；
图6为一个实施例中数据优化的流程示意图；
图7为一个实施例中融合地图构建装置的结构框图；
图8为一个实施例中机器人的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明做进一步详细说明。
本申请提供的融合地图构建方法，所述融合地图构建方法应用于机器人，机器人用于获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于激光位姿数据集对图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和特征匹配关系，从图像帧集中筛选出关键帧集，获取关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；将更新地图点集转化为三维地图点集，基于三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。其中，机器人可以是具有运行定位功能类型的机器人，包括但不限于配送机器人、清洁机器人、导览机器人等。
在一个实施例中，如图1所示，提供了一种融合地图构建方法，所述方法应用于机器人，所述机器人上搭载有激光雷达和图像采集设备；所述方法包括：：
步骤S100，获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于激光位姿数据集对图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿。
其中，图像采集设备指机器人自身安装的用于拍摄图像的设备，其可以根据摄像头视野安装于机器人身上，且摄像头安装的方向可以是垂直向上，也可以是任意方向。激光雷达是一种用于获取准确位置信息的传感器，机器人自身搭载的激光雷达可以是2D激光雷达或3D激光雷达，其可以搭载在机器人的底部，也可以是任意其他位置。本申请以摄像头垂直向上安装，激光雷达为2D激光雷达，安装在机器人底部进行阐述。图像帧集指机器人图像采集设备采集得到的图像帧的集合，这些图像帧有其对应的时间戳。激光位姿数据集指通过激光雷达建图时记录的激光位姿，其包含有各个激光位姿对应的时间戳，也就是某一个时间点机器人通过激光雷达建图获得的位姿；其可以是通过开源的cartographer激光建图程序建立激光地图并保持每一帧时间戳对应的激光位姿获得。位姿代表位置和姿态，任何一个刚体在空间坐标系(OXYZ)中可以用位置和姿态来精确、唯一表示其位置状态，其中位置指x、y、z坐标，姿态指刚体与OX轴的夹角、与OY轴的夹角和与OZ轴的夹角。插值指通过激光位姿数据集与图像帧对应的时间戳，计算出图像帧对应的位姿的操作。
具体地，要实现视觉和激光融合建图，可以获取通过机器人自身搭载的摄像头拍摄得到的图像帧集，以及获取利用开源的cartographer激光建图程序建立激光地图时记录的每一帧时间戳对应的激光位姿，也就是获取激光位姿数据集，在激光建图过程中会生成相应的轨迹，根据这些轨迹以及对应的激光位姿数据中各个相邻两帧对应的激光位姿和时间戳，以及图像帧集中每一帧图像帧对应的时间戳，计算得到图像帧集中每一个图像帧对应的位姿，为实现激光和视觉融合建图提供了数据支持。在实际场景中，通常将2D激光雷达安装在机器人底部，其极其容易受到动态物体的干扰，在地下停车场或者人多的商超，使用2D激光进行定位是一件非常困难的事情。而使用视觉SLAM进行定位，让机器人自身安装的摄像头的视野垂直向上，可以避免动态物体的干扰，使得机器人可以在高动态的环境中进行定位。再者，在低光照下的环境中，比如在关灯的餐厅中，使用视觉进行定位准确性低，而激光定位却可以在此黑暗环境中使用，因此融合激光和视觉定位的构思，能够极大地扩展机器人正常定位运行的环境范围。此外，激光位姿对图像帧集中各图像帧的插值操作，为最终实现激光与视觉融合地图的构建提供了重要的数据基础。
步骤S102，获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和特征匹配关系，从图像帧集中筛选出关键帧集，获取关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集。
其中，特征匹配关系指特征点之间的匹配关系。关键帧指能够较好的反映图像帧特性的图像帧，具有较多代表性的特征的图像帧。关键帧集指关键帧的集合。初始地图点集指根据相邻图像帧中匹配的特征点创建得到的二维的地图点的集合，其包含各初始地图点对应的关键帧ID以及各初始地图点在对应的关键帧上投影的像素坐标。对应关系集指用于存储初始地图点和关键帧对应关系的集合，其中初始地图点存储着对应的各个关键帧中对应的特征点的位置，每个关键帧中也存储着该关键帧中各个特征点对应的初始地图点的位置，也就是说，特征点和初始地图点之间是多对一的关系，关键帧与初始地图点之间是多对多的关系。
具体地，为了更好地获取和其他图像帧有较大差别的图像帧，可以获取各相邻图像帧之间的特征匹配关系，以各图像帧对应的位姿和各相邻图像帧之间的特征匹配关系作为关键帧筛选过程中的计算依据。图像帧的位姿数据可以计算不同图像帧之间的变化距离，当变化距离达到一定阈值时，说明两个图像帧之间的图像信息大概率会有较大的变化，而此时图像帧中的特性信息也会比较多；图像帧之间的特征匹配关系可以用于计算图像帧中特征点之间的特征匹配率，特征匹配率越低说明两个图像之间的图像信息差异就越大，此时图像帧中的特性信息也会比较多。并且关键帧中包含着与其他图像帧特征区别相对比较大的信息，较好地反映了图像中环境的特性，对最终融合地图的构建起到较好的作用。可以从图像帧集中选相邻两个图像帧之间距离差别较大时最新的时间戳对应的图像帧作为关键帧，其中，可以根据如下例子理解最新的时间戳对应的图像帧：比如相邻两个图像帧分别为a和b，a对应的时间戳为t1，b对应的时间戳为t2，t1<t2，也就是t2更接近当前时间，则将t2对应的图像帧b作为最新的时间戳对应的图像帧；还可以从图像帧集中选相邻两个图像帧对应的特征匹配率小于预设的特征匹配率的、对应的时间戳最新的图像帧作为关键帧，从而可以从图像帧集筛选出多个关键帧集合组成的关键帧集。
在一实施例中，融合地图的构建需要获取对应的初始地图点集，可以根据相邻图像帧对应的匹配关系中匹配上的特征点去创建对应的初始地图点，并建立初始地图点集中各个初始地图点与关键帧集中各个关键帧的对应关系(实际是构建初始地图点与关键帧中各特征点之间的对应关系)，也就是各个初始地图点中均存储着与其对应的每个关键帧中对应的特征点的位置，每个关键帧存储着该关键帧中各个特征点对应的初始地图点的位置，为最终融合地图的构建做进一步的数据准备。
步骤S104，从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集。
其中，当前关键帧指当前执行过程中被选取到的关键帧。相关关键帧集指距离当前关键帧有预设距离的关键帧的集合。更新地图点集指对初始地图点集中的地图点进行新地图点的添加以及原地图点的删除之后得到的地图点的集合。更新对应关系集指对初始地图点集中初始地图点和关键帧之间的对应关系进行更新后的对应关系集。
具体地，在选取当前关键帧对应的相关关键帧集时，可以自定义一个预设距离，然后根据关键帧的位姿获取距离当前关键帧预设距离远的所有关键帧，这些关键帧的集合即相关关键帧，比如预设距离是3m，则可以根据当前关键帧的位姿获取其周围距离3m的相关关键帧集。为了获取到更为有效的地图点信息，可以根据当前关键帧与相关关键帧之间的特征匹配关系进行初始地图点集以及对应关系集中信息的更新。也就是可以将每个关键帧中的特征点与其对应的相关关键帧集中的各个相关关键帧对应的特征点进行匹配，从而确定各个当前关键帧与对应的相关关键帧之间的特征匹配关系，该特征匹配关系可作为初始地图点集和对应关系集进行更新的判断依据。
对于当前关键帧与相关关键帧集中各相关关键帧进行特征匹配的理解，可由如下例子理解：比如，当前关键帧为K，相关关键帧集中的一个相关关键帧为P，当前关键帧K对应的特征点与相关关键帧P对应的特征点进行匹配，得到两关键帧之间的特征匹配关系；若当前关键帧K中特征点k1与相关关键帧P中特征点p1匹配，则判断特征点k1对应的初始地图点Q1与特征点p1对应的初始地图点Q2是否一致；若不一致，则将初始地图点Q1和初始地图点Q2进行合并生成更新地图点Q3以及Q3与特征点k1和p1的新的对应关系(也就是更新地图点Q3与当前关键帧K和相关关键帧P的对应关系)，并将初始地图点Q1和Q2从初始地图点集和对应关系集中删除，将更新地图点Q3加入到初始地图点集中以及更新地图点Q3与特征点k1和p1的新的对应关系加入到对应关系集中，从而得到更新地图点集和更新对应关系集。
步骤S106，将更新地图点集转化为三维地图点集，基于三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
其中，三维地图点集指具有三维位置的地图点，其可以通过三角化技术(Triangulation)根据更新地图点集中各地图点对应的关键帧的位姿和各地图点在对应关键帧中的像素位置计算得到。目标融合地图指融合了激光位姿数据之后得到的视觉地图，其用于实现机器人在多样的场景下进行定位运行。
具体地，更新地图点集中的各个更新地图点还没有计算得到对应的三维信息，还没有完成融合了激光位姿数据之后的视觉地图的创建，可以通过三角化技术，根据更新地图点集中各个更新地图点对应的关键帧的位姿和各个更新地图点在对应的关键帧上的成像位置(像素位置)，生成对应的三维地图点集，并对三维地图点集中的三维地图点进行优化删除等方面的操作，在进行三维地图点集优化删除的过程中，也对更新对应关系集中对应的地图点(此时地图点也对应变成三维地图点)与关键帧之间的对应关系，以获取更准确的三维地图点位置以及与关键帧对应关系信息的三维地图点，进而得到目标融合地图，实现了激光位姿融合视觉地图构建融合的视觉地图，并可将目标融合地图用于控制机器人的定位运行中，以实现机器人多场景的定位运行。
上述融合地图构建方法，通过由激光雷达建图得到的激光位姿数据集对图像采集设备采集的图像帧集中各图像帧进行插值，得到各图像帧对应的各位姿，再基于各图像帧对应的位姿和获取的各相邻图像帧之间的特征匹配关系从图像帧集中筛选出关键帧集，基于关键帧集和获取的初始地图点集构建各关键帧与各初始地图点的对应关系集，依次基于关键帧集中的当前关键帧和当前关键帧对应的相关关键帧集对初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集，将更新地图点集转化为三维地图点集，最后基于三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建得到可用于控制机器人定位运行中的目标融合地图，实现了激光位姿数据与视觉地图的融合建图，有效地结合了激光地图和视觉地图的特性，使得机器人基于融合地图能够在多场景下高效正确的定位运行，从而扩大了机器人正常定位运行的环境范围。
在一个实施例中，如图2所示，步骤S100包括：
步骤S200，从图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳。
其中，当前图像帧指当前执行插值操作过程对应的初始图像帧。时间戳指能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，通常是一个字符序列，唯一地标识某一刻的时间。当前时间戳指当前图像帧对应的时间戳。前向激光位姿指相对当前时间戳的上一个时间戳对应的激光位姿。前向时间戳指相对当前时间戳的上一个时间戳。后向激光位姿指相对当前时间戳的下一个时间戳对应的激光位姿。后向时间戳指相对当前时间戳的下一个时间戳。
具体地，图像帧集中每个图像帧均记录有对应的时间戳，激光位姿数据集中的各个激光位姿也记录有对应的时间戳，可以根据当前图像帧对应的时间戳确定激光位姿数据集中相同时间戳对应的位姿信息，也就是前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳，这些数据的获取，为后续计算各个图像帧对应的位姿做数据准备。
步骤S202，将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿。
具体地，各个图像帧对应的位姿，可以根据各个图像帧对应的当前时间戳、前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳进行计算得到。进一步讲，可以将图像帧对应的位姿当作T以及对应的当前时间戳当作t，前向激光位姿当作T1，前向激光位姿对应的前向时间戳当作t1，后向激光位姿当作T2和后向激光位姿对应的后向时间戳当作t2，其中t1<t<t2，可以通过匀速模型得到(T-T1)/(t–t1)＝(T2–T1)/(t2-t1)，也就是图像帧对应的位姿T＝T1+(T2–T1)(t-t1)/(t2-t1)，从而完成将当前时间戳t、前向时间戳t1、后向时间戳t2、前向激光位姿T1和后向激光位姿T2的插值操作。
上述实施例中，通过从图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳，将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿，完成了激光位姿插值到图像帧中的操作，实现了激光位姿数据与视觉图像的融合，为后续构建融合后的视觉地图做重要的数据基础，有利于机器人应用最终融合得到的地图在多场景下的定位运行，进而有利于扩大机器人正常定位运行的环境范围。
在一个实施例中，如图3所示，步骤S102包括：
步骤S300，对图像帧集中各图像帧进行特征点提取操作，得到各图像帧对应的各特征点，特征点包括描述子。
其中，特征点提取指提取图像帧集中各个图像帧对应的特征点的操作，可以是提取ORB(Oriented FAST and Rotated BRIEF)特征点，也可以是提取SIFT(Scale-InvariantFeature Transform)特征点或其他深度学习的特征点等。描述子是刻画特征的一个数据结构，一个描述子的维数可以是多维的，其可以表示特征点的朝向和周围像素信息等。
步骤S302，从图像帧集中依次选出各图像帧相邻的第一图像帧和第二图像帧，获取第一图像帧对应的第一描述子和第二图像帧对应的第二描述子。
其中，第一图像帧指相邻的两个图像帧中对应时间戳较早的图像帧。第二图像帧指相邻的两个图像帧中对应的时间戳较晚的图像帧。第一描述子指第一图像帧中各个特征点对应的描述子。第二描述子指第二图像帧中各个特征点对应的描述子。
具体地，融合地图的构建需要图像帧中各特征点的特征匹配关系作为数据依据，可以先提取每一个图像帧对应的ORB特征点(或SIFT特征点等)，从而得到各个图像帧中的特征点信息。其中为从图像帧中选出包含有更多有效图像信息的关键帧，可以根据相邻图像帧之间的特征匹配关系做相应的判断，决定将哪些图像帧作为关键帧。在相邻图像帧之间的特征匹配关系的计算过程中，需要用到相邻两帧图像帧对应的描述子，也就是第一图像帧中各特征点对应的第一描述子和第二图像帧中各特征点对应的第二描述子，为后续进行特征点的匹配做了数据准备。
步骤S304，遍历第一图像帧对应的第一描述子，将第二描述子中与第一描述子最相似的描述子作为第一目标描述子，构建第一描述子与所述第一目标描述子的第一对应关系。
其中，第一目标描述子指与第一图像帧对应的第一描述子最相似的第二描述子。第一对应关系指第一图像帧中的第一描述子与第二图像帧中的第一目标描述子之间的对应关系。
具体地，对于特征点对应的特征匹配关系，可以根据第一图像帧对应的第一描述子与第二图像帧对应的第二描述子的对应关系，与第二图像帧对应的第二描述子与第一图像帧对应的第一描述子的对应关系是否一致来构建。在此之前，可以遍历寻找第一图像帧中各个第一描述子，同时在第二图像帧中找出与各第一描述子最相似的第二描述子，将各最相似的第二描述子作为各第一描述子对应的第一目标描述子，然后构建各第一描述子与各对应的第一目标描述子的第一对应关系，为后续第一图像帧中的特征点与第二图像帧中的特征点是否匹配提供比较数据。
步骤S306，遍历第二图像帧对应的第二描述子，将第一描述子中与第二描述子最相似的描述子作为第二目标描述子，构建第二描述子与所述第二目标描述子的第二对应关系。
其中，第二目标描述子指与当前遍历步骤下的第二描述子最相似的第一描述子。第二对应关系指第二图像帧中的第二描述子，与第一图像帧中对应的第二目标描述子之间的对应关系。
具体地，为了检测第一图像帧中的各第一描述子与第二图像帧中的各第二描述子的对应关系，与第二图像帧中的各第二描述子与第一图像帧中的各第一描述子的对应关系是否相同，可以遍历寻找第二图像帧中的各第二描述子，同时在第一图像帧中找出与各第二描述子中最相似的第一描述子，将各最相似的第一描述子作为各第二描述子对应的第二目标描述子，然后构建第二图像帧中各个第二描述子与对应的各第二目标描述子的第二对应关系，为后续第一图像帧中的特征点与第二图像帧中的特征点是否匹配提供比较依据。
步骤S308，将第一对应关系和第二对应关系中关系一致的描述子对应的特征点进行匹配，得到所述图像帧集中各所述第一图像帧和各所述第二图像帧对应的特征匹配关系。
具体地，当第一对应关系和第二对应关系对应的关系一致时，说明对应的描述子对应的特征点匹配上，对每一个对应关系一致的描述子对应的特征点均进行匹配，得到图像帧集中各个第一图像帧和第二图像帧对应的特征匹配关系。进一步讲，可以将相邻的第一图像帧当作P1，将第二图像帧当作P2，将第一图像帧P1对应的第一描述子当作d1，将第二图像帧P2对应的第二描述子当作d2，在第二图像帧P2中寻找与第一描述子d1最相似的第二描述子d2，并构建第一图像帧P1中第一描述子d1与第二图像帧P2中最相似的第二描述子d2的第一对应关系，比如其中的第一对应关系中有“d1_1—d2_1、d1_3—d2_3”(d1_1、d1_3为第一图像帧中的第一描述子；d2_1、d2_3为第二图像帧中的第二描述子，同理，只要有d1_的均为第一图像帧中的第一描述子，有d2_的均为第二图像帧中的第二描述子)；反过来在第一图像帧P1中寻找与第二描述子d2最相似的第一描述子d1，并构建第二图像帧P2中第二描述子d2与第一图像帧P1中最相似的第一描述子d2的第二对应关系，比如其中的第二对应关系中有“d2_1—d1_5，d2_3—d1_3”，则由对应关系的例子可知，第一对应关系“d1_1—d2_1”与第二对应关系“d2_1—d1_5”不一致，则不构建第一描述子d1_1对应的特征点与第二描述子d2_1对应的特征点的特征匹配关系，而第一对应关系“d1_3—d2_3”与第二对应关系“d2_3—d1_3”一致，则构建第一描述子d1_3对应的特征点与第二描述子d2_3对应的特征点的特征匹配关系。
上述实施例中，通过对图像帧集中各图像帧进行特征点提取，得到各图像帧对应的各包括描述的特征点，依次遍历相邻的第一图像帧和第二图像帧中的各描述子，构建第一图像帧中各第一描述子与第二图像帧中各对应的第一目标描述子的第一对应关系，以及构建第二图像帧中各第二描述子与第一图像帧中各对应的第二目标描述子的第二对应关系，基于第一对应关系和第二对应关系的比较，对第一图像帧中的各特征点与第二图像帧中的各特征点进行匹配，得到图像帧集中各第一图像帧和各第二图像帧之间对应的特征匹配关系，实现了相邻图像帧的特征点匹配，构建了相邻图像帧对应的特征点的特征匹配关系，为后续进程中关键帧的创建和地图点创建提供了数据基础，在一定程度上提高了创建融合了激光位姿数据的视觉地图的执行效率。
在一个实施例中，如图4所示，步骤S102还包括：
步骤S400，基于图像帧集中各图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为关键帧集中的关键帧。
其中，变化距离指相邻图像帧之间的距离。预设变化距离指用于划定关键帧时设定的值。
具体地，对于关键帧的选择主要考虑相邻图像帧之间是否存在较大的特征信息差距，可以根据相邻图像帧对应的位姿计算相邻图像帧之间的变化距离，变化距离越大，说明图像中具有差异的特征点越多，图像帧之间对应的个性特点、特色特点变化越多。此时，可以设定对应的预设变化距离，当相邻图像帧之间的变化距离超过预设变化距离时，则可以将第二图像帧作为关键帧集中的关键帧。比如相邻的第一图像帧P1与第二图像帧P2之间的变化距离为1m，预设变化距离为0.5m，变化距离1m大于预设变化距离0.5m，因此可以将第二图像帧P2作为关键帧。
步骤S402，基于图像帧集中各图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为关键帧集中的关键帧。
其中，特征匹配率指相邻两帧的特征点匹配上的概率，可以根据匹配特征点的个数除以第一图像帧对应的特征点的总数得到。预设匹配率指用于确定关键帧所设定的概率值，可以根据实际情况进行设置。
具体地，对于关键帧的创建，还可以根据图像帧集中各个第一图像帧和第二图像帧对应的特征匹配关系，统计相邻图像帧对应的匹配上的特征点的个数，并除以相邻的图像帧中对应的第一图像帧对应的特征点的总数，得到图像帧集中各个第一图像帧和第二图像帧对应的特征匹配率，然后将特征匹配率大于预设特征匹配率时对应的第二图像帧作为关键帧集中的关键帧。
上述实施例中，通过基于图像帧集中各图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为关键帧集中的关键帧，或者，基于图像帧集中各图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为关键帧集中的关键帧，实现了关键帧的创建，关键帧创建的双维考虑，能够较好地获取关键帧中更多的有用信息，有利于创建能够定位出更准确的实际环境的目标融合地图。
在一个实施例中，如图5所示，步骤S104包括：
步骤S500，获取预设距离，依次从关键帧集中选出当前关键帧，基于当前关键帧对应的位姿和预设距离，从关键帧集中选出当前关键帧对应的相关关键帧集。
其中，预设距离指用于选取当前关键帧周围关键帧所设定的距离。
步骤S502，对当前关键帧和相关关键帧集中各相关关键帧进行特征匹配，得到当前关键帧和各相关关键帧的特征匹配关系。
具体地，关键帧包含着环境变化的较多有用信息，可以根据实际情况确定对应的预设距离，根据当前关键帧对应的位姿，找出与当前关键帧周围预设距离远的相关关键帧，不同关键帧之间可能存在着较大的图像信息差异，通过预设距离远的相关关键帧与当前关键帧的比较，有利于对融合了激光位姿后的图像进行优化，从而有利于提高最终获取的目标融合地图中融合的地图信息的有效性。
步骤S504，当当前关键帧的当前匹配特征点对应的初始地图点集中的初始地图点与相关关键帧的当前相关匹配特征点对应的初始地图点不一致时，将当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，得到更新地图点。
其中，当前匹配特征点指当前遍历步骤下正在遍历到的当前相关关键帧中的特征点。当前相关匹配特征点指当前遍历到的相关关键帧中的特征点。
具体地，当当前匹配特征点与当前相关匹配特征点对应的初始地图点不一致时，可以将不一致的两个初始地图点进行合并，生成对应的更新地图点。比如，当前关键帧为K，相关关键帧集中的相关关键帧为P，当前关键帧K中的当前匹配特征点k1对应的初始地图点与相关关键帧P中的当前相关匹配特征点p2对应的初始地图点不一致，此时当前匹配特征点k1对应的初始地图点是Q1，当前相关匹配特征点p2对应的初始地图点为Q2，初始地图点Q1和初始地图点为Q2与当前匹配特征点k1和当前相关匹配特征点p2的对应关系为Q1<—>k1、Q2<—>p2，可以将初始地图点Q1和初始地图点Q2进行合并，生成对应的更新地图点Q3，其中“<—>”指双向对应的关系。
步骤S506，将更新地图点加入初始地图点集中，将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点。
具体地，可以将新生成的更新地图点加入到初始地图点集中，并将当前匹配特征点与当前相关匹配特征点对应不一致的初始地图点从初始地图点集中剔除，以实现初始地图点集的更新，得到更新地图点集。此外，还可以将更新地图点与对应的关键帧以及关键帧中特征点的对应关系在对应关系集中进行更改，以对更新地图点与其对应的关键帧之间的对应关系进行更新。依据步骤S504所描述的例子可以继续理解，即将更新地图点Q3加入到初始地图点集中，将初始地图点Q1和初始地图点Q2从初始地图点集中删除，此时地图点(包括初始地图点Q1、Q2，更新地图点Q3)与特征点(包括当前匹配特征点k1、当前相关匹配特征点p2)的对应关系也需要发生改变，需从原来的“Q1<—>k1、Q2<—>p2”变为“Q3<—>k1和p2”，特征点与地图点对应关系的转变，也代表着地图点与对应的关键帧的对应关系的改变，从而实现初始地图点和对应关系的更新。
步骤S508，遍历关键帧集中的关键帧，得到更新地图点集和更新对应关系集。
上述实施例中，通过基于预设距离和当前关键帧对应的位姿，选出当前关键帧对应的相关关键帧集，并对当前关键帧和相关关键帧集中各相关关键帧进行特征匹配，得到可作为关键帧与初始地图点优化依据的特征匹配关系，当当前关键帧对应的当前匹配特征点对应的初始地图点与相关关键帧对应的当前相关匹配特征点对应的初始地图点不一致时，将前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，并将更新地图点加入初始地图点集中，以及将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点，重复遍历关键帧集中的关键帧，直至得到更新地图点集和更新对应关系集，实现了初始地图点集和对应关系集的更新，使得更新地图点集和更新对应关系集中的数据信息更加准确，更有利于提高激光位姿和视觉地图融合构建融合地图的准确性，使得融合后的地图更能融合激光地图和视觉地图对应的功能性，使得机器人可以根据融合地图定位到激光定位和视觉定位时对应的场景环境中，从而在一定程度上有利于扩大机器人正常运行时的环境范围。
在一个实施例中，步骤S106包括：基于更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将更新地图点集转化成三维地图点集。
其中，像素位置指更新地图点在对应的关键帧上的像素坐标。
具体地，更新地图点集中的地图点还是二维位置上的地图点，可以通过三角化技术(Triangulation)，根据各个更新地图点对应的关键帧的位姿以及各个更新地图点在对应的关键帧上的像素坐标，计算生成各个更新地图点对应的三维地图点，为后续生成目标融合地图提供了数据基础。
上述实施例中，通过基于更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将更新地图点集转化成三维地图点集，实现了三维地图点集的创建，为后续生成最终的目标融合地图提供了重要的数据基础。
在一个实施例中，如图6所示，步骤S106包括：
步骤S600，计算三维地图点集中各三维地图点在对应的各关键帧上的各总重投影误差，当总重投影误差大于预设像素数量时，将三维地图点与对应的关键帧的对应关系从所述更新对应关系集中删除，得到中间对应关系集。
其中，总重投影误差指三维地图点在对应的关键帧中重新投影与第一次投影时产生的误差，可以通过将三维地图点重新投影到对应的各关键帧上，计算该三维地图点在各对应的关键帧上的重投影误差之和得到。预设像素数量指用于判断三维地图点准确性所界定的数值。中间对应关系集指对更新对应关系集进行三维地图点与关键帧对应关系删除之后得到的对应关系集。
具体地，为了获得准确度更高的三维地图点位置信息，可以将各个三维地图点对应的位置重新投影到对应的各个关键帧上，并记录对应的重投影点，将这些重投影点与三维地图点对应的特征点进行比较，若重投影点与特征点一致，则说明重投影点与特征点几乎没有误差，进而计算各个三维地图点在各对应的关键帧上的总重投影误差。获得准确度更高的三维地图点位置信息，可以根据具体地的需求设定对应的预设像素数量，当总重投影误差小于或等于预设像素数量时，说明三维地图点对应的三维位置信息准确度较高；当总重投影误差大于预设像素数量时，说明三维地图点对应的三维位置信息与实际差别太大，若采用该位置信息与实际差异较大的三维地图点，则会对机器人的定位运行造成不良影响。因此，可以将总重投影误差大于预设像素数量时对应的三维地图点与对应的关键帧的对应关系从更新对应关系集中删除，也就是删除该三维地图点与对应的关键帧中特征点的对应关系，这些对应关系的数据信息不再应用于机器人定位运行的控制中，从而避免了无效数据的干扰。
步骤S602，从三维地图点集中依次选出当前三维地图点，计算当前三维地图点对应的对应关键帧数目，当对应关键帧数目小于预设数目时，将当前三维地图点从三维地图点集中删除，将当前三维地图点与当前三维地图点对应的关键帧的对应关系从中间对应关系集中删除，得到目标三维地图点集和目标对应关系集。
其中，当前三维地图点指当前执行过程中从三维地图点集中选到的三维地图点。对应关键帧数目指三维地图点所对应的关键帧的数目。预设数目指用于界定删除三维地图点及其对应的关键帧的数值。目标对应关系集指用于构成最终的目标融合地图所需要的，三维地图点与对应关键帧间的对应关系的数据信息。
具体地，当三维地图点对应的关键帧数目较少时，所能获取到的关键信息的准确度也没有较多保障，此时得到的地图数据信息可能会导致机器人在多场景中定位运行的准确度不高。因此，可以计算每个三维地图点对应的关键帧的数目(即对应关键帧数目)，并根据实际需求确定的预设数目与对应关键帧数目进行比较，将对应关键帧数目小于预设数目的当前三维地图点从三维地图点集中删除，并将当前三维地图点与当前三维地图点对应的关键帧的对应关系从中间对应关系集中删除，进而适当地删除掉了一些影响最终生成目标融合地图对应的信息的准确性的数据信息，从而得到准确性更高的目标三维地图点集和目标对应关系集。
步骤S604，基于目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿构建目标融合地图。
具体地，经过层层的信息优化，此时得到的目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿的数据信息的准确度均较高，这些数据的组合可以使得构建得到的目标融合地图更加接近实际场景的定位环境，从而使得应用了目标融合地图的机器人可以在多场景中准确高效地定位运行。
上述实施例中，通过将计算得到的各三维地图点对应的总投影误差与预设像素数量进行比较，优化了三维地图点和对应的关键帧之间的对应关系，从而得到数据信息更精准的中间对应关系集；进而将每个三维地图点对应的对应关键帧数目与预设数目进行比较，将关联较少关键帧的三维地图点以及与其对应的关键帧之间的对应关系，分别从三维地图点和中间对应关系集中删除，从而实现数据信息的进一步优化，得到了准确性更高的目标三维地图点集和目标对应关系集；将数据信息准确度更高的目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿构建目标融合地图，使得构建得到的目标融合地图对应的数据信息更加接近现实场景，使得其数据信息定位的准确性更高，从而确保了机器人应用目标融合地图时在多场景中准确高效地定位运行，从而较大程度地扩大了机器人正常运行的环境范围。
在一个实施例中，可以将机器人在黑暗场景中通过2D激光雷达获得的激光位姿数据作为激光位姿数据集，在高动态环境下使用视觉SLAM进行定位并通过摄像头采集得到的图像数据作为图像帧集，通过获取的图像帧集和激光位姿数据集，基于激光位姿数据集对图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和特征匹配关系，从图像帧集中筛选出关键帧集，获取关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；基于三角化技术将更新地图点集转化为三维地图点集，进而根据三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建融合了激光位姿数据和视觉地图数据的目标融合地图，使得机器人应用该目标融合地图可以在黑暗环境和高动态环境中高效准确地定位运行，从而有效避免了机器人仅通过激光定位时受动态物体的干扰以及仅通过视觉定位时无法在黑暗环境中进行正确定位运行的问题，从而较大程度地扩展了机器人的运行环境，扩大了机器人正常定位运行的环境范围。
在一个实施例中，如图7所示，提供了一种融合地图构建装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为机器人的一部分，该装置具体包括：插值模块700、匹配模块702、更新模块704和构建模块706，其中：
插值模块700，用于获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿。
匹配模块702，用于获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集。
更新模块704，用于从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集。
构建模块706，用于将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
上述实施例中，通过由激光雷达建图得到的激光位姿数据集对图像采集设备采集的图像帧集中各图像帧进行插值，得到各图像帧对应的各位姿，再基于各图像帧对应的位姿和获取的各相邻图像帧之间的特征匹配关系从图像帧集中筛选出关键帧集，基于关键帧集和获取的初始地图点集构建各关键帧与各初始地图点的对应关系集，依次基于关键帧集中的当前关键帧和当前关键帧对应的相关关键帧集对初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集，将更新地图点集转化为三维地图点集，最后基于三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建得到可用于控制机器人定位运行中的目标融合地图，实现了激光位姿数据与视觉地图的融合建图，有效地结合了激光地图和视觉地图的特性，使得机器人基于融合地图能够在多场景下高效正确的定位运行，从而扩大了机器人正常定位运行的环境范围。
在一个实施例中，插值模块700，还用于从所述图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从所述激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳；将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿。
在一个实施例中，匹配模块702，还用于对所述图像帧集中各图像帧进行特征点提取操作，得到各图像帧对应的各特征点，所述特征点包括描述子；从所述图像帧集中依次选出各所述图像帧相邻的第一图像帧和第二图像帧，获取所述第一图像帧对应的第一描述子和所述第二图像帧对应的第二描述子；遍历所述第一图像帧对应的第一描述子，将第二描述子中与所述第一描述子最相似的描述子作为第一目标描述子，构建所述第一描述子与所述第一目标描述子的第一对应关系；遍历所述第二图像帧对应的第二描述子，将第一描述子中与所述第二描述子最相似的描述子作为第二目标描述子，构建所述第二描述子与所述第二目标描述子的第二对应关系；将第一对应关系和第二对应关系中关系一致的描述子对应的特征点进行匹配，得到所述图像帧集中各所述第一图像帧和各所述第二图像帧对应的特征匹配关系。
在一个实施例中，匹配模块702，还用于
基于所述图像帧集中各所述图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为所述关键帧集中的关键帧；
或者，
基于所述图像帧集中各所述图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为所述关键帧集中的关键帧。
在一个实施例中，更新模块704，还用于获取预设距离，依次从所述关键帧集中选出当前关键帧，基于当前关键帧对应的位姿和预设距离，从所述关键帧集中选出当前关键帧对应的相关关键帧集；对所述当前关键帧和所述相关关键帧集中各相关关键帧进行特征匹配，得到所述当前关键帧和各所述相关关键帧的特征匹配关系；当所述当前关键帧的当前匹配特征点对应的初始地图点集中的初始地图点与所述相关关键帧的当前相关匹配特征点对应的初始地图点不一致时，将当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，得到更新地图点；将更新地图点加入所述初始地图点集中，将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点；遍历所述关键帧集中的关键帧，得到所述更新地图点集和更新对应关系集。
在一个实施例中，构建模块706，还用于基于所述更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将所述更新地图点集转化成三维地图点集。
在一个实施例中，构建模块706，还用于基于所述更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将所述更新地图点集转化成三维地图点集。
关于融合地图构建装置的具体限定可以参见上文中对于融合地图构建方法的限定，在此不再赘述。上述融合地图构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于机器人中的处理器中，也可以以软件形式存储于机器人中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种机器人，其内部结构图可以如图8所示。该机器人包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该机器人的处理器用于提供计算和控制能力。该机器人的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该机器人的通信接口用于与外部的机器人进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种融合地图构建方法。该机器人的显示屏可以是液晶显示屏或者电子墨水显示屏，该机器人的输入装置可以是显示屏上覆盖的触摸层，也可以是机器人外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的机器人的限定，具体的机器人可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种机器人，包括存储器、处理器以及储存在所述储存器中并可在所述处理器上运行的计算机可读指令，该处理器执行计算机指令时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。机器人的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该机器人执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种融合地图构建方法，其特征在于，所述方法应用于机器人，所述机器人上搭载有激光雷达和图像采集设备；所述方法包括：
获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；
获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；
从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；
将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
2.根据权利要求1所述的方法，其特征在于，所述基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿包括：
从所述图像帧集中依次选出当前图像帧，基于当前图像帧对应的当前时间戳，从所述激光位姿数据集中获取当前时间戳对应的前向激光位姿、前向激光位姿对应的前向时间戳、后向激光位姿和后向激光位姿对应的后向时间戳；
将当前时间戳、前向时间戳、后向时间戳、前向激光位姿和后向激光位姿进行插值操作，得到当前图像帧对应的位姿。
3.根据权利要求1所述的方法，其特征在于，所述获取各相邻图像帧之间的特征匹配关系包括：
对所述图像帧集中各图像帧进行特征点提取操作，得到各图像帧对应的各特征点，所述特征点包括描述子；
从所述图像帧集中依次选出各所述图像帧相邻的第一图像帧和第二图像帧，获取所述第一图像帧对应的第一描述子和所述第二图像帧对应的第二描述子；
遍历所述第一图像帧对应的第一描述子，将第二描述子中与所述第一描述子最相似的描述子作为第一目标描述子，构建所述第一描述子与所述第一目标描述子的第一对应关系；
遍历所述第二图像帧对应的第二描述子，将第一描述子中与所述第二描述子最相似的描述子作为第二目标描述子，构建所述第二描述子与所述第二目标描述子的第二对应关系；
将第一对应关系和第二对应关系中关系一致的描述子对应的特征点进行匹配，得到所述图像帧集中各所述第一图像帧和各所述第二图像帧对应的特征匹配关系。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集包括：
基于所述图像帧集中各所述图像帧相邻的第一图像帧对应的位姿和第二图像帧对应的位姿，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的变化距离，将变化距离大于预设变化距离对应的第二图像帧作为所述关键帧集中的关键帧；
或者，
基于所述图像帧集中各所述图像帧相邻的第一图像帧和第二图像帧对应的特征匹配关系，计算得到所述图像帧集中各第一图像帧和第二图像帧对应的特征匹配率，将特征匹配率小于预设匹配率对应的第二图像帧作为所述关键帧集中的关键帧。
5.根据权利要求1所述的方法，其特征在于，所述从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集包括：
获取预设距离，依次从所述关键帧集中选出当前关键帧，基于当前关键帧对应的位姿和预设距离，从所述关键帧集中选出当前关键帧对应的相关关键帧集；
对所述当前关键帧和所述相关关键帧集中各相关关键帧进行特征匹配，得到所述当前关键帧和各所述相关关键帧的特征匹配关系；
当所述当前关键帧的当前匹配特征点对应的初始地图点集中的初始地图点与所述相关关键帧的当前相关匹配特征点对应的初始地图点不一致时，将当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点进行合并，得到更新地图点；
将更新地图点加入所述初始地图点集中，将当前匹配特征点对应的初始地图点和当前相关匹配特征点对应的初始地图点从初始地图点集中删除，将对应关系集中当前匹配特征点对应的初始地图点与当前相关匹配特征点对应的初始地图点改成更新地图点，得到更新对应关系和更新地图点；
遍历所述关键帧集中的关键帧，得到所述更新地图点集和更新对应关系集。
6.根据权利要求1所述的方法，其特征在于，所述更新地图点集包括各更新地图点在对应的关键帧上的像素坐标，所述将所述更新地图点集转化为三维地图点集包括：
基于所述更新地图点集中各更新地图点对应的关键帧的位姿以及各更新地图点在对应的关键帧上的像素坐标，将所述更新地图点集转化成三维地图点集。
7.根据权利要求1所述的方法，其特征在于，所述基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图包括：
计算所述三维地图点集中各三维地图点在对应的各关键帧上的各总重投影误差，当总重投影误差大于预设像素数量时，将三维地图点与对应的关键帧的对应关系从所述更新对应关系集中删除，得到中间对应关系集；
从所述三维地图点集中依次选出当前三维地图点，计算当前三维地图点对应的对应关键帧数目，当对应关键帧数目小于预设数目时，将当前三维地图点从所述三维地图点集中删除，将当前三维地图点与当前三维地图点对应的关键帧的对应关系从所述中间对应关系集中删除，得到目标三维地图点集和目标对应关系集；
基于所述目标三维地图点集、目标对应关系集以及目标对应关系集中各关键帧的位姿构建所述目标融合地图。
8.一种融合地图构建装置，其特征在于，所述装置包括：
插值模块，用于获取图像采集设备采集的图像帧集和激光雷达建图得到的激光位姿数据集，基于所述激光位姿数据集对所述图像帧集中各图像帧进行插值操作，得到各图像帧对应的各位姿；
匹配模块，用于获取各相邻图像帧之间的特征匹配关系，基于各图像帧对应的位姿和所述特征匹配关系，从所述图像帧集中筛选出关键帧集，获取所述关键帧集对应的初始地图点集，构建关键帧集中各关键帧与初始地图点集中各初始地图点的对应关系，得到对应关系集；
更新模块，用于从关键帧集中依次选出当前关键帧和当前关键帧对应的相关关键帧集，基于当前关键帧和相关关键帧集之间的特征匹配关系，对所述初始地图点集和对应关系集进行更新，得到更新地图点集和更新对应关系集；
构建模块，用于将所述更新地图点集转化为三维地图点集，基于所述三维地图点集、更新对应关系集以及更新对应关系集中各关键帧的位姿构建目标融合地图。
9.一种机器人，其特征在于，所述机器人上搭载有激光雷达和图像采集设备，所述机器人还包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器用于执行所述计算机可读指令时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310609501.9A CN116698007A (zh) | 2023-05-26 | 2023-05-26 | 融合地图构建方法、装置、机器人和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310609501.9A CN116698007A (zh) | 2023-05-26 | 2023-05-26 | 融合地图构建方法、装置、机器人和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116698007A true CN116698007A (zh) | 2023-09-05 |
Family
ID=87833207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310609501.9A Pending CN116698007A (zh) | 2023-05-26 | 2023-05-26 | 融合地图构建方法、装置、机器人和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116698007A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160085319A1 (en) * | 2014-09-18 | 2016-03-24 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN108319976A (zh) * | 2018-01-25 | 2018-07-24 | 北京三快在线科技有限公司 | 建图方法及装置 |
| CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
| CN110084272A (zh) * | 2019-03-26 | 2019-08-02 | 哈尔滨工业大学（深圳） | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 |
| CN110196619A (zh) * | 2019-05-28 | 2019-09-03 | 维沃移动通信有限公司 | 一种铰链、电子设备及折叠角度确定方法 |
| CN110377213A (zh) * | 2019-07-12 | 2019-10-25 | Oppo广东移动通信有限公司 | 电子设备的控制方法、电子设备和计算机可读存储介质 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111314510A (zh) * | 2020-01-19 | 2020-06-19 | 维沃移动通信有限公司 | 一种折叠屏组件、电子设备以及折叠屏角度检测方法 |
| US20200410702A1 (en) * | 2019-06-25 | 2020-12-31 | DeepMap Inc. | Image-based keypoint generation |
| CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
| WO2021238725A1 (zh) * | 2020-05-25 | 2021-12-02 | 维沃移动通信有限公司 | 屏幕组件以及电子设备 |
| CN114474061A (zh) * | 2022-02-17 | 2022-05-13 | 新疆大学 | 基于云服务的机器人多传感器融合定位导航系统及方法 |
| CN115240047A (zh) * | 2022-08-04 | 2022-10-25 | 中国矿业大学(北京) | 一种融合视觉回环检测的激光slam方法及系统 |
-
2023
- 2023-05-26 CN CN202310609501.9A patent/CN116698007A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160085319A1 (en) * | 2014-09-18 | 2016-03-24 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| CN108319976A (zh) * | 2018-01-25 | 2018-07-24 | 北京三快在线科技有限公司 | 建图方法及装置 |
| CN109658445A (zh) * | 2018-12-14 | 2019-04-19 | 北京旷视科技有限公司 | 网络训练方法、增量建图方法、定位方法、装置及设备 |
| CN110084272A (zh) * | 2019-03-26 | 2019-08-02 | 哈尔滨工业大学（深圳） | 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法 |
| CN110196619A (zh) * | 2019-05-28 | 2019-09-03 | 维沃移动通信有限公司 | 一种铰链、电子设备及折叠角度确定方法 |
| US20200410702A1 (en) * | 2019-06-25 | 2020-12-31 | DeepMap Inc. | Image-based keypoint generation |
| CN110377213A (zh) * | 2019-07-12 | 2019-10-25 | Oppo广东移动通信有限公司 | 电子设备的控制方法、电子设备和计算机可读存储介质 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111314510A (zh) * | 2020-01-19 | 2020-06-19 | 维沃移动通信有限公司 | 一种折叠屏组件、电子设备以及折叠屏角度检测方法 |
| WO2021238725A1 (zh) * | 2020-05-25 | 2021-12-02 | 维沃移动通信有限公司 | 屏幕组件以及电子设备 |
| US20230080609A1 (en) * | 2020-05-25 | 2023-03-16 | Vivo Mobile Communication Co., Ltd. | Screen assembly and electronic device |
| CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
| CN114474061A (zh) * | 2022-02-17 | 2022-05-13 | 新疆大学 | 基于云服务的机器人多传感器融合定位导航系统及方法 |
| CN115240047A (zh) * | 2022-08-04 | 2022-10-25 | 中国矿业大学(北京) | 一种融合视觉回环检测的激光slam方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11734897B2 (en) | System and method for dense, large scale scene reconstruction | |
| Schöps et al. | Surfelmeshing: Online surfel-based mesh reconstruction | |
| US20190370989A1 (en) | Method and apparatus for 3-dimensional point cloud reconstruction | |
| US11682170B2 (en) | Generating three-dimensional geo-registered maps from image data | |
| CN112461230A (zh) | 机器人重定位方法、装置、机器人和可读存储介质 | |
| CN113593017B (zh) | 露天矿地表三维模型构建方法、装置、设备及存储介质 | |
| CN110945565A (zh) | 利用概率面元地图的密集视觉slam | |
| CN108829116B (zh) | 基于单目摄像头的避障方法及设备 | |
| CN112270736B (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN110648363A (zh) | 相机姿态确定方法、装置、存储介质及电子设备 | |
| CN114298982A (zh) | 图像标注方法、装置、计算机设备和存储介质 | |
| CN118314300B (zh) | 工程测量精准定位与三维建模方法及系统 | |
| CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN116091724A (zh) | 一种建筑数字孪生建模方法 | |
| Saxena et al. | 3-d reconstruction from sparse views using monocular vision | |
| CN112991436B (zh) | 基于物体尺寸先验信息的单目视觉slam方法 | |
| CN116030340A (zh) | 机器人、定位信息确定方法、装置及存储介质 | |
| CN112002007B (zh) | 基于空地影像的模型获取方法及装置、设备、存储介质 | |
| CN110021041B (zh) | 基于双目相机的无人驾驶场景增量式网格化结构重建方法 | |
| CN116698007A (zh) | 融合地图构建方法、装置、机器人和存储介质 | |
| CN116481516B (zh) | 机器人、地图创建方法和存储介质 | |
| CN114707392A (zh) | 一种局部slam构建方法、全局slam构建方法和构建装置 | |
| CN116824068B (zh) | 面向复杂动态场景中点云流的实时重建方法、装置及设备 | |
| JPH10111934A (ja) | ３次元形状モデル作成方法及び媒体 | |
| CN116977362A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |