CN114812540B - 一种建图方法、装置和计算机设备 - Google Patents
一种建图方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN114812540B CN114812540B CN202210715155.8A CN202210715155A CN114812540B CN 114812540 B CN114812540 B CN 114812540B CN 202210715155 A CN202210715155 A CN 202210715155A CN 114812540 B CN114812540 B CN 114812540B
- Authority
- CN
- China
- Prior art keywords
- images
- image
- continuous frames
- plane
- previous frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种建图方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。采用本方法能够提高构建地图的精度和可靠性。
Description
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种建图方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着科技机器人技术的进步，越来越多的机器人将会被使用在人类日常生活中。机器人定位技术，是机器人进行其他复杂任务的基础。目前机器人定位依赖视觉方案，会存在很多定位不准的情况。例如在重复纹理和低纹理场景下，机器人定位将变得困难。基于视觉方案的定位，首先会构建视觉地图，机器人在构建好的视觉地图中进行定位，可以很好的避免定位漂移现象。而构建视觉地图时，同样会受到场景中重复纹理和低纹理的影响。因此视觉地图在此类场景（低纹理、重复纹理）下的建图问题，成为重要的技术环节。
目前市面上能看见的移动机器人，大部分是基于贴二维码来进行定位以及构建地图的，以这种方案构建的地图是不会受到重复纹理和低纹理环境的影响。然而，此方案需要对环境的改造(在环境中贴二维码)，需要耗费巨大人力资源。此外，在一些特别的环境中，贴二维码进行定位的方案是不被允许的，（如高级餐厅、高级会议室、宴会厅）。因此，基于环境的自然特征的纯视觉定位方案，成为了减少人力消耗和提高定位稳定性的有效手段。 然而在低纹理和重复纹理中，基于传统视觉方案的地图构建方案，变得不稳定和不精确。因此，如何提高构建地图的精度和稳定性，成为亟待解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高构建地图精度和稳定性的结合语义信息和多传感器的建图方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种建图方法。所述方法包括：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
在其中一个实施例中，所述获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，之前还包括：
获取所述连续两帧图像的语义特征点；
滤除所述连续两帧图像中动态物体的语义特征点；
对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
在其中一个实施例中，所述根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，包括：
基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；
在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
在其中一个实施例中，
所述在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作，包括：
若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；
判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配。
在其中一个实施例中，所述在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作，还包括：
若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
在其中一个实施例中，所述将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，包括：
基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；
基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；
基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
第二方面，本申请还提供了一种建图装置。所述装置包括：
第一获取模块，用于获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
第二获取模块，用于基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
匹配优化模块，用于所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
地图构建模块，用于基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
上述结合语义信息和多传感器的建图方法、装置、计算机设备、存储介质和计算机程序产品，获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
附图说明
图1为一个实施例中建图方法的应用环境图；
图2为一个实施例中建图方法的流程示意图；
图3为一个实施例中对相对位姿进行优化步骤的流程示意图；
图4为一个实施例中建图装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的建图方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中，终端102为机器人，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种建图方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取由相机采集的连续两帧图像，将连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体。
具体地，相机安装在机器人上，相机采集的图像包括单目图像和/或双目图像；预设模型是基于样本图像以及样本图像对应的样本深度信息、样本语义物体和样本语义特征点训练生成的；将相机采集的图像输入预设模型中，获取相机采集的图像的深度信息及语义物体。其中，语义物体包括但不限于图像中的桌子，椅子，地面，墙面，天花板等。
步骤204，基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面。
具体地，根据图像的语义物体和图像的深度信息，提取出语义物体中的平面，语义物体的平面用于进行平面匹配。
步骤206，获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿。
具体地，获取连续两帧图像的相对位姿，根据相对位姿对连续两帧图像中的平面进行匹配操作，通过连续两帧图像的相对位姿，将两帧图像中其中一帧图像的语义物体的质心和法向量投射至连续两帧图像中另一帧图像的坐标系下，并进行图像匹配。当匹配成功后，根据预设的优化目标，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿。
步骤208，基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
具体地，基于每一图像中优化后的平面和每一图像优化后的相对位姿，对每一图像中的语义物体进行融合，逐个对每一图像中的语义物体进行融合，当所有图像的语义物体均融合完成后，实现融合语义地图的构建。
本实施例中，获取由相机采集的连续两帧图像，将连续两帧图像输入预设模型获取连续两帧图像的深度信息及语义物体；基于连续两帧图像的深度信息及语义物体，获得语义物体中的平面；获取连续两帧图像的相对位姿，根据相对位姿对连续两帧图像中的平面进行匹配操作，将匹配成功的连续两帧图像中的平面和连续两帧图像的相对位姿进行优化，获取连续两帧图像优化后的平面和优化后的相对位姿；基于连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
在一个实施例中，所述获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，之前还包括：获取所述连续两帧图像的语义特征点；滤除所述连续两帧图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
具体地，为了消除动态物体对建图的影响，首先从各帧图像中提取出图像中全部的语义特征点，之后从各帧单目图像的语义特征点中滤除动态物体上的语义特征点，实现对各帧图像中动态物体的滤除，动态物体滤除之后对连续的两帧图像中的语义特征点进行特征匹配，使用Ransac算法，去除特征匹配中的误匹配。
本实施例中，通过滤除图像中动态物体的语义特征点，并对连续两帧图像的语义特征点进行特征匹配，去除特征匹配中的误匹配，消除了动态物体对建图的影响，提高了构建的语义地图的精度。
在一个实施例中，所述根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，包括：
基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；
在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
具体地，通过机器人上安装的轮式积分器获取连续的两帧图像之间的相对位姿，基于相对位姿将连续的两帧图像中的后一帧图像的质心和法向量投射转换至前一帧图像的坐标系下，获取后一帧图像的语义物体在前一帧图像的坐标系下的投射质心和投射法向量，之后在前一帧图像的坐标系下，基于投射质心和投射法向量对连续的两帧图像的平面进行匹配，匹配方法不作限定，例如可使用八叉树算法进行匹配。
本实施例中，基于相对位姿，将连续两帧图像中后一帧图像的语义物体的质心和法向量投射至连续两帧图像中前一帧图像的坐标系下，获取后一帧图像的语义物体在前一帧图像的坐标系下的投射质心和投射法向量，在前一帧图像的坐标系下，基于投射质心和投射法向量对连续两帧图像中的平面进行匹配操作，实现了对连续两帧图像的平面匹配，提高了对连续的两帧图像的匹配精度以及构建语义地图的精度。
在一个实施例中，所述在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作，包括：若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；
判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配。
具体地，基于后一帧图像的语义物体的投射质心和投射法向量，对连续的两帧图像的平面分别进行匹配时，首先判定图像中待匹配平面的大小是否超过预设的平面大小阈值，若待匹配平面的大小未超过预设的平面大小阈值，在前一帧图像的坐标系下，为前一帧图像的语义物体的质心匹配距离其最近的投射质心；之后判断前一帧图像的语义物体的平面法向量和后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若在预设误差范围内，完成对前一帧图像和后一帧图像的匹配。例如，对于某个平面，如桌平面或椅子平面之类面积较小的一个平面，其平面大小未超过预设的平面大小阈值，在前一帧图像和后一帧图像中分别记作Q1、Q2，在前一帧图像所在坐标系下，在每一个质心周围寻找离其最近的投射质心，并且比较这两个质心对应的平面法向量之间的误差是否在预设误差范围内，若是则完成对Q1、Q2的平面匹配。
本实施例中，当连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值时，在前一帧图像的坐标系下，为前一帧图像的语义物体的质心匹配距离其最近的投射质心，并判断前一帧图像的语义物体的平面法向量和后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对前一帧图像和后一帧图像的匹配，提高了对连续两帧图像的匹配精度。
在一个实施例中，所述在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作，还包括：若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
具体地，若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在前一帧图像的坐标系下，判断前一帧图像的语义物体的平面质心与后一帧图像的语义物体的投射质心的连线是否与前一帧图像的语义物体的平面法向量垂直。若垂直，则认为前一帧图像和后一帧图像是同一个平面，完成对前一帧图像和后一帧图像的匹配。例如，对于某个平面，如地面、墙面、天花板等平面大小超过预设的平面大小阈值的平面，以地面为例，在前一帧图像和后一帧图像中分别记作F1、F2；在前一帧图像所在坐标系下，判断前一帧图像F1的语义物体的平面质心与后一帧图像F2的语义物体的投射质心的连线是否与前一帧图像F1的语义物体的平面法向量垂直，若垂直，完成对前一帧图像F1和后一帧图像F2的匹配。
本实施例中，若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，所述将匹配成功的两帧所述图像中的平面和两帧所述图像的相对位姿进行优化，包括：
步骤302，基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；
步骤304，基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；
步骤306，基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
具体地，基于匹配成功的两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数，第一优化目标函数可参考如下公式：
基于前一帧图像的平面法向量、匹配成功的两帧图像相对位姿、前一帧图像的平面质心、后一帧图像的投射质心和相机内参，构建第二优化目标函数，第二优化目标函数可参考如下公式：
其中，ob表示前一帧单目图像中特征点位置；R，t表示前一帧单目图像和后一帧单目图像之间的相对位姿，P2表示3D点的空间位姿，K表示相机内参。
基于第一优化目标函数和第二优化目标函数，对匹配成功的两帧图像中的平面和两帧图像的相对位姿进行优化，直至完成预设的优化目标。
本实施例中，基于匹配成功的两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数，以及基于前一帧图像的平面法向量、匹配成功的两帧图像相对位姿、前一帧图像的平面质心、后一帧图像的投射质心和相机内参，构建第二优化目标函数，并基于第一优化目标函数和第二优化目标函数，对匹配成功的两帧所述图像中的平面和两帧图像的相对位姿进行优化，完成了对匹配成功的两帧图像中的平面和两帧图像的相对位姿的优化，提高了构建地图的精度和可靠性。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的结合语义信息和多传感器的建图方法的结合语义信息和多传感器的建图装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个结合语义信息和多传感器的建图装置实施例中的具体限定可以参见上文中对于结合语义信息和多传感器的建图方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种建图装置，包括：第一获取模块401、第二获取模块402、匹配优化模块403、和地图构建模块404，其中：
第一获取模块401，用于获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
第二获取模块402，用于基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
匹配优化模块403，用于所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
地图构建模块404，用于基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
在一个实施例中，所述匹配优化模块403还用于：滤除所述图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
在一个实施例中，所述匹配优化模块403还用于：基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取后一帧图像的语义物体在前一帧图像的坐标系下的投射质心和投射法向量；在前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
在一个实施例中，所述匹配优化模块403还用于：若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在前一帧图像的坐标系下，为前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断前一帧图像的语义物体的平面法向量和后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对前一帧图像和后一帧图像的匹配。
在一个实施例中，所述匹配优化模块403还用于：若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在前一帧图像的坐标系下，判断前一帧图像的语义物体的平面质心与后一帧图像的语义物体的投射质心的连线是否与前一帧图像的语义物体的平面法向量垂直，若垂直，完成对前一帧图像和后一帧图像的匹配。
在一个实施例中，所述匹配优化模块403还用于：基于匹配成功的两帧所述图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、前一帧图像的平面质心、后一帧图像的投射质心和相机内参，构建第二优化目标函数；基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的两帧所述图像中的平面和两帧所述图像的相对位姿进行优化。
上述结合语义信息和多传感器的建图装置，获取由相机采集的图像，将图像输入预设模型获取图像的深度信息、语义物体及语义特征点，基于图像的深度信息及语义物体，获得语义物体中的平面，并获取连续两帧图像的相对位姿，根据相对位姿对连续两帧图像中的平面进行匹配操作，将匹配成功的两帧所述图像中的平面和两帧图像的相对位姿进行优化，获取每一图像中优化后的平面和每一图像优化后的相对位姿，最后基于每一图像中优化后的平面和每一图像优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
上述结合语义信息和多传感器的建图装置，获取连续两帧单目图像，基于预先训练的单目图像识别模型获取各帧单目图像的深度图信息、语义物体、动态物体和语义特征点，基于各帧单目图像的深度图信息和语义物体，获取语义物体中的平面，以及平面的平面中心和平面法向量，对连续的两帧单目图像的平面分别进行匹配，对匹配完成后的语义特征点对和平面对进行优化，获取各帧单目图像中优化后的平面中心和优化后的平面法向量，最后基于各帧单目图像中优化后的平面中心和优化后的平面法向量，构建出多传感器融合的语义地图，实现了对各帧单目图像的优化，以及根据优化后的平面中心和平面法向量的地图构建，提高了构建地图的精度和可靠性。
上述结合语义信息和多传感器的建图装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种建图方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取所述连续两帧图像的语义特征点；滤除所述连续两帧图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；
基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；
基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
上述计算机设备，获取由相机采集的连续两帧图像，将连续两帧图像输入预设模型获取所述两帧图像的深度信息及语义物体；基于连续两帧图像的深度信息及语义物体，获得语义物体中的平面；获取连续两帧图像的相对位姿，根据相对位姿对连续两帧图像中的平面进行匹配操作，将匹配成功的连续两帧图像中的平面和连续两帧图像的相对位姿进行优化，获取连续两帧图像优化后的平面和优化后的相对位姿；基于连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述连续两帧图像的语义特征点；滤除所述连续两帧图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
上述存储介质，获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取所述连续两帧图像的语义特征点；滤除所述连续两帧图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；在所述前一帧图像的坐标系下，基于所述投射质心和投射法向量对所述连续两帧图像中的平面进行匹配操作。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
上述计算机程序产品，获取由相机采集的连续两帧图像，将连续两帧图像输入预设模型获取连续两帧图像的深度信息及语义物体；基于连续两帧图像的深度信息及语义物体，获得语义物体中的平面；获取连续两帧图像的相对位姿，根据相对位姿对连续两帧图像中的平面进行匹配操作，将匹配成功的连续两帧图像中的平面和连续两帧图像的相对位姿进行优化，获取连续两帧图像优化后的平面和优化后的相对位姿；基于连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图，通过对连续图像的相对位姿和平面的优化，提高了构建地图的精度和可靠性。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (11)
1.一种建图方法，应用于机器人，其特征在于，所述方法包括：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；
若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配；
若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配；
将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
2.根据权利要求1所述的方法，其特征在于，所述获取所述连续两帧图像的相对位姿，根据所述相对位姿对所述连续两帧图像中的平面进行匹配操作，之前还包括：
获取所述连续两帧图像的语义特征点；
滤除所述连续两帧图像中动态物体的语义特征点；
对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
3.根据权利要求1所述的方法，其特征在于，所述将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，包括：
基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；
基于所述前一帧图像的平面法向量、匹配成功的所述连续两帧图像的相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；
基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
4.一种建图装置，其特征在于，所述装置包括：
第一获取模块，用于获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
第二获取模块，用于基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
匹配优化模块，用于所述连续两帧图像的相对位姿，基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配，若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配；将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
地图构建模块，用于基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
5.根据权利要求4所述的装置，其特征在于，所述匹配优化模块，还用于滤除所述图像中动态物体的语义特征点；对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
6.根据权利要求4所述的装置，其特征在于，所述匹配优化模块，还用于基于匹配成功的两帧所述图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；基于前一帧图像的平面法向量、匹配成功的两帧所述图像相对位姿、前一帧图像的平面质心、后一帧图像的投射质心和相机内参，构建第二优化目标函数；基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的两帧所述图像中的平面和两帧所述图像的相对位姿进行优化。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
获取由相机采集的连续两帧图像，将所述连续两帧图像输入预设模型获取所述连续两帧图像的深度信息及语义物体；
基于所述连续两帧图像的深度信息及语义物体，获得所述语义物体中的平面；
获取所述连续两帧图像的相对位姿，基于所述相对位姿，将所述连续两帧图像中后一帧图像的语义物体的质心和法向量投射至所述连续两帧图像中前一帧图像的坐标系下，获取所述后一帧图像的语义物体在所述前一帧图像的坐标系下的投射质心和投射法向量；
若所述连续两帧图像中的待匹配平面的大小未超过预设的平面大小阈值，在所述前一帧图像的坐标系下，为所述前一帧图像的语义物体的质心匹配距离其最近的投射质心；判断所述前一帧图像的语义物体的平面法向量和所述后一帧图像的语义物体的投射法向量之间的误差是否在预设误差范围内，若是，完成对所述前一帧图像和所述后一帧图像的匹配；
若所述连续两帧图像中的待匹配平面的大小超过预设的平面大小阈值，在所述前一帧图像的坐标系下，判断所述前一帧图像的语义物体的平面质心与所述后一帧图像的语义物体的投射质心的连线是否与所述前一帧图像的语义物体的平面法向量垂直，若垂直，完成对所述前一帧图像和所述后一帧图像的匹配；
将匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化，获取所述连续两帧图像优化后的平面和优化后的相对位姿；
基于所述连续两帧图像优化后的平面和优化后的相对位姿，构建出融合语义地图。
8.根据权利要求7所述的计算机设备，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：
获取所述连续两帧图像的语义特征点；
滤除所述连续两帧图像中动态物体的语义特征点；
对所述连续两帧图像的语义特征点进行特征匹配，并去除特征匹配中的误匹配。
9.根据权利要求7所述的计算机设备，其特征在于，所述处理器执行所述计算机程序时还实现以下步骤：
基于匹配成功的所述连续两帧图像的语义特征点、相对位姿和相机内参，构建第一优化目标函数；
基于所述前一帧图像的平面法向量、匹配成功的所述连续两帧图像的相对位姿、所述前一帧图像的平面质心、所述后一帧图像的投射质心和相机内参，构建第二优化目标函数；
基于所述第一优化目标函数和所述第二优化目标函数，对匹配成功的所述连续两帧图像中的平面和所述连续两帧图像的相对位姿进行优化。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715155.8A CN114812540B (zh) | 2022-06-23 | 2022-06-23 | 一种建图方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210715155.8A CN114812540B (zh) | 2022-06-23 | 2022-06-23 | 一种建图方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114812540A CN114812540A (zh) | 2022-07-29 |
| CN114812540B true CN114812540B (zh) | 2022-11-29 |
Family
ID=82521724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210715155.8A Active CN114812540B (zh) | 2022-06-23 | 2022-06-23 | 一种建图方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114812540B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130080111A1 (en) * | 2011-09-23 | 2013-03-28 | Honeywell International Inc. | Systems and methods for evaluating plane similarity |
| CN107545242B (zh) * | 2017-07-25 | 2020-05-26 | 大圣科技股份有限公司 | 一种通过2d图像推断人体动作姿态的方法及装置 |
| CN107833270B (zh) * | 2017-09-28 | 2020-07-03 | 浙江大学 | 基于深度相机的实时物体三维重建方法 |
| CN108335353B (zh) * | 2018-02-23 | 2020-12-22 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法、装置和系统、服务器、介质 |
| CN110264572B (zh) * | 2019-06-21 | 2021-07-30 | 哈尔滨工业大学 | 一种融合几何特性与力学特性的地形建模方法及系统 |
| CN110349213B (zh) * | 2019-06-28 | 2023-12-12 | Oppo广东移动通信有限公司 | 基于深度信息的位姿确定方法、装置、介质与电子设备 |
| CN111197976A (zh) * | 2019-12-25 | 2020-05-26 | 山东唐口煤业有限公司 | 一种顾及弱纹理区域多阶段匹配传播的三维重建方法 |
| CN113420590B (zh) * | 2021-05-13 | 2022-12-06 | 北京航空航天大学 | 弱纹理环境下的机器人定位方法、装置、设备及介质 |
| CN113379842B (zh) * | 2021-06-23 | 2022-06-14 | 武汉大学 | 一种基于rgbd相机的弱纹理及动态场景视觉slam定位方法 |
| CN114565670A (zh) * | 2022-02-17 | 2022-05-31 | 北京三快在线科技有限公司 | 一种位姿优化方法及装置 |
| CN114415698B (zh) * | 2022-03-31 | 2022-11-29 | 深圳市普渡科技有限公司 | 机器人、机器人的定位方法、装置和计算机设备 |
-
2022
- 2022-06-23 CN CN202210715155.8A patent/CN114812540B/zh active Active
Non-Patent Citations (3)
| Title |
|---|
| "Fast place recognition with plane-based maps";Fernandez-Moral, E.等;《Robotics and Automation (ICRA), 2013 IEEE International Conference》;20131231;全文 * |
| "基于平面提取的三维点云点配准算法研究";肖博文;《中国优秀硕士学位论文全文数据库 信息科技辑》;20161015(第10期);I138-325 * |
| "面向机器人室内建图的RGB-D图像对齐算法";王锋等;《机器人》;20150315(第02期);129-135 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114812540A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| KR102302725B1 (ko) | 룸 레이아웃 추정 방법들 및 기술들 | |
| CN108537876B (zh) | 三维重建方法、装置、设备及存储介质 | |
| CN111190981B (zh) | 一种三维语义地图的构建方法、装置、电子设备及存储介质 | |
| CN112836618B (zh) | 一种三维人体姿态估计方法及计算机可读存储介质 | |
| US9286539B2 (en) | Constructing contours from imagery | |
| CN114332415B (zh) | 基于多视角技术的输电线路廊道的三维重建方法及装置 | |
| CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
| Litomisky et al. | Removing moving objects from point cloud scenes | |
| US20170024930A1 (en) | Consistent tessellation via topology-aware surface tracking | |
| CN116662600B (zh) | 一种基于轻量结构化线地图的视觉定位方法 | |
| GB2581536A (en) | Joint shape and texture decoders for three-dimensional rendering | |
| CN113516750B (zh) | 三维点云地图构建方法、系统、电子设备及存储介质 | |
| CN111815684B (zh) | 基于统一残差模型的空间多元特征配准优化方法及装置 | |
| JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| CN114812540B (zh) | 一种建图方法、装置和计算机设备 | |
| CN114742967B (zh) | 一种基于建筑数字孪生语义图的视觉定位方法及装置 | |
| CN114415698B (zh) | 机器人、机器人的定位方法、装置和计算机设备 | |
| Phalak et al. | DeepPerimeter: Indoor boundary estimation from posed monocular sequences | |
| CN116912817A (zh) | 三维场景模型拆分方法、装置、电子设备和存储介质 | |
| CN115578432A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Zieliński et al. | Keyframe-based dense mapping with the graph of view-dependent local maps | |
| CN112489204A (zh) | 基于rgb图像的3d房间布局重建系统 | |
| WO2023088177A1 (zh) | 神经网络模型训练方法、矢量化三维模型建立方法及设备 | |
| Vokhmintcev et al. | The New Combined Closed-Solution for 3D Reconstruction of Environment Based on Iterative Closest Point Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |