CN111210518B - 基于视觉融合地标的拓扑地图生成方法 - Google Patents

基于视觉融合地标的拓扑地图生成方法 Download PDF

Info

Publication number
CN111210518B
CN111210518B CN202010045875.9A CN202010045875A CN111210518B CN 111210518 B CN111210518 B CN 111210518B CN 202010045875 A CN202010045875 A CN 202010045875A CN 111210518 B CN111210518 B CN 111210518B
Authority
CN
China
Prior art keywords
point cloud
map
dimensional
landmark
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010045875.9A
Other languages
English (en)
Other versions
CN111210518A (zh
Inventor
任鹏举
李创
丁焱
赵子瑞
毛艺钧
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010045875.9A priority Critical patent/CN111210518B/zh
Publication of CN111210518A publication Critical patent/CN111210518A/zh
Application granted granted Critical
Publication of CN111210518B publication Critical patent/CN111210518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开基于视觉融合地标的拓扑地图生成方法，包括：输入RGB图像，基于卷积神经网络对RGB图像进行语义分割，根据语义分割中间层的特征图提取出输出值大于预定值的点作为特征点；获取场景的深度图，基于深度图的深度信息和特征点在图像上的二维坐标信息，依据相机模型获取特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；采用基于模糊数学地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和三维地图，获得融合地标的三维语义地图；基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。

Description

基于视觉融合地标的拓扑地图生成方法
技术领域
本发明属于机器人技术领域，特别是一种基于视觉融合地标的拓扑地图生成方法。
背景技术
建图技术对于智能机器人探索任务环境、自主完成各种任务来说至关重要。智能机器人在运动过程中，通过传感器收集环境信息，分析数据，感知环境，有助于根据任务的需要以及环境的当前状态自主地做出相应的决策，进而完成各项任务，实现真正意义上的智能。在机器人领域，SLAM(同时定位与构图)技术是机器人构建地图、感知环境的一项关键技术。机器人在行进过程中通过激光雷达、相机等传感器数据，估计此时的位置和姿态，同时构建环境的地图。
SLAM技术按照系统所采用的传感器大致可以分为两种，一种是使用激光雷达的SLAM技术，另一种是使用相机的视觉SLAM技术。其中，视觉SLAM技术通常又分为特征点法和直接法两种。传统的SLAM技术无论以激光雷达信息还是视觉图像信息作为系统输入，最终构建出的三维地图都只包含周围环境的几何信息，缺少语义信息。这给智能机器人根据任务自主进行推理，以及进一步实现复杂的人机交互带来了困难。
带有语义的SLAM(简称语义SLAM)技术主要涉及传统的SLAM技术和语义分割技术。当前，关于语义SLAM的研究主要聚焦于应用于室内场景的基于激光雷达的SLAM。尽管激光雷达适合室外场景，但是相比于相机，其成本更加昂贵，并且获取的信息远少于视觉包含的信息。而基于视觉的语义SLAM主要是通过RGBD相机实现，即使融入了图像的语义分割结果，但是一方面系统仍然依赖于像素级的数据，易受光照等条件的影响，另一方面，该语义与人类的语言有很大区别，不适于基于语言的人机交互系统。因此，在现有的SLAM系统中，融入更高层次的、适于人机交互的语义信息，实时构建出包含高层语义信息的三维地图至关重要。
在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
发明内容
针对现有技术中存在的问题，本发明提出一种基于视觉融合地标的拓扑地图生成方法，能够在嵌入式机载或车载平台上运行的基于视觉的融合地标的拓扑地图构建，解决现有机器人领域构建的三维地图中不包含语义信息的问题，同时解决视觉SLAM系统中融合的像素级的语义信息易受光照等条件影响，且无法实现基于语言的人机交互的问题。并且使建图脱离后端服务器，使得拓扑地图能够在自主智能机器人上建立、存储并在自主智能机器人之间传输。
本发明的目的是通过以下技术方案予以实现，一种基于视觉融合地标的拓扑地图生成方法包括以下步骤：
第一步骤中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；
第二步骤中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；
第三步骤中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；
第四步骤中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；
第五步骤(S5)中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图；
第六步骤中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。
所述的方法中，第二步骤中，通过深度预测神经网络获得所述特征点的深度信息，将图像中二维特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云。
所述的方法中，坐标系转换过程为：
Figure BDA0002368052940000041
其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，其中，u，v是图像中像素点的横纵坐标，w为与深度相关的比例参数。
所述的方法中，深度信息包括真实世界三维点距离相机光心的垂直距离。
所述的方法中，图像每个像素属于建筑物的概率的图像语义分割结果与点云中每个点关联，使用贝叶斯更新规则更新每个点云的语义标签的概率分布，其中，根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：Lv(xv，yv，zv)＝Is(uc，vc)，其中，Is(uc，vc)表示图像语义分割的结果，Lv(xv，yv，zv)表示每个点云的语义标签，贝叶斯更新规则对多观测的数据进行融合，如下式：
Figure BDA0002368052940000042
Figure BDA0002368052940000043
其中，Z是归一化常量，
Figure BDA0002368052940000044
代表点云在第k帧时属于类别v，
Figure BDA0002368052940000045
表示从第一帧到第k帧的累积概率分布，选择一个点云的概率分布中概率最大值对应的标签作为该点云的标签，如下式：Lp(v)＝max p(lv|I，P)，其中，Lp(v)表示该点云的语义标签，在实时融合过程中，每个点云包含一个语义类别和一个语义概率分布。
所述的方法中，第三步骤中，维度为W×H×3输入图片依次通过特征提取器，编码器和解码器得到前景和背景划分，作为纹理分割结果，纹理分割网络训练完成后，采用特征提取器和编码器两部分作为图像的纹理编码模块，将编码器的输出向量作为图像的纹理编码，编码器的输出向量维度为W×H×Nd，原图的每个像素点对应一个Nd维的编码向量，所述编码向量为像素点在纹理特征空间中的编码。
所述的方法中，第五步骤中，采用基于模糊数学的方法进行地标和点云的融合，空间隶属度的计算方法为：假设地标的位置坐标为(xl，yl)，点云的位置坐标为(x，y)，所述点云隶属于该地标的空间隶属度s(x，y)基于高斯分布来表示，如下式：s(x，y)＝G(x，y，xl，yl，σ)，其中，G(x，y，xl，yl，σ)表示二维高斯概率密度函数，σ为二维高斯分布标准差，纹理隶属度的计算方法为：对距离地标的位置坐标为(xl，yl)最近的N个属于建筑类别的点云对应的纹理特征进行加权平均，得到该地标的纹理特征向量
Figure BDA0002368052940000051
权重为点云隶属于该地标的空间隶属度s(x，y)，如下式：
Figure BDA0002368052940000052
依据每个点云对应的纹理特征向量Td(x，y)计算其与地标的纹理特征向量之间的距离D，
Figure BDA0002368052940000053
点云隶属于地表的纹理隶属度函数t(x，y)由一维高斯概率密度函数表示，
Figure BDA0002368052940000054
其中，
Figure BDA0002368052940000055
为一维高斯概率密度函数，σt为一维高斯分布的标准差，最终的隶属度函数b(x，y)为空间隶属度和纹理隶属度的乘积，b(x，y)＝s(x，y)×t(x，y)。
所述的方法中，第六步骤中，根据机器人的位姿轨迹生成路径拓扑点，路径拓扑点与在该位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图。
有益效果
本发明基于深度学习技术建立了融合语义地标的拓扑地图，解决了现有机器人领域构建的三维地图中不包含语义信息的问题，进而为下一步实现更高层次的基于语音的人机交互提供了基础。同时，在机器人定位和构图过程中，通过加入语义地标，解决了现有系统中像素级的视觉信息或语义信息易受光照等条件影响的问题，提高了系统的鲁棒性。同时，轻量化的语义拓扑地图建立耗费计算资源较少，占用的存储空间小，查询快捷，便于共享。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。
在附图中：
图1是具体实施方式所述的一种基于视觉的融合地标的拓扑地图构建方法的流程示图；
图2是融合地标的轨迹地图。
以下结合附图和实施例对本发明作进一步的解释。
具体实施方式
下面将参照附图1至图2更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
为了更好地理解，图1为一个基于视觉融合地标的拓扑地图生成方法工作流程图，如图1所示，一种基于视觉融合地标的拓扑地图生成方法包括以下步骤：
第一步骤S1中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；
第二步骤S2中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；
第三步骤S3中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；
第四步骤S4中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；
第五步骤S5中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图；
第六步骤S6中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。
所述的方法的优选实施方式中，第二步骤S2中，通过深度预测神经网络获得所述特征点的深度信息，将图像中二维特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云。
所述的方法的优选实施方式中，坐标系转换过程为：
Figure BDA0002368052940000091
其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，其中，u，v是图像中像素点的横纵坐标，w为与深度相关的比例参数。
所述的方法的优选实施方式中，深度信息包括真实世界三维点距离相机光心的垂直距离。
所述的方法的优选实施方式中，图像每个像素属于建筑物的概率的图像语义分割结果与点云中每个点关联，使用贝叶斯更新规则更新每个点云的语义标签的概率分布，其中，根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：Lv(xv，yv，zv)＝Is(uc，vc)，其中，Is(uc，vc)表示图像语义分割的结果，Lv(xv，yv，zv)表示每个点云的语义标签，贝叶斯更新规则对多观测的数据进行融合，如下式：
Figure BDA0002368052940000092
Figure BDA0002368052940000093
其中，Z是归一化常量，
Figure BDA0002368052940000094
代表点云在第k帧时属于类别v，
Figure BDA0002368052940000095
表示从第一帧到第k帧的累积概率分布，选择一个点云的概率分布中概率最大值对应的标签作为该点云的标签，如下式：Lp(v)＝max p(lv|I，P)，其中，Lp(v)表示该点云的语义标签，在实时融合过程中，每个点云包含一个语义类别和一个语义概率分布。
所述的方法的优选实施方式中，第三步骤S3中，维度为W×H×3输入图片依次通过特征提取器，编码器和解码器得到前景和背景划分，作为纹理分割结果，纹理分割网络训练完成后，采用特征提取器和编码器两部分作为图像的纹理编码模块，将编码器的输出向量作为图像的纹理编码，编码器的输出向量维度为W×H×Nd，原图的每个像素点对应一个Nd维的编码向量，所述编码向量为像素点在纹理特征空间中的编码。
所述的方法的优选实施方式中，第五步骤S5中，采用基于模糊数学的方法进行地标和点云的融合，空间隶属度的计算方法为：假设地标的位置坐标为(xl，yl)，点云的位置坐标为(x，y)，所述点云隶属于该地标的空间隶属度s(x，y)基于高斯分布来表示，如下式：s(x，y)＝G(x，y，xl，yl，σ)，其中，G(x，y，xl，yl，σ)表示二维高斯概率密度函数，σ为二维高斯分布标准差，纹理隶属度的计算方法为：对距离地标的位置坐标为(xl，y1)最近的N个属于建筑类别的点云对应的纹理特征进行加权平均，得到该地标的纹理特征向量
Figure BDA0002368052940000103
权重为点云隶属于该地标的空间隶属度s(x，y)，如下式：
Figure BDA0002368052940000101
依据每个点云对应的纹理特征向量Td(x，y)计算其与地标的纹理特征向量之间的距离D，
Figure BDA0002368052940000102
点云隶属于地表的纹理隶属度函数t(x，y)由一维高斯概率密度函数表示，
Figure BDA0002368052940000111
其中，
Figure BDA0002368052940000112
为一维高斯概率密度函数，σt为一维高斯分布的标准差，最终的隶属度函数b(x，y)为空间隶属度和纹理隶属度的乘积，b(x，y)＝s(x，y)×t(x，y)。
所述的方法的优选实施方式中，第六步骤S6中，根据机器人的位姿轨迹生成路径拓扑点，路径拓扑点与在该位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图
所述的方法的优选实施方式中，第六步骤S6中，根据机器人的位姿轨迹生成路径拓扑点，路径拓扑点与在该位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图。
为了进一步理解本发明，在一个实施例中，方法包括，
步骤1，输入RGB图像，基于卷积神经网络对所述图像进行语义分割，并根据语义分割中间层的特征图提取出输出值较大的点作为特征点；
步骤2，获取场景的深度图，根据深度信息和特征点在图像上的坐标信息，依据相机模型获取特征点的三维坐标和机器人的位姿信息，进而获取场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；
步骤3，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码。
步骤4，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和步骤二得到的位姿信息计算得到机器人在不同位姿下的GPS信息和三维点云地图中的点云的GPS信息；
步骤5，根据步骤4得到的三维点云地图的GPS信息和步骤4得到的建筑物的GPS信息，采用基于模糊数学的地标级数据融合方法，获得点云相对于某个地标的隶属度分布函数。根据语义隶属度分布函数和步骤2的三维点云地图，获得融合了地标的三维语义地图；
步骤6，根据步骤5的融合地标的三维语义地图，构建拓扑地图，生成融合地标的语义拓扑地图。
进一步的，步骤1的实现方法：
使用语义分割神经网络，如ERFNet对输入图像中的左目或右目进行语义分割，并根据语义分割中间层的特征图提取出输出值较大的点作为特征点，并对网络的前推进行实时加速，并在嵌入式计算平台上部署。
进一步的，步骤2的实现方法：
步骤2.1，获取深度的方式可以是使用深度预测神经网络，如SuperDepth根据输入的双目图像对场景的深度进行预测，得到图像中每个像素点的深度值。深度预测网络采用前推进行实时加速，使其可在嵌入式计算平台上部署。通过深度预测神经网络获得步骤一中得到的特征点的深度信息di对应的真实世界三维点距离相机光心的垂直距离，系统将这些特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云，具体的坐标转换过程如下所示：
Figure BDA0002368052940000131
Figure BDA0002368052940000132
其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，w为与深度相关的比例参数；
步骤2.1中，获取深度的方式还可以是RGBD相机或是视觉SLAM，由于基于深度学习或者RGBD相机得到的深度预测有一定的测量误差，当采用这三种方法获取深度时会依据前后帧关系建立优化模型对特征点的深度值和相机的位姿信息进行优化。
步骤2.2，将步骤1中的图像语义分割结果与点云中每个点关联起来，使用贝叶斯更新规则来更新每个点云的语义标签的概率分布。首先，图像语义分割结果即图像每个像素属于建筑物的概率被发送到建图系统中。根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：
Lv(xv，yv，zv)＝Is(uc，vc)
其中，Is(uc，vc)表示图像语义分割的结果，Lv(xv，yv，zv)表示每个点云的语义标签。由于每个特征点可以被不同的图像帧观测到，即每个点云会对应多个二维的特征点，会有多个概率分布。因此，需要使用贝叶斯更新规则对多观测的数据进行融合，如下式：
Figure BDA0002368052940000133
Figure BDA0002368052940000141
其中，Z是归一化常量，
Figure BDA0002368052940000142
代表点云在第k帧时属于类别v，
Figure BDA0002368052940000143
表示从第一帧到第k帧的累积概率分布。最后，选择一个点云的概率分布中概率最大值对应的标签作为该点云的标签，如下式：
Lp(v)＝max p(lv|I，P)
其中，Lp(v)表示该点云的语义标签，在实时融合过程中，每个点云将包含一个语义类别和一个语义概率分布；
进一步的，步骤3的实现方法：
纹理分割采用One-shot learning的方法来进行，网络主要分为特征提取器，编码器，解码器三个部分。维度为W×H×3输入图片依次通过特征提取器，编码器和解码器得到前景和背景划分，作为纹理分割结果。纹理分割网络训练完成后，采用特征提取器和编码器两部分作为图像的纹理编码模块，将编码器的输出向量作为图像的纹理编码。编码器的输出向量维度为W×H×Nd，原图的每个像素点对应一个Nd维的编码向量，该向量为像素点在纹理特征空间中的编码。
进一步的，步骤4的实现方法：
步骤4.1，通过电子地图，获得建筑物地标在WGS84坐标系下的坐标，以及初始状态下的机器人在WGS84坐标系下的坐标；
步骤4.2此步骤只是为了说明变换方法，由于此方法是文献中的公开方法，具体方案不作为权利要求，采用Besl和McKay提出的方法获取笛卡尔坐标系和点云坐标系之间的转换关系。具体，每隔30帧，系统将当前帧作为样本点，将当前帧的位姿和经纬度信息加入到两个全局采样器得到两个点集。最后，利用奇异值分解来计算两个全局采样器中的两个点集之间的最佳变换矩阵。假定PA是笛卡尔坐标系下的点集，PB是位姿坐标系下的点集。cA是点集PA的形心，cB是点集PB的形心。因为两个坐标系的尺度不同，需要进行尺度变换。假定旋转矩阵为R，平移变换为T，其计算过程，如下式：
Figure BDA0002368052940000151
[U，S，V]＝SVD(H)
Figure BDA0002368052940000152
Figure BDA0002368052940000153
其中，λ是尺度因子，其计算，如下式：
Figure BDA0002368052940000154
步骤4.3，对笛卡尔坐标系下的建筑物的坐标点A，利用获取到的R和T计算，计算其点云坐标系下的坐标B，如下式：
B＝R·A+T
进一步的，步骤5的实现方法：
采用基于模糊数学的方法进行地标和点云的融合。假设地标的位置坐标为(xl，yl)，点云的位置坐标为(x，y)，该点云隶属于该地标的空间隶属度s(x，y)基于高斯分布来表示，如下式：
s(x，y)＝G(x，y，xl，yl，σ)
其中，G(x，y，xl，yl，σ)表示二维高斯概率密度函数，σ为二维高斯分布标准差。
进一步的，对距离地标的位置坐标为(xl，yl)最近的N个属于建筑类别的点云对应的纹理特征进行加权平均，得到该地标的纹理特征向量
Figure BDA0002368052940000165
权重即为点云隶属于该地标的空间隶属度s(x，y)，如下式：
Figure BDA0002368052940000161
进一步的，依据每个点云对应的纹理特征向量Td(x，y)计算其与地标的纹理特征向量之间的距离，如下式：
Figure BDA0002368052940000162
点云隶属于地表的纹理隶属度函数t(x，y)由一维高斯概率密度函数表示，如下式：
Figure BDA0002368052940000163
其中，
Figure BDA0002368052940000164
为一维高斯概率密度函数，σt为一维高斯分布的标准差。
最终的隶属度函数b(x，y)为空间隶属度和纹理隶属度的乘积
b(x，y)＝S(x，y)×t(x，y)
进一步的，该分布将插入到最终的语义地图中，使得点云被标注上隶属于地标的隶属度，从而实现基于地标的定位；
进一步的，步骤6的实现方法：
根据步骤2中建图系统获得的机器人的位姿轨迹，系统自动生成路径拓扑点，除初始点和结束点作为目标点外，另保留两种类型的路径拓扑点，一是当场景的视觉描述符有较大的变化时，二是当机器人转弯时。建图系统保留路径拓扑点的位姿，以及该位姿对应的关键帧中语义标签为建筑物的特征点信息，特征点信息包括描述子和纹理特征编码。建图系统还会将路径拓扑点与在该位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图。
本发明得到的拓扑地图所占用的存储空间相对较少，能够满足移动智能体的轻量级需求，同时又能够表示足够的信息，可用于导航。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (7)

1.一种基于视觉融合地标的拓扑地图生成方法，所述方法包括以下步骤：
第一步骤(S1)中，输入RGB图像，基于卷积神经网络对所述RGB图像进行语义分割，并根据语义分割中间层的特征图提取出大于预定值的输出值的点作为特征点；
第二步骤(S2)中，获取场景的深度图，基于所述深度图的深度信息和所述特征点在图像上的坐标信息，依据相机模型获取所述特征点的三维坐标和机器人的位姿信息以建立场景的三维地图，其中，三维地图以点云的形式存储，每个点云根据语义分割的结果进行了筛选与标注；
第三步骤(S3)中，对输入图像进行基于深度学习的纹理分割，获取每个像素点在纹理特征空间下的编码；
第四步骤(S4)中，根据电子地图，获取环境中的建筑物的GPS信息和机器人的初始GPS信息，根据机器人初始GPS信息和所述位姿信息计算得到机器人在不同位姿下的GPS信息和三维地图中的点云的GPS信息；
第五步骤(S5)中，根据所述点云的GPS信息和所述建筑物的坐标GPS信息及其编码，采用基于模糊数学的地标级数据融合方法，获得点云相对于预定地标的隶属度分布函数，根据语义隶属度分布函数和所述三维点云地图，获得融合了地标的三维语义地图，其中，采用基于模糊数学的方法进行地标和点云的融合，空间隶属度的计算方法为：假设地标的位置坐标为(xl，yl)，点云的位置坐标为(x，y)，所述点云隶属于该地标的空间隶属度s(x，y)基于高斯分布来表示，如下式：s(x，y)＝G(x，y，xl，yl，σ)，其中，G(x，y，xl，yl，σ)表示二维高斯概率密度函数，σ为二维高斯分布标准差，纹理隶属度的计算方法为：对距离地标的位置坐标为(x1，y1)最近的N个属于建筑类别的点云对应的纹理特征进行加权平均，得到该地标的纹理特征向量
Figure FDA0003402234530000021
权重为点云隶属于该地标的空间隶属度s(x，y)，
Figure FDA0003402234530000022
依据每个点云对应的纹理特征向量Td(x，y)计算其与地标的纹理特征向量
Figure FDA0003402234530000023
之间的距离D，
Figure FDA0003402234530000024
点云隶属于地表的纹理隶属度函数t(x，y)由一维高斯概率密度函数表示，
Figure FDA0003402234530000025
其中，
Figure FDA0003402234530000026
为一维高斯概率密度函数，σt为一维高斯分布的标准差，最终的隶属度函数b(x，y)为空间隶属度和纹理隶属度的乘积，b(x，y)＝s(x，y)×t(x，y)；
第六步骤(S6)中，基于融合地标的三维语义地图构建拓扑地图生成融合地标的语义拓扑地图。
2.根据权利要求1所述的方法，其中，第二步骤(S2)中，通过深度预测神经网络获得所述特征点的深度信息，将图像中二维特征点从相机坐标系转换到三维点云坐标系，获得该特征点在三维空间中的对应的点云。
3.根据权利要求2所述的方法，其中，坐标系转换过程为：
Figure FDA0003402234530000031
其中，(xv，yv，zv)表示点云的坐标值，Tpointcloud2camera表示从三维点云坐标系到相机坐标系的转换过程，(uc，vc)表示该点云对应的像素坐标值，其中，u，v是图像中像素点的横纵坐标，w为与深度相关的比例参数。
4.根据权利要求2所述的方法，其中，深度信息包括真实世界三维点距离相机光心的垂直距离。
5.根据权利要求2所述的方法，其中，图像每个像素属于建筑物的概率的图像语义分割结果与点云中每个点关联，使用贝叶斯更新规则更新每个点云的语义标签的概率分布，其中，根据三维点云与二维特征点的对应关系，每个特征点的是否属于建筑物的分布如下式：Lv(xv，yv，zv)＝Is(uc，vc)，其中，Is(uc，vc)表示图像语义分割的结果，uc，vc为图像坐标，Lv(xv，yv，zv)表示每个点云的语义标签，xv，yv，zv为点云中的点在空间中的三维坐标，贝叶斯更新规则对多观测的数据进行融合，如下式：
Figure FDA0003402234530000032
Figure FDA0003402234530000041
其中，Z是归一化常量，
Figure FDA0003402234530000042
代表点云在第k帧时属于类别v，
Figure FDA0003402234530000043
表示从第一帧到第k帧的累积概率分布，选择一个点云的概率分布中概率最大值对应的标签作为该点云的标签，如下式：Lp(v)＝max p(lv|I，P)，其中，Lp(v)表示该点云的语义标签，在实时融合过程中，每个点云包含一个语义类别和一个语义概率分布。
6.根据权利要求1所述的方法，第三步骤(S3)中，维度为W×H×3输入图片依次通过特征提取器，编码器和解码器得到前景和背景划分，作为纹理分割结果，纹理分割网络训练完成后，采用特征提取器和编码器两部分作为图像的纹理编码模块，其中，W是图像的宽度，H为图像的高度，将编码器的输出特征图作为图像的纹理编码，编码器的输出向量维度为W×H×Nd，其中Nd为输出特征图的通道数，原图的每个像素点对应一个Nd维的编码向量，所述编码向量为像素点在纹理特征空间中的编码。
7.根据权利要求1所述的方法，其中，第六步骤(S6)中，根据机器人的位姿轨迹生成路径拓扑点，路径拓扑点与在该点位置能观测到的路标拓扑点建立关联，最终生成可用于导航的融合地标的拓扑地图。
CN202010045875.9A 2020-01-15 2020-01-15 基于视觉融合地标的拓扑地图生成方法 Active CN111210518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010045875.9A CN111210518B (zh) 2020-01-15 2020-01-15 基于视觉融合地标的拓扑地图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010045875.9A CN111210518B (zh) 2020-01-15 2020-01-15 基于视觉融合地标的拓扑地图生成方法

Publications (2)

Publication Number Publication Date
CN111210518A CN111210518A (zh) 2020-05-29
CN111210518B true CN111210518B (zh) 2022-04-05

Family

ID=70787329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010045875.9A Active CN111210518B (zh) 2020-01-15 2020-01-15 基于视觉融合地标的拓扑地图生成方法

Country Status (1)

Country Link
CN (1) CN111210518B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784798B (zh) * 2020-06-30 2021-04-09 滴图(北京)科技有限公司 地图生成方法、装置、电子设备和存储介质
CN111968129B (zh) * 2020-07-15 2023-11-07 上海交通大学 具有语义感知的即时定位与地图构建系统及方法
CN112082565B (zh) * 2020-07-30 2022-12-09 西安交通大学 一种无依托定位与导航方法、装置及存储介质
CN111897332B (zh) * 2020-07-30 2022-10-11 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111958591B (zh) * 2020-07-30 2021-10-29 国网智能科技股份有限公司 一种语义智能变电站巡检机器人自主巡检方法及系统
CN111953973B (zh) * 2020-08-31 2022-10-28 中国科学技术大学 支持机器智能的通用视频压缩编码方法
CN112184589B (zh) 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN113029168B (zh) * 2021-02-26 2023-04-07 杭州海康机器人股份有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
CN112950781B (zh) * 2021-03-19 2023-04-25 中山大学 特种场景的多传感器动态加权融合的点云地图构建方法
CN113744397B (zh) * 2021-07-30 2023-10-24 中南大学 一种实时的物体级语义地图构建和更新方法及装置
CN114972947B (zh) * 2022-07-26 2022-12-06 之江实验室 一种基于模糊语义建模的深度场景文本检测方法和装置
CN115454055B (zh) * 2022-08-22 2023-09-19 中国电子科技南湖研究院 一种面向室内自主导航与作业的多层融合地图表示方法
CN115294294A (zh) * 2022-10-10 2022-11-04 中国电建集团山东电力建设第一工程有限公司 基于深度图像和点云的管线bim模型重建方法及系统
CN116189145A (zh) * 2023-02-15 2023-05-30 清华大学 一种线形地图要素的提取方法、系统和可读介质
CN117537803B (zh) * 2024-01-10 2024-04-02 常熟理工学院 机器人巡检语义-拓扑地图构建方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109815847A (zh) * 2018-12-30 2019-05-28 中国电子科技集团公司信息科学研究院 一种基于语义约束的视觉slam方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
WO2019174377A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于单目相机的三维场景稠密重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
WO2019174377A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于单目相机的三维场景稠密重建方法
CN109117718A (zh) * 2018-07-02 2019-01-01 东南大学 一种面向道路场景的三维语义地图构建和存储方法
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN109815847A (zh) * 2018-12-30 2019-05-28 中国电子科技集团公司信息科学研究院 一种基于语义约束的视觉slam方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Visual-Based Semantic SLAM with Landmarks for Large-Scale Outdoor Environment;Zirui Zhao 等;《2019 2nd China Symposium on Cognitive Computing and Hybrid Intelligence (CCHI)》;20190922;149-154 *
基于卷积神经网络的移动机器人三维场景感知技术研究;杨晨;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190115(第1期);I140-99 *
粗糙集遥感图像融合及分类方法研究;赵国滨;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20110815(第8期);I140-377 *

Also Published As

Publication number Publication date
CN111210518A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111210518B (zh) 基于视觉融合地标的拓扑地图生成方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
CN110188696B (zh) 一种水面无人装备多源感知方法及系统
CN107967473B (zh) 基于图文识别和语义的机器人自主定位和导航
CN109597087B (zh) 一种基于点云数据的3d目标检测方法
CN111080659A (zh) 一种基于视觉信息的环境语义感知方法
CN110335337A (zh) 一种基于端到端半监督生成对抗网络的视觉里程计的方法
CN106595659A (zh) 城市复杂环境下多无人机视觉slam的地图融合方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
Jeong et al. Multimodal sensor-based semantic 3D mapping for a large-scale environment
CN111578940A (zh) 一种基于跨传感器迁移学习的室内单目导航方法及系统
CN109000655B (zh) 机器人仿生室内定位导航方法
CN112762957A (zh) 一种基于多传感器融合的环境建模及路径规划方法
CN115496900A (zh) 一种基于稀疏融合的在线碳语义地图构建方法
CN111611869B (zh) 一种基于串行深度神经网络的端到端单目视觉避障方法
CN113741503A (zh) 一种自主定位式无人机及其室内路径自主规划方法
CN114049362A (zh) 一种基于transformer的点云实例分割方法
CN116679710A (zh) 一种基于多任务学习的机器人避障策略训练与部署方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
CN113804182A (zh) 一种基于信息融合的栅格地图创建方法
Wigness et al. Reducing adaptation latency for multi-concept visual perception in outdoor environments
Yue et al. Probabilistic 3d semantic map fusion based on bayesian rule
CN111627064B (zh) 一种行人交互友好型的单目避障方法
Rusu et al. Leaving flatland: Realtime 3D stereo semantic reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant