CN111161334B - 一种基于深度学习的语义地图构建方法 - Google Patents

一种基于深度学习的语义地图构建方法 Download PDF

Info

Publication number
CN111161334B
CN111161334B CN201911410382.4A CN201911410382A CN111161334B CN 111161334 B CN111161334 B CN 111161334B CN 201911410382 A CN201911410382 A CN 201911410382A CN 111161334 B CN111161334 B CN 111161334B
Authority
CN
China
Prior art keywords
information
mobile robot
image
semantic
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911410382.4A
Other languages
English (en)
Other versions
CN111161334A (zh
Inventor
徐一鸣
戴秋霞
顾海峰
顾菊平
华亮
王栗
张海东
卞春磊
周方杰
祁晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN201911410382.4A priority Critical patent/CN111161334B/zh
Publication of CN111161334A publication Critical patent/CN111161334A/zh
Application granted granted Critical
Publication of CN111161334B publication Critical patent/CN111161334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于深度学习的语义地图构建方法，包括：实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；利用闭环检测算法优化机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化，实现带有语义信息的深度地图构建，提高机器人的环境感知与自主定位能力。

Description

一种基于深度学习的语义地图构建方法
技术领域
本发明属于人工智能与数字图像处理技术领域，涉及一种基于深度学习的语义地图构建方法。
背景技术
在机器人领域，一个重要的问题是如何使得机器人获得自身与环境的信息。为了解决这个问题，首先要使得机器人具备感知环境的能力。在实际研究中，机器人常常利用视觉信息来构建室内地图，然而，这些利用视觉信息构造的地图往往是利用深度相机构建的三维地图地图且不具备室内空间的语义信息。
传统的语义信息获取算法往往分为三个步骤，即区域选择，特征提取和分类。但是在区域选择时针对性不强且手动设计的特征对于目标的多样性并没有很好的鲁棒性，检测的结果实时性和准确性都比较低。
从深度相机被应用于地图构建领域之后，越来越多的开发者在这上面做了很多工作，但是在相机获取数据准确度不高的情况下，大环境下构建地图仍然是一个非常具有挑战的问题，因为深度相机的深度信息有效距离只有4米左右，在环境快速变化的过程中，超过4米的空旷环境下并不一定有深度信息反馈，这为构建深度地图带来了许多困难。
发明内容
为了克服上述现有的问题，本发明的目的是提供一种基于深度学习的室内语义地图构建方法，本发明将深度学习这一方法应用于室内的语义地图构建方法中，能够对室内常见的物品进行语义标注，提高移动机器人对周围环境的感知能力和自主定位能力。
为实现上述目的，本发明提供了一种基于深度学习的语义地图构建方法，包括以下步骤：
实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息；
根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；
用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；
利用闭环检测算法优化移动机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化。
优选的，所述实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息，包括：
采用单目相机实时拍摄移动机器人周围环境，得到当前帧图像；
根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息。
优选的，所述根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息，包括：
根据当前帧图像与前一帧图像之间的光度误差构建如下式所示的移动机器人位姿函数：
Figure BDA0002349817110000011
其中，
Figure BDA0002349817110000012
Ep(ξ)i，i-1为移动机器人位姿，P为空间上的某一点，ξ为移动机器人位姿对应的李代数，rp(p,ξi，i-1)为P点在前一帧图像I(i-1)和当前帧图像Ii上对应点的光度误差，D(p)为空间上的所有点集，Ii(p)为点p在当前帧图像Ii上对应的像素点，ω为点p投影到相机坐标系下的投影函数，/>
Figure BDA0002349817110000013
为光度误差的方差，||·||δ为huber范数；
通过高斯牛顿迭代法对所述位姿函数进行求解，获得移动机器人位姿对应的李代数，并利用如下公式求出移动机器人的旋转信息和移动信息：
Figure BDA0002349817110000021
其中，R为移动机器人的旋转信息，t为移动机器人的移动信息。
优选的，所述根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，包括：
根据所述移动机器人的位姿信息，采用三角测量方法估算移动机器人与障碍物之间的逆深度估计值；
利用如下公式计算当前帧图像与已构建深度地图中的最后一个关键帧之间的距离：
Figure BDA0002349817110000022
其中，dist(ξji)是上述两帧之间的距离，ξji是当前帧图像i与关键帧j之间移动机器人的位姿变换的李代数，W为对角阵；
比较所述距离与预设值之间的大小，若所述距离大于预设值，则在已构建深度地图中构建新的关键帧，否则，将所述当前图像帧对应的逆深度估计值与所述最后一个关键帧对应的逆深度估计值融合，更新已构建的深度地图，使更新后的深度地图中最后一个关键帧满足高斯分布：
Figure BDA0002349817110000023
其中，si表示当前帧图像i对应的逆深度估计值，
Figure BDA0002349817110000024
μi＝si，/>
Figure BDA0002349817110000025
是si服从的高斯分布中的标准差；sj关键帧j对应的逆深度估计值，/>
Figure BDA0002349817110000026
μj＝sj，/>
Figure BDA0002349817110000027
是sj服从的高斯分布中的标准差。
优选的，所述用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图，包括：
用训练好的faster-rcnn目标检测模型对获取的当前帧图像进行特征提取与处理，得到带有语义信息的图像帧；
根据如下公式计算所述带有语义信息的图像帧中的每一点与已构建深度地图的最后一个关键帧中每一点的相似度，
Figure BDA0002349817110000028
其中，A是所述带有语义信息的图像帧上的点oi周围的小块，B是已构建深度地图的最后一个关键帧中的点o'ik周围的小块，S(A,B)是A与B的相似度；
为所述带有语义信息的图像帧上的每一个点找到所述最后一个关键帧上与该点的相似度最接近于1的对应点，用所述带有语义信息的图像帧上的点覆盖对应点，为所述已构建深度地图添加语义信息。
本发明的有益效果是：
(1)本发明直接采用移动机器人自身携带的单目相机对室内环境进行深度地图构建，解决了单目相机无法构建深度地图或者深度信息获取不足的问题。
(2)本发明使用特征点匹配的方式将检测得到的带有语义信息的图像帧与构成深度地图的关键帧进行融合，递增式地构建室内环境空间语义地图，使移动机器人能够在室内全局语义地图中进行智能导航，为完成自动驾驶、家庭服务等人机交互任务奠定基础。
附图说明
图1是本发明提供的基于深度学习的语义地图构建方法的流程图；
图2是本发明提供的基于深度学习的语义地图构建方法的具体实现过程示意图；
图3是本发明提供的基于深度学习的语义地图构建方法的相机成像模型示意图；
图4是本发明提供的基于深度学习的语义地图构建方法中移动机器人位姿变换示意图；
图5是本发明提供的基于深度学习的语义地图构建方法中采用三角测量方法示意图；
图6是本发明提供的基于深度学习的语义地图构建方法中采用目标检测模型对获取的当前帧图像进行特征提取与处理的流程图。
具体实施方式
为了使技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明所提供的一种基于深度学习的语义地图构建方法，包括以下步骤：
步骤S101：实时采集移动机器人周围环境的图像信息，并根据图像信息获取移动机器人的位姿信息；
步骤S102：根据移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据深度信息构建障碍物深度地图，深度信息为逆深度估计值；
步骤S103：用训练好的目标检测模型对图像信息进行特征提取与处理，得到带有语义信息的图像信息，将带有语义信息的图像信息与障碍物深度地图进行融合，得到障碍物语义地图；
步骤S104：利用闭环检测算法优化移动机器人的位姿并使用图优框架对障碍物语义地图进行图优化。
本发明所提供的基于深度学习的语义地图构建方法，通过实时采集移动机器人周围环境的图像信息，并根据图像信息获取移动机器人的位姿信息；根据移动机器人的位姿信息实时估算移动机器人与障碍物的逆深度估计值，并根据逆深度估计值构建障碍物深度地图；用训练好的目标检测模型对图像信息进行特征提取与处理，得到带有语义信息的图像信息，将带有语义信息的图像信息与障碍物深度地图进行融合，得到障碍物语义地图；利用闭环检测算法优化机器人的位姿并使用图优框架对障碍物语义地图进行图优化。本发明所提供的方法使得障碍物的语义信息与室内地图紧密联系，具有良好的鲁棒性，扩大了单目图像的使用范围。
请参照图2本发明所提供的基于深度学习的地图构建方法的具体实施过程示意图，下面对本发明的实施过程进行进一步详细阐述。
需要指出的是，本算法是基于视觉的语义地图构建方法，需要构建相机成像模型。为了说明本算法，具体的仿真实验中采用如图3所示的相机成像模型，根据三角形相似关系，有：
Figure BDA0002349817110000031
其中，O为摄像机的光心,也是针孔模型中的针孔。现实世界的空间点P,经过小孔O投影之后，落在物理成像平面O-x'-y'上,成像点为p'。设p的坐标为[X,Y,Z]T，p'为[X',Y',Z']T,并且设物理成像平面到小孔的距离为f(焦距)。
在上述实施例的基础上，本发明所提供的基于深度学习的地图构建方法中，实时采集移动机器人周围环境的图像信息，并根据所述图像信息获取移动机器人的位姿信息，包括：
采用单目相机实时拍摄移动机器人周围环境，得到当前帧图像；
根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息。
进一步地，参照图4，根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息，包括：
根据当前帧图像与前一帧图像之间的光度误差构建如下式所示的移动机器人位姿函数：
Figure BDA0002349817110000041
其中，
Figure BDA0002349817110000042
Ep(ξ)i，i-1为移动机器人位姿，P为空间上的某一点，ξ为移动机器人位姿对应的李代数，rp(p,ξi，i-1)为P点在前一帧图像I(i-1)和当前帧图像Ii上对应点的光度误差，D(p)为空间上的所有点集，Ii(p)为点p在当前帧图像Ii上对应的像素点，ω为点p投影到相机坐标系下的投影函数，/>
Figure BDA0002349817110000043
为光度误差的方差，||·||δ为huber范数；
通过高斯牛顿迭代法对上式所示的位姿函数进行求解，获得移动机器人位姿对应的李代数，并利用如下公式求出移动机器人的旋转信息和移动信息：
Figure BDA0002349817110000044
其中，R为移动机器人的旋转信息，t为移动机器人的移动信息。
进一步地，步骤S102根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，包括：
根据移动机器人的位姿信息，采用如图5所示的三角测量方法估算移动机器人与障碍物之间的逆深度估计值；
三角测量公式：si-1xi-1＝siRxi+t，其中si表示第i帧图像对应的相机光心Oi与空间点p之间的逆深度估计值，xi表示点P对应的在第i帧图像上的特征点归一化的坐标，其中si-1表示第i-1帧图像对应的相机光心Oi-1与空间点p之间的逆深度估计值，xi-1表示点P对应的在第i-1帧图像上的特征点归一化的坐标，R为步骤S101中求得的移动机器人的旋转信息，t为步骤S101中求得的移动机器人的移动信息。
利用如下公式计算当前帧图像与已构建深度地图中的最后一个关键帧之间的距离：
Figure BDA0002349817110000045
其中，dist(ξji)是上述两帧之间的距离，ξji是当前帧图像i与关键帧j之间移动机器人的位姿变换的李代数，W为对角阵；
比较所述距离与预设值之间的大小，若所述距离大于预设值，则根据当前图像帧对应的逆深度估计值在已构建的深度地图中构建新的关键帧，否则，将所述当前图像帧对应的逆深度估计值与所述最后一个关键帧对应的逆深度估计值融合，将已构建的深度地图中的最后一个关键帧更新为满足如下式所示高斯分布的关键帧：
Figure BDA0002349817110000046
其中，si表示当前帧图像i对应的逆深度估计值，
Figure BDA0002349817110000047
μi＝si，/>
Figure BDA0002349817110000048
是si服从的高斯分布中的标准差；sj关键帧j对应的逆深度估计值，/>
Figure BDA0002349817110000049
μj＝sj，/>
Figure BDA00023498171100000410
是sj服从的高斯分布中的标准差。
作为一种具体实施方式，步骤S103用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图，包括：
用训练好的faster-rcnn目标检测模型对获取的当前帧图像进行特征提取与处理，得到带有语义信息的图像帧；
根据如下公式计算所述带有语义信息的图像帧中的每一点与已构建深度地图的最后一个关键帧中每一点的相似度，
Figure BDA0002349817110000051
其中，A是所述带有语义信息的图像帧上的点oi周围的小块，B是已构建深度地图的最后一个关键帧中的点o'ik周围的小块，S(A,B)是A与B的相似度；
为所述带有语义信息的图像帧上的每一个点找到所述最后一个关键帧上与该点的相似度最接近于1的对应点，用带有语义信息的图像帧上的点覆盖对应点，为已构建深度地图添加语义信息。
在上述实施例的基础上，用训练好的faster-rcnn目标检测模型参照图6对获取的当前帧图像进行特征提取与处理，得到带有语义信息的图像信息，具体为：
S301获取当前帧图像，对其进行预处理至固定大小；
S302使用卷积神经网络网络(CNN网络)来提取上述当前帧图像中障碍物的特征，并生成相应的特征图；
S303利用卷积网络等在特征图上生成初步候选区域并通过softmax层判断初步候选区域中的特征属性，结合边界框回归修正节点获得精确的候选区域；
S304收集产生的特征图和精确的候选区域，将这些信息进行综合并提取目标特征图；
S305利用目标特征图计算目标的类别，并使用边界框回归来获得障碍物的最终精确的位置和类别信息，障碍物的位置和类别信息便是障碍物的语义信息。
作为一种具体实施方式，步骤S104利用闭环检测算法优化机器人的位姿并使用图优框架对障碍物语义地图进行图优化，具体为：
搜索离已构建深度地图的最后一个带有语义信息的关键帧最近的5个关键帧作为候选帧，计算每一候选帧与所述带有语义信息的关键帧的移动机器人位姿变化对应的李代数；分别两两计算上述李代数之间的马氏距离，如距离均小于预设值，将这一帧插入全局地图，反之则去除；
上述马氏距离
Figure BDA0002349817110000052
其中ξjv是某一候选帧到已构建深度地图的最后一个带有语义信息的关键帧的移动机器人位姿对应的李代数，ξij为另一关键帧到已构建深度地图的最后一个带有语义信息的关键帧的移动机器人位姿对应的李代数。
使用通用的图优化框架g2o对得到的地图进行优化。
综上所述，本发明所提供的方法具备下述优点：
使用单目相机实时获取二维图像，根据图像像素的亮度信息估计移动机器人的运动，可以完全不用计算关键点和描述子，及避免了特征的计算时间，也避免了特征缺失的情况，大大提高了特征追踪的精确性和鲁棒性。
充分利用二维图像信息与移动机器人的位姿变化信息，采用三角测量方法，估算图像帧的逆深度值，实现了单目深度地图的构建。
相较于传统的障碍物检测算法，本发明方法摆脱了光照变化，场景变化等对检测的影响，提高了检测的速度与准确度；
采用计算带有语义信息的图像帧和构成深度地图的关键帧上的点的相似度的方式，为深度地图添加语义信息，简化了匹配方式，提高了匹配的精确率。
以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围。

Claims (2)

1.一种基于深度学习的语义地图构建方法，其特征在于，包括以下步骤：
实时采集移动机器人周围环境的图像信息，根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息；
根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，所述深度信息为逆深度估计值；
用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图；
利用闭环检测算法优化移动机器人的位姿并使用图优框架对所述障碍物语义地图进行图优化；
其中，所述根据当前帧图像的信息与前一帧图像的信息确定移动机器人的位姿信息，包括：
根据所述当前帧图像与前一帧图像之间的光度误差构建如下式所示的移动机器人位姿函数：
Figure FDA0004162226640000011
其中，
Figure FDA0004162226640000012
Ep(ξ)i，i-1为移动机器人位姿，p为空间上的某一点，ξ为移动机器人位姿对应的李代数，rp(p,ξi，i-1)为点p在前一帧图像I(i-1)和当前帧图像Ii上对应点的光度误差，D(p)为空间上的所有点集，Ii(p)为点p在当前帧图像Ii上对应的像素点，ω为点p投影到相机坐标系下的投影函数，/>
Figure FDA0004162226640000013
为光度误差的方差，||·||δ为huber范数；
通过高斯牛顿迭代法对所述移动机器人位姿函数进行求解，获得移动机器人位姿对应的李代数，并利用如下公式求出移动机器人的旋转信息和移动信息：
Figure FDA0004162226640000014
其中，R为移动机器人的旋转信息，t为移动机器人的移动信息；
所述根据所述移动机器人的位姿信息实时估算移动机器人与障碍物的深度信息，并根据所述深度信息构建障碍物深度地图，包括：
根据所述移动机器人的位姿信息，采用三角测量方法估算移动机器人与障碍物之间的逆深度估计值；
利用如下公式计算当前帧图像与已构建深度地图中的最后一个关键帧之间的距离：
Figure FDA0004162226640000015
其中，dist(ξji)是上述两帧之间的距离，ξji是当前帧图像i与关键帧j之间移动机器人的位姿变换的李代数，W为对角阵；
比较所述距离与预设值之间的大小，若所述距离大于预设值，则在所述已构建深度地图中构建新的关键帧，否则，将所述当前帧图像对应的逆深度估计值与所述最后一个关键帧对应的逆深度估计值融合，更新已构建深度地图，使更新后的深度地图中最后一个关键帧满足高斯分布：
Figure FDA0004162226640000016
其中，si表示当前帧图像i对应的逆深度估计值，
Figure FDA0004162226640000017
μi＝si，/>
Figure FDA0004162226640000018
是si服从的高斯分布中的标准差；sj表示关键帧j对应的逆深度估计值，/>
Figure FDA0004162226640000019
μj＝sj，/>
Figure FDA00041622266400000110
是sj服从的高斯分布中的标准差；
所述用训练好的目标检测模型对所述图像信息进行特征提取与处理，得到带有语义信息的图像信息，将所述带有语义信息的图像信息与所述障碍物深度地图进行融合，得到障碍物语义地图，包括：
用训练好的faster-rcnn目标检测模型对获取的当前帧图像进行特征提取与处理，得到带有语义信息的图像帧；
根据如下公式计算所述带有语义信息的图像帧中的每一点与已构建深度地图的最后一个关键帧中每一点的相似度，
Figure FDA0004162226640000021
其中，A是所述带有语义信息的图像帧上的点oi周围的小块，B是已构建深度地图的最后一个关键帧中的点o′ik周围的小块，S(A,B)是A与B的相似度；
为所述带有语义信息的图像帧上的每一个点找到所述最后一个关键帧上与该点的相似度最接近于1的对应点，用所述带有语义信息的图像帧上的点覆盖对应点，为所述已构建深度地图添加语义信息。
2.根据权利要求1所述的语义地图构建方法，其特征在于，所述实时采集移动机器人周围环境的图像信息，具体为：采用单目相机实时拍摄移动机器人周围环境。
CN201911410382.4A 2019-12-31 2019-12-31 一种基于深度学习的语义地图构建方法 Active CN111161334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911410382.4A CN111161334B (zh) 2019-12-31 2019-12-31 一种基于深度学习的语义地图构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911410382.4A CN111161334B (zh) 2019-12-31 2019-12-31 一种基于深度学习的语义地图构建方法

Publications (2)

Publication Number Publication Date
CN111161334A CN111161334A (zh) 2020-05-15
CN111161334B true CN111161334B (zh) 2023-06-02

Family

ID=70559917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911410382.4A Active CN111161334B (zh) 2019-12-31 2019-12-31 一种基于深度学习的语义地图构建方法

Country Status (1)

Country Link
CN (1) CN111161334B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113970917A (zh) * 2020-07-06 2022-01-25 科沃斯商用机器人有限公司 导航方法、装置、自移动机器人和存储介质
CN112486172A (zh) * 2020-11-30 2021-03-12 深圳市普渡科技有限公司 道路边缘检测方法及机器人
CN113031597A (zh) * 2021-03-02 2021-06-25 南京理工大学 一种基于深度学习和立体视觉的自主避障方法
CN114415698B (zh) * 2022-03-31 2022-11-29 深圳市普渡科技有限公司 机器人、机器人的定位方法、装置和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256574B (zh) * 2018-01-16 2020-08-11 广东省智能制造研究所 机器人定位方法及装置
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN110275540A (zh) * 2019-07-01 2019-09-24 湖南海森格诺信息技术有限公司 用于扫地机器人的语义导航方法及其系统
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统

Also Published As

Publication number Publication date
CN111161334A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN111161334B (zh) 一种基于深度学习的语义地图构建方法
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN111462135B (zh) 基于视觉slam与二维语义分割的语义建图方法
Park et al. Elastic lidar fusion: Dense map-centric continuous-time slam
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN111076733B (zh) 一种基于视觉与激光slam的机器人室内建图方法及系统
Churchill et al. Practice makes perfect? managing and leveraging visual experiences for lifelong navigation
CN109186606B (zh) 一种基于slam和图像信息的机器人构图及导航方法
CN113674416B (zh) 三维地图的构建方法、装置、电子设备及存储介质
CN111462207A (zh) 一种融合直接法与特征法的rgb-d同时定位与地图创建方法
CN112734765B (zh) 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质
CN109815847B (zh) 一种基于语义约束的视觉slam方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
US20240062415A1 (en) Terminal device localization method and related device therefor
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
Mount et al. 2d visual place recognition for domestic service robots at night
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN103903269B (zh) 球机监控视频的结构化描述方法和系统
CN115839719A (zh) 一种轻量级slam分段建图方法
CN115511970A (zh) 一种面向自主泊车的视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant