CN112785643A - 一种基于机器人平台的室内墙角二维语义地图构建方法 - Google Patents

一种基于机器人平台的室内墙角二维语义地图构建方法 Download PDF

Info

Publication number
CN112785643A
CN112785643A CN202110143146.1A CN202110143146A CN112785643A CN 112785643 A CN112785643 A CN 112785643A CN 202110143146 A CN202110143146 A CN 202110143146A CN 112785643 A CN112785643 A CN 112785643A
Authority
CN
China
Prior art keywords
corner
semantic
coordinate
point cloud
wall corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110143146.1A
Other languages
English (en)
Inventor
蒋林
聂文康
向超
金胜昔
左建朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Wuhan University of Science and Technology WHUST
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202110143146.1A priority Critical patent/CN112785643A/zh
Publication of CN112785643A publication Critical patent/CN112785643A/zh
Priority to US17/465,883 priority patent/US11971726B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于机器人平台的室内墙角二维语义地图构建方法。本发明通过激光雷达结合Gmapping算法处理得到环境栅格地图、机器人实时位姿；通过语义分割数据集、墙角目标检测数据训练深度学习模型，识别预测室内环境墙角、非墙角物体；同时结合深度相机进行环境中墙角、非墙角物体语义点云提取，并基于统计学方法进行滤波，将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人实时位姿分别进行点云坐标变换，得到其在环境栅格地图坐标系下的坐标，以构建物体栅格地图，合成得到室内墙角二维语义地图。本发明具有更高的稳定性，为机器人定位导航提供更为丰富可靠的特征，从而能完成更为高级复杂的任务。

Description

一种基于机器人平台的室内墙角二维语义地图构建方法
技术领域
本发明属于机器人平台建图定位导航领域，具体涉及一种基于机器人平台的室内墙角二维语义地图构建方法。
背景技术
地图构建是智能机器人平台完成定位导航任务的第一步也是关键，随着对机器人平台智能化和自动化程度的要求越来越高，要求机器人平台能理解周围环境中所包含的几何和语义信息，但利用传统激光SLAM方法构建出的拓扑地图或者栅格地图只能表达环境中拓扑信息与几何信息，缺少对环境语义信息的提取与描述，导致机器人平台无法真正地理解环境。利用视觉SLAM可以获取环境语义，它可以获取丰富的纹理信息，但其受光线影响较大，边界不够清晰，暗处纹理少，且运算负荷大，地图构建存在累计误差，不利于构建二维语义地图。同时环境中物体的移动导致建立好的语义地图出现较大改动，因此加入某些环境中特定物体语义(如墙角)作为环境地图的固有特征十分有意义。
发明内容
本发明提出一种包含墙角信息的室内二维语义地图构建方法，利用激光slam算法进行栅格地图创建，同时结合视觉传感器和深度学习模型进行目标识别检测，对环境中墙角等物体语义信息进行提取，并结合贝叶斯估计的方法，对栅格中是否含有物体进行增量式估计，将得到的激光地图和物体语义地图进行信息融合，并将得到的语义地图进行表示，得到包含墙角的二维语义栅格地图。其将为机器人平台定位导航提供更为丰富的特征，从而能完成更为高级复杂的任务。
本发明为解决现有技术中存在的问题采用的具体技术方案为一种基于机器人平台的室内墙角二维语义地图构建方法。
所述机器人平台其特征在于，包括：机器人平台底盘、主控机、激光雷达传感器、深度相机；
所述的机器人平台底盘装载所述的主控机、激光雷达传感器、深度相机；
所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度相机通过有线方式依次连接。
所述室内墙角二维语义地图构建方法，其特征在于，包括以下步骤：
步骤1：主控机控制机器人平台底盘驱动所述机器人平台在室内运动，激光雷达传感器实时采集室内物体与机器人平台的距离、室内物体与机器人平台的方向角，并传输至主控机，主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过Gmapping算法处理得到环境栅格地图、机器人平台实时位姿；
步骤2：主控机上构建语义分割数据集，将语义分割数据集作为训练集，将语义分割数据集中每张非墙角样本图像输入至DeepLab v2网络进行预测得到预测的非墙角语义标签，进一步结合非墙角语义标签构建DeepLab v2网络损失函数，通过优化训练得到优化后DeepLab v2网络；构建墙角目标检测数据集，将墙角目标检测数据集作为训练集，将墙角目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、以及预测的外界矩形边框中物体类型，进一步结合预测框、墙角标记框中物体类型构建SSD网络损失函数，通过优化训练得到优化后SSD网络；
步骤3：主控机利用深度相机获取机器人平台视角彩色图像，将视角彩色图像输入到优化后DeepLab v2网络预测，识别到视角彩色图像中非墙角的语义标签；将视角彩色图像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型；将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理，依次得到非墙角的三维点云坐标、墙角的三维点云坐标，将非墙角的三维点云坐标、墙角的三维点云坐标分别通过基于统计方法的滤波器进行点云滤波处理，得到滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标；
步骤4：主控机将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人平台实时位姿分别进行点云坐标变换，得到非墙角的物体在环境栅格地图坐标系下的坐标以及墙角的物体在环境栅格地图坐标系下的坐标，通过非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标构建物体栅格地图；
步骤5：重复执行步骤3至步骤4，直至主控机控制机器人平台完成室内环境遍历，从而得到完整的环境栅格地图、完整的物体栅格地图，进一步将完整的环境栅格地图、完整的物体栅格地图进行合并，得到室内墙角二维语义地图。
作为优选，步骤1所述机器人平台实时位姿为：
cok＝(xo,k,yo,k,θo,k)，k∈[1,K]
其中，co，k表示第k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的y轴坐标，θo,k表示第k个时刻机器人平台的偏航角，即与x轴正向的夹角，K为采集时刻的数量；
作为优选，步骤2所述语义分割数据集为：
I＝{datam(u,v),typem(u,v)}，m∈[1,M],u∈[1,UI],v∈[1,VI]
其中，M表示语义分割数据集I中非墙角样本图像的数量，U表示语义分割数据集I中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数，s表示语义分割数据集I中每张非墙角样本图像的像素所属类别的数量，datam(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素，typem(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素所属类别；
步骤2所述DeepLab v2网络损失函数为交叉熵损失函数；
步骤2所述通过优化训练得到优化后DeepLab v2网络为：
将所述交叉熵损失函数最小化为优化目标，
通过SGD算法寻优得到优化后DeepLab v2网络；
步骤2所述目标检测数据集为：
Figure BDA0002928940540000031
p∈[1,P],x∈[1,X],y∈[1,Y],n∈[1,Np]
其中，P表示目标检测数据集中墙角样本图像的数量，X表示目标检测数据集中每张墙角样本图像的列数，Y表示表示目标检测数据集中每张墙角样本图像的行数，P表示目标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；datam(x,y)目标检测数据集中第p张墙角样本图像中第x列第y行的像素，
Figure BDA0002928940540000041
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角横坐标，
Figure BDA0002928940540000042
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，
Figure BDA0002928940540000043
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角横坐标，
Figure BDA0002928940540000044
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角纵坐标，
Figure BDA0002928940540000045
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框中物体类型；
步骤2所述SSD网络损失函数：由用于分类的log loss损失函数和用于回归的smooth L1损失函数构成；
步骤2所述通过优化训练得到优化后SSD网络为：
通过SGD算法寻优得到优化后SSD网络；
作为优选，步骤3所述视角彩色图像中非墙角的语义标签为：
*wk＝{*data(u,v)k,*types,k}
其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*types,k表示第k个时刻视角彩色图像中第u列第v行的像素所属的物体类别；
步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型为：
Figure BDA0002928940540000046
其中，
Figure BDA0002928940540000047
表示第k个时刻视角彩色图像中第u列第v行的第n个预测外接矩形边框在视角彩色图像中的位置及其墙角类别；
步骤3所述将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理：
结合*wk、*ek，得到非墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Wk＝{((iw,jw),type(iw,b,jw))b}，b∈[1,B]
其中，B表示集合中当前图片中非墙角语义像素点总数；(iw,jw)表示图片中第iw行第jw列像素点，((iw,jw),type(iw,jw))b表示像素坐标集合中第b个语义像素点的图片中像素坐标为(iw,jw)，像素标签为type(iw,jw)；
得到墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Ek＝{((ie,je),Ty(ie,je))t}，t∈[1,T]
其中，T表示集合中当前图片中墙角语义像素点总数；(ie,je)表示图片中第ie行第je列像素点，((ie,je),Ty(ie,je))t表示像素坐标集合中第t个语义像素点的图片中像素坐标为(ie,je)，像素标签为Ty(ie,je)；
将上述得到的当前彩色图像素坐标系下非墙角语义坐标(iw,jw)b，利用获取的深度图得到它们的深度信息以及相机标定参数转换到相机坐标系下，从而得到非墙角的三维点云坐标：
Figure BDA0002928940540000051
式子，(Xw,Yw,Zw)为非墙角的三维点云坐标，非墙角语义像素坐标集合中对应的每个像素点坐标(iw,jw)，(iw,jw)表示该像素点位于当前彩色图片中的第iw行第jw列，dw为深度图像中像素坐标为(iw,jw)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心。fx、fy分别为相机焦点到相机光心横向和纵向的距离；
将上述得到的当前彩色图像素坐标系下墙角语义坐标(ie,je)t，利用获取的深度图得到深度信息以及相机标定参数转换到相机坐标系下，从而得到墙角的三维点云坐标：
得到相机坐标系下墙角语义点云坐标(Xe,Ye,Ze)：
Figure BDA0002928940540000061
其中，(Xe,Ye,Ze)为转换得到墙角的三维点云坐标，墙角语义像素坐标集合中对应的每个像素点坐标(ie,je)，(ie,je)表示该像素点位于当前彩色图片中的第ie行第je列，de为深度图像中像素坐标为(ie,je)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心。fx、fy分别为相机焦点到相机光心横向和纵向的距离；
步骤3所述将非墙角的三维点云坐标(Xw,Yw,Zw)、墙角的三维点云坐标(Xe,Ye,Ze)分别通过基于统计方法的滤波器进行点云滤波处理：
基于统计分析方法的滤波器从点云数据中去除离散点云后，对物体点云提取距离机器人平台最近的一簇点云，相当于提取视角下物体的外轮廓点云，得到滤波后非墙角语义点云坐标(X'w,Yw',Z'w)和滤波后墙角语义点云坐标(X'e,Ye',Z'e)。
作为优选，所述步骤4所述的点云坐标变换如下：
将得到的非墙角语义点云在相机坐标系下的点云坐标(X'w,Yw',Z'w)转换至机器人平台坐标系(Xrobot,w,Yrobot,w,Zrobot,w)，转换关系为：
Figure BDA0002928940540000062
将得到的墙角语义点云在相机坐标系下的点云坐标(X'e,Ye',Z'e)转换至机器人平台坐标系(Xrobot,e,Yrobot,e,Zrobot,e)，转换关系为：
Figure BDA0002928940540000071
式中R1和T1分别为Kinect v2深度摄像机坐标系与移动机器人平台坐标系之间的3*3旋转矩阵和3*1平移矩阵，根据深度相机在机器人平台上安装位置关系确定，0T为(0,0,0)。
通过上面转换便得到机器人平台坐标系下非墙角语义点云坐标(Xrobot,w,Yrobot,w,Zrobot,w)，以及墙角语义点云坐标(Xrobot,e,Yrobot,e,Zrobot,e)，得到墙角和非墙角语义点云坐标集合R＝{(XR,f,YR,f,ZR,f)}，下标f表示集合中第f个语义点；为方便表示，下述机器人平台坐标系下语义点云坐标统一用(XR,YR,ZR)。
再结合利用Gmapping建图算法获取的机器人平台实时位姿(xo,k,yo,k,θo,k)，将机器人平台坐标系下坐标(XR,YR,ZR)转换得到世界坐标系下(XWo,YWo,ZWo)，如下：
移动机器人平台坐标系与世界坐标系之间的转换关系为：
Figure BDA0002928940540000072
式中，R2和T2分别为移动机器人平台坐标系与真实世界坐标系之间的3*3的旋转矩阵和3*1的平移矩阵，0T为(0,0,0)。
Figure BDA0002928940540000073
Figure BDA0002928940540000074
最后将真实世界坐标系下的坐标点(XWo,YWo)转换得到物体栅格地图坐标系坐标(Xg,Yg)。
Figure BDA0002928940540000081
式中(XWo,YWo)表示世界坐标系中的某一语义点坐标值，(Xg,Yg)为该点对应在物体栅格地图坐标系中的坐标值，r表示物体栅格地图单元分辨率，ceil是向上取整符号。
通过上面一系列坐标变换便得到了物体栅格地图坐标系中各语义点坐标值(Xg,Yg)，并将最终得到的个语义点其在创建的物体栅格地图上标记，不同的物体类型gs使用不同的colors标记；
作为优选，步骤5所述将完整的环境栅格地图、完整的物体栅格地图进行合并为：
获取到完整的环境栅格地图的中心，将完整的环境栅格地图的中心与完整的物体栅格地图的中心对齐，遍历非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标，将该处对应的标记加入到环境栅格地图对应位置，完整的环境栅格地图的中心与完整的物体栅格地图的中心和姿态要保持一致，最后得到室内墙角二维语义地图。
本发明具有如下优点：
本发明利用语义分割深度学习模型进行物体语义分割，可以得到准确的物体语义，使得原本只有激光信息建立得到的环境栅格地图具有了语义层面的含义。同时，结合SSD目标检测模型进行环境中的墙角进行识别，将提取到的墙角语义增加的原本语义地图中，相比于地图中其它物体语义墙角具有更高的稳定性，对于环境而言，它们的位置不会轻易变更，为机器人平台定位导航提供更为丰富可靠的特征，从而能完成更为高级复杂的任务。
附图说明
图1：为本发明方法流程图；
图2：为实验场景图；
图3：为机器人平台物体检测分割示意图；
图4：为深度图及其可视化图；
图5：为椅子初步语义提取图；
图6：为镂空式椅子点云二维映射图；
图7：为误检测时语义映射图；
图8：为增量式方法消除“假语义”效果图；
图9：为语义映射地图；
图10：为合成得到的语义栅格地图；
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
下面结合图1至图10介绍本发明的具体实施方式为本发明的第一具体实施例为一种基于机器人平台的室内墙角二维语义地图构建方法。
所述机器人平台其特征在于，包括：机器人平台底盘、主控机、激光雷达传感器、深度相机；
所述的机器人平台底盘装载所述的主控机、激光雷达传感器、深度相机；
所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度相机通过有线方式依次连接。
主控机选用的是酷睿M4I7-D迷你主机；
机器人平台底盘选用的是pibot品牌的Arduino驱动板底盘；
激光雷达传感器选用性能稳定的SICK lms111激光雷达；
深度相机选用的是kinect v2。
所述室内墙角二维语义地图构建方法，其特征在于，包括以下步骤：
步骤1：主控机控制机器人平台底盘驱动所述机器人平台在室内运动，激光雷达传感器实时采集室内物体与机器人平台的距离、室内物体与机器人平台的方向角，并传输至主控机，主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过Gmapping算法处理得到环境栅格地图、机器人平台实时位姿；
步骤1所述机器人平台实时位姿为：
cok＝(xo,k,yo,k,θo,k)，k∈[1,K]
其中，co,k表示第k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的y轴坐标，θo,k表示第k个时刻机器人平台的偏航角，即与x轴正向的夹角，K为采集时刻的数量；
步骤2：主控机上构建语义分割数据集，将语义分割数据集作为训练集，将语义分割数据集中每张非墙角样本图像输入至DeepLab v2网络进行预测得到预测的非墙角语义标签，进一步结合非墙角语义标签构建DeepLab v2网络损失函数，通过优化训练得到优化后DeepLab v2网络；构建墙角目标检测数据集，将墙角目标检测数据集作为训练集，将墙角目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、以及预测的外界矩形边框中物体类型，进一步结合预测框、墙角标记框中物体类型构建SSD网络损失函数，通过优化训练得到优化后SSD网络；
步骤2所述语义分割数据集为：
I＝{datam(u,v),typem(u,v)}，m∈[1,M],u∈[1,UI],v∈[1,VI]
其中，M表示语义分割数据集I中非墙角样本图像的数量，U表示语义分割数据集I中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数，s表示语义分割数据集I中每张非墙角样本图像的像素所属类别的数量，datam(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素，typem(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素所属类别；
步骤2所述DeepLab v2网络损失函数为交叉熵损失函数；
步骤2所述通过优化训练得到优化后DeepLab v2网络为：
将所述交叉熵损失函数最小化为优化目标，
通过SGD算法寻优得到优化后DeepLab v2网络；
步骤2所述目标检测数据集为：
Figure BDA0002928940540000111
p∈[1,P],x∈[1,X],y∈[1,Y],n∈[1,Np]
其中，P表示目标检测数据集中墙角样本图像的数量，X表示目标检测数据集中每张墙角样本图像的列数，Y表示表示目标检测数据集中每张墙角样本图像的行数，P表示目标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；datam(x,y)目标检测数据集中第p张墙角样本图像中第x列第y行的像素，
Figure BDA0002928940540000112
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角横坐标，
Figure BDA0002928940540000113
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，
Figure BDA0002928940540000114
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角横坐标，
Figure BDA0002928940540000115
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角纵坐标，
Figure BDA0002928940540000116
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框中物体类型；
步骤2所述SSD网络损失函数：由用于分类的log loss损失函数和用于回归的smooth L1损失函数构成；
步骤2所述通过优化训练得到优化后SSD网络为：
通过SGD算法寻优得到优化后SSD网络；
步骤3：主控机利用深度相机获取机器人平台视角彩色图像，将视角彩色图像输入到优化后DeepLab v2网络预测，识别到视角彩色图像中非墙角的语义标签；将视角彩色图像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型；将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理，依次得到非墙角的三维点云坐标、墙角的三维点云坐标，将非墙角的三维点云坐标、墙角的三维点云坐标分别通过基于统计方法的滤波器进行点云滤波处理，得到滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标；
步骤3所述视角彩色图像中非墙角的语义标签为：
*wk＝{*data(u,v)k,*typesk}
其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*typesk表示第k个时刻视角彩色图像中第u列第v行的像素所属的物体类别；
步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型为：
Figure BDA0002928940540000121
其中，
Figure BDA0002928940540000122
表示第k个时刻视角彩色图像中第u列第v行的第n个预测外接矩形边框在视角彩色图像中的位置及其墙角类别；
步骤3所述将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理：
结合*wk、*ek，得到非墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Wk＝{((iw,jw),type(iw,b,jw))b}，b∈[1,B]
其中，B表示集合中当前图片中非墙角语义像素点总数；(iw,jw)表示图片中第iw行第jw列像素点，((iw,jw),type(iw,jw))b表示像素坐标集合中第b个语义像素点的图片中像素坐标为(iw,jw)，像素标签为type(iw,jw)；
得到墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Ek＝{((ie,je),Ty(ie,je))t}，t∈[1,T]
其中，T表示集合中当前图片中墙角语义像素点总数；(ie,je)表示图片中第ie行第je列像素点，((ie,je),Ty(ie,je))t表示像素坐标集合中第t个语义像素点的图片中像素坐标为(ie,je)，像素标签为Ty(ie,je)；
将上述得到的当前彩色图像素坐标系下非墙角语义坐标(iw,jw)b，利用获取的深度图得到它们的深度信息以及相机标定参数转换到相机坐标系下，从而得到非墙角的三维点云坐标：
Figure BDA0002928940540000131
式子，(Xw,Yw,Zw)为非墙角的三维点云坐标，非墙角语义像素坐标集合中对应的每个像素点坐标(iw,jw)，(iw,jw)表示该像素点位于当前彩色图片中的第iw行第jw列，dw为深度图像中像素坐标为(iw,jw)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心。fx、fy分别为相机焦点到相机光心横向和纵向的距离；
将上述得到的当前彩色图像素坐标系下墙角语义坐标(ie,je)t，利用获取的深度图得到深度信息以及相机标定参数转换到相机坐标系下，从而得到墙角的三维点云坐标：
得到相机坐标系下墙角语义点云坐标(Xe,Ye,Ze)：
Figure BDA0002928940540000132
其中，(Xe,Ye,Ze)为转换得到墙角的三维点云坐标，墙角语义像素坐标集合中对应的每个像素点坐标(ie,je)，(ie,je)表示该像素点位于当前彩色图片中的第ie行第je列，de为深度图像中像素坐标为(ie,je)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心。fx、fy分别为相机焦点到相机光心横向和纵向的距离；
步骤3所述将非墙角的三维点云坐标(Xw,Yw,Zw)、墙角的三维点云坐标(Xe,Ye,Ze)分别通过基于统计方法的滤波器进行点云滤波处理：
基于统计分析方法的滤波器从点云数据中去除离散点云后，对物体点云提取距离机器人平台最近的一簇点云，相当于提取视角下物体的外轮廓点云，得到滤波后非墙角语义点云坐标(X'w,Yw',Z'w)和滤波后墙角语义点云坐标(X'e,Ye',Z'e)。
步骤4：主控机将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人平台实时位姿分别进行点云坐标变换，得到非墙角的物体在环境栅格地图坐标系下的坐标以及墙角的物体在环境栅格地图坐标系下的坐标，通过非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标构建物体栅格地图；
所述步骤4所述的点云坐标变换如下：
将得到的非墙角语义点云在相机坐标系下的点云坐标(X'w,Yw',Z'w)转换至机器人平台坐标系(Xrobot,w,Yrobot,w,Zrobot,w)，转换关系为：
Figure BDA0002928940540000141
将得到的墙角语义点云在相机坐标系下的点云坐标(X'e,Ye',Z'e)转换至机器人平台坐标系(Xrobot,e,Yrobot,e,Zrobot,e)，转换关系为：
Figure BDA0002928940540000142
式中R1和T1分别为Kinect v2深度摄像机坐标系与移动机器人平台坐标系之间的3*3旋转矩阵和3*1平移矩阵，根据深度相机在机器人平台上安装位置关系确定，0T为(0,0,0)。
通过上面转换便得到机器人平台坐标系下非墙角语义点云坐标(Xrobot,w,Yrobot,w,Zrobot,w)，以及墙角语义点云坐标(Xrobot,e,Yrobot,e,Zrobot,e)，得到墙角和非墙角语义点云坐标集合R＝{(XR,f,YR,f,ZR,f)}，下标f表示集合中第f个语义点；为方便表示，下述机器人平台坐标系下语义点云坐标统一用(XR,YR,ZR)。
再结合利用Gmapping建图算法获取的机器人平台实时位姿(xo,k,yo,k,θo,k)，将机器人平台坐标系下坐标(XR,YR,ZR)转换得到世界坐标系下(XWo,YWo,ZWo)，如下：
移动机器人平台坐标系与世界坐标系之间的转换关系为：
Figure BDA0002928940540000151
式中，R2和T2分别为移动机器人平台坐标系与真实世界坐标系之间的3*3的旋转矩阵和3*1的平移矩阵，0T为(0,0,0)。
Figure BDA0002928940540000152
Figure BDA0002928940540000153
最后将真实世界坐标系下的坐标点(XWo,YWo)转换得到物体栅格地图坐标系坐标(Xg,Yg)。
Figure BDA0002928940540000161
式中(XWo,YWo)表示世界坐标系中的某一语义点坐标值，(Xg,Yg)为该点对应在物体栅格地图坐标系中的坐标值，r表示物体栅格地图单元分辨率，ceil是向上取整符号。
通过上面一系列坐标变换便得到了物体栅格地图坐标系中各语义点坐标值(Xg,Yg)，并将最终得到的个语义点其在创建的物体栅格地图上标记，不同的物体类型gs使用不同的colors标记；
步骤5：重复执行步骤3至步骤4，直至主控机控制机器人平台完成室内环境遍历，从而得到完整的环境栅格地图、完整的物体栅格地图，进一步将完整的环境栅格地图、完整的物体栅格地图进行合并，得到室内墙角二维语义地图；
步骤5所述将完整的环境栅格地图、完整的物体栅格地图进行合并为：
获取到完整的环境栅格地图的中心，将完整的环境栅格地图的中心与完整的物体栅格地图的中心对齐，遍历非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标，将该处对应的标记加入到环境栅格地图对应位置，完整的环境栅格地图的中心与完整的物体栅格地图的中心和姿态要保持一致，最后得到室内墙角二维语义地图。
下面介绍本发明的第二实施例：
步骤1：在真实实验场景下借助LMS111激光雷达传感器和移动机器人平台实验平台，使用Gmapping算法在ROS操作平台上完成机器人平台的即时定位与栅格地图的创建，实验场景图如图2所示。
机器人平台在环境中移动不断完善地图，根据机器人平台获取的里程计数据以及里程计运动学模型，估计机器人平台当前时刻位姿，每个粒子都包含机器人平台建图开始至当前所有时刻的位姿以及当前环境地图，然后根据激光数据利用激光似然域模型进行扫描匹配，计算粒子中包含地图与建立出的地图的匹配程度，进行权重更新和重采样，更新粒子的地图，得分最高的粒子的位姿即为最优位姿，实时获取机器人平台位置，并逐步生成环境栅格地图。
步骤2：利用深度相机获取机器人平台视角图，将彩色图像输入到深度学习检测模型中，识别视野中的目标物体以及墙角。
首先，本文基于数据所处场景适中且广泛存在、数据类别和数量均衡的原则进行室内语义分割数据集和室内物体检测数据集的制作。收集了多视角多距离多亮度下的室内场景图片，并添加了机器人平台实际使用场景的图片，组成了本文室内语义分割任务的INDOOR1数据集以及检测识别任务的数据集INDOOR2。为了进一步丰富数据集，同时提高模型的泛化能力，训练前对对数据集进行颜色改变、尺度变换、随机裁剪等数据增强操作。搭建DeepLab v2和SSD网络，采用ImageNet数据集上预训练的网络权重初始化SSD网络模型的权重，在GPU模式下利用制作好的数据集进行模型训练。
在机器人平台在环境中移动建图的过程中，由搭载的深度相机获取的视角彩色图像作为训练好的检测模型的输入，得到当前视角下物体检测识别结果，如机器人平台处于图3中(a)所示场景时，墙角的检测效果如图3中(d)所示,检测结果图中的实心圆圈代表检测到的墙角的在图片中的位置，视角中门和椅子的检测分割效果如图3中(c)所示，其中非黑色部分代表的分别是检测出的门和柜子。可以看出，得到的检测效果还是不错，把得到的结果作为接下来语义点云提取的输入。
步骤3：结合同视角下对应的深度图，得到识别墙角在相机坐标系下的三维点云坐标，对于生成的点云数据，进行相应的滤波处理，去除其中的假语义点云。
完成对RGB图中物体检测后，我们便可以获取到二维图像中物体的类别和位置信息，结合深度图信息获得实际距离信息实现三维信息的转换，上图中所示场景对应的深度图如图4所示。
在获取到彩色图与深度对应关系后，Kinect v2相机坐标系下的点云(XK,YK,ZK)由式(1)获取：
Figure BDA0002928940540000171
式子中u，v为RGB图像中分割出的物体的像素坐标值，d为深度图像中像素坐标为(u,v)的深度值，cx、cy、fx、fy为相机标定内参，分别为相机在两个轴上的焦距与光圈中心。
通过上述的坐标转换，可以得到识别物体在相机坐标系下的3D点云坐标。
考虑到训练模型的误检测以及点语义生成的计算量，对初始3D语义点云进行部分滤除。对于如图5中(a)所示环境中椅子利用训练模型实现分割后得到的彩色分割图(c)，由于它镂空式的结构，分割图中有部分点云透过椅子其实是在椅子后面墙壁上的点云，若我们直接对所有这些点云进行下一步的操作，得到的语义信息中会有较多的假语义。不作任何处理直接将这些3D点云映射到二维平面上，效果如图6中(a)所示，通过映射图可以看出有些明显不属于椅子部分的点云，而且得到的物体投影显得较为杂乱，因此对于生成的点云数据，进行相应的滤波处理很有必要。
考虑到深度相机Kinect v2的量程，对于过近或过远的测量结果都会有较大的出入，我们这里设定只对0.5～5米范围内的点云进行处理，超过或低于设定范围的点云进行去除。为方便滤波处理，对于剩下的点云进行降维操作，先转换成二维点云，再使用基于统计分析方法的滤波器从点云数据中去除噪声点(离群点)。该滤波器的原理：计算输入点云集中每个点到所有临近点的平均距离，得到的结果符合高斯分布，计算出均值和方差，去除那些远离均值的二维点。对于上面图中的椅子点云信息进行上述的点云去除操作后，得到的该椅子点云二维映射效果图如下图6中(b)所示。
可以看出生成的椅子语义信息更为准确。为更好地表示提取出物体的语义信息，我们对物体点云提取距离机器人平台最近的一簇点云，相当于提取视角下物体的外轮廓点云，具体的实现：得到物体语义映射图后，提取出图像中每一列中距离机器人平台最近的栅格点，对于的点云保留下来进行接下来的坐标系转换操作，提取效果如图6中(c)图。
在对相机坐标下的物体点云坐标滤波处理后，得到相机平面下物体外轮廓语义点云的映射坐标。
步骤4：利用Gmapping建图算法获取的机器人平台实时位姿，将机器人平台坐标系下语义坐标转换得到世界坐标系下，进而根据增量式估计的方法映射到二维栅格坐标系中，并将其在创建的物体栅格地图上表示；
物体语义栅格地图是和激光栅格地图同时开始创建的，我们首先创建一张正方形的空白栅格地图，地图的中心作为建图起点开始建图，它是要把环境分成许多个大小相同的栅格单元，它的地图分辨率值和Gmapping算法建图分辨率值设置一致，不同的是，构建的物体语义栅格地图中只包含提取出的物体语义映射信息，其余无识别物投影的栅格认为是栅格空闲状态。考虑到存在的误差，对于在不同时刻不同位置检测得到的同一个物体的相同部位在地图上的映射坐标会不一致，这里考虑结合栅格点的历史状态进行判定。
为了尽可能减少这种误差，我们采用基于贝叶斯方法的增量式估计对栅格状态进行更新。
对于栅格地图，使用Q(s)表示栅格状态，它有栅格被占据的概率p(s＝1)和栅格空闲的概率p(s＝0)决定：
Figure BDA0002928940540000191
当接收到传感器数据后，得到一个新模型测量值z，观测值的状态只有两种(0或1)，我们要对栅格状态Q(s|z)进行更新，由是(2)可得：
Figure BDA0002928940540000192
由上式(3)可得在观测值为z时栅格被占据和空闲的概率：
Figure BDA0002928940540000193
根据式(3)和(4)计算可得Q(s|z)：
Figure BDA0002928940540000194
在式(5)左右两边同时去对数可得：
Figure BDA0002928940540000201
由(6)式可以看出，状态更新后的栅格概率值仅第一项与测量值相关，第二项为更新之前栅格占据概率值。我们对上式进行相似化处理，栅格更新前后状态分别用Qt-1、Qt表示，模型测量值项用Δq表示，得到下式(7)：
Qt＝Δq+Qt-1 (7)
利用上述增量式估计的方法进行物体语义栅格地图构建时，对于初始空白地图，每个栅格对应初始状态值Q0＝0，根据不同类物体的检测准确率值设置不同的状态更新增量Δq，设定栅格阈值Dq，当最终栅格状态值大于Dq时才证明此栅格存在物体，在构建的地图中才会更新显示该栅格被占据的状态。在进行物体语义映射栅格状态更新的同时，同时利用Bresenham直线段扫面算法获取语义栅格点到机器人平台所处位置栅格点所连直线经过的所有栅格点，对这些栅格点进行状态更新，全部设置为空闲状态。
建图过程中，当传感器数据更新时，也即机器人平台位姿发生改变，才利用上述方法对栅格状态进行更新，避免将同一帧数据重复作为测量值进行栅格状态更新。利用增量式估计的方法可有有效消除由于某些帧误检测分割而带来的“假语义”，比如对于图7所示，当机器人平台识别在它周围的物体时，在某一帧中将木方块误分割成了门；若是直接将识别到的物体进行语义映射，得到的结果中就会存在不正确的语义信息，得到如图中(c)所示的效果。当结合增量式估计方法进行建图时，这些某些帧误识别带来的误检测会被消除，操作机器人平台使其在不同位置对误识别处进行多次检测，以此消除误识别处栅格的概率值，得到准确的物体语义，过程中得到的效果图如图8所示。
步骤5：在机器人平台遍历环境完成后，得到物体栅格地图和环境栅格地图，再把两幅栅格地图进行合并，得到反映环境语义信息的包含墙角信息的二维语义栅格地图；
在明确了每一帧数据中扫描到的栅格点以及其状态后，根据移动机器人平台不同时刻的位姿状态和传感器信息重复获取以上数据，同时根据介绍的贝叶斯估计原理更新栅格地图坐标系中每一个栅格单元状态，完成机器人平台使用环境遍历后，根据最终每个栅格的物体概率值是否大于一定设定阈值来判断该栅格是否存在某一类物体，完成室内物体语义栅格地图的创建，如图9所示，其中(a)图为得到的激光环境栅格地图，(b)图表示环境中物体语义映射图，(c)图表示检测出的环境墙角语义图。
初始得到的墙角语义地图中墙角投影点比较杂乱，我们对其进行图像形态学操作，对地图做联通区域分析，去除这些细小的孤立点区域，将靠近主体部分的孤立点进行连接，提取各部分中小作为该角点中心，以其为圆心绘制一定大小的实心圆代替角点，得到如图9中(b)所示优化后的墙角语义图。
将激光地图和物体语义地图进行融合可得到如图10中(b)所示的合成语义地图，合并的具体过程如下：由于物体栅格地图和环境栅格地图是同步进行建立的，两幅地图地图的栅格分辨率相同，因此生成的两幅地图相同物体间的尺寸是一样的，它们的方向是一致的，只需两幅地图姿态对齐合并过程就方便进行了。首先利用Gmapping建立出来的环境栅格地图生成的地图文件，获取到地图中心(建图原点)的位置；生成的物体栅格地图为图片格式，它的中心即为图片中心，只需将环境栅格地图中心与物体栅格地图的中心对齐，保持方向不变，这样两幅地图的中心便对齐了；接下来就可以进行地图的合成，实际上可以看成是图片操作，可以使用OpenCV作为工具遍历读取物体栅格地图的非黑色区域(即目标物)，将该区域的颜色加入到环境栅格地图对应的位置中，过程中两幅图的中心和姿态要保持一致，遍历完物体栅格地图中所有像素值后环境栅格地图中的颜色区域也添加完毕，最后生成的环境栅格地图即为合成的含有墙角信息语义栅格地图。
为了更好地表达出环境中的高层次语义信息，对构建的语义图进行一些优化处理，使用不同形状的彩色快代替环境中在某一区域中的不同物体，结果如图10中(c)所示。对合成的语义地图中每一个物体提取中心位置，将它们在地图中的坐标存储到相应的描述文件中，与构建的语义地图一起存储起来，以便后续利用其实现语义图中物体位置的查询，完成更高层次的定位导航应用任务。由合成的语义地图可以看出，物体与栅格地图中的对应障碍物基本重合，物体位置表达准确，能正确反映了环境语义信息，二维语义栅格地图创建完成。
本发明的保护范围并不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围内，则本发明的意图也包含这些改动和变形在内。

Claims (6)

1.一种基于机器人平台的室内墙角二维语义地图构建方法，其特征在于：
所述机器人平台其特征在于，包括：机器人平台底盘、主控机、激光雷达传感器、深度相机；
所述的机器人平台底盘装载所述的主控机、激光雷达传感器、深度相机；
所述主控机分别与所述的机器人平台底盘、激光雷达传感器、深度相机通过有线方式依次连接；
所述室内墙角二维语义地图构建方法，其特征在于，包括以下步骤：
步骤1：所述主控机控制所述机器人平台在室内运动，所述激光雷达传感器实时采集室内物体与机器人平台的距离、室内物体与机器人平台的方向角，并传输至所述主控机，所述主控机将室内物体与机器人平台的距离、室内物体与机器人平台的方向角通过Gmapping算法处理得到环境栅格地图、机器人平台实时位姿；
步骤2：所述主控机上构建语义分割数据集，将语义分割数据集作为训练集，将语义分割数据集中每张非墙角样本图像输入至DeepLab v2网络进行预测得到预测的非墙角语义标签，进一步结合非墙角语义标签构建DeepLab v2网络损失函数，通过优化训练得到优化后DeepLab v2网络；构建墙角目标检测数据集，将墙角目标检测数据集作为训练集，将墙角目标检测数据集中每张墙角样本图像输入至SSD网络进行预测得到预测的外界矩形边框、以及预测的外界矩形边框中物体类型，进一步结合预测框、墙角标记框中物体类型构建SSD网络损失函数，通过优化训练得到优化后SSD网络；
步骤3：所述主控机利用所述深度相机获取机器人平台视角彩色图像，将视角彩色图像输入到优化后DeepLab v2网络预测，识别到视角彩色图像中非墙角的语义标签；将视角彩色图像通过优化后SSD目标检测网络，识别到视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型；将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理，依次得到非墙角的三维点云坐标、墙角的三维点云坐标，将非墙角的三维点云坐标、墙角的三维点云坐标分别通过基于统计方法的滤波器进行点云滤波处理，得到滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标；
步骤4：所述主控机将滤波后非墙角的三维点云坐标、滤波后墙角的三维点云坐标，结合机器人平台实时位姿分别进行点云坐标变换，得到非墙角的物体在环境栅格地图坐标系下的坐标以及墙角的物体在环境栅格地图坐标系下的坐标，通过非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标构建物体栅格地图；
步骤5：重复执行步骤3至步骤4，直至所述主控机控制所述机器人平台完成室内环境遍历，从而得到完整的环境栅格地图、完整的物体栅格地图，进一步将完整的环境栅格地图、完整的物体栅格地图进行合并，得到室内墙角二维语义地图。
2.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤1所述机器人平台实时位姿为：
cok＝(xo,k,yo,k,θo,k)，k∈[1,K]
其中，co，k表示第k个时刻机器人平台实时位姿，xo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的x轴坐标，yo,k表示第k个时刻机器人平台在环境栅格地图坐标系中的y轴坐标，θo,k表示第k个时刻机器人平台的偏航角，即与x轴正向的夹角，K为采集时刻的数量。
3.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤2所述语义分割数据集为：
I＝{datam(u,v),typem(u,v)}，m∈[1,M],u∈[1,UI],v∈[1,VI]
其中，M表示语义分割数据集I中非墙角样本图像的数量，U表示语义分割数据集I中每张非墙角样本图像的列数，V表示表示语义分割数据集I中每张非墙角样本图像的行数，s表示语义分割数据集I中每张非墙角样本图像的像素所属类别的数量，datam(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素，typem(u,v)表示语义分割数据集I中第m张非墙角样本图像第u列第v行的像素所属类别；
步骤2所述DeepLab v2网络损失函数为交叉熵损失函数；
步骤2所述通过优化训练得到优化后DeepLab v2网络为：
将所述交叉熵损失函数最小化为优化目标，
通过SGD算法寻优得到优化后DeepLab v2网络；
步骤2所述目标检测数据集为：
Figure FDA0002928940530000031
p∈[1,P],x∈[1,X],y∈[1,Y],n∈[1,Np]
其中，P表示目标检测数据集中墙角样本图像的数量，X表示目标检测数据集中每张墙角样本图像的列数，Y表示表示目标检测数据集中每张墙角样本图像的行数，P表示目标检测数据集中第p张墙角样本图像中外界矩形边框的数量，s表示像素点所属的类别；datam(x,y)目标检测数据集中第p张墙角样本图像中第x列第y行的像素，
Figure FDA0002928940530000032
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角横坐标，
Figure FDA0002928940530000033
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的左上角纵坐标，
Figure FDA0002928940530000034
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角横坐标，
Figure FDA0002928940530000035
表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框的右下角纵坐标，Typ,n表示目标检测数据集中第p张墙角样本图像中第n个外接矩形边框中物体类型；
步骤2所述SSD网络损失函数：由用于分类的logloss损失函数和用于回归的smooth L1损失函数构成；
步骤2所述通过优化训练得到优化后SSD网络为：
通过SGD算法寻优得到优化后SSD网络。
4.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤3所述视角彩色图像中非墙角的语义标签为：
*wk＝{*data(u,v)k,*types,k}
其中，*data(u,v)k表示第k个时刻视角彩色图像中第u列第v行的像素信息，*types,k表示第k个时刻视角彩色图像中第u列第v行的像素所属的物体类别；
步骤3所述视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型为：
Figure FDA0002928940530000041
其中，
Figure FDA0002928940530000042
表示第k个时刻视角彩色图像中第u列第v行的第n个预测外接矩形边框在视角彩色图像中的位置及其墙角类别；
步骤3所述将视角彩色图像中非墙角的语义标签、视角彩色图像中墙角的预测外接矩形边框及墙角的预测外接矩形边框中物体类型进行坐标变换处理：
结合*wk、*ek，得到非墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Wk＝{((iw,jw),type(iw,b,jw))b}，b∈[1,B]
其中，B表示集合中当前图片中非墙角语义像素点总数；(iw,jw)表示图片中第iw行第jw列像素点，((iw,jw),type(iw,jw))b表示像素坐标集合中第b个语义像素点的图片中像素坐标为(iw,jw)，像素标签为type(iw,jw)；
得到墙角语义在视角彩色图像像素坐标系中的像素坐标集合：
Ek＝{((ie,je),Ty(ie,je))t}，t∈[1,T]
其中，T表示集合中当前图片中墙角语义像素点总数；(ie,je)表示图片中第ie行第je列像素点，((ie,je),Ty(ie,je))t表示像素坐标集合中第t个语义像素点的图片中像素坐标为(ie,je)，像素标签为Ty(ie,je)；
将上述得到的当前彩色图像素坐标系下非墙角语义坐标(iw,jw)b，利用获取的深度图得到它们的深度信息以及相机标定参数转换到相机坐标系下，从而得到非墙角的三维点云坐标：
Figure FDA0002928940530000051
式子，(Xw,Yw,Zw)为非墙角的三维点云坐标，非墙角语义像素坐标集合中对应的每个像素点坐标(iw,jw)，(iw,jw)表示该像素点位于当前彩色图片中的第iw行第jw列，dw为深度图像中像素坐标为(iw,jw)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心；fx、fy分别为相机焦点到相机光心横向和纵向的距离；
将上述得到的当前彩色图像素坐标系下墙角语义坐标(ie,je)t，利用获取的深度图得到深度信息以及相机标定参数转换到相机坐标系下，从而得到墙角的三维点云坐标：
得到相机坐标系下墙角语义点云坐标(Xe,Ye,Ze)：
Figure FDA0002928940530000052
其中，(Xe,Ye,Ze)为转换得到墙角的三维点云坐标，墙角语义像素坐标集合中对应的每个像素点坐标(ie,je)，(ie,je)表示该像素点位于当前彩色图片中的第ie行第je列，de为深度图像中像素坐标为(ie,je)的深度值；cx、cy、fx、fy为相机标定内参，cx、cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，即光心，fx、fy分别为相机焦点到相机光心横向和纵向的距离；
步骤3所述将非墙角的三维点云坐标(Xw,Yw,Zw)、墙角的三维点云坐标(Xe,Ye,Ze)分别通过基于统计方法的滤波器进行点云滤波处理：
基于统计分析方法的滤波器从点云数据中去除离散点云后，对物体点云提取距离机器人平台最近的一簇点云，相当于提取视角下物体的外轮廓点云，得到滤波后非墙角语义点云坐标(X'w,Y'w，Z'w)和滤波后墙角语义点云坐标(X'e,Y'e,Z'e)。
5.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
所述步骤4所述的点云坐标变换如下：
将得到的非墙角语义点云在相机坐标系下的点云坐标(X'w,Y'w,Z'w)转换至机器人平台坐标系(Xrobot,w,Yrobot,w,Zrobot,w)，转换关系为：
Figure FDA0002928940530000061
将得到的墙角语义点云在相机坐标系下的点云坐标(X'e,Y'e,Z'e)转换至机器人平台坐标系(Xrobot,e,Yrobot,e,Zrobot,e)，转换关系为：
Figure FDA0002928940530000062
式中R1和T1分别为Kinect v2深度摄像机坐标系与移动机器人平台坐标系之间的3*3旋转矩阵和3*1平移矩阵，根据深度相机在机器人平台上安装位置关系确定，0T为(0,0,0)；
通过上面转换便得到机器人平台坐标系下非墙角语义点云坐标(Xrobot,w,Yrobot,w,Zrobot,w)，以及墙角语义点云坐标(Xrobot,e,Yrobot,e,Zrobot,e)，得到墙角和非墙角语义点云坐标集合R＝{(XR,f,YR,f,ZR,f)}，下标f表示集合中第f个语义点；为方便表示，下述机器人平台坐标系下语义点云坐标统一用(XR,YR,ZR)；
再结合利用Gmapping建图算法获取的机器人平台实时位姿(xo,k,yo,k,θo,k)，将机器人平台坐标系下坐标(XR,YR,ZR)转换得到世界坐标系下(XWo,YWo,ZWo)，如下：
移动机器人平台坐标系与世界坐标系之间的转换关系为：
Figure FDA0002928940530000071
式中，R2和T2分别为移动机器人平台坐标系与真实世界坐标系之间的3*3的旋转矩阵和3*1的平移矩阵，0T为(0,0,0)；
Figure FDA0002928940530000072
Figure FDA0002928940530000073
最后将真实世界坐标系下的坐标点(XWo,YWo)转换得到物体栅格地图坐标系坐标(Xg,Yg)；
Figure FDA0002928940530000074
式中(XWo,YWo)表示世界坐标系中的某一语义点坐标值，(Xg,Yg)为该点对应在物体栅格地图坐标系中的坐标值，r表示物体栅格地图单元分辨率，ceil是向上取整符号；
通过上面一系列坐标变换便得到了物体栅格地图坐标系中各语义点坐标值(Xg,Yg)，并将最终得到的个语义点其在创建的物体栅格地图上标记，不同的物体类型gs使用不同的colors标记。
6.根据权利要求1所述的基于机器人平台的室内墙角二维语义地图构建方法，其特征在于，
步骤5所述将完整的环境栅格地图、完整的物体栅格地图进行合并为：
获取到完整的环境栅格地图的中心，将完整的环境栅格地图的中心与完整的物体栅格地图的中心对齐，遍历非墙角的物体在环境栅格地图坐标系下的坐标、墙角的物体在环境栅格地图坐标系下的坐标，将该处对应的标记加入到环境栅格地图对应位置，完整的环境栅格地图的中心与完整的物体栅格地图的中心和姿态要保持一致，最后得到室内墙角二维语义地图。
CN202110143146.1A 2021-02-02 2021-02-02 一种基于机器人平台的室内墙角二维语义地图构建方法 Pending CN112785643A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110143146.1A CN112785643A (zh) 2021-02-02 2021-02-02 一种基于机器人平台的室内墙角二维语义地图构建方法
US17/465,883 US11971726B2 (en) 2021-02-02 2021-09-03 Method of constructing indoor two-dimensional semantic map with wall corner as critical feature based on robot platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143146.1A CN112785643A (zh) 2021-02-02 2021-02-02 一种基于机器人平台的室内墙角二维语义地图构建方法

Publications (1)

Publication Number Publication Date
CN112785643A true CN112785643A (zh) 2021-05-11

Family

ID=75760513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143146.1A Pending CN112785643A (zh) 2021-02-02 2021-02-02 一种基于机器人平台的室内墙角二维语义地图构建方法

Country Status (2)

Country Link
US (1) US11971726B2 (zh)
CN (1) CN112785643A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113483747A (zh) * 2021-06-25 2021-10-08 武汉科技大学 基于具有墙角信息的语义地图改进amcl定位方法及机器人
CN113743413A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种结合图像语义信息的视觉slam方法及系统
CN113984037A (zh) * 2021-09-30 2022-01-28 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114061563A (zh) * 2021-10-15 2022-02-18 深圳优地科技有限公司 目标点合理性的判断方法、装置、终端设备及存储介质
CN114356078A (zh) * 2021-12-15 2022-04-15 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
CN114543787A (zh) * 2022-04-21 2022-05-27 南京理工大学 基于条纹投影轮廓术的毫米级室内建图定位方法
CN115326048A (zh) * 2022-07-08 2022-11-11 武汉科技大学 基于墙角族为主特征的语义地图构建方法
CN115717890A (zh) * 2022-10-13 2023-02-28 上海中电电子系统科技股份有限公司 一种基于机器人巡检的洁净室洁净度检测方法
CN115953292A (zh) * 2022-12-30 2023-04-11 中国人民公安大学 一种基于深度相机的现场平面图生成方法
CN116309907A (zh) * 2023-03-06 2023-06-23 中国人民解放军海军工程大学 一种基于改进的Gmapping算法的移动机器人建图方法
WO2023123642A1 (zh) * 2021-12-29 2023-07-06 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
JPWO2023139793A1 (zh) * 2022-01-24 2023-07-27
RU2803671C1 (ru) * 2021-12-29 2023-09-19 Китайский Университет Горного Дела И Технологии Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3039666C (en) 2016-10-28 2022-08-23 Ppg Industries Ohio, Inc. Coatings for increasing near-infrared detection distances
US11561329B2 (en) 2019-01-07 2023-01-24 Ppg Industries Ohio, Inc. Near infrared control coating, articles formed therefrom, and methods of making the same
CN115937679B (zh) * 2022-12-09 2024-05-28 上海人工智能创新中心 神经辐射场的物体和布局提取方法和装置
CN116168393B (zh) * 2023-01-17 2023-08-25 浙江大学 基于点云神经辐射场的语义标注数据自动生成方法、装置
CN116051775B (zh) * 2023-03-06 2023-08-04 超节点创新科技(深圳)有限公司 语义地图构建方法、移动机器人及存储介质
CN116245894B (zh) * 2023-03-14 2023-09-22 麦岩智能科技(北京)有限公司 一种地图分割方法、装置、电子设备及介质
CN116399328B (zh) * 2023-04-17 2024-06-21 石家庄铁道大学 一种基于bim的室内移动机器人的地图构建与定位方法
CN116188480B (zh) * 2023-04-23 2023-07-18 安徽同湃特机器人科技有限公司 喷涂机器人天花板作业时agv行进路径点的计算方法
CN116203586B (zh) * 2023-05-06 2023-07-28 南京农业大学 一种基于改进Gmapping的果园二维环境地图精准构建方法及系统
CN116883960B (zh) * 2023-09-07 2023-12-01 安徽蔚来智驾科技有限公司 目标检测方法、设备、驾驶设备和介质
CN117405178B (zh) * 2023-12-15 2024-03-15 成都电科星拓科技有限公司 一种自动化检测室内环境参数的移动监测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
CN110892424A (zh) * 2017-05-23 2020-03-17 英特尔公司 用于深度学习中的特征的区分性语义转移和物理启发优化的方法和装置
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US10832437B2 (en) * 2018-09-05 2020-11-10 Rakuten, Inc. Method and apparatus for assigning image location and direction to a floorplan diagram based on artificial intelligence
WO2021178537A1 (en) * 2020-03-04 2021-09-10 Magic Leap, Inc. Systems and methods for efficient floorplan generation from 3d scans of indoor scenes
US11501478B2 (en) * 2020-08-17 2022-11-15 Faro Technologies, Inc. System and method of automatic room segmentation for two-dimensional laser floorplans
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
US11734861B2 (en) * 2021-09-22 2023-08-22 Awe Company Limited 2D and 3D floor plan generation
US20230363609A1 (en) * 2021-12-27 2023-11-16 Trifo, Inc. 3d geometric and semantic awareness with deep learning for autonomous guidance

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113483747A (zh) * 2021-06-25 2021-10-08 武汉科技大学 基于具有墙角信息的语义地图改进amcl定位方法及机器人
CN113743413A (zh) * 2021-07-30 2021-12-03 的卢技术有限公司 一种结合图像语义信息的视觉slam方法及系统
CN113743413B (zh) * 2021-07-30 2023-12-01 的卢技术有限公司 一种结合图像语义信息的视觉slam方法及系统
CN113984037B (zh) * 2021-09-30 2023-09-12 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN113984037A (zh) * 2021-09-30 2022-01-28 电子科技大学长三角研究院(湖州) 一种基于任意方向目标候选框的语义地图构建方法
CN114061563A (zh) * 2021-10-15 2022-02-18 深圳优地科技有限公司 目标点合理性的判断方法、装置、终端设备及存储介质
CN114061563B (zh) * 2021-10-15 2024-04-05 深圳优地科技有限公司 目标点合理性的判断方法、装置、终端设备及存储介质
CN114356078A (zh) * 2021-12-15 2022-04-15 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
CN114356078B (zh) * 2021-12-15 2024-03-19 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备
AU2022325172B2 (en) * 2021-12-29 2023-10-05 China University Of Mining And Technology Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces
RU2803671C1 (ru) * 2021-12-29 2023-09-19 Китайский Университет Горного Дела И Технологии Метод определения зоны движения и самостоятельного объезда препятствий для беспилотного транспортного оборудования в подземных замкнутых пространствах
WO2023123642A1 (zh) * 2021-12-29 2023-07-06 中国矿业大学 深部受限空间无人运输设备可行驶域检测和自主避障方法
US11880208B2 (en) 2021-12-29 2024-01-23 China University Of Mining And Technology Method for drivable area detection and autonomous obstacle avoidance of unmanned haulage equipment in deep confined spaces
JPWO2023139793A1 (zh) * 2022-01-24 2023-07-27
WO2023139793A1 (ja) * 2022-01-24 2023-07-27 三菱電機株式会社 Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ
JP7412665B2 (ja) 2022-01-24 2024-01-12 三菱電機株式会社 Ｓｌａｍ装置、ｓｌａｍ攻撃対策プログラムおよび自律型モビリティ
CN114543787A (zh) * 2022-04-21 2022-05-27 南京理工大学 基于条纹投影轮廓术的毫米级室内建图定位方法
CN115326048A (zh) * 2022-07-08 2022-11-11 武汉科技大学 基于墙角族为主特征的语义地图构建方法
CN115326048B (zh) * 2022-07-08 2024-06-07 武汉科技大学 基于墙角族为主特征的语义地图构建方法
CN115717890A (zh) * 2022-10-13 2023-02-28 上海中电电子系统科技股份有限公司 一种基于机器人巡检的洁净室洁净度检测方法
CN115953292A (zh) * 2022-12-30 2023-04-11 中国人民公安大学 一种基于深度相机的现场平面图生成方法
CN116309907B (zh) * 2023-03-06 2024-06-04 中国人民解放军海军工程大学 一种基于改进的Gmapping算法的移动机器人建图方法
CN116309907A (zh) * 2023-03-06 2023-06-23 中国人民解放军海军工程大学 一种基于改进的Gmapping算法的移动机器人建图方法

Also Published As

Publication number Publication date
US20220244740A1 (en) 2022-08-04
US11971726B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
CN112785643A (zh) 一种基于机器人平台的室内墙角二维语义地图构建方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN113139453B (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN109598794B (zh) 三维gis动态模型的构建方法
Bulatov et al. Context-based automatic reconstruction and texturing of 3D urban terrain for quick-response tasks
Becker Generation and application of rules for quality dependent façade reconstruction
CN112070770B (zh) 一种高精度三维地图与二维栅格地图同步构建方法
CN108229416B (zh) 基于语义分割技术的机器人slam方法
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
CN111612059A (zh) 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN114612488A (zh) 建筑物单体化信息提取方法、计算机装置及存储介质
CN109829476B (zh) 基于yolo的端到端三维物体检测方法
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN112818925A (zh) 一种城市建筑和树冠识别方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
CN112270278A (zh) 一种基于关键点的蓝顶房检测方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其系统
CN111915632B (zh) 一种基于机器学习的贫纹理目标物体真值数据库构建方法
Dong et al. Semantic lidar odometry and mapping for mobile robots using rangeNet++
CN110599587A (zh) 一种基于单张图像的3d场景重构技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination