CN112767485B - 一种基于静态语义信息的点云地图创建与场景辨识方法 - Google Patents

一种基于静态语义信息的点云地图创建与场景辨识方法 Download PDF

Info

Publication number
CN112767485B
CN112767485B CN202110103081.8A CN202110103081A CN112767485B CN 112767485 B CN112767485 B CN 112767485B CN 202110103081 A CN202110103081 A CN 202110103081A CN 112767485 B CN112767485 B CN 112767485B
Authority
CN
China
Prior art keywords
point cloud
point
semantic
map
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110103081.8A
Other languages
English (en)
Other versions
CN112767485A (zh
Inventor
陈浩耀
苏鹏鹏
曹明
李四林
刘云辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202110103081.8A priority Critical patent/CN112767485B/zh
Publication of CN112767485A publication Critical patent/CN112767485A/zh
Application granted granted Critical
Publication of CN112767485B publication Critical patent/CN112767485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于静态语义信息的点云地图创建与场景辨识方法，包括步骤1：激光点云与语义图像联合投影获得语义点云；步骤2：通过语义标签筛选鲁棒静态信息；步骤3：提取鲁棒静态信息的描述子并组合成当前场景的描述子；步骤4：语义点云与激光雷达的里程计相结合生成全局地图，并通过点云配准在全局地图上进行重定位。本发明取得的有益效果：本发明面向长期环境，提高一种基于静态信息的点云地图表达方式，同时设计了一种基于鲁棒静态信息的描述子，能够在变化的环境下实现稳定的场景表示功能，并提高点云配准算法的收敛速度，在场景表示的基础上，实现较高的重定位成功率。

Description

一种基于静态语义信息的点云地图创建与场景辨识方法
技术领域
本发明涉及机器人导航的技术领域，具体涉及一种基于静态语义信息的点云地图创建与场景辨识方法。
背景技术
SLAM技术，中文译作同时定位与地图构建，它能够在未知环境中为机器人提供未知和地图信息，就像人的感知系统一样，因此在很多机器人导航的领域中都会用到SLAM技术，为机器人的主动寻路与动态避障等提供技术支持，而在机器人的相关应用场所中，经常需要解决的一个问题被称之为“绑架问题”，该问题需要机器人在由于某些原因导致连续定位失败时，仍能够通过当前的环境信息和已有的环境地图，重新确定其自身在地图中的所处的正确位置，也就是说，机器人需要具有重新定位的能力，是否能够可靠、有效地实现重定位，是机器人自主定位能力的一种体现，而且关系着环境地图的有效使用期限和自动驾驶车辆的行驶安全。
CN110006432A公开了一种基于几何先验信息下的室内机器人快速重定位的方法，其无需人的协助可直接根据环境信息辅助粒子滤波算法进行快速定位，并且根据SLAM模块给出的定位合并重复的地图信息并添加新的地图信息，最终可以形成一个包含着几何结构信息的几何特征地图，虽然该快速重定位方法鲁棒性高，实时性好，能够有效解决大地图之下室内机器人无法快速重新定位以及定位困难的问题，但是在室外环境中，该快速重定位方法因缺乏室内环境所具有的几何先验信息，无法可靠的完成机器人的场景辨识任务。
CN110243370A公开了一种基于深度学习的室内环境三维语义地图构建方法，步骤为：1)用移动机器人自身携带的Kinect深度相机获取室内环境目标场景的RBG-D图像序列；2)用训练好的基于RGB-D图像进行特征提取与处理；3)据输入的每一帧图像估计对应的机器人位姿信息Pt；4)据Randomized ferns实时重定位和闭环检测算法优化机器人的位姿；5)用关键帧构建点云地图，并将新获取图像帧对应点云与已构建的点云地图进行融合；6)将关键帧的像素级语义标注结构映射到对应的点云地图上；7)用获取关键帧的语义标签优化已构建三维点云地图的语义标注信息，获得室内环境的三维语义地图；虽然该构建方法完成室内环境语义地图实时构建任务，提高移动机器人环境感知的智能化水平，但是该构建方法使用的是RBG-D相机，在室外环境下存在一定的局限性，且感知范围有限。
CN111337943A公开了一种基于视觉引导激光重定位的移动机器人定位方法，包括以下步骤：根据视觉特征地图对机器人的位置进行初始化定位，并将其映射到激光地图上；采用自适应粒子滤波方法，根据激光扫描匹配的结果获取机器人在激光地图上的精准定位；判断在自适应粒子滤波方法的定位过程中定位的粒子方差是否超过设定的阔值，若是，利用视觉特征地图进行视觉重定位，输出机器人的定位结果，并对当前的粒子进行重新初始化，即错误恢复；若否，输出机器人的定位结果；该定位方法虽然可使得机器人能在初始化时或“被绑架”后，依靠视觉特征地图的重定位功能，快速恢复精准的定位，从而保证定位的稳定可靠，但是该定位方法基于自适应粒子滤波进行重定位需要消耗一定的时间，无法快速完成重定位。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于静态语义信息的点云地图创建与场景辨识方法，其包括步骤1：激光点云与语义图像联合投影获得语义点云；步骤2：通过语义标签筛选鲁棒静态信息；步骤3：提取鲁棒静态信息的描述子并组合成当前场景的描述子；步骤4：语义点云与激光雷达的里程计相结合生产全局地图，并通过点云配准在全局地图上进行重定位；该基于静态语义信息的点云地图创建与场景辨识方法具有能够在变化环境下实现稳定的场景辨识功能、提高点云配准算法的收敛速度，提高重定位成功率的优点。
为实现上述发明目的，本发明采取的技术方案如下：
一种基于静态语义信息的点云地图创建与场景辨识方法，包括以下步骤：
步骤1：将相机拍摄的全景图像通过语义分割形成语义图像，将激光雷达扫描的激光点云与语义图像联合投影获得语义点云；
步骤2：将语义点云通过语义标签进行分类，筛选出环境中不易随时间变化的鲁棒静态信息；
步骤3：提取不同的鲁棒静态信息分别获得对应鲁棒静态信息的描述子，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子；
步骤4：通过语义点云和激光雷达的里程计相结合生成一个基于静态信息的全局地图，并通过点云配准在全局地图中进行重定位。
作为优选，所述鲁棒静态信息包括树干、电线杆、建筑、人行道、道路及交通标识牌。
作为优选，提取树干或电线杆的描述子方法包括以下步骤：
S3.1：对包含树干或电线杆标签的语义点云进行聚类；
S3.2：计算两个聚类之间的距离及角度进行提取特征。
作为优选，步骤S3.1包括以下步骤：
S3.1.1：对包含树干或电线杆标签的所有点投影到X-Y平面上；
S3.1.2：将X-Y平面划分为多个栅格，栅格的边长为r；
S3.1.3：对每一点的x坐标及y坐标进行计算，获得对应的栅格索引，并将该点放入对应栅格单元里；
S3.1.4：对栅格遍历访问；
S3.1.5：若当前栅格包含点云，将当前栅格用队列保存并检查当前栅格的相邻栅格，若相邻栅格包含点云则用同一个队列保存，并标记为已访问，若当前栅格不包含点云，则跳过当前栅格；
S3.1.6：队首的栅格出队，遍历下一队首栅格的相邻且未被访问栅格；
S3.1.7：重复S3.1.5-S3.1.6直至队列为空，进入同一队列的栅格属于同一聚类。
作为优选，步骤S3.2包括以下步骤：
S3.2.1：假设当前有n个聚类，则所有聚类可以表示为C＝{Ci}，i＝1、2、3、……、n，每一聚类Ci均包括当前聚类内所有的点p和一个中心点c，即Ci＝{{p}，c}，统计两个聚类Ci与Cj之间的距离，计算聚类Ci的中心点ci到聚类Cj的所有点pj的距离，记为dij，在当前场景的距离分布直方图HD对应的距离处加一，并计算统计次数；
S3.2.2：若统计次数为sumd，两个聚类Ci与Cj之间的距离统计结束后，对距离分布直方图HD的所有单位进行归一化操作，计算表达式为：HD＝HD/sumd；
S3.2.3：将两个聚类Ci与Cj的中心点连成一条线记为cicj，将聚类Ci的中心点ci与另一聚类Ck中的所有点pk相连接，记为cipk，统计cicj与cipk形成的夹角，记为αjik，在当前场景的角度分布直方图HA对应的角度处加一，并计算统计次数；
S3.2.4：若统计次数为suma，在三个聚类Ci、Cj及Ck之间的角度统计结束后，对角度分布直方图HA的所有单位进行归一化操作，计算表达式为：HA＝HA/suma。
作为优选，对包含道路、人行道、交通标识牌标签的语义点云采用ESF描述子进行提取。
作为优选，提取建筑的描述子方法包括以下步骤：
S3.3：对包含建筑标签的语义点云中的每一个点
Figure BDA0002916726960000041
的领域k内取一部分点，组成点集P，对P内所有点计算协方差，获得协方差矩阵/>
Figure BDA0002916726960000042
对协方差矩阵进行奇异值分析，获得三个特征值λ1、λ2、λ3，且λ1≥λ2≥λ3；
S3.4：根据三个特征值，计算该点p所在表面的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ，
Figure BDA0002916726960000043
S3.5：对三个特征值进行归一化，计算归一化后特征值的特征熵Eλ、全异性Oλ、各向异性Aλ，Eλ＝-e1ln(e1)-e2ln(e2)-e3ln(e3)，
Figure BDA0002916726960000044
其中ei＝λi/∑λi；
S3.6：对每一点p的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ以及特征值的特征熵Eλ、全异性Oλ、各向异性Aλ进行直方图统计。
作为优选，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子包括以下步骤：
S3.7：假设当前场景存在kn个关键帧，则当前场景有kn个描述子，对于每一个描述子表示为kj＝{f1，f2，f3，f4，f5，f6}，其中f1～6分别表示一帧点云中6类鲁棒静态信息的描述子，第i个描述的总数量记作si，
Figure BDA0002916726960000045
而当前所有场景描述的集合为S，/>
Figure BDA0002916726960000046
则每一个描述的IDF值为：/>
Figure BDA0002916726960000047
S3.8：假设当前关键帧内有pn个点，其中某一鲁棒静态信息对应的点云有li个点，则该鲁棒静态信息当前的TF值为：
Figure BDA0002916726960000048
对任一关键帧内的任一鲁棒静态信息描述的权重ηi＝TFi×IDFi；
S3.9：对任意一帧点云的描述符SSO-BoW记作
Figure BDA0002916726960000049
则
Figure BDA00029167269600000410
S3.10：采用卡方检验任何两个描述符的相似性，
Figure BDA00029167269600000411
其中A(k)和B(k)分别指同一鲁棒静态信息对应两帧的直方图第k个单元的值，b是每个直方图的总单元数。
作为优选，步骤4中生成基于静态信息的全局地图包括以下步骤：
S4.1：假设静态地图的全局坐标系记作
Figure BDA00029167269600000412
对于激光雷达获得每一帧的点云数据
Figure BDA00029167269600000413
其在地图坐标系下对应的位姿变量记作/>
Figure BDA00029167269600000414
其中
Figure BDA00029167269600000415
Figure BDA0002916726960000051
Figure BDA0002916726960000052
是三维点云数据，/>
Figure BDA0002916726960000053
位姿变量
Figure BDA0002916726960000054
R为旋转矩阵，/>
Figure BDA0002916726960000055
t为平移量，/>
Figure BDA0002916726960000056
将每一帧激光雷达点云数据转换到地图坐标点云/>
Figure BDA0002916726960000057
则全局地图点云/>
Figure BDA0002916726960000058
作为优选，通过点云配准在全局地图中进行重定位包括以下步骤：
S4.2：对于全局地图点云
Figure BDA0002916726960000059
对其中的每一个点，计算以/>
Figure BDA00029167269600000510
为中心，r为领域的一定范围内的正态分布，记作：
Figure BDA00029167269600000511
S4.3：对于激光雷达点云数据
Figure BDA00029167269600000512
对其中的每一个点，计算以/>
Figure BDA00029167269600000513
为中心，r为领域的一定范围内的正态分布，记作：
Figure BDA00029167269600000514
其中，k表示在以
Figure BDA00029167269600000515
或/>
Figure BDA00029167269600000516
为中心，半径为r的领域内的点的个数，pk表示领域中的点集合，/>
Figure BDA00029167269600000517
表示以/>
Figure BDA00029167269600000518
为中心，半径为r的领域范围内的所有点的均值，/>
Figure BDA00029167269600000519
表示以/>
Figure BDA00029167269600000520
为中心，半径为r领域范围内的所有点的均值，/>
Figure BDA00029167269600000521
及/>
Figure BDA00029167269600000522
为协方差矩阵，/>
Figure BDA00029167269600000523
描述了当前帧点云第i个点周围的点云分布情况，/>
Figure BDA00029167269600000524
描述了当前帧点云对应的全局地图点云的第i个点周围的点云分布情况；
S4.4：计算一个经过任意变换T之后的点之间距离的误差函数
Figure BDA00029167269600000525
Figure BDA00029167269600000526
变量/>
Figure BDA00029167269600000527
为任意变换T，表示/>
Figure BDA00029167269600000528
和/>
Figure BDA00029167269600000529
之间的位置姿态变换矩阵，将该式转换为最大似然问题进行迭代求解误差表达式T，则误差表达式/>
Figure BDA00029167269600000530
其中H(·)为鲁棒核函数，表达式如下：
Figure BDA0002916726960000061
相对于现有技术，本发明取得了有益的技术效果：
本发明面向长期环境，提出一种基于静态信息的点云地图表达方式，同时设计了一种基于鲁棒静态信息的描述子，能够在变化的环境下实现稳定的场景辨识功能，通过将鲁棒静态信息的描述子和点云配准算法相结合，提高点云配准算法的收敛速度，在场景辨识结果的基础上，实现较高的重定位成功率。
附图说明
图1是本发明实施例点云地图创建与场景辨识方法的系统框架；
图2是本发明实施例鸟瞰图聚类的示意图；
图3是本发明实施例距离分布直方图的统计示意图；
图4是本发明实施例角度分布直方图的统计示意图；
图5是本发明实施例平面特征突出的点云示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。
参考图1-5，本实施例公开了一种基于静态语义信息的点云地图创建与场景辨识方法，包括以下步骤：
步骤1：将相机拍摄的全景图像通过语义分割形成语义图像，将激光雷达扫描的激光点云与语义图像联合投影获得语义点云，帮助机器人抽象的理解环境，具体的，相机的各个视角图像通过拼接形成广角图像，广角图像再通过语义分割形成语义图像，语义分割为现有技术，此处不再进行赘述，由于机器人传感器输出数据有各自的坐标系，传感器指相机及激光雷达，标定出各坐标系的相对位置和姿态从而将各坐标系融合一起，因此激光点云利用传感器坐标系之间的关系，可以间接地获得图像的语义信息，进而与语义图像联合投影生成语义点云；
步骤2：将语义点云通过语义标签进行分类，即位于某一鲁棒静态信息轮廓内的所有语义点云加上该鲁棒静态信息的语义标签，筛选出环境中不易随时间变化的鲁棒静态信息；
步骤3：提取不同的鲁棒静态信息分别获得对应鲁棒静态信息的描述子，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子，使机器人能够在变化的环境中，依旧保持良好的场景辨识能力；
步骤4：通过语义点云和激光雷达的里程计相结合生成一个基于静态信息的全局地图，并通过点云配准在全局地图中进行重定位，该全局地图只保留环境中的静态信息，因此在长期变化环境下依旧具有较高的一致性。
进一步的，所述鲁棒静态信息包括树干、电线杆、建筑、人行道、道路及交通标识牌。
提取树干或电线杆的描述子方法包括以下步骤：
S3.1：对包含树干或电线杆标签的语义点云进行聚类；
S3.2：计算两个聚类之间的距离及角度进行提取特征。
本实施例中，基于一种鸟瞰图视角的聚类算法对包含树干或电线杆点云进行聚类，该聚类算法的特点是对包干树干或电线杆的所有点投影到二维平面，即X-Y平面上，并将二维平面划分为栅格，后续聚类算法中的近邻查找以栅格为单位进行查找，这样可以忽略树干或电线杆的高度信息，同时避免了雷达垂直方向上非均匀分辨率所带来的距离阔值判断问题，该聚类算法的输入是一帧只包含树干或电线杆的标签的点云和二维平面的栅格化分辨率。
具体的，步骤S3.1包括以下步骤：
S3.1.1：对包含树干或电线杆标签的所有点投影到X-Y平面上，即忽略树干或电线杆标签的点的高度信息；
S3.1.2：将X-Y平面划分为多个栅格，栅格的边长为r，X-Y平面被划分为多个边长为r的栅格；
S3.1.3：对每一点的x坐标及y坐标进行计算，获得X-Y平面内对应的栅格索引，并将该点放入对应的栅格单元里；
S3.1.4：对X-Y平面内每一个栅格遍历访问；
S3.1.5：若当前栅格包含点云，将当前栅格用队列保存并检查当前栅格的相邻栅格，若相邻栅格包含点云则用同一个队列保存，认为相邻格栅与当前格栅属于同一聚类，并标记为已访问，若当前栅格不包含点云，则跳过当前栅格；
S3.1.6：队首的栅格出队，继续遍历下一队首栅格的相邻且未被访问栅格；
S3.1.7：重复S3.1.5-S3.1.6直至所有队列为空，进入同一队列的栅格属于同一聚类。
步骤S3.2包括以下步骤：
S3.2.1：假设当前有n个聚类，则所有聚类可以表示为C＝{Ci}，i＝1、2、3、……、n，每一聚类Ci均包括当前聚类内所有的点p和一个中心点c，即Ci＝{{p}，c}，统计两个聚类Ci与Cj之间的距离，计算聚类Ci的中心点ci到聚类Cj的所有点pj的距离，记为dij，在当前场景的距离分布直方图HD对应的距离处加一，并计算统计次数；
S3.2.2：若统计次数为sumd，两个聚类Ci与Cj之间的距离统计结束后，对距离分布直方图HD的所有单位进行归一化操作，实现直方图各值之和为1，方便不同直方图之间的匹配，计算表达式为：HD＝HD/sumd；
S3.2.3：将两个聚类Ci与Cj的中心点连成一条线记为cicj，将聚类Ci的中心点ci与另一聚类Ck中的所有点pk相连接，记为cipk，统计cicj与cipk形成的夹角，记为αjik，在当前场景的角度分布直方图HA对应的角度处加一，并计算统计次数；
S3.2.4：若统计次数为suma，在三个聚类Ci、Cj及Ck之间的角度统计结束后，同理，对角度分布直方图HA的所有单位进行归一化操作，计算表达式为：HA＝HA/suma。
对包含道路、人行道、交通标识牌标签的语义点云采用ESF描述子进行提取，ESF描述子提取包含道路、人行道、交通标识牌标签的语义点云是现有技术，出自Wohlkinger,Walter；Vincze,Markus(2011).[IEEE 2011 IEEE International Conference onRobotics and Biomimetics(ROBIO)-Karon Beach,Thailand(2011.12.7-2011.12.11)]2011 IEEE International Conference on Robotics and Biomimetics-Ensemble ofshape functions for 3D object classification.2987–2992.doi:10.1109/ROBIO.2011.6181760，此处不进行赘述。
由于建筑的几何特征往往比较明显，不易出现不规则的点云分布，本实施例中，基于几何特征的计算结果来描述建筑，具体的，提取建筑的描述子方法包括以下步骤：
S3.3：对包含建筑标签的语义点云中的每一个点
Figure BDA0002916726960000081
的领域k内取一部分点，组成点集P，对P内的所有点计算协方差，获得协方差矩阵/>
Figure BDA0002916726960000082
对协方差矩阵进行奇异值分析，获得三个特征值λ1、λ2、λ3，且λ1≥λ2≥λ3，对三个特征值进行不同的组合，可以获得一些表征当前点分布特性的结果；
S3.4：根据三个特征值，计算该点p所在表面的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ，
Figure BDA0002916726960000091
S3.5：对三个特征值进行归一化，计算归一化后特征值的特征熵Eλ、全异性Oλ、各向异性Aλ，Eλ＝-e1ln(e1)-e2ln(e2)-e3ln(e3)，
Figure BDA0002916726960000092
其中ei＝λi/∑λi；
S3.6：对每一点p的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ以及特征值的特征熵Eλ、全异性Oλ、各向异性Aλ进行直方图统计。
对于获取到的六类特征，使用不同的权重按照固定顺序进行组合，参考TF-IDF(Term Frequency-Inverse Document Frequency)的思想，可以使用更高的权重来修饰出现频率低的描述子，反之亦然。
具体的，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子包括以下步骤：
S3.7：假设当前场景存在kn个关键帧，则当前场景有kn个描述子，对于每一个描述子表示为kj＝{f1，f2，f3，f4，f5，f6}，其中f1～6分别表示一帧点云中6类鲁棒静态信息的描述子，第i个描述的总数量记作si，
Figure BDA0002916726960000093
而当前所有场景描述的集合为S，/>
Figure BDA0002916726960000094
则每一个描述的IDF值为：/>
Figure BDA0002916726960000095
S3.8：因为点云中的特征与图像中的特征表现形式不同，假设当前关键帧内有pn个点，其中某一鲁棒静态信息对应的点云有li个点，则该鲁棒静态信息当前的TF值为：
Figure BDA0002916726960000096
对任一关键帧内的任一鲁棒静态信息描述的权重ηi＝TFi×IDFi；
S3.9：对任意一帧点云的描述符SSO-BoW记作
Figure BDA0002916726960000097
则
Figure BDA0002916726960000098
S3.10：采用卡方检验任何两个描述符的相似性，
Figure BDA0002916726960000099
其中A(k)和B(k)分别指同一鲁棒静态信息对应两帧的直方图第k个单元的值，b是每个直方图的总单元数。
步骤4中生成基于静态信息的全局地图包括以下步骤：
S4.1：假设静态地图的全局坐标系记作
Figure BDA00029167269600000910
对于激光雷达获得每一帧的点云数据
Figure BDA00029167269600000911
其在地图坐标系下对应的位姿变量记作/>
Figure BDA00029167269600000912
其中
Figure BDA00029167269600000913
Figure BDA00029167269600000914
Figure BDA00029167269600000915
是三维点云数据，/>
Figure BDA00029167269600000916
位姿变量
Figure BDA00029167269600000917
默认/>
Figure BDA00029167269600000918
第四行的前三列竖直均为0，R为旋转矩阵，/>
Figure BDA00029167269600000919
t为平移量，/>
Figure BDA00029167269600000920
将每一帧激光雷达点云数据转换到地图坐标点云/>
Figure BDA0002916726960000101
为了便于计算，/>
Figure BDA0002916726960000102
Figure BDA0002916726960000103
则全局地图点云/>
Figure BDA0002916726960000104
对于每一帧点云，利用其对应的位姿变量转换到地图坐标系后，都可以注册到全局地图点云/>
Figure BDA0002916726960000105
中。
当机器人成功进行场景辨识之后，候选关键帧的点云数据
Figure BDA0002916726960000106
对应的位姿变量/>
Figure BDA0002916726960000107
作为当前机器人的初始位姿，在初始位姿的基础上再进行点云配准，可得当前机器人在全局地图点云中的精确位置/>
Figure BDA0002916726960000108
本实施例中，设计了一种基于语义点云的配准算法进行重定位，参考GICP的配准思想，结合本实施例所使用的语义点云，针对平面特征突出的建筑、道路等语义点云和平面特征不突出的非平面累点云，分别进行针对性优化，具体的，通过点云配准在全局地图中进行重定位包括以下步骤：
S4.2：对于全局地图点云
Figure BDA0002916726960000109
对其中的每一个点，计算以/>
Figure BDA00029167269600001010
为中心，r为领域的一定范围内的正态分布，记作：
Figure BDA00029167269600001011
S4.3：对于激光雷达点云数据
Figure BDA00029167269600001012
对其中的每一个点，计算以/>
Figure BDA00029167269600001013
为中心，r为领域的一定范围内的正态分布，记作：
Figure BDA00029167269600001014
其中，k表示在以
Figure BDA00029167269600001015
或/>
Figure BDA00029167269600001016
为中心，半径为r的领域内的点的个数，pk表示领域中的点集合，/>
Figure BDA00029167269600001017
表示以/>
Figure BDA00029167269600001018
为中心，半径为r的领域范围内的所有点的均值，/>
Figure BDA00029167269600001019
表示以/>
Figure BDA00029167269600001020
为中心，半径为r领域范围内的所有点的均值，/>
Figure BDA00029167269600001021
及/>
Figure BDA00029167269600001022
为协方差矩阵，/>
Figure BDA00029167269600001023
描述了当前帧点云第i个点周围的点云分布情况，/>
Figure BDA00029167269600001024
描述了当前帧点云对应的全局地图点云的第i个点周围的点云分布情况；
S4.4：计算一个经过任意变换T之后的点之间距离的误差函数
Figure BDA0002916726960000111
Figure BDA0002916726960000112
变量/>
Figure BDA0002916726960000113
为任意变换T，表示/>
Figure BDA0002916726960000114
和/>
Figure BDA0002916726960000115
之间的位置姿态变换矩阵，将该式转换为最大似然问题进行迭代求解误差表达式T，则误差表达式为：
Figure BDA0002916726960000116
对上述进行化简，得到下式：
Figure BDA0002916726960000117
对于平面特征比较突出的三类点云：道路、人行道和建筑，在设计相关点云配准算法时，考虑充分利用其几何特征来提高配准效果，对于当前帧点云
Figure BDA0002916726960000118
只利用其点信息，因此其对应的协方差矩阵退化为/>
Figure BDA0002916726960000119
而全局地图点云/>
Figure BDA00029167269600001110
则保留其对应的协方差矩阵，因此对于道路、人行道及建筑的误差表达式退化成：
Figure BDA00029167269600001111
对于平面特征不突出的非平面点云：树干、电线杆和交通标识牌，类似点到平面的优化方式不能很好地帮其加速收敛，同时，每一个领域协方差计算也需要消耗一定的时间，因此使用点到点的方式来构造树干、电线杆和交通标识牌的误差表达式，对于当前帧点云
Figure BDA00029167269600001112
只利用其点信息，因此其对应的协方差矩阵退化为/>
Figure BDA00029167269600001113
而全局地图点云/>
Figure BDA00029167269600001114
中的点同样只考虑点本身，因此其对应的协方差矩阵/>
Figure BDA00029167269600001115
退化成一个单位矩阵
Figure BDA00029167269600001116
因此树干、电线杆和交通标识牌的误差表达式退化成：
Figure BDA00029167269600001117
综上，无论平面点云还是非平面点云，最终误差表达式为：
Figure BDA00029167269600001118
其中H(·)为鲁棒核函数，表达式如下：
Figure BDA0002916726960000121
δ是一个阔值，实际取值需要根据具体情况进行调整，最终可以完成机器人当前点云和全局地图点云的配准，进而获得机器人在全局地图坐标系下的精确位置。
本发明面向长期环境，提出一种基于静态信息的点云地图表达方式，同时设计了一种基于鲁棒静态信息的描述子，能够在变化的环境下实现稳定的场景辨识功能，通过将鲁棒静态信息的描述子和点云配准算法相结合，提高点云配准算法的收敛速度，在场景辨识结果的基础上，实现较高的重定位成功率。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。

Claims (8)

1.一种基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，包括以下步骤：
步骤1：将相机拍摄的全景图像通过语义分割形成语义图像，将激光雷达扫描的激光点云与语义图像联合投影获得语义点云；
步骤2：将语义点云通过语义标签进行分类，筛选出环境中不易随时间变化的鲁棒静态信息；
步骤3：提取不同的鲁棒静态信息分别获得对应鲁棒静态信息的描述子，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子；
步骤4：通过语义点云和激光雷达的里程计相结合生成一个基于静态信息的全局地图，并通过点云配准在全局地图中进行重定位；
步骤4中生成基于静态信息的全局地图包括以下步骤：
S4.1：假设静态地图的全局坐标系记作
Figure FDA0004219469480000011
对于激光雷达获得每一帧的点云数据
Figure FDA0004219469480000012
其在地图坐标系下对应的位姿变量记作/>
Figure FDA0004219469480000013
其中
Figure FDA0004219469480000014
Figure FDA0004219469480000015
Figure FDA0004219469480000016
是三维点云数据，/>
Figure FDA0004219469480000017
位姿变量
Figure FDA0004219469480000018
R为旋转矩阵，/>
Figure FDA00042194694800000117
t为平移量，/>
Figure FDA0004219469480000019
将每一帧激光雷达点云数据转换到地图坐标点云/>
Figure FDA00042194694800000110
则全局地图点云/>
Figure FDA00042194694800000111
通过点云配准在全局地图中进行重定位包括以下步骤：
S4.2：对于全局地图点云
Figure FDA00042194694800000112
对其中的每一个点，计算以/>
Figure FDA00042194694800000113
为中心，r为领域的一定范围内的正态分布，记作：
Figure FDA00042194694800000114
S4.3：对于激光雷达点云数据
Figure FDA00042194694800000115
对其中的每一个点，计算以/>
Figure FDA00042194694800000116
为中心，r为领域的一定范围内的正态分布，记作：
Figure FDA0004219469480000021
其中，k表示在以
Figure FDA0004219469480000022
或/>
Figure FDA0004219469480000023
为中心，半径为r的领域内的点的个数，pk表示领域中的点集合，/>
Figure FDA0004219469480000024
表示以/>
Figure FDA0004219469480000025
为中心，半径为r的领域范围内的所有点的均值，/>
Figure FDA0004219469480000026
表示以/>
Figure FDA0004219469480000027
为中心，半径为r领域范围内的所有点的均值，/>
Figure FDA0004219469480000028
及/>
Figure FDA0004219469480000029
为协方差矩阵，/>
Figure FDA00042194694800000210
描述了当前帧点云第i个点周围的点云分布情况，/>
Figure FDA00042194694800000217
描述了当前帧点云对应的全局地图点云的第i个点周围的点云分布情况；
S4.4：计算一个经过任意变换T之后的点之间距离的误差函数
Figure FDA00042194694800000211
Figure FDA00042194694800000212
变量/>
Figure FDA00042194694800000218
为任意变换T，表示/>
Figure FDA00042194694800000213
和/>
Figure FDA00042194694800000214
之间的位置姿态变换矩阵，将该式转换为最大似然问题进行迭代求解误差表达式T，则误差表达式
Figure FDA00042194694800000215
其中H(·)为鲁棒核函数，表达式如下：
Figure FDA00042194694800000216
2.根据权利要求1所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，所述鲁棒静态信息包括树干、电线杆、建筑、人行道、道路及交通标识牌。
3.根据权利要求2所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，提取树干或电线杆的描述子方法包括以下步骤：
S3.1：对包含树干或电线杆标签的语义点云进行聚类；
S3.2：计算两个聚类之间的距离及角度进行提取特征。
4.根据权利要求3所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，步骤S3.1包括以下步骤：
S3.1.1：对包含树干或电线杆标签的所有点投影到X-Y平面上；
S3.1.2：将X-Y平面划分为多个栅格，栅格的边长为r；
S3.1.3：对每一点的x坐标及y坐标进行计算，获得对应的栅格索引，并将该点放入对应栅格单元里；
S3.1.4：对栅格遍历访问；
S3.1.5：若当前栅格包含点云，将当前栅格用队列保存并检查当前栅格的相邻栅格，若相邻栅格包含点云则用同一个队列保存，并标记为已访问，若当前栅格不包含点云，则跳过当前栅格；
S3.1.6：队首的栅格出队，遍历下一队首栅格的相邻且未被访问栅格；
S3.1.7：重复S3.1.5-S3.1.6直至队列为空，进入同一队列的栅格属于同一聚类。
5.根据权利要求3所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，步骤S3.2包括以下步骤：
S3.2.1：假设当前有n个聚类，则所有聚类可以表示为C＝{Ci}，i＝1、2、3、……、n，每一聚类Ci均包括当前聚类内所有的点p和一个中心点c，即Ci＝{{p}，c}，统计两个聚类Ci与Cj之间的距离，计算聚类Ci的中心点ci到聚类Cj的所有点pj的距离，记为dij，在当前场景的距离分布直方图HD对应的距离处加一，并计算统计次数；
S3.2.2：若统计次数为sumd，两个聚类Ci与Cj之间的距离统计结束后，对距离分布直方图HD的所有单位进行归一化操作，计算表达式为：HD＝HD/sumd；
S3.2.3：将两个聚类Ci与Cj的中心点连成一条线记为cicj，将聚类Ci的中心点ci与另一聚类Ck中的所有点pk相连接，记为cipk，统计cicj与cipk形成的夹角，记为αjik，在当前场景的角度分布直方图HA对应的角度处加一，并计算统计次数；
S3.2.4：若统计次数为suma，在三个聚类Ci、Cj及Ck之间的角度统计结束后，对角度分布直方图HA的所有单位进行归一化操作，计算表达式为：HA＝HA/suma。
6.根据权利要求2所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，对包含道路、人行道、交通标识牌标签的语义点云采用ESF描述子进行提取。
7.根据权利要求2所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，提取建筑的描述子方法包括以下步骤：
S3.3：对包含建筑标签的语义点云中的每一个点
Figure FDA0004219469480000031
的领域k内取一部分点，组成点集P，对P内所有点计算协方差，获得协方差矩阵/>
Figure FDA0004219469480000048
对协方差矩阵进行奇异值分析，获得三个特征值λ1、λ2、λ3，且λ1≥λ2≥λ3；
S3.4：根据三个特征值，计算该点p所在表面的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ，
Figure FDA0004219469480000041
S3.5：对三个特征值进行归一化，计算归一化后特征值的特征熵Eλ、全异性Oλ、各向异性Aλ，Eλ＝-e1ln(e1)-e2ln(e2)-e3ln(e3)，
Figure FDA0004219469480000042
其中ei＝λi/∑λi；
S3.6：对每一点p的曲率变化Cλ、线性度Lλ、平整度Pλ和表面散射度Sλ以及特征值的特征熵Eλ、全异性Oλ、各向异性Aλ进行直方图统计。
8.根据权利要求2所述的基于静态语义信息的点云地图创建与场景辨识方法，其特征在于，将鲁棒静态信息的描述子通过变权重组合的方式构成当前场景的描述子包括以下步骤：
S3.7：假设当前场景存在kn个关键帧，则当前场景有kn个描述子，对于每一个描述子表示为kj＝{f1，f2，f3，f4，f5，f6}，其中f1～6分别表示一帧点云中6类鲁棒静态信息的描述子，第i个描述的总数量记作si，
Figure FDA0004219469480000043
kj{fi}，i＝1，...，6，而当前所有场景描述的集合为S，
Figure FDA0004219469480000044
si，则每一个描述的IDF值为：/>
Figure FDA0004219469480000045
S3.8：假设当前关键帧内有pn个点，其中某一鲁棒静态信息对应的点云有li个点，则该鲁棒静态信息当前的TF值为：
Figure FDA0004219469480000046
对任一关键帧内的任一鲁棒静态信息描述的权重ηi＝TFi×IDFi；
S3.9：对任意一帧点云的描述符SSO-BoW记作
Figure FDA0004219469480000049
则/>
Figure FDA00042194694800000410
S3.10：采用卡方检验任何两个描述符的相似性，
Figure FDA0004219469480000047
其中A(k)和B(k)分别指同一鲁棒静态信息对应两帧的直方图第k个单元的值，b是每个直方图的总单元数。
CN202110103081.8A 2021-01-26 2021-01-26 一种基于静态语义信息的点云地图创建与场景辨识方法 Active CN112767485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110103081.8A CN112767485B (zh) 2021-01-26 2021-01-26 一种基于静态语义信息的点云地图创建与场景辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110103081.8A CN112767485B (zh) 2021-01-26 2021-01-26 一种基于静态语义信息的点云地图创建与场景辨识方法

Publications (2)

Publication Number Publication Date
CN112767485A CN112767485A (zh) 2021-05-07
CN112767485B true CN112767485B (zh) 2023-07-07

Family

ID=75705733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103081.8A Active CN112767485B (zh) 2021-01-26 2021-01-26 一种基于静态语义信息的点云地图创建与场景辨识方法

Country Status (1)

Country Link
CN (1) CN112767485B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792699B (zh) * 2021-09-24 2024-03-12 北京易航远智科技有限公司 一种基于语义点云的对象级快速场景识别方法
CN114018236B (zh) * 2021-09-30 2023-11-03 哈尔滨工程大学 一种基于自适应因子图的激光视觉强耦合slam方法
CN117999207A (zh) * 2021-11-18 2024-05-07 华为技术有限公司 运动状态估计方法及装置
CN114066773B (zh) * 2021-11-26 2023-10-27 哈尔滨理工大学 一种基于点云特征与蒙特卡洛扩展法的动态物体去除
CN114445593B (zh) * 2022-01-30 2024-05-10 重庆长安汽车股份有限公司 基于多帧语义点云拼接的鸟瞰图语义分割标签生成方法
WO2023173243A1 (zh) * 2022-03-14 2023-09-21 罗伯特·博世有限公司 二维激光雷达扫描图的语义标注生成
CN115797422A (zh) * 2022-12-01 2023-03-14 西南交通大学 基于语义地图的地面到无人机激光点云跨视角重定位方法
CN115683129B (zh) * 2023-01-04 2023-03-14 苏州尚同墨方智能科技有限公司 一种基于高清地图的长期重定位方法和装置
CN117953384A (zh) * 2024-03-27 2024-04-30 昆明理工大学 一种跨场景多光谱激光雷达点云建筑物提取与矢量化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084272A (zh) * 2019-03-26 2019-08-02 哈尔滨工业大学（深圳） 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN111325843A (zh) * 2020-03-09 2020-06-23 北京航空航天大学 一种基于语义逆深度滤波的实时语义地图构建方法
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084272A (zh) * 2019-03-26 2019-08-02 哈尔滨工业大学（深圳） 一种聚类地图创建方法及基于聚类地图和位置描述子匹配的重定位方法
CN110243370A (zh) * 2019-05-16 2019-09-17 西安理工大学 一种基于深度学习的室内环境三维语义地图构建方法
CN111325843A (zh) * 2020-03-09 2020-06-23 北京航空航天大学 一种基于语义逆深度滤波的实时语义地图构建方法
CN111814683A (zh) * 2020-07-09 2020-10-23 北京航空航天大学 一种基于语义先验和深度学习特征的鲁棒视觉slam方法
CN112132897A (zh) * 2020-09-17 2020-12-25 中国人民解放军陆军工程大学 一种基于深度学习之语义分割的视觉slam方法

Also Published As

Publication number Publication date
CN112767485A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112767485B (zh) 一种基于静态语义信息的点云地图创建与场景辨识方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Zai et al. 3-D road boundary extraction from mobile laser scanning data via supervoxels and graph cuts
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Yang et al. Hierarchical extraction of urban objects from mobile laser scanning data
Lim et al. Real-time image-based 6-dof localization in large-scale environments
CN107657226B (zh) 一种基于深度学习的人数估计方法
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
Lin et al. A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
Ma et al. Capsule-based networks for road marking extraction and classification from mobile LiDAR point clouds
Xu et al. Unsupervised segmentation of point clouds from buildings using hierarchical clustering based on gestalt principles
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
CN103927511A (zh) 基于差异特征描述的图像识别方法
Ding et al. Efficient vanishing point detection method in complex urban road environments
Mousavian et al. Semantic image based geolocation given a map
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
Delmerico et al. Building facade detection, segmentation, and parameter estimation for mobile robot stereo vision
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
Kukolj et al. Road edge detection based on combined deep learning and spatial statistics of LiDAR data
Gökçe et al. Recognition of dynamic objects from UGVs using Interconnected Neuralnetwork-based Computer Vision system
Zhao et al. Scalable building height estimation from street scene images
Mahayuddin et al. Moving object detection using semantic convolutional features
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
Börcs et al. Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant