CN114494849A - 用于轮式机器人的路面状态识别方法和系统 - Google Patents

用于轮式机器人的路面状态识别方法和系统 Download PDF

Info

Publication number
CN114494849A
CN114494849A CN202111576259.7A CN202111576259A CN114494849A CN 114494849 A CN114494849 A CN 114494849A CN 202111576259 A CN202111576259 A CN 202111576259A CN 114494849 A CN114494849 A CN 114494849A
Authority
CN
China
Prior art keywords
road surface
point
feature
extraction
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111576259.7A
Other languages
English (en)
Other versions
CN114494849B (zh
Inventor
衡进
孙贇
姚郁巍
苏瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN202111576259.7A priority Critical patent/CN114494849B/zh
Publication of CN114494849A publication Critical patent/CN114494849A/zh
Application granted granted Critical
Publication of CN114494849B publication Critical patent/CN114494849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于轮式机器人的路面状态识别方法和系统，该方法包括：步骤S1：通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；步骤S2：将路面区域的三维点云进行缺失点的修正；步骤S3：将修正后的三维点云进行简化处理；步骤S4：根据简化后的三维点云，提取路面特征网格；步骤S5：根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；步骤S6：根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。本申请将激光扫描运用于轮式机器人，实现路面状态的识别，具有识别速度快、精确度高的优点。

Description

用于轮式机器人的路面状态识别方法和系统
技术领域
本发明涉及路面探测技术领域，具体涉及一种用于轮式机器人的路面状态识别方法和系统。
背景技术
随着信息化时代的发展以及智能机器人技术的进步，智能机器人已经被广泛应用于多个领域。在当前的各个领域，使用到的最多的是轮式机器人，而对于轮式机器人来说，其行进过程始终会受路面状况的影响，如果路面存在阶梯、凹陷、凸出等状态，而机器人不能准确识别这些状态并适应性地进行行进路线、行进速度以及机械方面的调整，则很容易出现摇晃、过度颠簸乃至倾覆。
现有技术对于这一问题，通常采用摄像机对路面状态进行采集、提取、识别以及后期处理，从而得到路面状态信息，进而确定轮式机器人的行进路线。然而通过摄像机来识别路面状态，对硬件要求较高，若遇到光线不好情况，会使采集到的路面图像不清晰，从而对路面状态识别的精度造成影响。对于摄像机来说，激光扫描技术具有识别速度快、精确度高的优点。因此，如何将激光扫描技术应用于轮式机器人的路面状态识别，进而对行进路线进行规划，是亟待解决的问题。
发明内容
本发明提供的一种用于轮式机器人的路面状态识别方法和系统，能够解决上述校准过程中的技术问题。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供了一种用于轮式机器人的路面状态识别方法，包括：
步骤S1：通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
步骤S2：将路面区域的三维点云进行缺失点的修正；
步骤S3：将修正后的三维点云进行简化处理；
步骤S4：根据简化后的三维点云，提取路面特征网格；
步骤S5：根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
步骤S6：根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
在一些实施例中，所述步骤S2，包括以下步骤：
步骤S21：确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
步骤S22：沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，怎进入步骤S24；若存在，则进入步骤S23；
步骤S23：沿着激光扫描线的方向，确定确定缺失点的个数；
步骤S24：沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
在一些实施例中，所述步骤S3，包括：
步骤S31：在激光扫描线上每隔一个预设距离，选取一个采样点；
步骤S32：依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
步骤S33：判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
步骤S34：进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
在一些实施例中，所述步骤S4，包括：
步骤S41：选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
步骤S42：判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
步骤S43：当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕。
在一些实施例中，所述步骤S5，包括：
步骤S51：通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
步骤S52：根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
步骤S53：根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
第二方面，本发明提供了一种用于轮式机器人的路面状态识别系统，包括：点云提取模块，用于通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
点云修正模块，用于将路面区域的三维点云进行缺失点的修正；
点云简化模块，用于将修正后的三维点云进行简化处理；
路面特征网格提取模块，用于根据简化后的三维点云，提取路面特征网格；
路面状态特征类别确定模块，用于根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
机器人调整模块，用于根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
在一些实施例中，所述点云修正模块，包括：
点云数据记录子模块，用于确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
缺失点判断子模块，用于沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，怎进入步骤S24；若存在，则进入步骤S23；
缺失点个数确认子模块，用于沿着激光扫描线的方向，确定确定缺失点的个数；
缺失点迭代子模块，用于沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
在一些实施例中，所述点云简化模块，包括：点云采样子模块，在激光扫描线上每隔一个预设距离，选取一个采样点；
斜率计算子模块，用于依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
斜率判断子模块，用于判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
提取点迭代子模块，用于进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
在一些实施例中，所述转移概率获取模块，所述路面特征网格提取模块，包括：
高程值判断子模块，用于选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
路面特征网格生成子模块，用于判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
提取点迭代子模块，用于当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕。
在一些实施例中，所述路面状态特征类别确定模块，包括：
路面特征矢量转换子模块，用于通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
路面状态特征分布计算子模块，用于根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
路面状态特征类别确认子模块，用于根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
本发明的有益效果是：
本发明能够利用激光扫描技术，对轮式机器人行进轨迹前方一定范围内的路面区域进行点云的提取，然后对提取到的点云数据进行缺失点的修正以及点云数据的简化处理，并根据简化后的三维点云，提取路面特征网络，从而确定机器人行进轨迹前方的路面状态特征类别，进而能够使轮式机器人在路面上根据路面状态特征类别，作出相对应的行进路线、行进速度以及姿态上的调整，其识别精度高，识别速度快。
附图说明
图1为本发明实施例提供的一种用于轮式机器人的路面状态识别方法图一；
图2为本发明实施例提供的一种用于轮式机器人的路面状态识别方法图二；
图3为本发明实施例提供的一种用于轮式机器人的路面状态识别方法图三；
图4为计算相邻采样点斜率差的示意图；
图5为本发明实施例提供的一种用于轮式机器人的路面状态识别方法图五；
图6为本发明实施例提供的一种用于轮式机器人的路面状态识别方法图六
图7为本发明实施例提供的一种用于轮式机器人的路面状态识别系统示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本申请的限定。基于所描述的本申请的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
图1为本发明第一方面实施例提供的一种用于轮式机器人的路面状态识别方法图一。
一种用于轮式机器人的路面状态识别方法，结合图1，包括S1至S6六个步骤：
S1：通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
具体的，轮式机器人通过安装的激光扫描仪对机器人行进轨迹前方一定区域内的路面进行扫描，并将各条扫描线的点云数据合并，从而获得路面区域的三维点云数据。
S2：将路面区域的三维点云进行缺失点的修正；
具体的，由激光扫描仪直接获得的三维点云的扫描线，有可能因为未收到反射激光等原因，存在丢失的点，但是也可能由于路面本身存在的凹陷、裂缝等原因而存在缺失的点；为了适应以上两种可能的情况所带来的影响，应对三维点云进行缺失点的修正。
S3：将修正后的三维点云进行简化处理；
具体的，由于激光扫描所获得的的三维点云的点数量是海量的，特别是路面的绝大部分区域都是相对平坦的，因此，为了利用激光扫描的点云数据来拟合路面区域，并不需要对所有的点云数据都执行处理，而是将高程值变化较大的点云数据提取出来，而高程值变化不大的点云数据省略掉，从而可以简化路面区域点云数据。
S4：根据简化后的三维点云，提取路面特征网格；
S5：根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
S6：根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
具体的，步骤S1-S4对三维点云数据完成了采集和预处理，对于预处理完成的三维点云数据，首先需要提取其反应路面特征的路面特征网格，并根据路面特征网格和路面状态分类集的关系，确定路面状态特征的类别，从而使轮式机器人能够根据路面状态特征的类别来调整在路面上的行进路线、行进速度以及姿态。
图2为本发明第一方面实施例提供的一种用于轮式机器人的路面状态识别方法图二，在一些实施例中，结合图2，所述步骤S2，包括以下步骤：
步骤S21：确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
具体的，确定激光扫描线的第一个点的点云数据，可记录当前点为P，其高程值为Z。
步骤S22：沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，则入步骤S24；若存在，则进入步骤S23；
具体的，沿着激光扫描线的方向，判断当前点P之前是否存在缺失点若不存在，则入步骤S24；若存在，则进入步骤S23。
步骤S23：沿着激光扫描线的方向，确定确定缺失点的个数；
具体的，沿着激光扫描线的方向，确定确定缺失点的个数，可将缺失点个数记为L，并判断L是否小于等于预设的缺失点个数L1，若小于，则将缺失点的高程赋值为Z-Zd，其中Zd是假设的路面本身凹陷、裂缝等造成的高程差；如果L大于L1则认为缺失点是未获得反射造成的，则将缺失点的高程赋值为Z。
步骤S24：沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
具体的，确定激光扫描线的下一个点的点云数据，将其作为下一轮迭代的当前点P，其高程值记为Z，并判断该当前点P与上一轮的当前点P之间是否存在缺失点，如果存在，则进入步骤S23，否则重复步骤S24。
应理解，本申请实施例中的预设的缺失点个数L1以及假设的路面本身凹陷、裂缝等造成的高程差Zd可以根据实际情况进行灵活确定，并不以此限定本发明的保护范围。
图3为本发明第一方面实施例提供的一种用于轮式机器人的路面状态识别方法图三，在一些实施例中，结合图3，所述步骤S3，包括：
步骤S31：在激光扫描线上每隔一个预设距离，选取一个采样点；
步骤S32：依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
步骤S33：判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
步骤S34：进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
具体的，图4为计算相邻采样点斜率差的示意图，结合图4，设预设距离为XRes，每隔个预设距离XRes选取一个激光扫描线上的采样点；然后依次取3个相邻采样点P0、P1、P2，分别计算出P0、P1以及P1、P2之间的斜率值
Figure BDA0003424857770000091
Figure BDA0003424857770000092
邻，根据k01、k12计算出斜率差值，并判断斜率差值是否小于等于预设的斜率差阈值，若小于，则认为P1属于提取点；然后向后平移一个预设距离XRes，选取相邻采样点为P1、P2、P3，再次重复以上过程，直至完成本激光扫描线的提取点的确定；再进入下一条扫描线，以此类推，完成全部提取点的确定和提取。
图5为本发明第一方面实施例提供的一种用于轮式机器人的路面状态识别方法图五，结合图5，在一些实施例中，所述步骤S4，包括：
步骤S41：选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
具体的，选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，实际上就是计算出了该点与该点一定距离范围内的临近提取点之间的平整度，当该点以及与该点一定距离范围内的临近提取点的平均高程值的绝对值大于或等于高程值阈值时，则可认为该点不平整，于是将该提取点作为路面特征点，然后进入步骤S42；若该点以及与该点一定距离范围内的临近提取点的平均高程值小于高程值阈值时，则可认为该提取点处的路面为平整的，从而选取下一个提取点并重复步骤S41。
步骤S42：判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
步骤S43：当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕；
其中，所述路面特征网格为覆盖至少一个路面特征点的矩形网格区域。
具体的，对于步骤S41所获得一个最新的路面特征点，判断已经存在的路面特征网格与该路面特征点之间的最小间距值(也就是已经存在的路面特征网格覆盖区域内的任意一点和该路面特征点之间间距值的最小值)是否小于等于间距阈值；如果是，则将该路面特征点归于最小间距值对应的路面特征网格，并调整该路面特征网格的矩形大小从而覆盖该路面特征点；如果否，则以该路面特征点为中心点，并以间距阈值为边长，新建一个路面特征网格；当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕，从而得到全部的路面特征网格。
图6为本发明第一方面实施例提供的一种用于轮式机器人的路面状态识别方法图六，在一些实施例中，结合图6，所述步骤S5，包括：
步骤S51：通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
具体的，针对机器人行进轨迹前方一定区域内的路面所形成的全部路面特征网格，将其转换为一个路面特征矢量Xm＝fBiLSTM(...,l′2,l′1,m′1,m′2,h′1,h′2,...)，其中fBiLSTM(*)表示将路面特征网格通过BiLSTM进行特征提取，所获得的路面特征矢量为Xm。
步骤S52：根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
具体的，利用路面状态分类集，可以表示为：
S＝{(x1,y1),(x2,y2),...(xN,yN)}
其中x1,x2...xN表示分类集中路面样本的路面状态特征矢量，y1,y2...yN表示样本各自对应的状态属性。假设共有K个类别，每个类别表示为k，则k∈{1,2...,K}，则对于每个类别k可以设置路面状态分类集Sk，分类集Sk中的路面样本的类别属性均为k，则计算每个类别k的原型
Figure BDA0003424857770000111
其中表示针对样本特征进行特征提取所获得的特征向量，本申请中即为BiLSTM网络进行的特征提取，作为原型表示第类别中样本特征向量的平均表示。
步骤S53：根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
具体的，进而，可以计算路面特征矢量Xm相对于K个类别中的每个类别k的分布：
Figure BDA0003424857770000112
其中k′表示K个类别中不属于类别k的其它类别。可以根据路面特征矢量Xm相对于K个类别中的每个类别k的分布，确定机器人行进轨迹前方一定区域内的路面的路面状态特征类别。
图7为本发明第二方面实施例提供的一种用于轮式机器人的路面状态识别系统示意图，结合图7，一种用于轮式机器人的路面状态识别系统，包括：
点云提取模块61，用于通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
具体的，点云提取模块61可以通过轮式机器人上安装的激光扫描仪对机器人行进轨迹前方一定区域内的路面进行扫描，并将各条扫描线的点云数据合并，从而获得路面区域的三维点云数据。
点云修正模块62，用于将路面区域的三维点云进行缺失点的修正；
具体的，由激光扫描仪直接获得的三维点云的扫描线，有可能因为未收到反射激光等原因，存在丢失的点，但是也可能由于路面本身存在的凹陷、裂缝等原因而存在缺失的点；为了适应以上两种可能的情况所带来的影响，应实用点云修正模块62对三维点云进行缺失点的修正。
点云简化模块63，用于将修正后的三维点云进行简化处理；
具体的，由于激光扫描所获得的的三维点云的点数量是海量的，特别是路面的绝大部分区域都是相对平坦的，因此，为了利用激光扫描的点云数据来拟合路面区域，并不需要对所有的点云数据都执行处理，而是将高程值变化较大的点云数据提取出来，而高程值变化不大的点云数据省略掉，从而可以利用点云简化模块63简化路面区域点云数据。
路面特征网格提取模块64，用于根据简化后的三维点云，提取路面特征网格；
路面状态特征类别确定模块65，用于根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
机器人调整模块66，用于根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
具体的，步骤S1-S4对三维点云数据完成了采集和预处理，对于预处理完成的三维点云数据，首先需要利用路面特征网格提取模块64提取其反应路面特征的路面特征网格，并根据路面特征网格和路面状态分类集的关系，利用路面状态特征类别确定模块65来确定路面状态特征的类别，从而使机器人调整模块66能够根据路面状态特征的类别来调整轮式机器人在路面上的行进路线、行进速度以及姿态。
在一些实施例中，所述点云修正模块62，包括：
点云数据记录子模块621，用于确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
具体的，点云数据记录子模块621能够确定激光扫描线的第一个点的点云数据，可记录当前点为P，其高程值为Z。
缺失点判断子模块622，用于沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，怎进入步骤S24；若存在，则进入步骤S23；
具体的，缺失点判断子模块622能够沿着激光扫描线的方向，判断当前点P之前是否存在缺失点若不存在，则入步骤S24；若存在，则进入步骤S23。
缺失点个数确认子模块623，用于沿着激光扫描线的方向，确定确定缺失点的个数；
具体的，缺失点个数确认子模块623能够沿着激光扫描线的方向，确定确定缺失点的个数，可将缺失点个数记为L，并判断L是否小于等于预设的缺失点个数L1，若小于，则将缺失点的高程赋值为Z-Zd，其中Zd是假设的路面本身凹陷、裂缝等造成的高程差；如果L大于L1则认为缺失点是未获得反射造成的，则将缺失点的高程赋值为Z。
缺失点迭代子模块624，用于沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
具体的，缺失点迭代子模块624能够确定激光扫描线的下一个点的点云数据，将其作为下一轮迭代的当前点P，其高程值记为Z，并判断该当前点P与上一轮的当前点P之间是否存在缺失点，如果存在，则进入步骤S23，否则重复步骤S24。
在一些实施例中，所述点云简化模块63，包括：
点云采样子模块631，在激光扫描线上每隔一个预设距离，选取一个采样点；
斜率计算子模块632，用于依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
斜率判断子模块633，用于判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
提取点迭代子模块634，用于进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
具体的，图4为计算相邻采样点斜率差的示意图，结合图4，设预设距离为XRes，每隔个预设距离XRes选取一个激光扫描线上的采样点；然后依次取3个相邻采样点P0、P1、P2，分别计算出P0、P1以及P1、P2之间的斜率值
Figure BDA0003424857770000141
Figure BDA0003424857770000142
邻，根据k01、k12计算出斜率差值，并判断斜率差值是否小于等于预设的斜率差阈值，若小于，则认为P1属于提取点；然后向后平移一个预设距离XRes，选取相邻采样点为P1、P2、P3，再次重复以上过程，直至完成本激光扫描线的提取点的确定；再进入下一条扫描线，以此类推，完成全部提取点的确定和提取。
在一些实施例中，所述路面特征网格提取模块64，包括：
高程值判断子模块641，用于选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
具体的，高程值判断子模块641能够选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，实际上就是计算出了该点与该点一定距离范围内的临近提取点之间的平整度，当该点以及与该点一定距离范围内的临近提取点的平均高程值的绝对值大于或等于高程值阈值时，则可认为该点不平整，于是将该提取点作为路面特征点，然后进入步骤S42；若该点以及与该点一定距离范围内的临近提取点的平均高程值小于高程值阈值时，则可认为该提取点处的路面为平整的，从而选取下一个提取点并重复步骤S41。
路面特征网格生成子模块642，用于判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
提取点迭代子模块643，用于当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕。
具体的，对于步骤S41所获得一个最新的路面特征点，判断已经存在的路面特征网格与该路面特征点之间的最小间距值(也就是已经存在的路面特征网格覆盖区域内的任意一点和该路面特征点之间间距值的最小值)是否小于等于间距阈值；如果是，则将该路面特征点归于最小间距值对应的路面特征网格，并调整该路面特征网格的矩形大小从而覆盖该路面特征点；如果否，则以该路面特征点为中心点，并以间距阈值为边长，新建一个路面特征网格；当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕，从而得到全部的路面特征网格。
在一些实施例中，所述路面状态特征类别确定模块65，包括：
路面特征矢量转换子模块651，用于通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
具体的，路面特征矢量转换子模块651能够针对机器人行进轨迹前方一定区域内的路面所形成的全部路面特征网格，将其转换为一个路面特征矢量Xm＝fBiLSTM(...,l′2,l′1,m′1,m′2,h′1,h′2,...)，其中fBiLSTM(*)表示将路面特征网格通过BiLSTM进行特征提取，所获得的路面特征矢量为Xm。
路面状态特征分布计算子模块652，用于根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
具体的，路面状态特征分布计算子模块652能够利用路面状态分类集，可以表示为：
S＝{(x1,y1),(x2,y2),...(xN,yN)}
其中x1,x2…xN表示分类集中路面样本的路面状态特征矢量，y1,y2...yN表示样本各自对应的状态属性。假设共有K个类别，每个类别表示为k，则k∈{1,2...,K}，则对于每个类别k可以设置路面状态分类集Sk，分类集Sk中的路面样本的类别属性均为k，则计算每个类别k的原型
Figure BDA0003424857770000161
其中表示针对样本特征进行特征提取所获得的特征向量，本申请中即为BiLSTM网络进行的特征提取，作为原型表示第类别中样本特征向量的平均表示。
路面状态特征类别确认子模块653，用于根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
具体的，路面状态特征类别确认子模块653进而可以计算路面特征矢量Xm相对于K个类别中的每个类别k的分布：
Figure BDA0003424857770000171
其中k′表示K个类别中不属于类别k的其它类别。可以根据路面特征矢量Xm相对于K个类别中的每个类别k的分布，确定机器人行进轨迹前方一定区域内的路面的路面状态特征类别
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本申请的实施方式，但是本领域技术人员可以在不脱离本申请的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于轮式机器人的路面状态识别方法，其特征在于，包括：
步骤S1：通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
步骤S2：将路面区域的三维点云进行缺失点的修正；
步骤S3：将修正后的三维点云进行简化处理；
步骤S4：根据简化后的三维点云，提取路面特征网格；
步骤S5：根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
步骤S6：根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
2.根据权利要求1所述的一种用于轮式机器人的路面状态识别方法，其特征在于，所述步骤S2，包括以下步骤：
步骤S21：确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
步骤S22：沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，怎进入步骤S24；若存在，则进入步骤S23；
步骤S23：沿着激光扫描线的方向，确定确定缺失点的个数；
步骤S24：沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
3.根据权利要求1所述的一种用于轮式机器人的路面状态识别方法，其特征在于，所述步骤S3，包括：
步骤S31：在激光扫描线上每隔一个预设距离，选取一个采样点；
步骤S32：依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
步骤S33：判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
步骤S34：进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
4.根据权利要求1所述的一种用于轮式机器人的路面状态识别方法，其特征在于，所述步骤S4，包括：
步骤S41：选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
步骤S42：判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
步骤S43：当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕；
其中，所述路面特征网格为覆盖至少一个路面特征点的矩形网格区域。
5.根据权利要求1所述的一种用于轮式机器人的路面状态识别方法，其特征在于，所述步骤S5，包括：
步骤S51：通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
步骤S52：根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
步骤S53：根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
6.一种用于轮式机器人的路面状态识别系统，其特征在于，包括：
点云提取模块，用于通过激光扫描仪提取机器人行进方向路面区域的点云数据，获得路面区域的三维点云；
点云修正模块，用于将路面区域的三维点云进行缺失点的修正；
点云简化模块，用于将修正后的三维点云进行简化处理；
路面特征网格提取模块，用于根据简化后的三维点云，提取路面特征网格；
路面状态特征类别确定模块，用于根据提取到的路面特征网格和路面状态分类集的关系，确定机器人行进轨迹前方的路面状态特征类别；
机器人调整模块，用于根据路面状态特征类别，确定机器人在路面上的行进路线、行进速度以及姿态的调整。
7.根据权利要求6所述的一种用于轮式机器人的路面状态识别系统，其特征在于，所述点云修正模块，包括：
点云数据记录子模块，用于确定激光扫描线的第一个点的点云数据，记录该点为当前点，并记录当前点的高程值；
缺失点判断子模块，用于沿着激光扫描线的方向，判断当前点之前是否存在缺失点；若不存在，怎进入步骤S24；若存在，则进入步骤S23；
缺失点个数确认子模块，用于沿着激光扫描线的方向，确定确定缺失点的个数；
缺失点迭代子模块，用于沿着激光扫描线的方向，确定下一个点的点云数据，将下一个点记录为当前点，记录当前点的高程值，并判断当前点与上一点之间是否存在缺失点；若不存在，则重复步骤S24；若存在，则返回步骤S23。
8.根据权利要求6所述的一种用于轮式机器人的路面状态识别系统，其特征在于，所述点云简化模块，包括：
点云采样子模块，在激光扫描线上每隔一个预设距离，选取一个采样点；
斜率计算子模块，用于依次选取三个相邻的采样点，分别计算出中间点与两侧点之间的斜率，并计算斜率差值；
斜率判断子模块，用于判断斜率差值是否小于预设的斜率差阈值，若是，则提取中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；若否，则舍弃中间点，然后向后平移一个预设距离并重复步骤S31、步骤S32，直至完成本条激光扫描线的提取点的确定；
提取点迭代子模块，用于进入下一条激光扫描线，并重复步骤S31、步骤S32、步骤S33，直到所有激光扫描线的提取点确定完成。
9.根据权利要求6所述的一种用于轮式机器人的路面状态识别系统，其特征在于，所述路面特征网格提取模块，包括：
高程值判断子模块，用于选取任意一个提取点，计算该点以及与该点一定距离范围内的临近提取点的平均高程值，并判断该点的高程值与平均高程值差值的绝对值是否大于或等于高程值阈值，若是，则记录该提取点为路面特征点，并进入步骤S42；否则，选取下一个提取点并重复步骤S41；
路面特征网格生成子模块，用于判断路面特征网格与路面特征点之间的最小间距是否小于或等于间距阈值，若是，则将该路面特征点归于该路面特征网格，并调整该路面特征网格的矩形面至覆盖该路面特征点；若否，则以该路面特征点为中心，以间距阈值为边长，重新构建一个路面特征网格；
提取点迭代子模块，用于当步骤S42执行完毕，重新返回步骤S41，直至全部提取点迭代完毕。
10.根据权利要求6所述的一种用于轮式机器人的路面状态识别系统，其特征在于，所述路面状态特征类别确定模块，包括：
路面特征矢量转换子模块，用于通过BiLSTM，将机器人轨迹前方一定区域内的全部路面特征网格转换为一个路面特征矢量；
路面状态特征分布计算子模块，用于根据路面特征矢量与路面状态分类集的关系，计算出路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况；
路面状态特征类别确认子模块，用于根据路面特征矢量相对于路面状态分类集中每一种路面状态特征的分布情况，确定机器人行进轨迹前方一定区域内路面的路面状态特征类别。
CN202111576259.7A 2021-12-21 2021-12-21 用于轮式机器人的路面状态识别方法和系统 Active CN114494849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111576259.7A CN114494849B (zh) 2021-12-21 2021-12-21 用于轮式机器人的路面状态识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576259.7A CN114494849B (zh) 2021-12-21 2021-12-21 用于轮式机器人的路面状态识别方法和系统

Publications (2)

Publication Number Publication Date
CN114494849A true CN114494849A (zh) 2022-05-13
CN114494849B CN114494849B (zh) 2024-04-09

Family

ID=81494893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576259.7A Active CN114494849B (zh) 2021-12-21 2021-12-21 用于轮式机器人的路面状态识别方法和系统

Country Status (1)

Country Link
CN (1) CN114494849B (zh)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105651209B (zh) * 2016-02-05 2018-10-02 中测新图(北京)遥感技术有限责任公司 指定区域面积的应急获取方法和装置
CN105735079A (zh) * 2016-03-07 2016-07-06 苏交科集团股份有限公司 一种沥青路面横向反射裂缝的处治方法
US9760806B1 (en) * 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
CN106485676B (zh) * 2016-09-29 2019-10-11 天津大学 一种基于稀疏编码的LiDAR点云数据修复方法
CN106780458B (zh) * 2016-12-09 2020-04-28 重庆邮电大学 一种点云骨架提取方法及装置
WO2018205119A1 (zh) * 2017-05-09 2018-11-15 深圳市速腾聚创科技有限公司 基于激光雷达扫描的路沿检测方法和系统
CN109741450B (zh) * 2018-12-29 2023-09-19 征图三维（北京）激光技术有限公司 一种基于扫描线的路面点云自动提取方法及装置
CN112070877A (zh) * 2019-05-25 2020-12-11 华为技术有限公司 点云处理方法、装置、设备及计算机可读存储介质
CN111142116B (zh) * 2019-09-27 2023-03-28 广东亿嘉和科技有限公司 一种基于三维激光的道路检测与建模方法
CN110909092B (zh) * 2019-10-10 2021-04-13 重庆特斯联智慧科技股份有限公司 一种用于社区公共设施的状态监测维护物联网系统
CN113223064B (zh) * 2020-01-21 2023-09-15 北京魔门塔科技有限公司 一种视觉惯性里程计尺度的估计方法和装置
CN111507233B (zh) * 2020-04-13 2022-12-13 吉林大学 一种多模态信息融合的智能车路面类型识别方法
WO2021207967A1 (zh) * 2020-04-15 2021-10-21 深圳职业技术学院 一种基于路面状况主动调节车辆悬架的方法及车辆
CN112149493B (zh) * 2020-07-31 2022-10-11 上海大学 基于双目立体视觉的道路高程测量方法
CN112116709B (zh) * 2020-09-17 2023-07-07 滁州学院 一种提高地形表达精度的地形特征线处理方法
CN113557528B (zh) * 2021-03-30 2023-11-28 商汤国际私人有限公司 生成点云补全网络及点云数据处理方法、装置和系统
CN113538261A (zh) * 2021-06-21 2021-10-22 昆明理工大学 一种基于深度学习的残缺钟乳石点云的形状修复方法
CN113469990B (zh) * 2021-07-15 2024-01-05 绍兴文理学院 路面病害检测方法及装置
CN113693898A (zh) * 2021-08-24 2021-11-26 湖州职业技术学院 一种基于点云三维建模的导盲方法、装置及电子设备
CN113724503B (zh) * 2021-08-31 2023-07-07 山东交通学院 基于云平台的高速公路状态自动巡检系统及方法
CN113706698B (zh) * 2021-10-25 2022-01-25 武汉幻城经纬科技有限公司 实景三维道路重建方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN114494849B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
US20200380653A1 (en) Image processing device and image processing method
CN111028154B (zh) 一种地形崎岖不平海底的侧扫声呐图像匹配拼接方法
US8867845B2 (en) Path recognition device, vehicle, path recognition method, and path recognition program
CN111179152A (zh) 一种道路标识识别方法及装置、介质、终端
JP2019139420A (ja) 立体物認識装置、撮像装置および車両
CN113723494B (zh) 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法
JP4635862B2 (ja) 画像処理装置
CN111551184A (zh) 一种移动机器人slam的地图优化方法及系统
CN112070800B (zh) 一种基于三维点云极化地图表征的智能车定位方法及系统
JP2017151535A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN114299533A (zh) 基于人工智能的电网接线图元件和线路识别系统及方法
CN117115415B (zh) 基于大数据分析的图像标记处理方法和系统
WO2024178999A1 (zh) 一种基于多点云融合的桥梁服役线形识别方法
CN118115890A (zh) 屋顶光伏资源评估方法、装置、存储介质及计算机设备
CN116091706B (zh) 多模态遥感影像深度学习匹配的三维重建方法
CN116958099B (zh) 线缆磨耗检测方法、系统、装置与计算机设备
CN114494849A (zh) 用于轮式机器人的路面状态识别方法和系统
CN117745941A (zh) 一种利用卫星图像的建筑物三维模型自动生成方法及装置
CN117726911A (zh) 一种基于深度学习的探地雷达采集及目标检测系统和方法
CN112308917A (zh) 一种基于视觉的移动机器人定位方法
JP3251840B2 (ja) 画像認識装置
CN115236643B (zh) 一种传感器标定方法、系统、装置、电子设备及介质
CN111489440B (zh) 对非标零件的三维扫描建模方法
CN113031620A (zh) 一种机器人复杂环境定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant