CN117710594A - 一种塔式起重机多层次环境感知系统和方法 - Google Patents

Abstract

本发明公开了一种塔式起重机多层次环境感知系统和方法，该方法中采用多个激光雷达设备及组合导航模块多层次扫描吊物及施工环境，利用GNSS位置信息进行引导与辅助，实现吊物识别及钢丝绳点云移除功能；利用采集到的三维点云信息结合SLAM技术实时建图，进行语义分割并构建拓扑几何模型，进行粗配准，采用ICP算法实现三维点云信息的精配准；采用自适应八叉树体素结构建立多层级细节模型，结合误差权重累加求和的方式对三维点云信息进行融合及简化，实现防碰撞预警计算。本发明可以提高塔机多层次环境感知的能力，能够缓解因障碍物遮挡导致局部细节三维点云缺失的问题，可实时对采集的多源激光点云进行处理，为塔机自主避障及航迹规划提供数据支撑。

Description

一种塔式起重机多层次环境感知系统和方法

技术领域

本发明涉及塔式起重机数字化智能控制领域，尤其涉及一种塔式起重机多层次环境感知系统和方法。

背景技术

塔式起重机作为建筑施工行业运输物品的关键设备，在工程建造领域使用广泛，其安全运维对建筑施工行业至关重要。当前塔式起重机主要依赖人工来完成，需要司机与信号工配合作业，其操作方式效率低下。此外，建筑施工环境更新频繁，吊物品种多样且缺少统一标准，运输过程中易与周边环境发生碰撞，给建筑施工造成安全隐患。

为保障塔机的运行的安全性与高效性，塔机自主避障及自动驾驶成为当前研究的热点问题。塔机自主避障依赖环境感知模块，利用激光雷达生成建筑环境三维地图是重要的手段之一。但是，由于塔机起升回落变化幅度大，采用单个激光雷达设备受限于其扫描分辨率，在高度存在较大变化的情况下，无法同时有效扫描到吊物及局部施工环境信息，并且由于建筑物等环境遮挡问题，存在扫描盲区，不利于分析计算障碍物到吊物之间的有效避障信息。

利用不同传感器组合的方式，对环境进行多维度感知重建，能够提高塔机及周边环境感知能力，并能充分利用多传感器的优势重建出更精细的施工场景三维地图。但是，如何充分利用多传感器的优势，实现多源数据深层次融合感知，也是急需解决的重要任务之一。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种塔式起重机多层次环境感知系统和方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种塔式起重机多层次环境感知系统，设置在塔机上，包括：吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、主控计算机以及无线通信模块；其中：

吊物追踪激光雷达，安装在塔臂小车位置，用于扫描吊物三维点云信息；

局部环境感知激光雷达，安装在吊钩位置，用于扫描吊物周边环境一定高度范围内的三维点云信息；

组合导航模块，分别安装在塔臂小车位置和吊钩位置，一个与吊物追踪激光雷达连接，另一个与局部环境感知激光雷达连接，用于获取激光雷达扫描的三维点云信息对应的GNSS位置信息，并与三维点云信息进行融合；

无线通信模块，用于实现吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、塔机以及主控计算机之间的无线连接和数据传输通信；

主控计算机，设置于操作仓内，用于根据吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的GNSS位置信息，对塔机环境及吊物进行多层次感知重建，并计算塔机避障预警信息。

进一步地，本发明的吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块构成塔机吊物及施工环境三维感知模块，该模块采用多个激光雷达设备及组合导航模块多层次扫描吊物及施工环境，为塔机自主避障提供三维地图支撑。

进一步地，本发明的该系统的主控计算机内设置有以下模块：

吊物识别及钢丝绳点云移除模块，用于利用GNSS位置信息进行引导与辅助，实现吊物识别及钢丝绳点云移除功能；

多源激光点云配准模块，用于利用吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的GNSS位置信息，结合SLAM技术实时建图，独立进行语义分割并构建拓扑几何模型，对其进行粗配准，并在此基础上采用ICP算法实现不同设备采集的三维点云信息的精配准；

点云融合简化及防碰撞预警计算模块，用于采用自适应八叉树体素结构建立多层级细节模型，结合误差权重累加求和的方式对三维点云信息进行融合及简化，实现防碰撞预警计算。

本发明提供一种塔式起重机多层次环境感知方法，包括以下步骤：

步骤1、通过吊物追踪激光雷达扫描吊物三维点云信息，通过局部环境感知激光雷达扫描吊物周边环境一定高度范围内的三维点云信息，并通过组合导航模块获取三维点云信息对应的GNSS位置信息；

步骤2、利用GNSS位置信息引导，实现吊物识别及钢丝绳点云移除；

步骤3、对步骤2处理后的三维点云信息，以及对应的GNSS位置信息，结合SLAM技术实时进行三维地图重建；

步骤4、分别对吊物追踪激光雷达和局部环境感知激光雷达获取的三维点云信息进行SLAM建图优化，分别对优化后的点云进行语义分割并建立或更新其语义拓扑结构，根据语义拓扑结构进行粗配准，并在此基础上采用ICP算法实现不同设备采集的点云的精配准；

步骤5、将步骤4处理后的点云划分为多层级的体素，体素中的点云由不同激光雷达设备采集的点云依据其误差大小进行加权求和得到；在大尺度的层次点云中去查询最邻近的点，若距离阈值小于所预先设置的阈值，则表示此处可能存在碰撞点的可能，则在更细层次继续执行阈值判断操作，直到最细层次为止，完成碰撞点预警计算。

进一步地，本发明的所述步骤2中的方法包括：

首先通过集成在两个激光雷达设备上的定位导航装置记录的当前GNSS位置信息，来建立吊物待检测椎体缓冲区域，并在吊物待检测椎体缓冲区域中对点云进行聚类来提取吊物信息；然后，再建立圆柱体缓冲区域来提出里面的线状钢丝绳点云；完成吊物的识别及钢丝绳点云的移除。

进一步地，本发明的所述吊物的识别及钢丝绳点云的移除的方法具体包括：

利用附着在吊物追踪激光雷达及局部环境感知激光雷达的两个组合导航装置记录的GNSS位置信息点P₁和P₂作为辅助信息，将P₁和P₂两点连成线段并向前延长l₁米至P₃，l₁为距离阈值，即吊物到挂钩距离的估值；并以P₁和P₃组成的线段为中心轴，且以P₁点为端点，生成与该中心轴夹角为α的圆锥曲面；在此曲面内，进行吊物识别跟踪以及钢丝绳点云剔除；对于吊物追踪激光雷达所扫描的当前帧点云，利用组合导航装置记录的GNSS位置信息以及组合导航模块的IMU记录的旋转矩阵，将点云旋转到全局坐标系下，并取出与在此曲面内的点云数据；对该点云数据进行距离聚类，并依据高程信息划分等间隔网格，依据网格中聚类点云的数量，取具有最大数量的聚类点云视为吊物信息，并计算吊物的包围盒；进一步，以吊物轴对齐包围盒的中心点与P₁的连线为中心轴，以距离阈值r为半径生成一个圆柱体，将圆柱体内的点云视为钢丝绳的三维点云，并将其剔除。

进一步地，本发明的所述步骤3中的方法包括：

步骤31、提取三维点云信息的子关键帧，用于估计相对位姿转换关系；

步骤32、局部点云特征提取与匹配，用于子关键帧与全局地图的配准与优化；

步骤33、回环检测与全局优化，用于提高三维地图的精度，为后续自主避障功能的提供高精度地图数据支撑。

进一步地，本发明的所述步骤4中的方法包括：

步骤41、语义拓扑结构建立：

在两个激光雷达设备采集一定时间的三维点云信息并利用LIO-SAM建完地图之后，对优化后的点云进行语义分割，提取地面点云以及建筑物立面及其拓扑信息；设Fc₁、Fc₂、Fc₃为所提取的三个平面信息，其中Fc₁和Fc₂为建筑物立面信息，Fc₃为地面信息；N₁、N₂、N₃分别为这三个平面对应的法向量；l₁、l₂、l₃则是相邻两个平面相交的线段；依据三个平面及其对应的空间关系，构建无向拓扑结构语义图，其中图的节点对应一个平面结构，节点中记录平面的法向量信息；节点之间的连接边表示两个平面之间的空间关系，若平面之间存在相交关系，则连接平面对应的节点，并且连接边记录该两个平面相交的直线方向；对于后续新采集的激光点云数据，当LIO-SAM算法完成建图优化后，再对新加入的局部多帧点云数据进行语义分割，并将其语义拓扑结构更新到之前的无向图中，在新加入立面顶点的同时，重新计算该立面与相邻立面之间的空间关系，进而判断是否与相邻立面所表示的顶点相连；

步骤42、语义拓扑结构匹配：

利用激光点云的语义拓扑结构建立无向图，把点云配准问题转换为无向图的匹配问题，当两个点云正确配准时，此时无向图中匹配顶点记录的法向量以及对应边之间记录线段的方向向量之间的夹角保持最小；以无向图中顶点的法向量以及无向图连接边中记录的线段方向夹角作为匹配代价约束，采用无向图匹配算法来实现；当两个无向图匹配完成之后，利用匹配对中的边所记录的线段信息，采用非线性优化算法来估算两个重建地图点云之间的旋转平移矩阵，完成点云的粗配准；最终，利用ICP算法进行精配准。

进一步地，本发明的所述步骤5中的方法包括：

针对精配准好的点云数据，采用体素的方式将其按照空间范围依次分别划分d₁、2d₁、4d₁、8d₁等多细节层次单元网格进行点云简化及防碰撞预警计算，其中d₁为最小体素的尺度阈值；

计算精配准后的场景三维点云的包围盒，利用自适应八叉树结构构建d₁m的体素网格；在每个体素单元内，依据不同激光雷达设备采集点云的误差进行点云加权求和，融合后的新点P_m作为该体素的唯一三维点，加权融合计算公式如下：

其中w(Pⁱ⁺¹)为待融合点Pⁱ⁺¹的权重值，由该点的误差大小决定，为融合后点的权值，当一个体素中的所有点按照公式进行加权求均值后，再计算所有原始点到融合后的新三维点P_m的距离，作为该点的包围球半径；

对融合后的体素进行下采样处理，利用当前体素八领域的融合点及权重，结合加权融合计算公式进行加权融合，并求出融合后三维点的新坐标及权值，并计算当前点的包围盒半径；重复执行，直到体素分辨率达到最大体素为止；

从最大体素开始计算，通过吊物的包围盒与体素记录的包围球进行求交测试，若有交集，则在对交集内的子体素依次执行包围球交集测试，直到遍历到最小体素，并计算与吊物包围盒的实际距离，并根据距离阈值做出相应预警判断。

本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的塔式起重机多层次环境感知方法的步骤。

本发明产生的有益效果是：

1、本发明通过多个激光雷达组合方式，用以实现塔机吊物及环境的多层次感知与建模，结合激光点云的语义拓扑结构，实现多源激光点云的高精度配准及融合，有益于解决激光雷达因视角遮挡问题导致局部环境数据缺失，提高塔机的环境感知能力以及建模精度，实时计算吊物避障信息，为塔机的自主避障和自动驾驶提供重要支撑。

2、由于吊物追踪激光雷达重点扫描吊物及部分局部环境三维点云数据，在塔机作业期间，钢丝绳及吊物会在每帧点云中均出现，需要实时对吊物进行识别并对吊物及钢丝绳的三维点云进行清除，仅保留局部静态环境三维点云用于吊物追踪激光雷达点云数据的SLAM建图，本发明采用了一种GNSS位置引导的吊物识别及钢丝绳点云移除方法，移除精度高。

3、在对吊物追踪激光雷达的每帧点云数据完成吊物识别及钢丝绳点云移除后，由于两个激光雷达设备分辨率及视场角存在差异，直接对此设备采集的激光点云进行配准及点云融合面临以下困难：一方面，两个不同型号激光设备采集的激光点云数据重叠度较小，不利于对这两种数据源进行配准平差；另一方面，两个不同信号激光设备采集的点云在尺度以及分辨率上存在差异，通过传统算法所提取特征点亦存在不一致的情况，同样增加了这两种数据源配准平差的难度。本发明提出了一种结合语义拓扑结构的多源激光点云配准方法，能够实现点云精确配准的效果。

4、为了便于数据传输及防碰撞计算，需要对冗余的点云数据进行简化处理。由于不同设备采集的点云数据的误差及分辨率均存在差异，在两种点云数据配准的基础上进行点云融合，需要进一步考虑误差的影响。本发明提出一种点云融合简化及防碰撞预警计算方法，能够在简化点云的数据量的同时提高防碰撞预警的计算效率，且能减小点云遍历搜索范围，提高防碰撞预警计算效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统组成示意图。

图中：1-吊物追踪激光雷达，2-局部环境感知激光雷达，3-组合导航定位模块，4-主控计算机，5-小车，6-钢丝绳，7-挂钩，8-吊物。

图2是本发明实施例的吊物追踪激光雷达扫描覆盖范围示意图。

图3是本发明实施例的局部环境感知激光雷达扫描覆盖范围示意图。

图4是本发明实施例的两种激光雷达扫描覆盖及重叠区域示意图。

图5是本发明实施例的激光点云数据处理流程图。

图6是本发明实施例的吊物及钢丝绳缓冲区示意图。

图7是本发明实施例的语义拓扑结构示意图。

图8是本发明实施例的八叉树与体素示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

本发明实施例提供一种塔式起重机多层次环境感知系统及方法。采用多激光雷达设备组合的方式，实现对建筑环境的多层次感知重建；设计一种新的三维点云数据处理方法，实现不同激光雷达设备采集的点云数据的预处理以及高精度配准融合，能够快速计算塔机避障预警信息，可以提高塔机运行的安全性及高效性，并为塔机的自主避障及自动驾驶提供精准的三维数字地图支撑。

本发明实施例的塔式起重机多层次环境感知系统，具体包括：

针对单个激光雷达设备因扫描分辨率的限制，在吊物起升回落高度变化大的情况下，无法有效扫描到吊物三维点云的问题，以及场景中存在遮挡导致局部环境细节缺失问题，本发明采用多激光雷达设备组合的方式，对塔机环境及吊物进行多层次感知重建。

塔机在运输吊物作业过程中，主要包含起升、回落及小车变幅运动，为了充分保障对吊物及周边环境感知能力，本发明采用两种激光雷达设备组合的方式进行多层次环境感知建模，所使用附着在塔机的设备主要包括：

吊物追踪激光雷达：安装在塔臂小车位置，用于扫描吊物三维点云信息。其中具备较高角度分辨率，用以保障吊物的实时追踪及建模。

局部环境感知激光雷达：安装在吊钩位置，用于扫描吊物周边环境点云信息，能够保障采集到吊物附近一定高度范围内的环境三维点云信息。

组合导航模块：与激光雷达组合使用，便于激光雷达扫描的点云进行绝对定位及融合处理。

无线通信模块：用于激光雷达、组合导航、塔机及主控计算机之间的数据传输通信。

主控计算机：位于操作仓内，连接所述的激光雷达、GNSS模块、无线通信模块。

在本发明的优先实施例中，多层次环境感知激光雷达的具体实施步骤如下：

在塔机小车处安装一台高分辨率的激光雷达及组合导航设备，用于对吊物及其附近局部环境进行三维点云扫描，以获取吊物的高精度三维点云信息以及局部的环境点云信息。

在塔机吊钩处安装一台大视场角的三维激光雷达及组合导航设备，主要用于对吊物局部环境进行扫描建模，以弥补小车处激光雷达因遮挡导致的局部环境细节缺失的问题。通过上述两种激光雷达组合的方式，实现塔机及施工环境的多层次感知。

实施例2

本发明实施例的塔式起重机多层次环境感知方法主要包含以下步骤：

1、GNSS位置引导的吊物识别及钢丝绳点云移除。由于吊物追踪激光雷达重点扫描吊物及部分局部环境三维点云数据，在塔机作业期间，钢丝绳及吊物会在每帧点云中均出现，需要实时对吊物进行识别并对吊物及钢丝绳的三维点云进行清除，仅保留局部静态环境三维点云用于吊物追踪激光雷达点云数据的SLAM建图。本发明首先通过集成在两个激光雷达设备上的定位导航装置记录的当前GNSS位置信息，来建立吊物待检测椎体缓冲区域，并在此区域中对点云进行聚类来提取吊物信息。然后，再建立圆柱体缓冲区域来提出里面的线状钢丝绳点云。通过上述步骤，完成吊物的识别及钢丝绳点云的移除。

2、SLAM三维地图重建。针对上述步骤处理完吊物追踪激光雷达的所采集激光点云数据，以及局部环境感知激光雷达数据，分别对其利用SLAM技术进行三维地图重建。主要包括以下步骤：a)提取地图的子关键帧，用于估计相对位姿转换关系；b)局部点云特征提取与匹配，用于子关键帧与全局地图的配准与优化；c)回环检测与全局优化，用于提高三维地图的精度，为后续自主避障功能的提供高精度地图数据支撑。

3、结合语义拓扑结构的多源激光点云配准。在对吊物追踪激光雷达的每帧点云数据完成吊物识别及钢丝绳点云移除后，由于两个激光雷达设备分辨率及视场角存在差异，直接对此设备采集的激光点云进行配准及点云融合面临以下困难：一方面，两个不同型号激光设备采集的激光点云数据重叠度较小，不利于对这两种数据源进行配准平差；另一方面，两个不同信号激光设备采集的点云在尺度以及分辨率上存在差异，通过传统算法所提取特征点亦存在不一致的情况，同样增加了这两种数据源配准平差的难度。基于此，本发明依次分别对吊物追踪激光雷达和局部环境感知激光雷达所获取的激光点云数据独立进行SLAM建图优化，并分别对新注册的局部多帧点云进行里面分割并建立或更新其拓扑结构，利用提取的语义拓扑结构进行匹配。此时，通过这种方式，可保证两个激光雷达采集的点云数据大致对齐，即实现整体的粗配准。最后，通过传统ICP算法实现两个激光雷达所采集点云的精配准。

4、点云融合简化及防碰撞预警计算。为了便于数据传输及防碰撞计算，需要对冗余的点云数据进行简化处理。由于不同设备采集的点云数据的误差及分辨率均存在差异，在两种点云数据配准的基础上进行点云融合，需要进一步考虑误差的影响。因此，本发明根据防碰撞计算的需求，将建筑环境三维点云划分多层级的体素，体素中的点云由不同激光雷达设备采集的点云依据其误差大小进行加权求和得到。通过这种方式，可以构建多尺度多细节的三维场景点云，能够在简化点云的数据量的同时提高防碰撞预警的计算效率。针对防碰撞预警信息计算，首先在大尺度的层次点云中去查询最邻近的点，若距离阈值小于所预先设置的阈值，则表示此处可能存在碰撞点的可能，则在更细层次继续执行上述操作，直到最细层次为止。通过上述形式，可减小点云遍历搜索范围，提高防碰撞预警计算效率。

本发明通过多个激光雷达组合方式，用以实现塔机吊物及环境的多层次感知与建模，结合激光点云的语义拓扑结构，实现多源激光点云的高精度配准及融合，有益于解决激光雷达因视角遮挡问题导致局部环境数据缺失，提高塔机的环境感知能力以及建模精度，实时计算吊物避障信息，为塔机的自主避障和自动驾驶提供重要支撑。

实施例3

本发明实施例的塔式起重机多层次环境感知系统及方法中，多激光雷达设备组合的三维环境感知装置如图1所示，主要包含吊物追踪激光雷达、局部环境感知激光雷达、组合定位导航模块、主控计算机、无线通信等装置。其中每个激光雷达设备与组合定位导航模块集成使用，吊物追踪激光雷达安装在塔机小车位置，其主要负责吊物及局部环境三维点云扫描，扫描视场如图2所示；局部环境感知激光雷达安装在挂钩附件，主要负责扫描局部环境三维点云，扫描视场角度如图3所示；两种激光雷达设备的扫描视场角重叠区域如图4所示。主控计算机安装在驾驶仓，用于负责采集激光雷达、组合导航等采集的数据并实时处理，用于接收塔机参数或将指令发送给塔机单元并辅助控制。

本发明实施例的三维激光点云数据处理方法的流程如图5所示，本发明实施例重点详细介绍GNSS位置引导的吊物识别及钢丝绳点云移除、结合语义拓扑结构多源激光点云配准以及点云融合简化及防碰撞预警计算三个步骤。

1、GNSS位置引导的吊物识别及钢丝绳点云移除。

利用附着在吊物追踪激光雷达及局部环境感知激光雷达的两个组合导航装置记录的GNSS位置点P₁和P₂作为辅助信息，将P₁和P₂两点连成线段并向前延长l₁米至P₃(l₁为距离阈值，即吊物到挂钩距离的估值)，并以P₁和P₃组成的线段为中心轴，且以P₁点为端点，生成与该中心轴夹角为α的圆锥曲面(如图6中绿色虚线所示)。在此曲面内，进行吊物识别跟踪以及钢丝绳点云剔除。对于吊物追踪激光雷达所扫描的当前帧点云数据，利用组合导航装置记录的GNSS位置信息以及IMU记录的旋转矩阵，将点云旋转到全局坐标系下，并取出与在此曲面内的点云数据。对该点云数据进行距离聚类，并依据高程信息划分等间隔网格，依据网格中聚类点云的数量，取具有最大数量的聚类点云视为吊物信息，并计算吊物的包围盒。进一步，以吊物轴对齐包围盒的中心点与P₁的连线为中心轴，以r(距离阈值)为半径生成一个圆柱体(如图6中蓝色虚线所示)，将圆柱体内的点云视为钢丝绳的三维点云，并将其剔除。通过上述步骤，完成吊物识别及钢丝绳点云剔除。

2、结合语义拓扑结构的多源激光点云配准。

本发明采用LIO-SAM算法来分别对吊物追踪激光雷达以及局部环境感知激光雷达所采集的激光点云数据进行SLAM地图重建，该算法是个紧耦合的雷达惯导里程计，能够充分保障运动轨迹估算与建图的实时性和高精度。

a)语义拓扑结构建立

本发明在两个激光雷达设备采集一定时间的激光点云数据并利用LIO-SAM建完地图之后，对优化后的点云数据进行语义分割，提取地面点云以及建筑物立面及其拓扑信息。如图7所示，Fc₁、Fc₂、Fc₃为所提取的三个平面信息，其中Fc₁和Fc₂为建筑物立面信息，Fc₃为地面信息；N₁、N₂、N₃分别为这三个平面对应的法向量；l₁、l₂、l₃则是相邻两个平面相交的线段。依据这些平面及其对应的空间关系，构建无向拓扑结构语义图，其中图的节点对应一个平面结构，节点中记录该平面的法向量信息；节点之间的连接边表示两个平面之间的空间关系，若平面之间存在相交关系，则连接该平面对应的节点，并且连接边记录该两个平面相交的直线方向。对于后续新采集的激光点云数据，当LIO-SAM算法完成建图优化后，再对新加入的局部多帧点云数据进行语义分割，并将其语义拓扑结构更新到之前的无向图中，在新加入立面顶点的同时，需要重新计算该立面与相邻立面之间的空间关系，进而判断是否需要与其他立面所表示的顶点相连。

b)语义拓扑结构匹配

利用激光点云的语义拓扑结构建立无向图，可以把点云配准问题转换为无向图的匹配问题，当两个点云正确配准时，此时无向图中匹配顶点记录的法向量以及对应边之间记录线段的方向向量之间的夹角应该保持最小。因此，本发明以无向图中顶点的法向量以及无向图连接边中记录的线段方向夹角作为匹配代价约束，采用无向图匹配算法来实现。当两个无向图匹配完成之后，利用匹配对中的边所记录的线段信息，采用非线性优化算法来估算两个重建地图点云之间的旋转平移矩阵，完成点云的粗配准。最终，利用经典的ICP算法进行精配准。

需要指出的是，本发明同样可以也可采用传统的点云配准方法来对两个激光雷达设备所建的三维地图数据进行配准。

3、点云融合简化及防碰撞预警计算。

针对精配准好的点云数据，本发明采用体素的方式将其按照空间范围依次分别划分d₁、2d₁、4d₁、8d₁等多细节层次(LoD,Level of Details)单元网格进行点云简化及防碰撞预警计算，其中d₁为最小体素的尺度阈值。具体做法为：首先，计算精配准后的场景三维点云的包围盒，利用自适应八叉树结构(如图8所示)构建d₁m的体素网格。在每个体素单元内，依据不同激光雷达设备采集点云的误差进行点云加权求和，融合后的新点P_m作为该体素的唯一三维点，具体计算公式如下：

其中w(Pⁱ⁺¹)为待融合点Pⁱ⁺¹的权重值，由该点的误差大小决定，为融合后点的权值，由公式(2)决定。当一个体素中的所有点按照上述公式进行加权求均值后，再计算所有原始点到融合后的新三维点P_m的距离，作为该点的包围球半径。其次，对融合后的体素进行下采样处理，利用当前体素八领域的融合点及权重，结合上述公式进行加权融合，并求出融合后三维点的新坐标及权值，并计算当前点的包围盒半径。重复上述步骤，直到体素分辨率达到最大体素为止。最后，进行吊物防碰撞预警计算。从最大体素开始计算，通过吊物的包围盒与体素记录的包围球进行求交测试，若有交集，则在对交集内的子体素依次执行包围球交集测试，直到遍历到最小体素，并计算与吊物包围盒的实际距离，并根据距离阈值做出相应预警判断。

通过上述步骤，实现起重式塔机的环境感知硬件设计及点云数据处理和防碰撞预警信息计算，能够提高塔式起重机作业的数字化程度，提高运行效率，保障建筑施工的安全性。

应当理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种塔式起重机多层次环境感知系统，设置在塔机上，其特征在于，包括：吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、主控计算机以及无线通信模块；其中：

吊物追踪激光雷达，安装在塔臂小车位置，用于扫描吊物三维点云信息；

局部环境感知激光雷达，安装在吊钩位置，用于扫描吊物周边环境一定高度范围内的三维点云信息；

组合导航模块，分别安装在塔臂小车位置和吊钩位置，一个与吊物追踪激光雷达连接，另一个与局部环境感知激光雷达连接，用于获取激光雷达扫描的三维点云信息对应的GNSS位置信息，并与三维点云信息进行融合；

无线通信模块，用于实现吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块、塔机以及主控计算机之间的无线连接和数据传输通信；

主控计算机，设置于操作仓内，用于根据吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的GNSS位置信息，对塔机环境及吊物进行多层次感知重建，并计算塔机避障预警信息。

2.根据权利要求1所述的塔式起重机多层次环境感知系统，其特征在于，该系统中，吊物追踪激光雷达、局部环境感知激光雷达、组合导航模块构成塔机吊物及施工环境三维感知模块，该模块采用多个激光雷达设备及组合导航模块多层次扫描吊物及施工环境，为塔机自主避障提供三维地图支撑。

3.根据权利要求1所述的塔式起重机多层次环境感知系统，其特征在于，该系统的主控计算机内设置有以下模块：

吊物识别及钢丝绳点云移除模块，用于利用GNSS位置信息进行引导与辅助，实现吊物识别及钢丝绳点云移除功能；

多源激光点云配准模块，用于利用吊物追踪激光雷达和局部环境感知激光雷达采集到的三维点云信息以及对应的GNSS位置信息，结合SLAM技术实时建图，独立进行语义分割并构建拓扑几何模型，对其进行粗配准，并在此基础上采用ICP算法实现不同设备采集的三维点云信息的精配准；

点云融合简化及防碰撞预警计算模块，用于采用自适应八叉树体素结构建立多层级细节模型，结合误差权重累加求和的方式对三维点云信息进行融合及简化，实现防碰撞预警计算。

4.一种塔式起重机多层次环境感知方法，采用权利要求1-3任一项所述的塔式起重机多层次环境感知系统实现，其特征在于，包括以下步骤：

步骤1、通过吊物追踪激光雷达扫描吊物三维点云信息，通过局部环境感知激光雷达扫描吊物周边环境一定高度范围内的三维点云信息，并通过组合导航模块获取三维点云信息对应的GNSS位置信息；

步骤2、利用GNSS位置信息引导，实现吊物识别及钢丝绳点云移除；

步骤3、对步骤2处理后的三维点云信息，以及对应的GNSS位置信息，结合SLAM技术实时进行三维地图重建；

步骤4、分别对吊物追踪激光雷达和局部环境感知激光雷达获取的三维点云信息进行SLAM建图优化，分别对优化后的点云进行语义分割并建立或更新其语义拓扑结构，根据语义拓扑结构进行粗配准，并在此基础上采用ICP算法实现不同设备采集的点云的精配准；

步骤5、将步骤4处理后的点云划分为多层级的体素，体素中的点云由不同激光雷达设备采集的点云依据其误差大小进行加权求和得到；在大尺度的层次点云中去查询最邻近的点，若距离阈值小于所预先设置的阈值，则表示此处可能存在碰撞点的可能，则在更细层次继续执行阈值判断操作，直到最细层次为止，完成碰撞点预警计算。

5.根据权利要求4所述的塔式起重机多层次环境感知方法，其特征在于，所述步骤2中的方法包括：

首先通过集成在两个激光雷达设备上的定位导航装置记录的当前GNSS位置信息，来建立吊物待检测椎体缓冲区域，并在吊物待检测椎体缓冲区域中对点云进行聚类来提取吊物信息；然后，再建立圆柱体缓冲区域来提出里面的线状钢丝绳点云；完成吊物的识别及钢丝绳点云的移除。

6.根据权利要求5所述的塔式起重机多层次环境感知方法，其特征在于，所述吊物的识别及钢丝绳点云的移除的方法具体包括：

利用附着在吊物追踪激光雷达及局部环境感知激光雷达的两个组合导航装置记录的GNSS位置信息点P₁和P₂作为辅助信息，将P₁和P₂两点连成线段并向前延长l₁米至P₃，l₁为距离阈值，即吊物到挂钩距离的估值；并以P₁和P₃组成的线段为中心轴，且以P₁点为端点，生成与该中心轴夹角为α的圆锥曲面；在此曲面内，进行吊物识别跟踪以及钢丝绳点云剔除；对于吊物追踪激光雷达所扫描的当前帧点云，利用组合导航装置记录的GNSS位置信息以及组合导航模块的IMU记录的旋转矩阵，将点云旋转到全局坐标系下，并取出与在此曲面内的点云数据；对该点云数据进行距离聚类，并依据高程信息划分等间隔网格，依据网格中聚类点云的数量，取具有最大数量的聚类点云视为吊物信息，并计算吊物的包围盒；进一步，以吊物轴对齐包围盒的中心点与P₁的连线为中心轴，以距离阈值r为半径生成一个圆柱体，将圆柱体内的点云视为钢丝绳的三维点云，并将其剔除。

7.根据权利要求4所述的塔式起重机多层次环境感知方法，其特征在于，所述步骤3中的方法包括：

步骤31、提取三维点云信息的子关键帧，用于估计相对位姿转换关系；

步骤32、局部点云特征提取与匹配，用于子关键帧与全局地图的配准与优化；

步骤33、回环检测与全局优化，用于提高三维地图的精度，为后续自主避障功能的提供高精度地图数据支撑。

8.根据权利要求4所述的塔式起重机多层次环境感知方法，其特征在于，所述步骤4中的方法包括：

步骤41、语义拓扑结构建立：

在两个激光雷达设备采集一定时间的三维点云信息并利用LIO-SAM建完地图之后，对优化后的点云进行语义分割，提取地面点云以及建筑物立面及其拓扑信息；设Fc₁、Fc₂、Fc₃为所提取的三个平面信息，其中Fc₁和Fc₂为建筑物立面信息，Fc₃为地面信息；N₁、N₂、N₃分别为这三个平面对应的法向量；l₁、l₂、l₃则是相邻两个平面相交的线段；依据三个平面及其对应的空间关系，构建无向拓扑结构语义图，其中图的节点对应一个平面结构，节点中记录平面的法向量信息；节点之间的连接边表示两个平面之间的空间关系，若平面之间存在相交关系，则连接平面对应的节点，并且连接边记录该两个平面相交的直线方向；对于后续新采集的激光点云数据，当LIO-SAM算法完成建图优化后，再对新加入的局部多帧点云数据进行语义分割，并将其语义拓扑结构更新到之前的无向图中，在新加入立面顶点的同时，重新计算该立面与相邻立面之间的空间关系，进而判断是否与相邻立面所表示的顶点相连；

步骤42、语义拓扑结构匹配：

利用激光点云的语义拓扑结构建立无向图，把点云配准问题转换为无向图的匹配问题，当两个点云正确配准时，此时无向图中匹配顶点记录的法向量以及对应边之间记录线段的方向向量之间的夹角保持最小；以无向图中顶点的法向量以及无向图连接边中记录的线段方向夹角作为匹配代价约束，采用无向图匹配算法来实现；当两个无向图匹配完成之后，利用匹配对中的边所记录的线段信息，采用非线性优化算法来估算两个重建地图点云之间的旋转平移矩阵，完成点云的粗配准；最终，利用ICP算法进行精配准。

9.根据权利要求4所述的塔式起重机多层次环境感知方法，其特征在于，所述步骤5中的方法包括：

针对精配准好的点云数据，采用体素的方式将其按照空间范围依次分别划分d₁、2d₁、4d₁、8d₁等多细节层次单元网格进行点云简化及防碰撞预警计算，其中d₁为最小体素的尺度阈值；

计算精配准后的场景三维点云的包围盒，利用自适应八叉树结构构建d₁m的体素网格；在每个体素单元内，依据不同激光雷达设备采集点云的误差进行点云加权求和，融合后的新点P_m作为该体素的唯一三维点，加权融合计算公式如下：

其中w(Pⁱ⁺¹)为待融合点Pⁱ⁺¹的权重值，由该点的误差大小决定，为融合后点/>的权值，当一个体素中的所有点按照公式进行加权求均值后，再计算所有原始点到融合后的新三维点P_m的距离，作为该点的包围球半径；

对融合后的体素进行下采样处理，利用当前体素八领域的融合点及权重，结合加权融合计算公式进行加权融合，并求出融合后三维点的新坐标及权值，并计算当前点的包围盒半径；重复执行，直到体素分辨率达到最大体素为止；

从最大体素开始计算，通过吊物的包围盒与体素记录的包围球进行求交测试，若有交集，则在对交集内的子体素依次执行包围球交集测试，直到遍历到最小体素，并计算与吊物包围盒的实际距离，并根据距离阈值做出相应预警判断。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求4～9任一项所述的塔式起重机多层次环境感知方法的步骤。