CN113860178B - 一种塔式起重机吊装物体识别及碰撞信息测量系统及方法 - Google Patents

Abstract

本发明公开了一种塔式起重机吊装物体识别及碰撞信息测量系统及方法，包括跟踪用激光雷达对塔机吊钩的吊装物体进行跟踪采集点云信息，扫描密度为中间密边缘稀疏；图像采集单元采集所述吊装物体的图像；建模用激光雷达采集塔机工作环境下的点云信息；GNSS模块，所述跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩上各设置一台，用于获取跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩的绝对位置信息；主控单元，利用上述设备的数据进行结合，有效获取吊装物体到周边环境的距离。同时，当跟踪激光雷达的检测分辨率达不到要求时，能够通过计算的方式实现吊装物体的位置跟踪。

Description

一种塔式起重机吊装物体识别及碰撞信息测量系统及方法

技术领域

本发明属于工程机械综合监控技术，具体涉及一种塔式起重机吊装物体识别及碰撞信息测量系统及方法。

背景技术

塔式起重机是施工领域重要的运输设备。塔机在运送货物时可能由于以下情况发生碰撞：(1)塔机的吊装物体、起重臂、吊钩、起吊钢丝绳等部件与施工现场以及周边的建筑及障碍物发生碰撞；(2)塔机和塔机之间发生碰撞。对于第一种情况，由于塔身的位置是固定的，通过检测塔机小车的变幅位置和大臂的回转位置就可以判断塔机和塔机之间的碰撞信息。对于第一种情况，则很难实现自适应的防碰撞。原因在于很难实时检测吊装物体、吊钩等部件到周边建筑及障碍物的距离。

针对以上问题，有研究人员开发了基于GNSS(包括GPS、北斗等)的吊钩定位方法，但是没有解决吊装物体识别和定位的问题，也没有解决防碰撞的问题。

同时，有研究人员开发了利用双目摄像头或者激光雷达对塔机工作环境进行建模的方法，但应用到实际工程中依然存在很多问题。在建筑施工现场，塔机的工作场景具有范围大、高度高、作业区域分散、吊装物体种类繁多、吊装任务随机、户外作业等特点。当把检测设备固定安装时，当检测设备距离目标物体或者周边障碍物比较远时，很难保证较高的检测分辨率，因此利用检测数据也就无法识别出常规的物体。当检测设备安装在吊钩上时，由于吊装物体在检测设备下方，吊装物体垂直方向的信息以及吊装物体下方的信息就很难获取。

发明内容

本发明主要目的是：提供一种塔式起重机吊装物体识别及碰撞信息测量系统及方法，能够更好的识别吊装物体，为塔机实现自适应防碰撞打下基础。

本发明所采用的技术方案是：一种塔式起重机吊装物体识别及碰撞信息测量系统，本测量系统包括：

跟踪用激光雷达，位于塔机大臂根部，用于斜向下对塔机吊钩的吊装物体进行跟踪采集点云信息，采用非重复扫描方式，扫描密度为中间密边缘稀疏；

云台，用于承载所述跟踪用激光雷达，附着在大臂根部安装；

图像采集单元，与所述跟踪用激光雷达固定连接，用于采集所述吊装物体的图像；

建模用激光雷达，通过可调整角度的底座安装在塔机大臂的变幅小车或大臂根部，用于采集塔机工作环境下的点云信息，工作方式包括线扫和旋转建模；当采用线扫方式时，底座不旋转；当采用旋转建模方式时，底座自动往复旋转，利用旋转增加扫描的分辨率；

GNSS模块，所述跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩上各设置一台，用于获取跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩的绝对位置信息；

主控单元，与所述跟踪用激光雷达、云台、图像采集单元、建模用激光雷达连接，用于完成以下步骤：

S1、建立模型：

在塔机正式工作前，控制塔机按照一定的方式运动，并控制所述跟踪用激光雷达和建模用激光雷达采集环境信息点云，结合跟踪用激光雷达和建模用激光雷达的点云信息、以及GNSS模块提供的绝对位置信息，进行数据融合，对塔机工作环境进行初步建模，建立工作环境模型；

在塔机正式工作且处于运动状态时，控制跟踪用激光雷达在其扫描范围内检测吊钩、吊装物体以提高该区域的点云密度，同时对吊装物体的背景环境进行扫描，将点云数据更新到所述的工作环境模型中，同时，根据吊钩的起升高度和变幅小车的位置，调整云台的角度，使跟踪用激光雷达及图像采集单元对准吊钩及吊装物体；建模用激光雷达采用线扫方式进行采集点云信息，其镜头不旋转；

塔机处于停止工作状态时，跟踪用激光雷达的工作方式与塔机正式工作且处于运动状态时相同，建模用激光雷达在底座在一定角度范围内旋转下，采用旋转建模方式采集数据，利用所采集的数据对所述环境模型进行更新；

S2、吊装物体识别及数据校验：

跟踪用激光雷达扫描得到吊装物体的点云，附着在跟踪用激光雷达上的图像采集单元采集到的吊装物体图像中，两部分数据在主控单元融合得到吊装物体精度更高的轮廓位置模型，并将吊装物体的轮廓位置模型放置于所述环境模型中；吊装物体的轮廓位置模型和环境模型的位置均位于GNSS模块采集的数据所建立的绝对坐标系内；采集到的吊装物体点云位置，与图像采集单元采集到的图像，及吊钩上的GNSS模块采集到的绝对位置信息，互相校验；

S3、距离识别：

根据S2的校验结果，计算吊装物体的轮廓位置模型与周边障碍的距离，得到防碰撞所需的距离信息。

按上述系统，所述的图像采集单元包括相机。

按上述系统，所述的底座与建模用激光雷达的连接，使得建模用激光雷达的旋转角度设置如下：底座不旋转时，建模用激光雷达在垂直方向的视场角范围为180度以上；底座旋转时，建模用激光雷达在垂直方向的视场角范围不变。

按上述系统，所述的主控单元还连接有数据传输单元，用于将数据传出。

按上述系统，在塔机大臂的最前端再安装一组激光雷达和云台，与大臂根部相对，向内向下扫描。

一种利用所述的塔式起重机吊装物体识别及碰撞信息测量系统实现的测量方法，本测量方法包括以下步骤：

S1、建立模型：

在塔机正式工作前，控制塔机按照一定的方式运动，并控制所述跟踪用激光雷达和建模用激光雷达采集环境信息点云，结合跟踪用激光雷达和建模用激光雷达的点云信息、以及GNSS模块提供的绝对位置信息，进行数据融合，对塔机工作环境进行初步建模，建立工作环境模型；

在塔机正式工作且处于运动状态时，控制跟踪用激光雷达在其扫描范围内检测吊钩、吊装物体以提高该区域的点云密度，同时对吊装物体的背景环境进行扫描，将点云数据更新到所述的工作环境模型中，同时，根据吊钩的起升高度和变幅小车的位置，调整云台的角度，使跟踪用激光雷达及图像采集单元对准吊钩及吊装物体；建模用激光雷达采用线扫方式进行采集点云信息，其镜头不旋转；

塔机处于停止工作状态时，跟踪用激光雷达的工作方式与塔机正式工作且处于运动状态时相同，建模用激光雷达在底座在一定角度范围内旋转下，采用旋转建模方式采集数据，利用所采集的数据对所述环境模型进行更新；

S2、吊装物体识别及数据校验：

跟踪用激光雷达扫描得到吊装物体的点云，附着在跟踪用激光雷达上的图像采集单元采集到的吊装物体图像中，两部分数据在主控单元融合得到吊装物体精度更高的轮廓位置模型，并将吊装物体的轮廓位置模型放置于所述环境模型中；吊装物体的轮廓位置模型和环境模型的位置均位于GNSS模块采集的数据所建立的绝对坐标系内；采集到的吊装物体点云位置，与图像采集单元采集到的图像，及吊钩上的GNSS模块采集到的绝对位置信息，互相校验；

S3、距离识别：

根据S2的校验结果，计算吊装物体的轮廓位置模型与周边障碍的距离，得到防碰撞所需的距离信息。

按上述方法，本测量方法还包括S4、当跟踪用激光雷达采集到的数据的分辨率不能满足识别要求时，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，同时利用图像采集单元识别吊装物体的姿态；

当跟踪用激光雷达和图像采集单元采集的数据都不能满足要求，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，姿态数据无法更新。

按上述方法，在塔机正式工作前，控制塔机按照一定的方式运动，具体为：大臂小车置于大臂中部，大臂以预设的较慢速度整体旋转至少一周。

按上述方法，所述的在塔机正式工作且处于运动状态，具体为：大臂旋转、小车位移、吊钩升降任意一项发生的状态。

按上述方法，所述的塔机处于停止工作状态，具体为：大臂、小车、吊钩均处于静止状态。

本发明产生的有益效果是：采用两种不同类型的激光雷达，利用建模用激光雷达得到周边环境的三维模型；利用跟踪用激光雷达提高吊装物体附近区域的检测分辨率，从而提高激光点云对吊装物体的识别精度；利用图像采集单元识别吊装物体的姿态，辅助GNSS模块实现吊装物体轮廓以及绝对位置的检测；通过以上数据的融合，有效获取吊装物体到周边环境的距离。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例的结构示意图。

图2为跟踪用激光雷达的姿态示意图。

图3为点云处理及点云与视觉融合流程图。

图4为吊装物体数据处理总体流程图。

图中：1-跟踪用激光雷达，2-建模用激光雷达，3-图像采集单元，4-云台，5.1-第一GNSS模块，5.2-第二GNSS模块，5.3-第三GNSS模块，6-主控单元，7-吊钩，8-吊装物体，9-障碍物,10-大臂。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明提供一种塔式起重机吊装物体识别及碰撞信息测量系统，本测量系统包括：跟踪用激光雷达1，位于塔机大臂10根部，用于斜向下对塔机吊钩7的吊装物体8进行跟踪采集点云信息，采用非重复扫描方式，扫描密度为中间密边缘稀疏；云台4，用于承载所述跟踪用激光雷达1，附着在大臂10根部安装；图像采集单元3，与所述跟踪用激光雷达1固定连接，用于采集所述吊装物体8的图像；建模用激光雷达2，通过可调整角度的底座安装在塔机大臂10的变幅小车或大臂10根部，用于采集塔机工作环境下的点云信息，工作方式包括线扫和旋转建模；当采用线扫方式时，底座不旋转；当采用旋转建模方式时，底座自动往复旋转，利用旋转增加扫描的分辨率；GNSS模块，所述跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩上各设置一台，即第一GNSS模块5.1、第二GNSS模块5.2和第三GNSS模块5.3，用于获取跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩的绝对位置信息；主控单元6，与所述跟踪用激光雷达1、云台4、图像采集单元3、建模用激光雷达2连接。

本实施例中，所述的图像采集单元3包括相机。所述的底座与建模用激光雷达2的连接，使得建模用激光雷达2的旋转角度设置如下：底座不旋转时，建模用激光雷达2在垂直方向的视场角范围为180度以上，在水平方向的视场角范围为40度±10度；底座旋转时，建模用激光雷达2在垂直方向的视场角范围不变，在水平方向的视场角范围可以达到360度。

所述的主控单元6还可以连接有数据传输单元，用于将数据传出，例如通过网络与移动终端APP或远程监控平台连接等。本实施例中，主控单元6包括主控计算机。

进一步，为减少跟踪激光雷达1和相机的扫描盲区，可在塔机大臂10的最前端再安装一组激光雷达和云台，与大臂10根部相对，向内向下扫描。

所述的主控单元6用于调用计算机程序，从而完成以下测量方法的步骤：

S1、建立模型：

在塔机正式工作前，控制塔机按照一定的方式运动，并控制所述跟踪用激光雷达1和建模用激光雷达2采集环境信息点云，结合跟踪用激光雷达1和建模用激光雷达2的点云信息、以及GNSS模块提供的绝对位置信息，进行数据融合，对塔机工作环境进行初步建模，建立工作环境模型。所述控制塔机按照一定的方式运动，具体为，大臂小车置于大臂10中部，大臂10以预设的较慢速度整体旋转至少一周。如图2所示，跟踪用激光雷达1在该步骤期间云台4不发生姿态调整，对于其在塔身——大臂平面内的扫描范围α，其中一扫描边界处于竖直方向。这样能够尽可能地覆盖塔机吊装物体8的工作范围。

在塔机正式工作且处于运动状态(大臂旋转、小车位移、吊钩升降任意一项发生)时，控制跟踪用激光雷达1在其扫描范围内检测吊钩7、吊装物体8以提高该区域的点云密度，同时对吊装物体8的背景环境进行扫描，将点云数据更新到所述的工作环境模型中，同时，根据吊钩7的起升高度和变幅小车的位置，调整云台4的角度，使跟踪用激光雷达1及图像采集单元3对准吊钩7及吊装物体8。建模用激光雷达2采用线扫方式进行采集点云信息，其镜头不旋转。

塔机处于停止工作状态(大臂旋转、小车位移、吊钩升降处于静止状态)时，跟踪用激光雷达的工作方式与塔机正式工作且处于运动状态时相同，建模用激光雷达在底座在一定角度范围内旋转下，采用旋转建模方式采集数据，利用所采集的数据对所述环境模型进行更新。底座在-30度到+30度的范围内往复旋转，0度对应正常工作位置，即大臂水平中心位置。

S2、吊装物体识别及数据校验：

跟踪用激光雷达扫描得到吊装物体的点云，附着在跟踪用激光雷达上的图像采集单元采集到的吊装物体图像中，两部分数据在主控单元融合得到吊装物体精度更高的轮廓位置模型，并将吊装物体的轮廓位置模型放置于所述环境模型中；吊装物体的轮廓位置模型和环境模型的位置均位于GNSS模块采集的数据所建立的绝对坐标系内；采集到的吊装物体点云位置，与图像采集单元采集到的图像，及吊钩上的GNSS模块采集到的绝对位置信息，互相校验，以保证吊物检测的稳定性。

S3、距离识别：

根据S2的校验结果，计算吊装物体的轮廓位置模型与周边障碍物9的距离，得到防碰撞所需的距离信息。此处以障碍物9为吊物正下方平面为例进行说明：根据吊装物体8轮廓位置模型以及环境模型中障碍物9的坐标信息，可以找到吊装物体8模型的最低点，也是模型距障碍最近点，然后计算吊装物体8模型最低点到障碍物9的最小距离H。

优选的，本测量方法还包括S4、如图4所示，当跟踪用激光雷达采集到的数据的分辨率不能满足识别要求时，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，同时利用图像采集单元识别吊装物体的姿态；当跟踪用激光雷达和图像采集单元采集的数据都不能满足要求，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，姿态数据无法更新。

如图3所示，所述的数据融合具体包括以下步骤：

跟踪用激光雷达和建模用激光雷达采集的点云，利用GNSS模块采集的绝对位置转换及自身的惯导装置转换为绝对坐标系下的点云数据，融合于同一坐标系内；

点云数据下采样，减少数据量，提高处理效率；

对图像采集单元采集的图像数据，采用语义分割方法，识别图像中的物体整体，分割为不同区域；根据语义分割的结果，将点云的背景与吊装物体分割；

点云聚类；

利用分割后不同区域的信息，为点云中每个点赋予颜色，然后对聚类后的点云整体上色；

点云重建，生成物体网格和上色后的物体模型；

为吊装物体、吊钩、一定区域内的障碍物加框、标记。

综上，本发明在考虑实施成本的前提下，通过结合跟踪激光雷达1、图像采集单元3、建模激光雷达2的数据，不仅构建了塔机周边工作环境的三维模型并实时更新点云数据，而且实现了吊装物体的识别及定位。同时，当跟踪激光雷达1的检测分辨率达不到要求时，能够通过计算的方式实现吊装物体8的位置跟踪。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种塔式起重机吊装物体识别及碰撞信息测量系统，其特征在于，本测量系统包括：

跟踪用激光雷达，位于塔机大臂根部，用于斜向下对塔机吊钩的吊装物体进行跟踪采集点云信息，采用非重复扫描方式，扫描密度为中间密边缘稀疏；

云台，用于承载所述跟踪用激光雷达，附着在大臂根部安装；

图像采集单元，与所述跟踪用激光雷达固定连接，用于采集所述吊装物体的图像；

建模用激光雷达，通过可调整角度的底座安装在塔机大臂的变幅小车或大臂根部，用于采集塔机工作环境下的点云信息，工作方式包括线扫和旋转建模；当采用线扫方式时，底座不旋转；当采用旋转建模方式时，底座自动往复旋转，利用旋转增加扫描的分辨率；

GNSS模块，所述跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩上各设置一台，用于获取跟踪用激光雷达、建模用激光雷达及塔式起重机吊钩的绝对位置信息；

主控单元，与所述跟踪用激光雷达、云台、图像采集单元、建模用激光雷达连接，用于完成以下步骤：

S1、建立模型：

在塔机正式工作前，控制塔机按照一定的方式运动，并控制所述跟踪用激光雷达和建模用激光雷达采集环境信息点云，结合跟踪用激光雷达和建模用激光雷达的点云信息、以及GNSS模块提供的绝对位置信息，进行数据融合，对塔机工作环境进行初步建模，建立工作环境模型；

在塔机正式工作且处于运动状态时，控制跟踪用激光雷达在其扫描范围内检测吊钩、吊装物体以提高该区域的点云密度，同时对吊装物体的背景环境进行扫描，将点云数据更新到所述的工作环境模型中，同时，根据吊钩的起升高度和变幅小车的位置，调整云台的角度，使跟踪用激光雷达及图像采集单元对准吊钩及吊装物体；建模用激光雷达采用线扫方式进行采集点云信息，其镜头不旋转；

塔机处于停止工作状态时，跟踪用激光雷达的工作方式与塔机正式工作且处于运动状态时相同，建模用激光雷达在底座在一定角度范围内旋转下，采用旋转建模方式采集数据，利用所采集的数据对所述环境模型进行更新；

S2、吊装物体识别及数据校验：

跟踪用激光雷达扫描得到吊装物体的点云，附着在跟踪用激光雷达上的图像采集单元采集到的吊装物体图像中，两部分数据在主控单元融合得到吊装物体精度更高的轮廓位置模型，并将吊装物体的轮廓位置模型放置于所述环境模型中；吊装物体的轮廓位置模型和环境模型的位置均位于GNSS模块采集的数据所建立的绝对坐标系内；采集到的吊装物体点云位置，与图像采集单元采集到的图像，及吊钩上的GNSS模块采集到的绝对位置信息，互相校验；

S3、距离识别：

根据S2的校验结果，计算吊装物体的轮廓位置模型与周边障碍的距离，得到防碰撞所需的距离信息。

2.根据权利要求1所述的塔式起重机吊装物体识别及碰撞信息测量系统，其特征在于，所述的图像采集单元包括相机。

3.根据权利要求1所述的塔式起重机吊装物体识别及碰撞信息测量系统，其特征在于，所述的底座与建模用激光雷达的连接，使得建模用激光雷达的旋转角度设置如下：底座不旋转时，建模用激光雷达在垂直方向的视场角范围为180度以上；底座旋转时，建模用激光雷达在垂直方向的视场角范围不变。

4.根据权利要求1所述的塔式起重机吊装物体识别及碰撞信息测量系统，其特征在于，所述的主控单元还连接有数据传输单元，用于将数据传出。

5.根据权利要求1所述的塔式起重机吊装物体识别及碰撞信息测量系统，其特征在于，在塔机大臂的最前端再安装一组激光雷达和云台，与大臂根部相对，向内向下扫描。

6.一种利用权利要求1至5中任意一项所述的塔式起重机吊装物体识别及碰撞信息测量系统实现的测量方法，其特征在于，本测量方法包括以下步骤：

S1、建立模型：

在塔机正式工作前，控制塔机按照一定的方式运动，并控制所述跟踪用激光雷达和建模用激光雷达采集环境信息点云，结合跟踪用激光雷达和建模用激光雷达的点云信息、以及GNSS模块提供的绝对位置信息，进行数据融合，对塔机工作环境进行初步建模，建立工作环境模型；

在塔机正式工作且处于运动状态时，控制跟踪用激光雷达在其扫描范围内检测吊钩、吊装物体以提高该区域的点云密度，同时对吊装物体的背景环境进行扫描，将点云数据更新到所述的工作环境模型中，同时，根据吊钩的起升高度和变幅小车的位置，调整云台的角度，使跟踪用激光雷达及图像采集单元对准吊钩及吊装物体；建模用激光雷达采用线扫方式进行采集点云信息，其镜头不旋转；

塔机处于停止工作状态时，跟踪用激光雷达的工作方式与塔机正式工作且处于运动状态时相同，建模用激光雷达在底座在一定角度范围内旋转下，采用旋转建模方式采集数据，利用所采集的数据对所述环境模型进行更新；

S2、吊装物体识别及数据校验：

跟踪用激光雷达扫描得到吊装物体的点云，附着在跟踪用激光雷达上的图像采集单元采集到的吊装物体图像中，两部分数据在主控单元融合得到吊装物体精度更高的轮廓位置模型，并将吊装物体的轮廓位置模型放置于所述环境模型中；吊装物体的轮廓位置模型和环境模型的位置均位于GNSS模块采集的数据所建立的绝对坐标系内；采集到的吊装物体点云位置，与图像采集单元采集到的图像，及吊钩上的GNSS模块采集到的绝对位置信息，互相校验；

S3、距离识别：

根据S2的校验结果，计算吊装物体的轮廓位置模型与周边障碍的距离，得到防碰撞所需的距离信息。

7.根据权利要求6所述的测量方法，其特征在于，本测量方法还包括S4、当跟踪用激光雷达采集到的数据的分辨率不能满足识别要求时，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，同时利用图像采集单元识别吊装物体的姿态；

当跟踪用激光雷达和图像采集单元采集的数据都不能满足要求，则根据先前识别出的信息结合GNSS模块的数据计算吊装物体的位置，姿态数据无法更新。

8.根据权利要求6所述的测量方法，其特征在于，在塔机正式工作前，控制塔机按照一定的方式运动，具体为：大臂小车置于大臂中部，大臂以预设的较慢速度整体旋转至少一周。

9.根据权利要求6所述的测量方法，其特征在于，所述的在塔机正式工作且处于运动状态，具体为：大臂旋转、小车位移、吊钩升降任意一项发生的状态。

10.根据权利要求6所述的测量方法，其特征在于，所述的塔机处于停止工作状态，具体为：大臂、小车、吊钩均处于静止状态。

Images