CN116395567B - 一种基于相机和激光雷达的塔吊控制方法及系统 - Google Patents

Abstract

本发明提供一种基于相机和激光雷达的塔吊控制方法及系统，通过在塔吊大臂根部、尖部及小车下方布置相应的激光雷达和相机，先对吊钩进行精准定位，再针对检测区域进行三维空间聚类，定位吊物，确定吊物的点云边界和类型，形成相应的避障缓冲区，制定缓冲策略，控制吊钩按避障路径运动，无需对吊钩进行定制，只需在塔吊大臂及小车布置传感系统，即可完成在检测区域中的吊物及障碍物识别与避障；在识别出障碍物后，分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，动态障碍物不纳入历史整体点云的更新中，实现基础地形的动态更新，减小重复计算量。

Description

一种基于相机和激光雷达的塔吊控制方法及系统

技术领域

本发明属于塔吊自动驾驶技术领域，尤其涉及一种基于相机和激光雷达的塔吊控制方法及系统。

背景技术

在智能塔吊领域，自动驾驶是一个很重要方向，有别于通过操作人员在塔吊上控制塔吊运行的方式，自动驾驶可以通过提前设定的程序，在自动控制下，使塔吊自动对障碍物进行避障，并进行动态路径规划。

智能塔吊的动态路径规划主要有两个输入要素，一是静态地图，主要依赖SLAM方法建立，相对较成熟；二是吊物周边的障碍物信息，目前感知手段主要依赖在吊钩上面加装重量、深度等传感器，稳定性和刚干扰能力差，操作不便。目前的现有技术主要包括以下几个缺点：

1、用来感知吊物及其周边物体的传感器大部分安装于吊钩，需要对吊钩进行深度定制和改装，成本高，无法进行大规模推广；

2、吊物的边界无法进行精确判断，目前安装于吊钩的用于吊物感知的传感器主要包括重量传感器、深度传感器等，无法对吊物进行精确的边界判断，因此也就很难进行良好的动态规划。甚至很多时候需要依赖人工数据的输入才能完成自动路径规划逻辑的闭环。

3、目前对于吊物周围障碍物的类型判断，只能辨别出人、车等典型快变目标，缺乏对其他类型目标的理解，因此无法对基础地形进行快速更新，只能把所有变化都当做是动态障碍物，极大的增加了重复计算量。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供一种基于相机和激光雷达的塔吊控制方法及系统，主要用于解决现有技术中在控制塔吊进行自动驾驶时产生的定制成本高、识别精度低、计算量大等问题。

为了实现上述目的，第一方面，本发明提供一种基于相机和激光雷达的塔吊控制方法，包括以下步骤：

S10、对传感系统进行几何标定，融合点云数据与图像数据形成整体点云，所述传感系统包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机；

S20、根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；

S30、识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；

S40、在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

S50、将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。

在一些实施例中，在步骤S10中，在对传感系统进行几何标定时，包括：

先在塔吊的底面布置若干个标定点，所述标定点包括交替布置的黑格和白格，所述白格均高于或低于所述黑格一定高度；

控制传感系统扫描所述标定点，利用激光雷达对黑色和白色的反射率差异与相机的光照差异，提取点云数据中深度图的点云边缘，在图像数据上利用Canny算子提取二维边缘；

比较点云边缘与二维边缘的距离，得到使该距离最小的相对位姿，以此作为激光雷达和相机间的姿态转换结果，完成传感系统的几何标定和时间同步。

在一些实施例中，在步骤S10中，在融合点云数据与图像数据形成整体点云时，包括：

一级配准：根据第一激光雷达模块和第二激光雷达模块的安装位置与角度，将其各自形成的点云数据直接根据标定信息组成粗点云，再根据小车的移动位置及其形成的小车点云，得到小车点云在粗点云中的粗略位置关系旋转R和平移量T；

二级配准：以粗点云为基准P，小车点云为Q，针对P中的点在Q中找到距离最小的点作为对应点，根据对应点建立P与Q的精准位置关系旋转R`和平移量T`，并利用R`和T`对Q进行变换，得到更新后的小车点云Q`，计算Q`与P中对应点的平均距离，若平均距离小于设定阈值，则停止更新，得到整体点云，反之继续更新。

在一些实施例中，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；

所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；

所述第三激光雷达模块和相机均垂直于地面扫描或拍摄。

在一些实施例中，在步骤S20中，包括：

根据塔吊运行参数识别出吊钩的位置信息，调整所述第一激光雷达模块和第二激光雷达模块的扫描中心点对准吊钩进行扫描；

根据预设的吊钩点云模型，在整体点云中，以吊钩的位置中心点作为参照点，向外拓展出一兴趣区，在兴趣区中进行三维模板匹配搜索，确定吊钩精准位置；

在吊钩下方区域选定一检测区域，针对所述检测区域进行基于欧式距离的三维空间聚类，通过互补视角的三组激光雷达模块，识别出体积最大的联通体，提取出吊物的点云和边界。

在一些实施例中，在步骤S30中，包括：

根据所提取出吊物的点云和边界，进行PCA分析，结合三个方向的主成分特征值分布，识别出吊物的风险因子，根据风险因子确定吊物类型；

若任一方向的特征值与其余两个特征值的差值均大于第一参考距离，则确定具有更大特征值的所述方向为风险因子，并判断吊物为长条状吊物；

若任二方向的特征值与剩下一个特征值的差值均大于第二参考距离，则确定由具有更大特征值的两个所述方向构成的平面为风险因子，并判断吊物为平面状吊物；

若三个方向的特征值之间的差值均小于第三参考距离，则确定由三个所述方向构成的立体为风险因子，并判断吊物为块状吊物。

在一些实施例中，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：

对于长条状吊物，所形成的避障缓冲区在长条状吊物周向设置的缓冲距离大于其在长条状吊物两端设置的缓冲距离；

对于平面状吊物，所形成的避障缓冲区在平面状吊物法向设置的缓冲距离大于其在平面状吊物其他方向设置的缓冲距离；

对于块状吊物，所形成的避障缓冲区在块状吊物各个方向设置的缓冲距离相同。

在一些实施例中，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：

在设置缓冲距离时，结合塔吊的运行参数，塔吊的旋转速度越大，同向的横向缓冲距离越大；小车的径向移动速度越大，同向的径向缓冲距离越大；塔吊的垂直放下速度越大，同向的垂向缓冲距离越大；

所述缓冲距离被配置为当有障碍物沿着该缓冲距离的方向侵入到避障缓冲区时，所述吊物在塔吊的停止响应动作下不碰及障碍物。

在一些实施例中，在步骤S40中，在制定避障策略时：

设定第一优先级策略、第二优先级策略和第三优先级策略，所述第一优先级策略的优先级最高，所述第三优先级策略的优先级最低；

所述第一优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩向上提升，直至所述避障缓冲区内无障碍物；

所述第二优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩水平旋转，直至所述避障缓冲区内无障碍物；

所述第三优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩沿着大臂的径向移动，直至所述避障缓冲区内无障碍物。

第二方面，本发明提供一种应用于上述基于相机和激光雷达的塔吊控制方法的系统，包括：

传感系统，包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第三激光雷达模块和相机均垂直于地面扫描或拍摄；

点云融合模块，用于对传感系统进行几何标定，并融合点云数据与图像数据形成整体点云；

吊物提取模块，用于根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；

避障缓冲区形成模块，用于识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；

避障模块，用于在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

地图更新模块，用于将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。

相比现有技术，本发明的有益效果至少包括：

通过在塔吊大臂根部、尖部及小车下方布置相应的激光雷达和相机，构成传感系统，先对吊钩进行精准定位，再针对检测区域进行三维空间聚类，定位吊物，确定吊物的点云边界和类型，形成相应的避障缓冲区，制定缓冲策略，控制吊钩按避障路径运动，无需对吊钩进行特别定制，只需在塔吊大臂及小车布置传感系统，即可完成在检测区域中的吊物及障碍物识别与避障；

利用吊物的风险因子确定吊物类型，根据吊物类型的特性制定相应的避障缓冲区，避障缓冲区根据塔吊的运行参数进行动态变化，以适应不同的吊物类型和运行状态，优化响应时间，减少避障事故；

在识别出障碍物后，分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，而动态障碍物不纳入历史整体点云的更新中，从而实现基础地形的动态更新，减小重复计算量。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是一种实施例下一种基于相机和激光雷达的塔吊控制方法的流程示意图。

图2是一种实施例中传感系统与吊物部署位置关系的示意图。

图3是一种实施例下一种基于相机和激光雷达的塔吊控制系统的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

参照图1至2，第一方面，本发明提供一种基于相机和激光雷达的塔吊控制方法，包括以下步骤：

S10、对传感系统进行几何标定，融合点云数据与图像数据形成整体点云，传感系统包括位于大臂10根部的第一激光雷达模块11、位于大臂10尖部的第二激光雷达模块12、位于小车20下方的第三激光雷达模块13和相机14；

其中，第一激光雷达模块11的扫描角度可调，且被配置成面向吊钩扫描，第一激光雷达模块11包括两个100线以上的面阵激光雷达，两个面阵激光雷达都从大臂10的根部照向吊钩；

第二激光雷达模块12的扫描角度可调，且被配置成面向吊钩扫描，第二激光雷达模块12包括一个100线以上的面阵激光雷达，这一个面阵激光雷达从大臂10的尖部照向吊钩；

第三激光雷达模块13和相机14均垂直于地面扫描或拍摄，第三激光雷达模块13包括两个100线以上的面阵激光雷达，相机14包括一个，两个面阵激光雷达及一个相机14都从小车20下方垂直向下照向吊钩，面阵激光雷达负责扫描，相机14负责拍摄。

构造出以上的传感系统后，从三个互补的视角进行扫描和拍摄，而且都无需改造吊钩，在进行几何标定后，将三个视角下的分别所采集的点云数据与图像数据进行融合，形成一个整体点云；

S20、根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物21的点云和边界；

在塔吊吊运过程中，会利用塔吊的运行参数识别出吊钩的位置信息，如小车20的径向移动距离、吊钩的升降高度等，从这些运行参数中可以粗略算出吊钩的位置信息，并对各个面阵激光雷达进行角度调整，使面阵激光雷达的中心点对准吊钩进行扫描，由于吊钩的点云模型有提前预设，因此在整体点云中可以定位出吊钩的位置，并选取吊钩的特定参照点进行检测区域的选定，这一检测区域内包括了吊物21的空间特性，在检测区域中可精准定位出吊物21的点云和边界；

S30、识别出吊物21的风险因子，根据风险因子确定吊物21类型，根据吊物21类型与塔吊的运行参数形成避障缓冲区；

在确定了吊物21的点云边界后，综合吊物21类型与塔吊的运行参数形成对应的避障缓冲区，避障缓冲区针对不同的情况具有不一样的特性，包括整体形状、距离吊物21本体的距离等；

S40、在避障缓冲区内基于点云数据与图像数据进行搜索，识别障碍物，若判断到有障碍物侵入到避障缓冲区内，则根据障碍物与吊物21之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

在制定避障策略时，会参考吊钩的运动参数，例如吊钩当前速度是多少，当前高度是多少，吊钩的降速速率是多少，提升速率是多少，根据吊钩的运动能力进行规避；

S50、在识别到障碍物后，将障碍物分类成动态障碍物与静态障碍物，由于静态障碍物相当于是塔吊应用场景下的基础地形，这部分基本不会发生变化，可以视作一个静态地形，而且随着塔吊的运行，传感系统所采集到的点云数据和图像数据也时刻在变化，为了减小计算量，将利用静态障碍物的点云数据与历史整体点云进行迭代更新，更具体地，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，而动态障碍物不纳入历史整体点云的更新中，得到新的静态地图点云，实现基础地形的动态更新，避免重复计算静态数据。

在本实施例中，在步骤S10中，在对传感系统进行几何标定时，包括：

先在塔吊的底面布置若干个标定点22，标定点22位于地面上，按照一定规则进行分布，标定点22由刷有黑色和白色的金属薄板制成，每一处标定点22的尺寸为1m×1m，其上分布着10cm×10cm的格子，黑格和白格交替布置，而且白格均高于黑格1m，当然也可以是低于，也可以是其他的高度，在此不作限定；

控制传感系统扫描标定点22，当激光雷达与相机照射在高低不平且交替布置的黑白格上，利用激光雷达对黑色和白色的反射率差异与相机的光照差异，提取点云数据中深度图的点云边缘，也即得到其中的深度跳变信息，再在图像数据上利用Canny算子提取二维边缘；

比较点云边缘与二维边缘的距离，根据边缘距离，搜索得到使该距离最小的相对位姿，以此作为激光雷达和相机间的姿态转换结果，完成传感系统的几何标定和时间同步。

由于在塔吊的应用环境下，吊钩会进行横向的旋转和垂向的升降，也就是说除了平面上的标定校准，还需要进行深度上的标定校准，为了使得当发生垂直方向的位移时，所形成的点云数据也能相适应，所以上述标定点采用了立体构造，以实现三个互补视角下的传感系统能快速在横向和垂向上进行标定校准。

更进一步地，在步骤S10中，在融合点云数据与图像数据形成整体点云时，包括：

将融合过程分成两级配准：

一级配准：根据第一激光雷达模块和第二激光雷达模块的安装位置与角度，将其各自形成的点云数据直接根据标定信息组成粗点云，再根据小车的移动位置及其形成的小车点云，相结合后得到小车点云在粗点云中的粗略位置关系旋转R和平移量T；这一级配准中，主要是基于平面和直线信息进行粗配准，根据激光雷达的安装位置与角度和塔吊运行参数(主要是小车位置)得到小车点云与大臂根部/尖部点的粗略位置关系旋转R和平移量T；

二级配准：以粗点云为基准P，小车点云为Q，针对P中的点在Q中找到距离最小的点作为对应点，根据对应点建立P与Q的精准位置关系旋转R`和平移量T`，并利用R`和T`对Q进行变换，得到更新后的小车点云Q`，计算Q`与P中对应点的平均距离，若平均距离小于设定阈值，则停止更新，得到整体点云，反之继续更新。这一级配准中，是在粗配准初值基础上进行迭代最近点配准，通过以上方式的迭代最近点配准，可以得到Q`与P中对应点平均距离满足一定条件的整体点云。

在步骤S20中，包括：

根据塔吊运行参数识别出吊钩的位置信息，因为当小车移动到大臂上的不同位置，吊钩所处的位置也会发生变化，而且吊钩的不同升降高度，其周边环境也会发生变化，为了更好地对吊钩周围环境进行点云地图构建，先从塔吊运行参数中粗略估计出吊钩的位置信息，调整第一激光雷达模块和第二激光雷达模块的扫描中心点对准吊钩进行扫描；

根据预设的吊钩点云模型，在整体点云中，以吊钩的位置中心点作为参照点，向外拓展出一兴趣区，在兴趣区中进行三维模板匹配搜索，确定吊钩精准位置；其中，兴趣区可以是以吊钩的位置中心点为参照点，以2m作为半径向外拓展出的一个球体，或者以2m为边长向外拓展出的一个正方体，将这个拓展出来的空间作为兴趣区，进行迭代最近点搜索，对吊钩进行精确定位；

在得到吊钩的精准位置后，在吊钩下方区域选定一检测区域，优选地，此检测区域可以是以5m作为半径的球体，或者以5m为边长的正方体；针对检测区域进行基于欧式距离的三维空间聚类，通过互补视角的三组激光雷达模块，识别出体积最大的联通体，此联通体相当于是吊物，即提取出吊物的点云和边界。

更具体地，根据所提取出吊物的点云和边界，进行PCA分析，结合三个方向的主成分特征值分布，识别出吊物的风险因子，根据风险因子确定吊物类型；其中，特征值主要分布在X、Y、Z方向，根据这三个方向上的特征值分布，来确定吊物类型：

若任一方向的特征值与其余两个特征值的差值均大于第一参考距离，则确定具有更大特征值的方向为风险因子，并判断吊物为长条状吊物；例如：在X方向的特征值均比Y、Z方向的特征值多出A数值，证明在X方向的距离显著地长于其他方向，则判定为长条状吊物，其中吊物的风险因子为X方向，呈直线特性；

若任二方向的特征值与剩下一个特征值的差值均大于第二参考距离，则确定由具有更大特征值的两个方向构成的平面为风险因子，并判断吊物为平面状吊物；例如：在X、Y方向的特征值均比Z方向的特征值多出B数值，证明在X、Y方向的距离显著地长于Z方向，则判定为平面状吊物，其中吊物的风险因子为X与Y方向构成的XY平面，呈平面特性；

若三个方向的特征值之间的差值均小于第三参考距离，则确定由三个方向构成的立体为风险因子，并判断吊物为块状吊物；例如：在X、Y、Z方向特征值彼此之间的差值均小于C数值，证明在X、Y、Z方向的距离较为均匀，则判定为块状吊物，其中吊物的风险因子为X、Y、Z方向构成的立体，呈立体特性。

在这一步中，可以通过对特征值分布的分析，估计判断出吊物的形状，并了解其风险因子，得知在哪个方向上的障碍物会对吊物产生风险，有利于指导如何设置避障缓冲区。

更进一步地，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：

对于长条状吊物，所形成的避障缓冲区在长条状吊物周向设置的缓冲距离大于其在长条状吊物两端设置的缓冲距离，其中，由于长条状可能存在垂直吊起或者横向吊起两种可能，不管哪种方式，其相比于长条状吊物两端与障碍物相撞，长条状吊物的周向会有更大的面积，碰撞会有更大的风险和危害，因此在长条状吊物周向设置的缓冲距离会更大，防止造成大面积的破坏；

对于平面状吊物，所形成的避障缓冲区在平面状吊物法向设置的缓冲距离大于其在平面状吊物其他方向设置的缓冲距离，同理，为了避免大面积的碰撞，需要在平面的法向方向上预留更大的缓冲距离；

对于块状吊物，所形成的避障缓冲区在块状吊物各个方向设置的缓冲距离相同。

在根据吊物类型与塔吊的运行参数形成避障缓冲区时，包括：

在设置缓冲距离时，结合塔吊的运行参数，基于塔吊与吊钩的运动能力进行规避，避障缓冲区的大小与速度成正比，其中，塔吊的旋转速度越大，同向的横向缓冲距离越大；小车的径向移动速度越大，同向的径向缓冲距离越大；塔吊的垂直放下速度越大，同向的垂向缓冲距离越大；即吊钩往哪个方向移动，在哪个方向的缓冲距离就越大，避障缓冲区也越大；

但是，避障缓冲区的大小也有限制，过大则会影响运行效率，过小则会存在安全隐患，缓冲距离被配置为当有障碍物沿着该缓冲距离的方向侵入到避障缓冲区时，吊物在塔吊的停止响应动作下不碰及障碍物，塔吊的停止响应动作包括塔吊横向旋转的降速速度，小车径向移动的降速速度，需要保证当检测到有障碍物侵入到避障缓冲区时，能控制吊钩及时停止，此时由于吊物的点云边界已经得知，在避障缓冲区中计算吊物的点云边界与障碍物之间的最小距离，在设置避障缓冲区时，需保证最边缘的吊物边界在一定的运行速度、减速度下可以及时刹车，在极限情况下，能保证在塔吊的运动能力下，吊物可以及时停止，避免碰撞。

所以，除了根据障碍物的形状设定避障缓冲区以外，还需结合塔吊大臂、小车、吊钩的运动参数，在以形状设定的避障缓冲区的基础上，增加动态变化，根据塔吊的运行，随时改变避障缓冲区在某一或多个方向的缓冲距离，使得整体算力更有针对性，更有侧重点。

在步骤S40中，在制定避障策略时：

先设定第一优先级策略、第二优先级策略和第三优先级策略，第一优先级策略的优先级最高，第三优先级策略的优先级最低，在遇到障碍物后，先执行第一优先级策略，如果第一优先级策略无法执行，再执行第二优先级策略，如果第二优先级策略无法执行，再第三优先级策略；

第一优先级策略被配置为当障碍物侵入到避障缓冲区时，控制吊钩向上提升，直至避障缓冲区内无障碍物；

第二优先级策略被配置为当障碍物侵入到避障缓冲区时，控制吊钩水平旋转，直至避障缓冲区内无障碍物；

第三优先级策略被配置为当障碍物侵入到避障缓冲区时，控制吊钩沿着大臂的径向移动，直至避障缓冲区内无障碍物。

综上，先以提升吊钩和吊物作为最高的优先级，因为往往在垂直空间上的距离较大，当障碍物正是从避障缓冲区的上方侵入时，则采取横向移动规避，因为大臂旋转比小车移动的速度响应要快，因此先是使大臂横移，控制吊钩水平旋转，如果在旋转横移方向有障碍物，则控制吊钩沿着大臂的径向移动。也是横移，只是是直线移动，不是旋转，以此来规避障碍物。

以上实施例通过在大臂尖部、根部和小车下方设置对应的激光雷达和相机，先是对吊钩进行精准定位，再针对吊钩下方的检测区域进行三维空间聚类，定位吊物，确定吊物边界和类型，然后生成相应的避障缓冲区，制定避障策略。最后在塔吊下方的整个感知区域内进行障碍物类型识别。识别方法为对每个聚类得到的三维点云物体，查找其在标定好的对应图像中的位置，利用MobileNetV3完成目标识别，根据目标识别结果将障碍物分为动态障碍物与静态障碍物。将当前获得的所有激光雷达点云与历史整体点云进行基于迭代最近点的配准，配准后将对于人、车、自行车等动态障碍物之外的静态障碍物的点云更新到历史整体点云中，动态障碍物不纳入历史整体点云更新，从而实现基础地形的动态更新，减小重复计算量。

参照图3，第二方面，本发明提供一种应用于上述基于相机和激光雷达的塔吊控制方法的系统，包括：

传感系统，包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机，第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；第三激光雷达模块和相机均垂直于地面扫描或拍摄；

点云融合模块，用于对传感系统进行几何标定，并融合点云数据与图像数据形成整体点云；

吊物提取模块，用于根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；

避障缓冲区形成模块，用于识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；

避障模块，用于在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

地图更新模块，用于将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。

以上所有模块用于实现上述实施例中的塔吊控制方法，具体实施方式在此不再一一赘述。

相对于现有技术，本发明提供一种基于相机和激光雷达的塔吊控制方法及系统，通过在塔吊大臂根部、尖部及小车下方布置相应的激光雷达和相机，构成传感系统，先对吊钩进行精准定位，再针对检测区域进行三维空间聚类，定位吊物，确定吊物的点云边界和类型，形成相应的避障缓冲区，制定缓冲策略，控制吊钩按避障路径运动，无需对吊钩进行特别定制，只需在塔吊大臂及小车布置传感系统，即可完成在检测区域中的吊物及障碍物识别与避障；

利用吊物的风险因子确定吊物类型，根据吊物类型的特性制定相应的避障缓冲区，避障缓冲区根据塔吊的运行参数进行动态变化，以适应不同的吊物类型和运行状态，优化响应时间，减少避障事故；

在识别出障碍物后，分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，而动态障碍物不纳入历史整体点云的更新中，从而实现基础地形的动态更新，减小重复计算量。

最后需要强调的是，本发明不限于上述实施方式，以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上描述为发明的主要流程步骤，其中可穿插其它功能步骤，并可打乱上述逻辑顺序和流程步骤，若数据的处理方式按照此流程步骤形式处理或数据处理的核心思想近似、雷同，均应受到保护。

Claims (9)

1.一种基于相机和激光雷达的塔吊控制方法，其特征在于，包括以下步骤：

S10、对传感系统进行几何标定，融合点云数据与图像数据形成整体点云，所述传感系统包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机；

S20、根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；

S30、识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；

S40、在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

S50、将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云；

在步骤S10中，在融合点云数据与图像数据形成整体点云时，包括：

一级配准：根据第一激光雷达模块和第二激光雷达模块的安装位置与角度，将其各自形成的点云数据直接根据标定信息组成粗点云，再根据小车的移动位置及其形成的小车点云，得到小车点云在粗点云中的粗略位置关系旋转R和平移量T；

二级配准：以粗点云为基准P，小车点云为Q，针对P中的点在Q中找到距离最小的点作为对应点，根据对应点建立P与Q的精准位置关系旋转R`和平移量T`，并利用R`和T`对Q进行变换，得到更新后的小车点云Q`，计算Q`与P中对应点的平均距离，若平均距离小于设定阈值，则停止更新，得到整体点云，反之继续更新。

2.如权利要求1所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S10中，在对传感系统进行几何标定时，包括：

先在塔吊的底面布置若干个标定点，所述标定点包括交替布置的黑格和白格，所述白格均高于或低于所述黑格一定高度；

控制传感系统扫描所述标定点，利用激光雷达对黑色和白色的反射率差异与相机的光照差异，提取点云数据中深度图的点云边缘，在图像数据上利用Canny算子提取二维边缘；

比较点云边缘与二维边缘的距离，得到使该距离最小的相对位姿，以此作为激光雷达和相机间的姿态转换结果，完成传感系统的几何标定和时间同步。

3.如权利要求2所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；

所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；

所述第三激光雷达模块和相机均垂直于地面扫描或拍摄。

4.如权利要求3所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S20中，包括：

根据塔吊运行参数识别出吊钩的位置信息，调整所述第一激光雷达模块和第二激光雷达模块的扫描中心点对准吊钩进行扫描；

根据预设的吊钩点云模型，在整体点云中，以吊钩的位置中心点作为参照点，向外拓展出一兴趣区，在兴趣区中进行三维模板匹配搜索，确定吊钩精准位置；

在吊钩下方区域选定一检测区域，针对所述检测区域进行基于欧式距离的三维空间聚类，通过互补视角的三组激光雷达模块，识别出体积最大的联通体，提取出吊物的点云和边界。

5.如权利要求4所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S30中，包括：

根据所提取出吊物的点云和边界，进行PCA分析，结合三个方向的主成分特征值分布，识别出吊物的风险因子，根据风险因子确定吊物类型；

若任一方向的特征值与其余两个特征值的差值均大于第一参考距离，则确定具有更大特征值的所述方向为风险因子，并判断吊物为长条状吊物；

若任二方向的特征值与剩下一个特征值的差值均大于第二参考距离，则确定由具有更大特征值的两个所述方向构成的平面为风险因子，并判断吊物为平面状吊物；

若三个方向的特征值之间的差值均小于第三参考距离，则确定由三个所述方向构成的立体为风险因子，并判断吊物为块状吊物。

6.如权利要求5所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：

对于长条状吊物，所形成的避障缓冲区在长条状吊物周向设置的缓冲距离大于其在长条状吊物两端设置的缓冲距离；

对于平面状吊物，所形成的避障缓冲区在平面状吊物法向设置的缓冲距离大于其在平面状吊物其他方向设置的缓冲距离；

对于块状吊物，所形成的避障缓冲区在块状吊物各个方向设置的缓冲距离相同。

7.如权利要求6所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S30中，根据吊物类型与塔吊的运行参数形成避障缓冲区，包括：

在设置缓冲距离时，结合塔吊的运行参数，塔吊的旋转速度越大，同向的横向缓冲距离越大；小车的径向移动速度越大，同向的径向缓冲距离越大；塔吊的垂直放下速度越大，同向的垂向缓冲距离越大；

所述缓冲距离被配置为当有障碍物沿着该缓冲距离的方向侵入到避障缓冲区时，所述吊物在塔吊的停止响应动作下不碰及障碍物。

8.如权利要求7所述的一种基于相机和激光雷达的塔吊控制方法，其特征在于，在步骤S40中，在制定避障策略时：

设定第一优先级策略、第二优先级策略和第三优先级策略，所述第一优先级策略的优先级最高，所述第三优先级策略的优先级最低；

所述第一优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩向上提升，直至所述避障缓冲区内无障碍物；

所述第二优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩水平旋转，直至所述避障缓冲区内无障碍物；

所述第三优先级策略被配置为当障碍物侵入到避障缓冲区时，控制所述吊钩沿着大臂的径向移动，直至所述避障缓冲区内无障碍物。

9.一种应用于如权利要求1至8任一项所述的基于相机和激光雷达的塔吊控制方法的系统，其特征在于，包括：

传感系统，包括位于大臂根部的第一激光雷达模块、位于大臂尖部的第二激光雷达模块、位于小车下方的第三激光雷达模块和相机，所述第一激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第二激光雷达模块的扫描角度可调，且被配置成面向吊钩扫描；所述第三激光雷达模块和相机均垂直于地面扫描或拍摄；

点云融合模块，用于对传感系统进行几何标定，并融合点云数据与图像数据形成整体点云；

吊物提取模块，用于根据预设的吊钩点云模型，在整体点云进行吊钩位置定位，选定以吊钩为参照点的检测区域，提取出吊物的点云和边界；

避障缓冲区形成模块，用于识别出吊物的风险因子，根据风险因子确定吊物类型，根据吊物类型与塔吊的运行参数形成避障缓冲区；

避障模块，用于在避障缓冲区内识别障碍物，根据障碍物与吊物之间的距离及吊钩的运动参数制定避障策略，控制吊钩按避障路径运动；

地图更新模块，用于将障碍物分类成动态障碍物与静态障碍物，将当前获得的整体点云与历史整体点云进行基于迭代最近点的配准，配准后将静态障碍物点云数据更新到历史整体点云中，得到新的静态地图点云。