CN116256752A - 一种港口吊具模板点云自动生成的方法 - Google Patents

Abstract

本发明公开一种港口吊具模板点云自动生成的方法,根据车辆行驶轨迹自动提取点云关键帧、确认ROI区域、获取吊具点云，并通过匹配多组吊具点云的方式生成完整模板点云；对于多台雷达交叉视野处共同扫描吊具点云的情况，提出点云拆分并分别匹配的方式，消除多雷达外参误差对模板点云精度的影响，同时，采用智能驾驶车辆自带激光雷达完成三维点云建模，相较于专业扫描设备，成本更低，效率更高，且不需要改变吊具的外观，适用性更广。

Description

一种港口吊具模板点云自动生成的方法

技术领域

本发明属于高精度地图的自动化构建技术领域，主要用于需要高精地图进行辅助的场景下，具体涉及到一种港口吊具模板点云自动生成的方法。

背景技术

针对港口起重机场景下，通常需要高精度地图进行辅助作业，而高精度的模板地图是成功实现吊具场景下自动化装卸作业的重要基础，帮助港口实现无人化作业，降低成本、提高效率。

集装箱的转运是港口最重要的作业任务，传统场景下，需要货运司机与港口吊具作业师傅进行高频喊话，根据吊具作业师傅现场观察转运车辆与吊具的相对位置，通知货运司机对货运车辆进行调整，在这种观察-调整-反馈的作业模式下，经过多次的沟通，最终货运司机将车辆调整到可以装箱、卸箱的位置并使吊具师傅卸箱成功。这种工作模式效率低下，耗费时间长，为了提高效率，节约装卸箱的时间，需要车辆能自主的停在吊具下面可装卸箱的位置。

构建模板地图一般的做法是根据雷达点云进行位姿还原，从而拼接多帧的雷达点云得到想要的模板地图。通常的做法分为两种，一种是依靠场端改造，用建图设备对吊具进行360度全方位的测量建图，另一种是不依赖场端改造，利用车辆自身的雷达对吊具进行建图。需要构建的地图越小、精度要求越高，外参的影响就会越大。吊具场景下对吊具的模板建图是小范围的建图过程，一般吊具长在12m左右，宽在2m左右，对吊具的建图是小场景建图，外参的精度对吊具模板的建图有重要影响，构建高精度的吊具模板需要高精度的外参的支持，同时外参受很多外在因素的影响，颠簸、碰撞都会影响到外参的精度，并且随着车辆的使用，外参的精度也在不断下降，因此高精度的外参对小场景的建图而言是个理想的条件，为了解决现实中遇到的随着车辆的使用外参精度降低的问题，就要消除外参精度对小场景模板建图的影响。

在吊具装卸箱场景下，通常需要综合多个雷达的点云信息才可以还原出整个吊具的形态，构建高精度点云模板受到雷达外参精度的影响，为了解决这一问题，现有技术中，通常针对场端的吊具进行改造，进而获取高精度的点云数据，然而此种方式会导致成本升高。

发明内容

针对上述问题，本发明的主要目的在于设计一种港口吊具模板点云自动生成的方法,解决依赖雷达外参导致点云数据准确性的较低的问题。

为了实现上述目的本发明采用如下技术方案：

一种港口吊具模板点云自动生成的方法，一种港口吊具模板点云自动生成的方法，该方法基于智能驾驶车辆装载雷达对吊具的数据进行采集，具体包括以下步骤：

步骤1：通过车辆行驶采集吊具模板点云的初始数据；

步骤2：根据车辆的行驶轨迹，在每间隔固定距离下均提取点云关键帧，并确定每帧关键帧中吊具所处的ROI区域；

步骤3：针对ROI区域中的点云，进行聚类操作，提取吊具点云；

步骤4：对提取的吊具点云进行匹配，得到完整模板点云；

步骤5：基于完整模板点云进行后处理，得到高精度模板点云。

作为本发明进一步的描述，步骤1中，车辆行驶包括起点和终点，起点为车辆的雷达能观测到整个吊具的任意位置，且起点与终点相对于吊具呈对称形式。

作为本发明进一步的描述，步骤2中，通过获取的点云初始数据的匹配算法获得整个点云数据采集过程中的车辆行驶轨迹。

作为本发明进一步的描述，步骤2中，通过每帧关键帧中，吊具与车辆的相对位置确定吊具所处的ROI区域。

作为本发明进一步的描述，步骤4中，点云的匹配方式为：

步骤401：针对同一个雷达下的点云，选取一帧作为对齐的母版点云；

步骤402：基于母版点云，将多组吊具点云分别进行对齐，获得吊具的高精度稠密模板点云，即完整模板点云。

作为本发明进一步的描述，步骤401中，所述的母版点云为多组吊具点云中，ROI区域内距离车辆原点最近的一帧。

作为本发明进一步的描述，步骤402中，多组吊具点云对齐的方式为，调整优化X、Y、Z、Yaw、Pitch、Roll共6个自由度的信息。

作为本发明进一步的描述，步骤5中，完整模板点云的后处理包括去除地面和去除噪声点，具体去除方式为：

按照点云的高度，对吊具点云去除地面；

计算每个点与周围n个点的距离，对吊具点云去除噪声点。

作为本发明进一步的描述，该方法还包括步骤6：对吊具点云按照实际作业位置，进行坐标转换，得到的高精度模板点云与作业位置对齐，得到最终的高精度模板点云。

作为本发明进一步的描述，车辆的一侧包括多个雷达时，需要判断吊具位置，判断方式为：

通过吊具点云中每个点的相关标志位，判断吊具是否在雷达的交叉视野中；

在交叉视野中的吊具点云数据，需要首先执行将来源不同的点云进行拆分，然后再对拆分后的点云分别进行匹配。

相对于现有技术，本发明的技术效果为：

本发明提供了一种港口吊具模板点云自动生成的方法，综合不同的雷达点云信息，不依赖雷达外参的准确性，能够自动化的生成高精度的模板点云，在吊具外观、形态发生变化的时候，该方法也能快速的、准确的生成模型，在小范围距离内依赖高精度地图点云进行辅助的场景下，该方法能较好的提高模板建图的精度。

附图说明

图1为本发明的模板点云自动生成流程示意图；

图2为本发明吊具点云初始数据采集过程示意图；

图3为本发明的智能驾驶车辆雷达布置的FOV示意图；

图4为本发明的点云关键帧吊具的ROI区域检测示意图；

图5为本发明的ROI区域中提取吊具点云示意图；

图6为本发明的交叉视野吊具点云拆分示意图；

图7为本发明的吊具母版点云示意图；

图8为本发明的吊具高精度稠密模板点云示意图；

图9为本发明最终的高精度模板点云示意图。

实施方式

下面结合附图对本发明进行详细描述：

一种港口吊具模板点云自动生成的方法，参考图1-8所示，图1中的A为吊具点云，该方法基于智能驾驶车辆装载雷达对吊具的数据进行采集，具体包括以下步骤：

步骤1：通过车辆行驶采集吊具模板点云的初始数据；

步骤2：根据车辆的行驶轨迹，在每间隔固定距离下均提取点云关键帧，并确定每帧关键帧中吊具所处的ROI区域；

步骤3：针对ROI区域中的点云，进行聚类操作，提取吊具点云；

步骤4：对提取的吊具点云进行匹配，得到完整模板点云；

步骤5：基于完整模板点云进行后处理，得到高精度模板点云；

步骤6：对吊具点云按照实际作业位置，进行坐标转换，得到的高精度模板点云与作业位置对齐，得到最终的高精度模板点云。

具体的，本实施例以智能驾驶车辆搭载四个雷达为例进行具体说明，四个雷达分别位于智能驾驶车辆的左前方、左后方、右前方、右后方，针对上述步骤进行详细分析，具体公开如下：

1.构建高精度模板的数据采集方法

车辆行驶包括起点和终点，起点为车辆的雷达能观测到整个吊具的任意位置，且起点与终点相对于吊具呈对称形式。

在需要建立高精度模板的吊具下，智能驾驶车辆从其一个雷达能够观测到整个吊具的位置之前开始采集数据，车辆缓慢行驶并完全穿过吊具，直到终点位置停止数据采集，整个过程所有雷达的点云数据需要全部采集，本实施例以车辆行驶的起点和终点均距吊具10m为例，如图2所示。

如图3所示，以多个待采集吊具在智能驾驶车辆右侧的情况为例，智能驾驶车辆在经过全部吊具的过程中，吊具会依次出现在智能驾驶车辆右前雷达的视野、交叉视野、右后雷达的视野中。

2.多组吊具点云自动提取

（1）通过获取的点云初始数据，采用激光点云匹配算法进行计算，获得整个点云数据采集过程中的车辆行驶轨迹。同时，对车辆行驶过程中每一帧激光点云去除运动畸变，提高点云测距精度。

上述的点云畸变是由于激光雷达采集数据的过程中，随着载体运动导致一帧点云中的点不是在同一时刻采集的，也就是说不同激光点的坐标系不一致；点云去除运动畸变的方式为：首先以单帧中点云扫描的终点时间（最大时间）作为当帧时间，计算相邻两帧之间的相对位姿，根据当前帧中点的采样时间对相对位姿进行插值来计算点的相对位姿，点乘以相对位姿得到去畸变之后的点的位置。

（2）根据上述获得的车辆行驶轨迹，在每间隔固定距离下，提取一帧点云关键帧；即根据计算出来的帧的相对位姿，以第一帧的位姿作为全局的初始位姿，计算每一帧的全局位姿，进而计算出每一帧局部坐标系下的原点在全局坐标下的位置，首先提取第一帧作为关键帧，其次提取大于设定阈值的一帧点云关键帧，例如，固定距离为1m，则需要在车辆行驶轨迹每间隔1m的点云数据中提取一帧为点云关键帧；由于智能驾驶车辆和吊具的起始位置已知，因此每帧点云关键帧中，吊具与智能驾驶车辆的相对位置可以大致确定，即确定吊具所处的ROI区域，如图4所示；该ROI区域可通过点云的包围盒表示，使用最下和最大的两点表示包围盒，初始的包围盒大小可根据要建模的吊具的形状进行确定，具体ROI区域确定的方式为：

其中，表示第帧的包围盒的坐标，表示第帧的包围盒的坐标，表示第帧到第帧的相对位姿；

提取ROI区域的目的是为了消除与任务无关的点的影响，专注与吊具部分点云的模板建图。

（3）对于ROI区域中的点云，进行点云聚类操作，根据吊具部分点云相较于其他类别点云更集中的特点，本实施例主要采用基于点与点之间欧拉距离的方式进行聚类，可提取吊具点云，如图5所示，同时，通过吊具点云中每个点的相关标志位，可以判断吊具是否出现在雷达的交叉视野中；

所述的标志位中记录了点来自哪个雷达的信息，可以通过检查在提取的吊具的ROI区域中的点云的标志位是否一致，如果ROI中所有的点云的标志位都一样，那么吊具只出现在一个雷达的视野中，否则，吊具出现在雷达的交叉视野中；

若吊具位于交叉视野，为消除雷达外参误差对模板点云精度的影响，本实施例将来源不同的点云拆分为两组吊具点云，并针对两组吊具点云进行分开点云匹配，如图6所示；本实施例的点云拆分为，通过将ROI区域中具有不同标志位的点云分开在两个ROI区域表达的方式。

3.吊具点云匹配，获得完整模板点云

（1）从多组吊具点云中选取来自同一个雷达，并且ROI区域距离智能驾驶车辆原点最近的一帧吊具点云作为对齐的母版点云，如图7所示。

（2）基于选取的母版点云，为了保证吊具点云匹配过程中，模板点云密度有序增长，本实施例按照与母版点云的距离，从近到远重新排序多组吊具点云，并按照距离从近到远的顺序分别与母版点云对齐，调整优化X、Y、Z、Yaw、Pitch、Roll共6个自由度的信息。

需要说明的是，本实施例中，上述对齐的方法包括现有技术中针对点云匹配的任意一种，例如，可以使用ICP、NDT等常见点云匹配算法；匹配初值可以由车辆采集过程中的行驶轨迹提供，完成所有吊具点云对齐之后，即可获得吊具的高精度稠密模板点云，效果如图8所示。

4.模板点云的后处理

（1）按照点云的高度，对吊具点云去除地面，由于场景特点，本实施例使用高通滤波器，保留满足z值大于一定阈值的点，阈值通常情况下满足去除地面的需求即可，本市实施例的阈值设置为0.1，剔除不满足的点；

（2）计算每个点与周围n个点的距离，距离大于均值的1个标准差之外的都视为噪声点进行去除，均值是n+1个点算术平均值，标准差是n+1个点的方差开方；

（3）对吊具点云按照实际的作业位置，进行坐标转换，本实施例采用的转换方式为迭代最近邻点云对齐的方式，将模板点云原点与作业位置的点云在车体坐标系下进行对齐；

模板点云后处理之后的最终模板点云即为最终的高精度模板点云，如图9所示。

本实施例，综合不同的雷达点云信息，通过自动化的模板建图，不依赖雷达外参的准确性，可以快速的部署依赖高精度模板的功能程序，加快模板建图的节奏，在不同的场景下进行目标作业，在不同型号的吊具多的港口，同一批次的型号之间也会存在差异，通过该方法公开的自动化的模板建图，方便刻画出不同型号吊具的差异，提高吊具下装卸箱的成功率。

另外，本实施例，可根据车辆行驶轨迹自动提取点云关键帧、确认ROI区域、获取吊具点云，并通过匹配多组吊具点云的方式生成完整模板点云；对于多台雷达交叉视野处共同扫描吊具点云的情况，提出点云拆分并分别匹配的方式，消除多雷达外参误差对模板点云精度的影响，同时，采用智能驾驶车辆自带激光雷达完成三维点云建模，相较于专业扫描设备，成本更低，效率更高，且不需要改变吊具的外观。

以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种港口吊具模板点云自动生成的方法，其特征在于：该方法基于智能驾驶车辆装载雷达对吊具的数据进行采集，具体包括以下步骤：

步骤1：通过车辆行驶采集吊具模板点云的初始数据；

步骤2：根据车辆的行驶轨迹，在每间隔固定距离下均提取点云关键帧，并确定每帧关键帧中吊具所处的ROI区域；

步骤3：针对ROI区域中的点云，进行聚类操作，提取吊具点云；

步骤4：对提取的吊具点云进行匹配，得到完整模板点云；

步骤5：基于完整模板点云进行后处理，得到高精度模板点云。

2.根据权利要求1所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤1中，车辆行驶包括起点和终点，起点为车辆的雷达能观测到整个吊具的任意位置，且起点与终点相对于吊具呈对称形式。

3.根据权利要求1所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤2中，通过获取的点云初始数据的匹配算法获得整个点云数据采集过程中的车辆行驶轨迹。

4.根据权利要求3所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤2中，通过每帧关键帧中，吊具与车辆的相对位置确定吊具所处的ROI区域。

5.根据权利要求1所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤4中，点云的匹配方式为：

步骤401：针对同一个雷达下的点云，选取一帧作为对齐的母版点云；

步骤402：基于母版点云，将多组吊具点云分别进行对齐，获得吊具的高精度稠密模板点云，即完整模板点云。

6.根据权利要求5所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤401中，所述的母版点云为多组吊具点云中，ROI区域内距离车辆原点最近的一帧。

7.根据权利要求5所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤402中，多组吊具点云对齐的方式为，调整优化X、Y、Z、Yaw、Pitch、Roll共6个自由度的信息。

8.根据权利要求1所述的一种港口吊具模板点云自动生成的方法，其特征在于：步骤5中，完整模板点云的后处理包括去除地面和去除噪声点，具体去除方式为：

按照点云的高度，对吊具点云去除地面；

计算每个点与周围n个点的距离，对吊具点云去除噪声点。

9.根据权利要求1-8任一项所述的一种港口吊具模板点云自动生成的方法，其特征在于：该方法还包括步骤6：对吊具点云按照实际作业位置，进行坐标转换，得到的高精度模板点云与作业位置对齐，得到最终的高精度模板点云。

10.根据权利要求1-8任一项所述的一种港口吊具模板点云自动生成的方法，其特征在于：车辆的一侧包括多个雷达时，需要判断吊具位置，判断方式为：

通过吊具点云中每个点的相关标志位，判断吊具是否在雷达的交叉视野中；

在交叉视野中的吊具点云数据，需要首先执行将来源不同的点云进行拆分，然后再对拆分后的点云分别进行匹配。

Images