CN215854702U - 一种用于集装箱装卸作业的动态测量系统 - Google Patents

Abstract

本实用新型公开了一种用于集装箱装卸作业的动态测量系统，在用于吊装集装箱的吊具上设置伸缩杆，所述伸缩杆可沿所述吊具的侧面向外伸展及向内收缩；还包括：图像传感器；所述图像传感器设置在所述伸缩杆向外伸展的一端，用于采集位于所述图像传感器下方区域的图像；处理器；所述处理器用于对所述伸缩杆采集的图像分别进行计算，得到不同坐标系下的空间点云图。本实用新型提供的用于集装箱装卸作业的动态测量系统，实现了对集装箱装卸作业的动态监控，自动检测空间位姿关系。

Description

一种用于集装箱装卸作业的动态测量系统

本申请对申请号为2019220535021，申请日为2019年11月25日，名称为“一种用于集装箱装卸作业的动态测量系统”的中国专利申请提出分案申请。

技术领域

本实用新型涉及集装箱装卸领域，尤其涉及一种用于集装箱装卸作业的动态测量系统。

背景技术

港口作业是指船舶进出港口进行调度、集装箱装卸等作业。以集装箱装卸作业为例，一般包含了通过桥吊对船装卸集装箱，通过桥吊对AGV(Automatic Guided Vehicle自动导引车)、集卡(包括内集卡和外集卡)装卸集装箱，以及在堆场通过轮胎吊、轨道吊对集卡或场地装卸集装箱。

港口集装箱装卸作业的过程中，起吊过程并不能完全实现无人化操作，自动化程度稍高的港口采用半自动化的方式，通过远程人工作业的方式完成集装箱的装卸作业。但港口工作环境多变，例如，集装箱起吊过程中钢绳易受风载摆动，或是小车、大车没有精准到位，各种误差累积将导致集装箱装卸精度无法达到厘米级的误差要求，从而导致装卸作业失败，进而影响整个港口作业的效率。

标题分别为“一款具有图像识别功能的新型三目相机的设计”及“关于一款长度可调节的伸缩杆的设计”、申请号分别为“201910084778.8”及“201910519070.0”的专利申请，分别表述了一种具有集装箱位置识别能力的摄像装置，包括用于固定摄像头的伸缩杆，多组摄像头的组合，摄像采集图像数据，提取特征点：通过对特征点的空间位置信息进行重组，优化出安全高效的货物运输路线，实时处理抓取对象和干扰物的位置关系，具有很好的抗干扰性。进一步的，用于固定摄像机的伸缩杆为一种旋转长度可调节伸缩杆，包括：内杆、外杆和旋钮套件；其中，所述内杆和外杆均为中空型圆管且两者间隙配合，所述内杆和外杆上分别开设有螺旋槽，且两组螺旋槽对称，所述旋钮套件通过所述螺旋槽固定所述内杆和外杆。作为优选，还包括位于内杆和外杆端部的固定脚，以及三维采集被摄对象的空间三维点云信息并可以实时优化吊车运动的摄像设备，动态监测，抗干扰能力强。所述安装定位架设置在定位顶盘顶部中心并设有以太网接线端口。

因此，尽管以上文献的教导，仍然有必要提供一种可以使用上述设计及摄像装置的集装箱装卸作业的动态测量系统，可以实现满足厘米级误差要求的全自动化集装箱装卸作业。

实用新型内容

本实用新型所要解决的技术问题是提供一种用于集装箱装卸作业的动态测量系统，可以实现满足厘米级误差要求的全自动化集装箱装卸作业。

本实用新型为解决上述技术问题而采用的技术方案是提供一种用于集装箱装卸作业的动态测量系统，包括用于吊装集装箱的吊具，所述吊具上设置伸缩杆，所述伸缩杆可沿所述吊具的侧面向外伸展及向内收缩；其特征在于，还包括：

图像传感器；所述图像传感器设置在所述伸缩杆向外伸展的一端，用于采集位于所述图像传感器下方区域的图像；所述图像包括集装箱、集卡、堆场；

处理器；所述处理器用于对所述伸缩杆采集的图像分别进行计算，得到不同坐标系下的空间点云图，通过将不同坐标系下的空间点云图融合至吊具坐标系，以确定所述吊具坐标系下所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系；

其中，所述集装箱装卸作业包括：轮胎吊、轨道吊对堆场内堆叠箱作业，内集卡进出箱作业，桥吊对船装卸箱、对内集卡、AGV装卸箱作业。

优选的，所述处理器经配置通过空间点云图确定所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系包括：

确定所述吊具抓取的集装箱与待装载该集装箱的外集卡车板的锁钮之间的空间位姿关系；确定所述吊具抓取的集装箱与待装载该集装箱的内集卡车板的导板之间的空间位姿关系。

优选的，所述测量系统还包括可编程逻辑控制器；所述吊具为起重机的吊具，所述可编程逻辑控制器用于在确定所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系之后，动态控制集装箱装卸作业过程中的吊具位姿，实现全自动化集装箱装卸作业。

优选的，所述处理器经配置通过空间点云图确定所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系包括：

确定所述吊具抓取的集装箱与待装载该集装箱的外集卡车板的锁钮之间的空间位姿关系；确定所述吊具抓取的集装箱与待装载该集装箱的内集卡车板的导板之间的空间位姿关系。

优选的，所述吊具为起重机的吊具，所述处理器经配置在确定所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系之后，将所述空间位姿关系反馈至所述起重机的可编程逻辑控制器，所述可编程逻辑控制器经配置控制根据反馈的空间位姿关系，动态控制集装箱装卸作业过程中的吊具位姿。

优选的，所述伸缩杆伸出所述吊具的侧面向外伸展范围为0至60cm。

优选的，所述伸缩杆的数量为四个，分别设置在所述吊具的四个侧面上、或对称设置在所述吊具的两个相对设置的较长的侧面上；所述图像传感器包括单目相机、双目相机、三目相机、激光雷达中的一种或任意几种的组合。

优选的，对于外集卡装载集装箱作业，所述图像传感器经配置采集外集卡车板的锁钮、外集卡车板的集装箱进行检测，所述处理器经配置对采集的带有锁钮的图像进行计算，得到空间点云图，以判断所述吊具抓取的集装箱与待装载该集装箱的集卡车板的锁钮之间、所述吊具抓取的集装箱与集卡车板上已装置的集装箱之间的空间位姿关系。

优选的，对于堆场内堆叠箱作业，所述图像传感器经配置通过伸缩杆上的图像传感器采集堆场、堆场内已堆放的集装箱进行检测，所述处理器经配置对采集的带有已堆放集装箱的图像进行计算，得到空间点云图，以判断所述吊具抓取的集装箱与堆场之间、所述吊具抓取的集装箱与已堆放集装箱之间的空间位姿关系。

本实用新型对比现有技术有如下的有益效果：本实用新型提供的一种用于集装箱装卸作业的动态测量系统，在用于吊装集装箱的吊具上设置带有图像传感器的伸缩杆，通过该图像传感器采集位于其下方区域的包括但不限于集装箱、集卡、堆场的图像，并对所述图像进行计算，得到空间点云图，以确定所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系，从而实现对集装箱装卸作业的动态监控。

进一步的，通过将实时自动检测的空间位姿关系反馈至PLC，PLC根据反馈的空间位姿关系，动态控制集装箱装卸作业过程中的吊具位姿：抓箱时，使吊具不断接近目标位，放箱时，使吊具下的集装箱不断接近目标位。

进一步的，通过图像传感器，包括但不限于单目相机、双目相机、三目相机、激光雷达等，对集装箱装卸作业中的吊具抓取的集装箱、堆场内待堆放该集装箱的集装箱、待装载该集装箱的集卡车板进行图像采集，并计算得到空间点云图，即通过AI(artificialintelligence人工智能)视觉识别对目标位进行锁定，视觉感知对目标位进行空间位姿计算，以及获得空间位姿后通过PLC对吊具进行控制，实现了高精度的全自动化装卸作业，不同作业场景下，通过大量的实验数据表明，堆叠精度达到了箱间偏差＜3cm、外集卡着箱成功率＞80％、内集卡着箱成功率＞95％。对于同一贝位来说，通过本实用新型提供的用于集装箱装卸作业的动态测量系统，自动翻箱作业平均效率＞25move/hour；对内集卡自动进出箱作业平均效率＞25move/hour；对外集卡自动进出箱作业平均效率＞20move/hour；连续作业平均效率＞20move/hour。

附图说明

图1为本实用新型实施例中一种用于集装箱装卸作业的动态测量系统的应用示意图。

图2为图1所示结构的另一角度示意图。

图3-5为本实用新型实施例中一种用于集装箱装卸作业的动态测量系统的其他装卸作业的应用示意图。

图6-7为本实用新型实施例中一种用于集装箱装卸作业的动态测量系统中的空间点云图。

图8为将图像转化为空间点云图所使用的Triangulation(三角测量)方法的示意图。

具体实施方式

下面结合附图和实施例对本实用新型作进一步的描述。

在以下描述中，为了提供本实用新型的透彻理解，阐述了很多具体的细节。然而，本实用新型可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本实用新型的精神和范围内。

本实施例提供了提供一种用于集装箱装卸作业的动态测量系统，以外集卡装箱作业为例，包括如下步骤：

如图1-5所示，在用于吊装集装箱的吊具20上设置至少一个伸缩杆30，所述伸缩杆30可沿吊具的侧面21向外伸展及向内收缩；其中，所述伸缩杆30向外伸展的一端31设有图像传感器；

通过所述图像传感器采集位于其下方区域的图像，所述图像包括集装箱40以、集卡车板50及堆场60等；所述图像传感器包括但不限于单目相机、双目相机、三目相机、激光雷达中的一种或任意几种的组合；

在具体实施例中，图2所示为将20尺集装箱40放置于空车的外集卡车板作业，图像传感器采集外集卡车板中间位置的锁钮51进行检测，判断集装箱40与外集卡的相对矢量位置。图3所示为将20尺集装箱40放置于已装载后箱的外集卡车板作业，在继续放置前箱时，图像传感器先检测吊具20抓取的集装箱40是否会与后箱70发生碰撞，再检测锁钮51目标位，进行精准放箱作业。图4所示为将40尺集装箱40放置于空车的外集卡车板作业，图像传感器对外集卡车板50两端4个锁钮51位置进行动态检测，精确定位，进行放箱作业。图5所示为将集装箱40放置于堆场60。

对所述图像进行计算，得到空间点云图(如图6和7所示)，以确定所述吊具20与集装箱40之间、所述吊具20与集卡车板50之间、所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系。

在具体实施例中，对所述图像进行计算得到的空间点云图，包含三维立体视角中所述吊具20与集装箱40之间、所述吊具20与集卡车板50之间、所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系。如图6所示，为从图像传感器到地面的方向来展示所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系，如图7所示，为从外集卡的水平一侧朝向外集卡车板50的方向来展示所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系。

在具体实施例中，所述吊具为起重机的吊具，在确定所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系之后，将所述空间位姿关系反馈至PLC，所述PLC根据反馈的空间位姿关系，动态控制集装箱装卸作业过程中的吊具位姿。

在具体实施例中，通过空间点云图确定所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系包括：确定所述吊具抓取的集装箱与待装载该集装箱的集卡车板的锁钮51之间的空间位姿关系；确定所述吊具抓取的集装箱40与待装载该集装箱的内集卡车板的导板之间的空间位姿关系。

在具体实施例中，所述伸缩杆可伸出所述吊具的侧面向外伸展范围为0至60cm。如图1所示，对于目前的集装箱装卸作业，伸缩杆30向外伸展0至60cm的距离，即可有识别到集装箱40放置过程中，待放置集装箱40的下表面41与待承载该集装箱的表面53之间的盲区55。而伸缩杆30伸展出吊具20的最远距离，也可根据不同吊具及使用场景进行定制。例如伸缩杆30可伸出的最远距离不能超过吊具的长度，否则伸缩杆30将无法完全收缩入吊具20内。再如，灌箱作业时，伸缩杆30伸展出吊具20的最远距离为20cm即可。

所述伸缩杆的数量为四个，分别设置在所述吊具的四个侧面上、或对称设置在所述吊具的两个相对设置的较长的侧面上。

进一步的，对所述图像进行计算，得到空间点云图，以确定所述吊具与集装箱之间、所述吊具抓取的集装箱与待装载该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系的步骤包括：

对所述四个伸缩杆采集的图像分别进行计算，得到四个不同坐标系下的空间点云图，通过将四个不同坐标系下的空间点云图融合至吊具坐标系，以确定所述吊具与集装箱之间、所述吊具抓取的集装箱与待装载该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系。

可使用triangulation(三角测量)将图像上二维像素点计算转换为空间3D点云图。具体的，如图8所示，在做多视觉的3D重建时，首先找到多帧的匹配点和对应相机姿态时，我们需要求得的匹配点x1和x2以及对应的P1和P2。

对于图像上的两个对应点<x1,x2>，满足以下关系：

通过求解该公式，即可将图像传感器采集的2D图像计算重建为图6和7所示的空间点云图，以确定所述吊具与集装箱之间、所述吊具抓取的集装箱与待装载该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系。

如图1-2所示，本实施例还提供一种用于集装箱装卸作业的动态测量系统，以外集卡装箱作业为例，系统包括：

用于吊装集装箱的吊具20；所述吊具20上设置至少一个伸缩杆30，所述伸缩杆30可沿吊具的侧面21向外伸展及向内收缩；

图像传感器；所述图像传感器设置在所述伸缩杆30向外伸展的一端31，用于采集位于所述图像传感器下方区域的图像；所述图像包括集装箱40、集卡车板50；

处理器；所述处理器用于对所述图像进行计算，得到空间点云图，以确定所述吊具20与集装箱40之间、所述吊具20与集卡车板50之间、所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系；

PLC；所述吊具为起重机的吊具，所述PLC用于在确定所述吊具20与集装箱40之间、所述吊具20与集卡车板50之间、所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系之后，动态控制集装箱装卸作业过程中的吊具位姿。

在具体实施例中，所述处理器通过空间点云图确定所述吊具抓取的集装箱40与待装载该集装箱的集卡车板50之间的空间位姿关系包括：

确定所述吊具抓取的集装箱40与待装载该集装箱的外集卡车板50的锁钮51之间的空间位姿关系；确定所述吊具抓取的集装箱40与待装载该集装箱的内集卡车板的导板之间的空间位姿关系。

本实施例对比现有技术有如下的有益效果：本实施例中提供的一种用于集装箱装卸作业的动态测量系统，在用于吊装集装箱的吊具上设置带有图像传感器的伸缩杆，通过该图像传感器采集位于其下方区域的包括但不限于集装箱、集卡、堆场的图像，并对所述图像进行计算，得到空间点云图，以确定所述该视角方向的所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与待装载该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系，从而实现对集装箱装卸作业的动态监控，实时自动检测集装箱作业过程中所述吊具与集装箱之间、所述吊具抓取的集装箱与堆场内待堆放该集装箱的集装箱之间、所述吊具抓取的集装箱与待装载该集装箱的地面之间、所述吊具抓取的集装箱与待装载该集装箱的集卡车板之间的空间位姿关系。

进一步的，通过将实时自动检测的空间位姿关系反馈至PLC，PLC根据反馈的空间位姿关系，动态控制集装箱装卸作业过程中的吊具位姿：抓箱时，使吊具不断接近目标位，放箱时，使吊具下的集装箱不断接近目标位。

进一步的，通过图像传感器，包括但不限于单目相机、双目相机、三目相机、激光雷达等，对集装箱装卸作业中的个吊具抓取的集装箱、堆场内待堆放该集装箱的集装箱、待装载该集装箱的集卡车板进行图像采集，并计算得到空间点云图，即通过AI(artificialintelligence人工智能)视觉识别对目标位进行锁定，视觉感知对目标位进行空间位姿计算，以及获得空间位姿后通过PLC对吊具进行控制，实现了高精度的全自动化装卸作业，不同作业场景下，通过大量的实验数据表明，堆叠精度达到了箱间偏差＜3cm、外集卡着箱成功率＞80％、内集卡着箱成功率＞95％。对于同一贝位来说，通过本实用新型提供的用于集装箱卸载作业的动态测量系统，自动翻箱作业平均效率＞25move/hour；对内集卡自动进出箱作业平均效率＞25move/hour；对外集卡自动进出箱作业平均效率＞20move/hour；连续作业平均效率＞20move/hour。

虽然本实施例以外集卡装箱作业为例，但其并非用于限定本实用新型，轮胎吊、轨道吊对堆场内堆叠箱作业、内集卡进出箱作业，桥吊对船装卸箱、对内集卡、AGV装卸箱作业等，皆可采用本实用新型的系统。甚至于，本实用新型提供的系统，不仅适用于港口集装箱装卸作业，亦可用于且不限于钢铁厂行车装卸卷钢等装卸作业。

虽然本实用新型已以较佳实施例揭示如上，然其并非用以限定本实用新型，任何本领域技术人员，在不脱离本实用新型的精神和范围内，当可作些许的修改和完善，因此本实用新型的保护范围当以权利要求书所界定的为准。

Claims (5)

1.一种用于集装箱装卸作业的动态测量系统，包括用于吊装集装箱的吊具，所述吊具上设置伸缩杆，所述伸缩杆可沿所述吊具的侧面向外伸展及向内收缩；其特征在于，还包括：

图像传感器；所述图像传感器设置在所述伸缩杆向外伸展的一端，用于采集位于所述图像传感器下方区域的图像；所述图像包括集装箱、集卡、堆场；

所述伸缩杆的数量为四个，分别设置在所述吊具的四个侧面上、或对称设置在所述吊具的两个相对设置的较长的侧面上；

所述图像传感器包括单目相机、双目相机、三目相机、激光雷达中的一种或任意几种的组合。

2.如权利要求1所述的测量系统,其特征在于，所述测量系统还包括可编程逻辑控制器；所述吊具为起重机的吊具。

3.如权利要求1所述的测量系统，其特征在于，所述伸缩杆伸出所述吊具的侧面向外伸展范围为0至60cm。

4.如权利要求1所述的测量系统，其特征在于，对于外集卡装载集装箱作业，所述图像传感器经配置用于采集外集卡车板的锁钮、外集卡车板的集装箱以进行检测。

5.如权利要求1所述的测量系统，其特征在于，对于堆场内堆叠箱作业，所述图像传感器经配置用于通过伸缩杆上的图像传感器采集堆场、堆场内已堆放的集装箱以进行检测。

Images