CN103818828A - 集装箱起重机吊具对箱引导系统 - Google Patents

Abstract

本发明公开了一种集装箱起重机吊具对箱引导系统，极大方便了司机的远程对箱作业，提升了起重机数字化、信息化和智能化水平，并有极大的应用扩展性。其技术方案为：通过图像处理技术和位置数据拟合技术以及“瞄准框”方法，将远程对箱作业时远程司机观看的原始吊具图像处理转换成目标框和当前吊具框对比显示形式并伴随文字数据说明，只要吊具框落入目标框就表明对箱成功。

Description

集装箱起重机吊具对箱引导系统

技术领域

本发明涉及集装箱起重机上的设备，尤其涉及集装箱起重机吊具对箱自动化系统。

背景技术

集装箱码头自动化是经历了近二十多年集装箱装卸运输的高速发展后，国内外集装箱码头普遍寻求的技术发展方向。据统计，目前已经建成和正在建设中的自动化码头有四十多个。集装箱码头自动化有很多好处，譬如增加码头运行平稳性和可预估性，提高设备利用率，降低用工成本，提高安全性和司机作业舒适性等。

相对于司机需要登上起重机作业的传统作业方式，自动化码头的主要不同是采用了半自动或者全自动堆场装卸起重机，主要包括（半）自动轨道吊和轮胎吊。这两种机器同需要上机作业的传统起重机的主要差别就是采用了人工远程装卸作业：传统起重机所有工作都有机上司机室的司机人工完成；而（半）自动化起重机机上无人，小车、大车和大部分起升运行动作由控制系统自动完成，只有吊具最终下放到集装箱或集卡时由远程司机人工完成。该远程操作步骤具体工况为：当起重机上的吊具下降到安全高度后，由位于远程中控室的司机人工介入操作起升主令手柄，通过“司机对箱—起升下降—吊具着箱—开闭锁—起升至安全高度”这一串动作，完成吊具针对集装箱或者集卡的远程人工作业。这其中主要的难点是对箱，这也是影响（半）自动化起重机整体作业效率的关键因素。

目前对箱主要采用的技术手段是在吊具上安装四个固定摄像头，通过拍摄吊具下集装箱锁孔的图像，把图像从起重机通过通讯系统送到中控室的显示器上，由司机根据图像和以往工作经验进行操作。该操作方式存在如下问题：

1、吊具下降过程中，图像大小不断变化，并伴随起重机作业剧烈抖动，给司机带来炫目感和不适感，产生视觉疲劳；

2、当吊具相对于目标集装箱存在位置偏移时，图像上的锁孔位置表现形式多样，给远程人工调整带来了很多难度，耗时长；

3、根据图像作业，由于吊具本身的摇晃特性，需要司机凭经验在某一图像特征下采取“抓箱”（即司机觉得吊具已经对准了，瞬间下放吊具进行对箱），因而对司机的操作技能提出了高要求；

4、四个图像占用数据的传输量近4M字节，对于起重机远程通讯系统来说是很大的负担。当网络连接多台起重机时，情况尤为严重，经常会在远程显示器上出现图像迟滞、卡壳等现象，从而影响远程作业的流畅性，降低工作效率，甚至因为无法获取实时图像而留下操作安全隐患。

因而研发设计一种人性化易于远程司机对箱的引导系统，能够消除上述各种弊端，增加远程作业效率，提高起重机的技术含量和市场竞争力。另外目前国内外尚无类似装置，市场前景广阔。

发明内容

本发明的目的在于解决上述问题，提供了一种集装箱起重机吊具对箱引导系统，极大方便了司机的远程对箱作业，提升了起重机数字化、信息化和智能化水平，并有极大的应用扩展性。

本发明的技术方案为：本发明揭示了一种集装箱起重机吊具对箱引导系统，包括：

多个摄像头，安装在吊具上；

第一光端机，安装在吊具上，和每一摄像头电连接，接收摄像头输出的视频信号；

第二光端机，安装在起重机上，和第一光端机通过光纤连接；

工控机，安装在起重机上，电连接第二光端机和起重机的可编程控制器，接收第二光端机输出的吊具摄像头视频信号、起重机可编程控制器中吊具的位置姿态信息和作业任务信息；

计算机，安装在远程控制室内，和工控机通过光纤连接，同工控机进行信息双向传输。

显示器，电连接计算机，显示计算机输出的吊具框和目标框所组成的对箱引导画面；

对箱引导装置，可安装在起重机工控机内或远程计算机上（两者取一），基于摄像头拍摄到的图像信息和起重机吊具的位置姿态信息以及作业任务信息获得目标集装箱锁孔的目标位置和当前吊具的实际位置，并将锁孔的目标位置和吊具的实际位置分别拟合成吊具框和目标框；并用不同颜色分别显示吊具框和目标框。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，每一摄像头通过一支架固定在吊具的伸缩臂的四个对应集装箱锁孔的位置。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，每一支架具有防撞防震的功能。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，每一支架具有位置调整的功能。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，系统还包括：

姿态采集传感器，安装在起重机上，和工控机电耦合，用于检测吊具当前的位置姿态信息并输出至工控机。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，对箱引导装置还包括：

对箱状态提示设备，通过声光信息对对箱作业的状态进行提示。

根据本发明的集装箱起重机吊具对箱引导系统的一实施例，对箱引导装置还包括：

对箱信息提示设备，通过显示器上的文字和数据实时显示当前对箱偏差信息。

本发明对比现有技术有如下的有益效果：本发明的方案是针对半自动或全自动集装箱起重机远程作业时需要根据吊具摄像头图像进行对箱作业的缺陷，通过图像处理技术和位置数据拟合技术以及“瞄准框”方法，将远程对箱作业时远程司机观看的原始吊具图像处理转换成目标框和当前吊具框对比显示形式并伴随文字数据说明，只要吊具框落入目标框就表明对箱成功。相比传统的集装箱起重机远程作业时司机需要根据传送图像而进行对箱作业的方案，通过本发明的这一套吊具对箱引导系统，使司机对箱时不再需要看着实际的摄像图像画面来操作，而是根据吊具对箱引导系统所采用的二个数字框对比显示来作业（如同射击时的瞄准框概念），当吊具框进入目标框范围时司机即可下放吊具，从而消除了原来根据图像画面而带来的种种不足，简化了作业画面，提高了远程作业对箱技术的数字化、智能化和信息化水平。

附图说明

图1示出了本发明的集装箱起重机吊具对箱引导系统的较佳实施例的原理图。

图2示出了本发明中的吊具摄像头的安装示意图。

图3示出了本发明的对箱引导装置的处理流程图。

图4示出本发明的显示器上的引导画面的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述。

图1示出了本发明的集装箱起重机吊具对箱引导系统的较佳实施例的原理。请参见图1，本实施例的集装箱起重机吊具对箱引导系统包括：多个摄像头10～13（在本实施例中示出为4个）、第一光端机2、第二光端机3、工控机4、计算机5和显示器6。

这四个摄像头10～13安装在吊具7上。具体来说，请参见图2，每一摄像头（例如图2所示的摄像头10）通过一具有防撞防震和位置调整功能的支架70固定在吊具7的伸缩臂的四个对应集装箱锁孔的位置。

第一光端机2安装在吊具7上，具有四路视频输入和一路光纤输出，和每一摄像头10～13电连接，接收摄像头10～13输出的四路视频信号。

第二光端机3安装在起重机8上，和第一光端机2通过光纤连接。

工控机4安装在起重机8上，电连接第二光端机3和起重机的可编程控制器（未图示），接收第二光端机输出的视频信号、吊具的位置姿态信息和作业任务信息，经过处理后输出到远程控制室9内的计算机5。吊具的位置姿态信息可以是起重机本身就具有的，这就不需要单独安装附加设备来采集。若起重机本身不提供位置姿态信息，则可以通过安装姿态采集传感器来实现，姿态采集传感器安装在起重机8上，和工控机4电耦合，用于检测吊具当前的位置姿态信息并输出至工控机4。吊具的位置姿态信息包括左右位置、前后位置、吊具高度位置、旋转角度等。这些位置姿态信息可以纠正摄像头的图像偏差，最后正确获得吊具当前姿态同目标集装箱的相对位置。

计算机5安装在远程控制室9内，和工控机4通过光纤连接，其中计算机5内设有对箱引导装置（注：如远程通讯系统数据流量限制不易传输图像信息（约4M大小），则对箱引导装置可安装在起重机上的工控机4内，由对箱引导装置处理完毕后传送对应的吊具框和目标框数据信息给计算机5即可，此时数据流量可减少到500K以内）。对箱引导装置基于摄像头10～13拍摄到的图像信息和起重机吊具的位置姿态信息获得目标集装箱锁孔的目标位置和当前吊具的实际位置，并将锁孔的目标位置和吊具的实际位置分别拟合成吊具框和目标框。在这个过程中，系统输入吊具上四个摄像头10～13的实时图像，通过图像处理技术，将拍摄到的四个锁孔图像转换成锁孔的数字位置；同时由于四个摄像头已经固定安装在吊具上，相互位置已知，可以将四个锁孔位置拟合成一个完整集装箱的位置。此外，当由于光线、障碍物或者其他因素导致四个摄像头图像不完整（图像不清晰或者只有2到3个图像画面）时，由于吊具本身是一个刚性体，系统仍然可以通过推算演示出整个集装箱的完整位置。这些信息输出到显示器6上显示，也可以通过网络通讯方式传送到远程控制室内的其他显示或者处理设备，以方便码头总控系统的综合信息集成。

较佳的，对箱引导装置内还设有对箱状态提示设备，通过声光信息对对箱作业的状态进行提示。此外，对箱引导装置内还设有对箱信息提示设备，通过显示器上的文字和数据实时显示当前对箱偏差信息。

显示器6电连接计算机5，显示计算机5输出的吊具框和目标框所组成的对箱引导画面，在对箱引导画面中显示吊具框和目标框的相对位置，便于司机观看操作，如图4所示。较佳的还可以对目标框和吊具框采用不同的颜色以示区分。在操作时可以通过对箱状态提示设备提供的声光信息来提示司机进行对箱作业，并同时在画面中以文字和数据显示对箱信息提示设备提供的对箱偏差信息。当吊具框完全进入目标框，则表明吊具位置对准了目标集装箱，远程司机可以马上进行下降落箱。

整个对箱引导系统的设备安装和系统调试的过程如下。

设备安装过程：

首先将四个摄像头10～13的防震支架固定在吊具7上，然后安装摄像头10～13，并调整好大概的位置，使四个摄像头相对吊具锁头71的位置对称。

在吊具7上架上安装控制箱，内含吊具电源、图像传输用的第一光端机2。在电气房安装相对应的第二光端机3和工控机4，在远程控制室9中操作台安装计算机5和显示器6，完成摄像头—第一光端机—光吊具光纤电缆—第二光端机—工控机—操作台计算机—显示器的信号和电源连线。

通过以太网连接工控机4和起重机主可编程控制器PLC，获取吊具姿态位置信息和当前作业任务信息。

系统调试过程：

第一步，通电后观察四个摄像头的画面，调整支架位置，使四个摄像头的画面在同一水平面上横向和纵向都图像一致，大小接近相等。

第二步，在吊具启动摄像头拍摄的高度位置（即基准位置），获取四个图像的基准信息，对图像进行初定位，将图像的边缘部分去掉。

第三步，对图像进行二值化，并记录对应集装箱锁孔的信息，包括最左边点坐标、最右边点坐标、最上边坐标、最下边坐标和块像素的个数。

第四步，将图像中的干扰去掉，比如块的宽度超过一定数量像素，则认为是干扰，将其归零。干扰去掉以后，将图像的直线段都找出来，并将直线段的两个端点坐标存储。

第五步，对找出来点直线段利用像素长度，以及直线上的点空间坐标等进行约束，最终找到四个目标锁孔段，分别进行闭运算、边缘提取，获得四个锁孔目标框。

第六步，结合四个摄像头相互间的固定距离，并根据集装箱的标准尺寸，将四个锁孔目标框整合成完整的目标集装箱位置框。

第七步，根据吊具位置姿态信息，将当前吊具的位置抽象成吊具框数据。

第八步，将集装箱目标框和当前吊具位置框用软件描绘出来，并用红色和绿色分别表示，在中控显示器上显示，旁边用文字和数据实时显示吊具相当目标集装箱的左右、上下偏差和旋转偏角信息，以作为详细的补充说明。

以上为基准位置的软件调试步骤。此外，针对吊具在基准范围内的其他高度和姿态，需要计算调整系数：

使吊具下降到不同高度位置，计算吊具图像同工作高度的相互关系和补偿系数。

在不同高度旋转吊具，计算四个图像同吊具旋转角度的相关性和补偿系数。

在不同高度前后、左右移动吊具，计算四个图像同吊具偏移量之间的相关性和补偿系数。

在完成上述步骤以后，对箱引导系统就初步调试完毕，可以进入实际作业验证阶段。

在起重机的设计不同高度分别堆放集装箱（一般为从一层到六层），尝试远程作业。如果每层集装箱都能由对箱引导系统成功检测并显示，则表明系统安装调试成功。

本发明所设计研发的对箱引导系统将现有的远程对箱作业依靠目测摄像头的直接图像并凭借司机经验对箱这种原始方式，通过信息提取，智能化处理并输出等一系列手段，最终转换成数字瞄准框方式，这一方面有利于司机的简单作业，减少对司机技能的依赖；另一方面该技术有扩展性，可应用到完全不需要人工介入作业的全自动无人操作模式（即起重机完全自动化，不需要远程人工对箱）。

上述实施例是提供给本领域普通技术人员来实现和使用本发明的，本领域普通技术人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书所提到的创新性特征的最大范围。

Claims (7)

1.一种集装箱起重机吊具对箱引导系统，包括：

多个摄像头，安装在吊具上；

第一光端机，安装在吊具上，和每一摄像头电连接，接收摄像头输出的视频信号；

第二光端机，安装在起重机上，和第一光端机通过光纤连接；

工控机，安装在起重机上，电连接第二光端机和起重机的可编程控制器，接收第二光端机输出的安装在吊具上的摄像头的视频信号、起重机的可编程控制器中吊具的位置姿态信息和作业任务信息；

计算机，安装在远程控制室内，和工控机通过光纤连接，同工控机进行信息双向传输。

显示器，电连接计算机，显示计算机输出的吊具框和目标框所组成的对箱引导画面；

对箱引导装置，安装在起重机的工控机内或远程控制室内的计算机上，基于摄像头拍摄到的图像信息和起重机吊具的位置姿态信息以及作业任务信息获得目标集装箱锁孔的目标位置和当前吊具的实际位置，并将锁孔的目标位置和吊具的实际位置分别拟合成吊具框和目标框。

2.根据权利要求1所述的集装箱起重机吊具对箱引导系统，其特征在于，每一摄像头通过一支架固定在吊具的四个对应集装箱锁孔的位置。

3.根据权利要求2所述的集装箱起重机吊具对箱引导系统，其特征在于，每一支架具有防撞防震的功能。

4.根据权利要求2所述的集装箱起重机吊具对箱引导系统，其特征在于，每一支架具有位置调整的功能。

5.根据权利要求1所述的集装箱起重机吊具对箱引导系统，其特征在于，系统还包括：

姿态采集传感器，安装在起重机上，和工控机电耦合，用于检测吊具当前的位置姿态信息并输出至工控机。

6.根据权利要求1所述的集装箱起重机吊具对箱引导系统，其特征在于，对箱引导装置还包括：

对箱状态提示设备，通过声光信息对对箱作业的状态进行提示。

7.根据权利要求1所述的集装箱起重机吊具对箱引导系统，其特征在于，对箱引导装置还包括：

对箱信息提示设备，通过显示器上的文字和数据实时显示当前对箱偏差信息。

Images