CN102452611A - 集装箱起重机的吊具空间姿态的检测方法和装置 - Google Patents

Abstract

本发明涉及一种集装箱起重机的吊具空间姿态的检测方法和装置，该检测装置包括图像捕捉设备、三角架、三个发射灯、以及计算设备。图像捕捉设备安装在起重机的小车底部，该图像捕捉设备的光轴指向地面，其中以图像捕捉设备的光心为原点定义图像捕捉设备坐标系，并以小车上的任一点为原点定义参考点坐标系。三角架一边朝下与吊具连接。三个发射灯其正面垂直向上，分别固定于该三角架的三个角上。计算设备通过采集到的发射灯图像以及预存的标定数据，可得到三个发射灯在小车的参考点坐标系下的坐标，以及吊具的几何中心在参考点坐标系下的坐标。从而，得到该吊具相对参考点的偏转角度、俯仰角度和侧倾角度，以及吊具在大、小车方向上的偏移。

Description

集装箱起重机的吊具空间姿态的检测方法和装置

技术领域

本发明涉及一种起重机的控制系统，尤其是涉及集装箱起重机的吊具空间姿态的检测方法和装置。

背景技术

为了提高集装箱的装卸效率、降低人工成本，越来越多的港口开始使用自动化的集装箱起重机。自动化的集装箱起重机的特点在于，装卸集装箱的过程中不需要人参与，它可以通过起重机大小车的编码器进行位置定位，使吊具定位于目标集装箱上方装卸集装箱，大大减少人工成本和工作强度。可以看出，这样的装卸集装箱的方法是一个半开环控制，其并没有直接检测到集装箱和吊具的姿态，从而确保姿态的准确性。而自动化起重机在运行过程中产生的振动、形变、编码器定位误差，都会影响到其定位的准确性。这会导致其在装卸箱的时候，吊具无法对准目标集装箱，从而带来了极大的安全隐患。

中国发明专利公开号CN1978306公开了一种集装箱吊具定位方法，该吊具包括吊具主体、安装在吊具主体上的导向板、安装在主体下方且与集装箱锁孔对应的扭锁，它还包括监控扭锁与锁孔位置关系的摄像头以及与摄像头连接的显示屏。在作业过程中，通过摄像头监视锁孔与扭锁的对准情况。此发明虽然使吊具的定位更为直观，快速，但还是需要人参与。

中国发明专利公开号CN101289156公开了一种基于全方位视觉传感器的智能集装箱吊具，通过图像识别的方法检测集装箱和吊具之间的选装角度、平移距离以及下放距离。此发明应用图像检测的方法会存在如下问题：

1)稳定性不高、受外界光线干扰严重。

2)吊具上的摄像头遭受装卸箱的振动，容易损坏。

3)只能检测到偏转角度和平移的偏差，无法检测到俯仰和侧倾方向的角度。而这两个角度是判断集装箱落地是否安全的主要判断依据。

4)只能用作抓箱操作，无法在放箱操作中应用。

中国专利申请号为95117368.0的专利公开了一种在集装箱起重机上检测吊具振摆的检测装置。其用2台摄像头和2个标记物，通过图像处理的方法检测标记物的位置，从而计算出吊具的偏转角度和平行振摆量。此发明应用了两个相机，成本较高，而且也只能检测出偏转角度和平行振摆量。无法测量平移、俯仰角度和侧倾角度。

发明内容

本发明提出一种起重机吊具空间姿态的检测装置，其能够无接触、全天候、快速、准确检测出吊具的空间姿态。

本发明提出一种使用上述检测装置的起重机吊具空间姿态的检测方法。

本发明为解决上述技术问题而采用的技术方案是一种集装箱起重机的吊具空间姿态的检测装置，包括图像捕捉设备、三角架、三个发射灯、以及计算设备。图像捕捉设备安装在起重机的小车底部，该图像捕捉设备的光轴指向地面，其中以图像捕捉设备的光心为原点定义图像捕捉设备坐标系，并以小车上的任一点为原点定义参考点坐标系。三角架呈等腰三角形，其底边朝下与吊具连接。三个发射灯其正面垂直向上，分别固定于该三角架的三个角上。计算设备连接该图像捕捉设备，计算设备进一步包括存储模块、图像采集模块、位置识别模块、坐标转换模块、参考点转换模块、以及吊具中心计算模块。存储模块保存通过预先标定获得的各个发射灯之间距离、该图像捕捉设备的内部参数、图像捕捉设备和参考点坐标转换关系、以及三个发射灯到该吊具的几何中心的距离。图像采集模块通过图像捕捉设备的光学传感器将光线强度的模拟信号转换为数字信号，并按顺序组成图像。位置识别模块通过图像识别的方法在该图像中识别出三个发射灯的中心在图像中的位置。坐标转换模块，根据预存的各发射灯之间的距离和该图像捕捉设备的内部参数计算出三个发射灯在图像捕捉设备坐标系中的坐标。参考点转换模块根据预存的图像捕捉设备和参考点坐标转换关系计算三个发射灯在该参考点坐标系下的坐标，从而得到该吊具相对参考点的偏转角度、俯仰角度和侧倾角度。吊具中心计算模块根据三个发射灯中心在参考点坐标系下的坐标，以及预存的三个发射灯到该吊具的几何中心的距离，计算出该吊具的几何中心在参考点坐标系下的坐标，从而得到该吊具相对该参考点坐标系在大、小车方向上的偏移。

在本发明的集装箱起重机的吊具空间姿态的检测装置的实施例中，上述三个发射灯为红外发射灯，上述图像捕捉设备为红外图像捕捉设备。

在本发明的集装箱起重机的吊具空间姿态的检测装置的实施例中，上述图像捕捉设备的光轴与上述三角架顶点的发射灯的中心在垂直方向上对齐。

在本发明的集装箱起重机的吊具空间姿态的检测装置的实施例中，上述图像捕捉设备的内部参数包括：横向名义焦距、纵向名义焦距和主点位置。

在本发明的集装箱起重机的吊具空间姿态的检测装置的实施例中，上述发射灯包括布置在一圆形电路板上组成圆形阵列的多个发光二极管，该圆形阵列被封装在盒体内，盒体上方开孔，并安装玻璃。

在本发明的集装箱起重机的吊具空间姿态的检测装置的实施例中，上述计算设备内置于上述图像捕捉设备中。

本发明还提出一种集装箱起重机的吊具空间姿态的检测方法，使用上述的检测装置检测吊具空间姿态，该方法包括两个阶段：运行前的标定阶段、运行阶段。标定阶段包括：测量三个发射灯之间的距离；测量三个发射灯到吊具中心的距离；标定图像捕捉设备的内部参数；计算出图像捕捉设备和参考点坐标转换关系；以及保存上述三个发射灯之间的距离、三个发射灯到吊具中心的距离、图像捕捉设备的内部参数、以及图像捕捉设备和参考点坐标转换关系于计算设备的存储模块中。运行阶段包括：用图像采集模块采集三个发射灯的图像数据；用位置识别模块在图像中将三个发射灯的中心在图像中的位置识别出来；用坐标转换模块，结合三个发射灯之间的距离以及图像捕捉设备内部参数，计算出三个发射灯的中心在图像捕捉设备坐标下的坐标值；用参考点转换模块，结合图像捕捉设备和参考点坐标转换关系计算三个发射灯的中心在参考点坐标下的坐标值，从而计算出吊具的偏转角度、俯仰角度和侧倾角度；以及用吊具中心计算模块，结合三个发射灯中心到吊具中心的距离计算吊具中心在参考点坐标系下的坐标，从而计算吊具相对参考点的大、小车方向偏移。

在本发明的集装箱起重机的吊具空间姿态的检测方法的一实施例中，计算出图像捕捉设备和参考点坐标转换关系的步骤包括：通过图像采集模块采集到三个发射灯的影像；用位置识别模块找到三个发射灯的中心在图像中的位置；结合三个发射灯之间的距离和图像捕捉设备内部参数，通过坐标转换模块，将三个发射灯的中心在图像捕捉设备坐标系下的第一坐标计算出来；以及测量三个发射灯的中心在参考点坐标系中的第二坐标，基于上述第一坐标和第二坐标计算出图像捕捉设备和参考点坐标转换关系。

本发明由于采用以上技术方案，使之与现有技术相比，具有如下显著优点：

1、测量吊具参数全面，包含吊具相对参考点的大、小车方向偏移、吊具的偏转角度、俯仰角度和侧倾角度，从而使得对吊具的控制更为准确。

2、本发明能够无接触、全天候、精确快速地测量吊具位姿态。

3、使用单个红外摄像机，可降低成本，并且避免可见光的干扰。并且图像捕捉设备安装在小车上，避免了装卸箱对图像捕捉设备的振动。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1A-1C示出吊具空间姿态示意图。

图2示出本发明一实施例的检测装置安装示意图。

图3A和图3B示出本发明一实施例的红外发射灯示意图。

图4示出本发明一实施例的吊具姿态计算设备结构图。

图5示出本发明一实施例的吊具姿态检测方法流程框图。

具体实施方式

图1A-1C示出吊具空间姿态示意图。如图1A-1C所示，完整的吊具姿态数据包含以下5个参数：

1)吊具5的吊具中心8与小车1上参考点坐标系2下的大车方向偏移D；

2)吊具5的吊具中心8与小车1上参考点坐标系2下的小车方向偏移X；

3)吊具5相对小车1的偏转角度α；

4)吊具5相对小车1的俯仰角度β；

5)吊具5相对小车1的侧倾角度γ。

本发明实施例的目标是检测上述5个参数，传输给吊具控制器，以控制吊具的姿态。

参照图2所示，在小车1上设定参考点坐标系2，这一坐标系是以参考点为原点，大车方向为x轴，小车方向为y轴，z轴垂直地面朝上。参考点是指，在小车平台的任何表面上任选一个点。可以理解的是，坐标系的定义是为方便计算，但本发明并不限定于使用某一具体的坐标系。

另外，定义吊具中心点O，其是指吊具5上表面的几何中心点。

计算吊具中心8和小车1上的参考点坐标系2的位姿关系，并依据此位姿关系控制吊具5，这样就能够准确定位吊具位姿，从而实现准确的装卸集装箱。

如图2所示，本发明的检测装置可包括图像捕捉设备3、三角架4、三个发射灯7、和计算设备8。

图像捕捉设备3为可连续捕捉多个图像的照相机或者摄像机。较佳地，图像捕捉设备3为红外设备，尤其是对近红外光敏感的黑白成像的设备。在本实施例中使用能够拍摄视频流的近红外摄像机，其带有12mm焦距的镜头和850nm的红外滤光镜，并使用CCD传感器。摄像机在小车1底部，与小车1通过焊接连接。摄像机的光轴指向地面。

在本实施例中，定义摄像机坐标系9，其以摄像机的光心为原点，x轴指向小车方向，y轴指向大车方向，z轴垂直地面向下。

三角架4可为三角形。为简化计算，可使用等腰三角形。举例来说，三角架4的底边长80cm，高150cm。三脚架可选取钢或铝等刚性金属材料。三角架4底边朝下和吊具5通过焊接连接。

在本实施例中，发射灯7使用与摄像机对应的近红外发射灯。发射灯7的结构示例如图3A和图3B所示。其中图3A为侧视图，图3B为图3A的A-A剖视图。若干个直插式或贴片式近红外850nm波长的发光二极管(LED)11焊接在一个直径20cm的圆形电路板10上组成圆形阵列。这些圆形阵列被封装在一个长方体的诸如不锈钢等材料制成的盒体9内，以防灰尘、雨水和撞击。盒体9上方开一个直径约15cm的孔，并安装有机玻璃12，以使红外LED 11发出的红外线能够透过，并被摄像机3接收到。发射灯7安装有有机玻璃12的一面(正面)垂直朝上。

三个发射灯7正面垂直向上，分别通过螺栓固定于三角架4的三个角上。摄像机的光轴与位于三角架顶点的发射灯的中心(如圆心)在垂直方向上对齐。

在一个实施例中，发射灯7与24V直流电源连接，以实现供电。摄像机与12V直流电源连接，以实现供电。摄像机3还通过通讯接口，例如RS422接口与外部的可编程控制器(PLC)通讯。计算设备8可内置于摄像机3中。

在放箱操作中，待放集装箱6与吊具5是刚性连接，所以检测出吊具的姿态就能够知道集装箱的姿态。在抓箱操作中，吊具5上则没有集装箱6。

计算设备8的结构如图4所示，其包含：图像采集模块13、位置识别模块14、摄像机坐标转换模块15、参考点坐标转换模块16、吊具中心计算模块17。

计算设备8可包含存储器18，保存发射灯之间距离、摄像机内部参数、摄像机和参考点坐标转换关系、以及发射灯到吊具中心的距离。

图像采集模块13通过摄像机3的光学传感器，例如CCD传感器，将光线强度的模拟信号转换为数字信号，并按顺序组成灰度图像。

位置识别模块14可在上述灰度图像中，通过图像识别的方法识别出三个发射灯7的中心在图像中的位置。

坐标转换模块15在获得三个发射灯7的位置后，根据发射灯之间的距离计算出三个发射灯7在摄像机坐标系9中的坐标。由于摄像机内部参数，如横向名义焦距、纵向名义焦距和主点位置对距离的影响，因此在计算中，需要结合摄像机内部参数。

参考点转换模块16，在得到发射灯7在摄像机坐标系9中的坐标后，根据摄像机和参考点坐标转换关系计算三个发射灯7的中心在参考点坐标系2下的坐标。通过此模块16可以得到吊具5相对参考点的偏转角度、俯仰角度和侧倾角度。

吊具中心计算模块17可根据三个发射灯7中心在参考点坐标系2下的坐标，以及红外发射灯到吊具中心距离，计算出吊具中心8在参考点坐标系2下的坐标。此模块可以得到，吊具5相对参考点坐标系2在大小车方向上的偏移。

上述红外发射灯之间的距离可用距离测量仪器测量三个红外发射灯7中心之间的距离获得。

上述摄像机的内部参数可用摄像机标定方法确定。举例来说，摄像机内部参数包括：横向名义焦距、纵向名义焦距和主点位置。

摄像机和参考点坐标转换关系，可通过坐标转换模块15计算出三个发射灯7在摄像机坐标系9中的坐标后，用距离测量仪器测量出此时红外发射灯7在参考点坐标系2下的坐标，然后用这两组坐标值计算出摄像机坐标和参考点坐标的变换关系，它可表达为齐次变换关系，通过三个欧拉角和三个平移距离来表示。

发射灯到吊具中心距离可用距离测量仪器事先测量每个发射灯7中心到吊具中心O的距离来获得。

在本发明的实施例中，距离测量仪器是诸如莱卡坐标测量仪之类的测距仪。

图5示出本发明一实施例的吊具姿态检测方法流程框图。下面，参照图2-5描述本发明的吊具姿态检测方法。

首先是标定阶段，包括以下几个步骤。

步骤S10，通过距离测量仪测量三个发射灯之间的距离，可以得到3个距离值。而且由于这三个近红外发射灯是固定在三角架上的，一旦安装完成后距离就是固定的。

步骤S12，用距离测量仪器测出三个发射灯到吊具中心的距离。

步骤S14，标定摄像机的内部参数。

步骤S16，计算出摄像机和参考点坐标转换关系，具体步骤如下：

通过摄像机3内部的图像采集模块13采集到正下方的三个发射灯7的影像；用位置识别模块14找到三个发射灯7的中心在图像中的位置，结合步骤S10和S12测量的红外发射灯之间的距离和摄像机内部参数，通过坐标转换模块15，将发射灯中心在摄像机坐标系下的坐标计算出来。随后用距离测量仪测量此时的三个发射灯的中心在参考点坐标系中的坐标，基于上述两个坐标计算出摄像机和参考点坐标转换关系。

由于参考点和摄像机3之间的关系在安装完成后就固定下来，所以以上4个步骤只用在安装完成后执行一次即可。之后，可以利用标定阶段获得的三个近红外发射灯之间的距离、三个发射灯到吊具中心的距离、摄像机的内部参数、摄像机和参考点坐标转换关系，执行下述的运行阶段。

标定完成后，就可以进入运行阶段：

步骤S20，用图像采集模块13采集三个发射灯的灰度图像数据。

步骤S22，用位置识别模块14在图像中将三个发射灯的中心在图像中的位置识别出来。

步骤S24，用坐标转换模块15，结合三个发射灯7之间的距离以及摄像机内部参数，计算出三个发射灯7的中心在摄像机坐标下的坐标值。

步骤S26，用参考点转换模块16，结合摄像机和参考点坐标转换关系计算三个发射灯的中心在参考点坐标下的坐标值。通过此坐标值计算出吊具的偏转角度、俯仰角度和侧倾角度α、β和γ。

步骤S28，用吊具中心计算模块17，结合三个红外发射灯中心到吊具中心的距离计算吊具中心在参考点坐标系下的坐标，从而可以给出吊具相对参考点的大、小车方向偏移D、X。

因此，本发明上述实施例的吊具姿态检测方法和设备，与现有技术相比，具有以下优点：

1、测量吊具参数全面，包含吊具相对参考点的大、小车方向偏移、吊具的偏转角度、俯仰角度和侧倾角度，从而使得对吊具的控制更为准确。

2、本发明能够无接触、全天候、精确快速地测量吊具位姿态。

3、使用单个红外摄像机，可降低成本，并且避免可见光的干扰。并且摄像机安装在小车上，避免了装卸箱对摄像机的振动。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (9)

1.一种集装箱起重机的吊具空间姿态的检测装置，包括：

图像捕捉设备，安装在起重机的小车底部，该图像捕捉设备的光轴指向地面，其中以图像捕捉设备的光心为原点定义图像捕捉设备坐标系，并以小车上的任一点为原点定义参考点坐标系；

三角架，其一边朝下与吊具连接；

三个发射灯，其正面垂直向上，分别固定于该三角架的三个角上；以及计算设备，连接该图像捕捉设备，该计算设备包括：

存储模块，保存通过预先标定获得的各个发射灯之间距离、该图像捕捉设备的内部参数、图像捕捉设备和参考点坐标转换关系、以及三个发射灯到该吊具的几何中心的距离；

图像采集模块，通过图像捕捉设备的光学传感器将光线强度的模拟信号转换为数字信号，并按顺序组成图像；

位置识别模块，通过图像识别的方法在该图像中识别出三个发射灯的中心在图像中的位置；

坐标转换模块，根据预存的各发射灯之间的距离和该图像捕捉设备的内部参数计算出三个发射灯在图像捕捉设备坐标系中的坐标；

参考点转换模块，根据预存的图像捕捉设备和参考点坐标转换关系计算三个发射灯在该参考点坐标系下的坐标，从而得到该吊具相对参考点的偏转角度、俯仰角度和侧倾角度；以及

吊具中心计算模块，根据三个发射灯中心在参考点坐标系下的坐标，以及预存的三个发射灯到该吊具的几何中心的距离，计算出该吊具的几何中心在参考点坐标系下的坐标，从而得到该吊具相对该参考点坐标系在大、小车方向上的偏移。

2.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述三个发射灯为红外发射灯，所述图像捕捉设备为红外图像捕捉设备。

3.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述图像捕捉设备的光轴与位于所述三角架顶点的发射灯的中心在垂直方向上对齐。

4.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述图像捕捉设备的内部参数包括：横向名义焦距、纵向名义焦距和主点位置。

5.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述发射灯包括布置在一圆形电路板上组成圆形阵列的多个发光二极管，该圆形阵列被封装在盒体内，盒体上方开孔，并安装玻璃。

6.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述计算设备内置于所述图像捕捉设备中。

7.如权利要求1所述的集装箱起重机的吊具空间姿态的检测装置，其特征在于，所述三角架呈等腰三角形，其底边与所述吊具连接。

8.一种集装箱起重机的吊具空间姿态的检测方法，使用如权利要求1所述的检测装置检测吊具空间姿态，该方法包括以下步骤：

运行前的标定阶段，包括：

测量三个发射灯之间的距离；

测量三个发射灯到吊具中心的距离；

标定图像捕捉设备的内部参数；

计算出图像捕捉设备和参考点坐标转换关系；以及

保存上述三个发射灯之间的距离、三个发射灯到吊具中心的距离、图像捕捉设备的内部参数、以及图像捕捉设备和参考点坐标转换关系于计算设备的存储模块中；

运行阶段，包括：

用图像采集模块采集三个发射灯的图像数据；

用位置识别模块在图像中将三个发射灯的中心在图像中的位置识别出来；

用坐标转换模块，结合三个发射灯之间的距离以及图像捕捉设备内部参数，计算出三个发射灯的中心在图像捕捉设备坐标下的坐标值；

用参考点转换模块，结合图像捕捉设备和参考点坐标转换关系计算三个发射灯的中心在参考点坐标下的坐标值，从而计算出吊具的偏转角度、俯仰角度和侧倾角度；以及

用吊具中心计算模块，结合三个发射灯中心到吊具中心的距离计算吊具中心在参考点坐标系下的坐标，从而计算吊具相对参考点的大、小车方向偏移。

9.如权利要求8所述的集装箱起重机的吊具空间姿态的检测方法，其特征在于，计算出图像捕捉设备和参考点坐标转换关系的步骤包括：

通过图像采集模块采集到三个发射灯的影像；

用位置识别模块找到三个发射灯的中心在图像中的位置；

结合三个发射灯之间的距离和图像捕捉设备内部参数，通过坐标转换模块，将三个发射灯的中心在图像捕捉设备坐标系下的第一坐标计算出来；以及

测量三个发射灯的中心在参考点坐标系中的第二坐标，基于上述第一坐标和第二坐标计算出图像捕捉设备和参考点坐标转换关系。

Images