CN105712206A - 集装箱吊具位姿检测系统及方法 - Google Patents

Abstract

本发明公开了集装箱吊具位姿检测系统及方法，该系统包括小车、第一相机、第二相机、吊具、吊具标识、箱位标识、标定靶。第一相机和第二相机设置于小车的底部，标定靶用于获得第一相机和第二相机坐标系的转换关系，吊具标识设置于吊具上，箱位标识设置于对应箱位的旁边，并且位于相邻两个箱位的中间间隙内。该方法包括：步骤1，在小车、吊具和箱位的对应位置设置第一相机、第二相机、吊具标识和箱位标识；步骤2，利用标定靶获取第一相机和第二相机的转换关系；步骤3，计算吊具坐标系到第一相机坐标系的转换关系；步骤4，计算第二相机坐标系到箱位坐标系的转换关系；步骤5，计算吊具坐标系到箱位坐标系的转换关系。

Description

集装箱吊具位姿检测系统及方法

技术领域

本发明涉及集装箱起重机自动化系统及方法，更具体地说，涉及一种集装箱吊具位姿检测系统及方法。

背景技术

当今，集装箱码头的自动化建设已成为国内外众多集装箱码头发展的必然趋势。在集装箱的自动化堆场中，集装箱门式起重机(包括轨道吊和轮胎吊)是用来装卸集装箱的主要设备。

起重机在堆场区域作业时，首先将起重机行驶到目标贝位，然后再将小车行驶到目标列位，使吊具粗定位于目标集装箱箱位的正上方。但是，在吊具下降对准目标集装箱箱位的作业过程中，由于起重机承重梁存在形变，起重机的大车和小车存在定位误差等原因将使吊具的位姿发生不可预期的变化，从而增加了吊具与目标集装箱箱位的对位失败风险。

因此，相对目标集装箱箱位的吊具位姿检测是实现堆场自动化的一个关键技术环节。

发明内容

针对现有技术中存在的起重机在作业时需要了解其吊具位姿的问题，本发明的目的是提供一种集装箱吊具位姿检测系统及方法。

为实现上述目的，本发明采用如下技术方案：

一种集装箱吊具位姿检测系统，包括小车、第一相机、第二相机、吊具、吊具标识、箱位标识、标定靶。第一相机和第二相机设置于小车的底部，标定靶用于获得第一相机和第二相机坐标系的转换关系，吊具标识设置于吊具上，箱位标识设置于对应箱位的旁边，并且位于相邻两个箱位的中间间隙内。

根据本发明的一实施例，吊具标识包括左标识、中标识和右标识，其中左标识和右标识的高度相同，中标识的高度高于左标识和右标识，且左标识、中标识和右标识排列成一直线，垂直设置于吊具的顶面。

根据本发明的一实施例，箱位标识包括两个标识点，两个标识点的连线平行于箱位。

根据本发明的一实施例，吊具标识设置于第一相机的正下方且位于第一相机的视野内，箱位标识设置于第二相机的正下方且位于第二相机的视野内。

为实现上述目的，本发明还采用如下技术方案：

一种集装箱吊具位姿检测方法，包括：步骤1，在小车、吊具和箱位的对应位置设置第一相机、第二相机、吊具标识和箱位标识；步骤2，利用标定靶获取第一相机和第二相机的转换关系；步骤3，计算吊具坐标系到第一相机坐标系的转换关系；步骤4，计算第二相机坐标系到箱位坐标系的转换关系；步骤5，计算吊具坐标系到箱位坐标系的转换关系。

根据本发明的一实施例，步骤2包括：设定标定靶，使得持标定靶坐标系相对第一相机坐标系和第二相机坐标系不发生变化；通过对第一相机的外参数标定，获取第一相机坐标系到标定靶坐标系之间的转换关系；通过对第二相机的外参数标定，获取标定靶坐标系到第二相机坐标系之间的转换关系；计算第一相机坐标系与第二相机坐标系的转换关系。

根据本发明的一实施例，步骤3包括：第一相机获取吊具标识的图像，得到吊具标识在第一相机坐标系中的坐标；测量吊具标识在吊具坐标系中的坐标；计算吊具坐标系到第一相机坐标系之间转换关系。

根据本发明的一实施例，步骤4包括：第二相机获取箱位标识的图像，得到箱位标识在第二相机坐标系中的坐标；测量箱位标识在箱位坐标系中的坐标；计算箱位坐标系到第二相机坐标系之间转换关系。

在上述技术方案中，本发明的集装箱吊具位姿检测系统及方法通过两个相机相互配合实现吊具相对目标集装箱箱位的位姿检测。机器视觉技术的引入能够实现堆场集装箱的装卸自动化，这对于提高集装箱的装卸效率，降低工人的劳动强度，减少人力资源的投入，提高集装箱码头吞吐量具有重要的现实意义。

附图说明

图1是集装箱吊具位姿检测系统的结构示意图；

图2A和2B是吊具及其吊具标识的结构示意图；

图3是吊具及箱位标识的示意图；

图4是标定靶与第一相机、第二相机的位置示意图；

图5是相机及各坐标系的建立示意图；

图6是吊具位姿检测方法的流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

本发明针对集装箱起重机自动化提出一种相对目标集装箱箱位的吊具位姿检测系统及方法，能够为堆场集装箱起重机的自动化抓放箱作业提供重要的位姿检测信息，尤其对开底作业(在堆场中的集装箱位放首箱)更为有效。

本发明的总体思路是通过两个相机相互配合来实现吊具相对目标集装箱箱位的位姿检测，即在小车平台上安装两个相机，并完成它们的外参数标定。其中，一个相机用来检测吊具相对该相机的位姿，另一个相机用来检测目标集装箱箱位旁的固定标识，获得目标集装箱箱位相对该相机的位姿。再通过两个相机的外参数标定结果，即可得到吊具相对目标集装箱箱位的位姿。

基于上述总体思路，本发明的系统结构图如图1所示。本发明的吊具2位姿检测系统主要包括小车1、吊具2、第一相机3、第二相机4、标定靶5、吊具标识6和箱位标识7，第一相机3和第二相机4设置于小车1的底部，标定靶5用于获得第一相机3和第二相机4坐标系的转换关系，吊具标识6设置于吊具2上，箱位标识7设置于对应箱位的旁边，并且位于相邻两个箱位的中间间隙内。

第一相机3和第二相机4在系统工作之前需要通过标定靶5进行标定，使它们的测量值可以转换到同一个坐标系。第一相机3用来检测吊具标识6相对第一相机3的位姿，第二相机4用来检测箱位标识7，再把它们都转换到箱位坐标系当中，因此可以检测出吊具2相对目标集装箱箱位的位姿。

本发明中的吊具标识6安装在吊具2上，其侧视图和俯视图如图2A和2B所示，吊具标识6可以采用有源标识也可以采用无源标识。吊具标识6可以进一步用{a₁,a₂,a₃}表示，{a₁,a₂,a₃}分别对应左标识、中标识和右标识，其中左标识和右标识的高度相同，中标识的高度高于左标识和右标识，且左标识、中标识和右标识排列成一直线，垂直设置于吊具2的顶面。

本发明中的箱位标识7包括两个标识点{b₁,b₂}，安装在目标集装箱箱位旁的列间隙位置，且{b₁,b₂}两个标识点的连线平行于箱位，其俯视图如图3所示，标识{b₁,b₂}可以采用有源标识也可以采用无源标识。

本发明中的标定靶5用于标定第一相机3和第二相机4，如图4所示，进而获得第一相机3和第二相机4之间的转换关系。

本发明在堆场中的任何带有箱位标识7的目标集装箱箱位，都能实现相对目标箱位的吊具2位姿检测。

本发明定义了五个坐标系。如图4所示，坐标系OXYZ为标定靶5坐标系。如图5所示，坐标系O_dX_dY_dZ_d为目标箱位坐标系，O_dX_d轴指向目标箱位的长边方向，O_dY_d轴指向目标箱位的短边方向，O_dZ_d轴由右手定则确定；坐标系O_sX_sY_sZ_s为吊具2坐标系，O_sX_s轴指向大车8前进方向，O_sY_s轴指向小车1前进方向，O_sZ_s轴由右手定则确定；坐标系O_c1X_c1Y_c1Z_c1为第一相机3坐标系；O_c2X_c2Y_c2Z_c2为第二相机4坐标系。

在本发明的吊具2相对目标箱位的位姿检测方案中，第一相机3通过识别吊具标识6来获取吊具2坐标系到第一相机3坐标系的转换关系T_s→c1；第二相机4通过识别箱位标识7来获得第二相机4坐标系到目标箱位坐标系的转换关系T_c2→d；再结合通过标定靶5来实现的第一相机3坐标系到第二相机4坐标系之间的转换关系T_c1→c2，就得到了吊具2相对目标箱位的位姿检测结果，即吊具2坐标系到目标箱位坐标系之间的转换关系T_s→d。本发明的流程图如图6所示，其中的关键方法包括：

S1：在小车1、吊具2和箱位的对应位置安装第一相机3、第二相机4、吊具标识6和箱位标识7。

第一相机3和第二相机4均安装在小车1的底部，吊具标识6安装在吊具2上，且使它们所在平面尽量垂直于地面。箱位标识7安装在目标箱位的旁边，位于相邻两个集装箱位的中间间隙内。吊具标识6处于第一相机3的正下方，并且它们位于第一相机3的视野范围内且尽量处在视野的正中间；箱位标识7处于第二相机4的正下方，并且它们位于第二相机4的视野范围内且尽量处在视野的正中间。

此外，架设徕卡电子全站仪，执行以下子操作：

S1.1：测量吊具标识6在吊具2坐标系中的坐标{(x_si,y_si,z_si)}(i＝1,2,3)。

S1.2：针对每个目标集装箱箱位，测量箱位标识7在其目标箱位坐标系中的坐标{(x_di,y_di,z_di)}(i＝1,2)。

把上述结果存储在工业计算机中。

S2：利用标定靶5获取第一相机3和第二相机4之间的转换关系T_c1→c2

如图4所示，将标定靶5水平放置在第一相机3和第二相机4都能看到的视野范围内，保持标定靶5坐标系相对第一相机3坐标系和第二相机4坐标系不发生变化，通过对第一相机3的外参数标定获取第一相机3坐标系到标定靶5坐标系之间的转换关系T_c1→M，通过对第二相机4的外参数标定获取标定靶5坐标系到第二相机4坐标系之间的转换关系T_M→c2，进而可获得两个相机坐标系之间的转换关系T_c1→c2。

S3：计算吊具2坐标系到第一相机3坐标系的转换关系T_s→c1，该过程需要三个(或三个以上)吊具标识6点来获取吊具2坐标系到第一相机3坐标系的转换关系T_s→c1。

S3.1：首先通过第一相机3(相机1)获取吊具标识6的灰度图像，进而对采集到的图像进行处理，计算出吊具标识6在第一相机3(相机1)坐标系中的坐标{(x_c1i,y_c1i,z_c1i)}(i＝1,2,3)。

S3.2：与此同时，结合S2，通过电子全站仪测量吊具标识6在吊具2坐标系中的坐标{(x_si,y_si,z_si)}(i＝1,2,3)，再利用{(x_c1i,y_c1i,z_c1i)}(i＝1,2,3)和{(x_si,y_si,z_si)}(i＝1,2,3)计算出吊具2坐标系到第一相机3(相机1)坐标系之间转换关系T_s→c1。

最后，把计算结果存储在工业计算机中。

S4：计算第二相机4坐标系到目标箱位坐标系的转换关系T_c2→d

S4.1：通过第二相机4(相机2)获取箱位标识7的灰度图像，并对采集到的图像进行处理，得到箱位标识7在第二相机4(相机2)坐标系中的坐标{(x_c2i,y_c2i,z_c2i)}(i＝1,2)。

S4.2：与此同时，结合S2，通过电子全站仪测量箱位标识7在目标箱位坐标系中的坐标{(x_di,y_di,z_di)}(i＝1,2)，再利用{(x_c2i,y_c2i,z_c2i)}(i＝1,2)和{(x_di,y_di,z_di)}(i＝1,2)计算出第二相机4(相机2)坐标系到堆场坐标系之间转换关系T_c2→d。

最后，把计算结果存储在工业计算机中。

S5：基于两个相机配合的相对目标箱位的吊具2位姿检测，即计算吊具2坐标系到箱位坐标系的转换关系。

综合吊具2坐标系到第一相机3坐标系的转换关系T_s→c1，第一相机3坐标系到第二相机4坐标系之间的转换关系T_c1→c2，第二相机4坐标系到目标箱位坐标系的转换关系T_c2→d，就得到了吊具2坐标系到目标箱位坐标系之间的转换关系T_s→d，即获得了相对于目标集装箱箱位的吊具2位姿检测结果。

S6：把获取的吊具2位置信息T_s→d传给运动控制PLC。

S7：是否继续检测吊具2位姿信息？若是，则返回S3和S4。若否，则结束，即实现了集装箱起重机的相关自动化作业。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种集装箱吊具位姿检测系统，其特征在于，包括：

小车、第一相机、第二相机、吊具、吊具标识、箱位标识、标定靶；

所述第一相机和第二相机设置于小车的底部，所述标定靶用于获得第一相机和第二相机坐标系的转换关系；

所述吊具标识设置于所述吊具上；

所述箱位标识设置于对应箱位的旁边，并且位于相邻两个箱位的中间间隙内。

2.如权利要求1所述的集装箱吊具位姿检测系统，其特征在于，所述吊具标识包括左标识、中标识和右标识，其中左标识和右标识的高度相同，中标识的高度高于左标识和右标识，且左标识、中标识和右标识排列成一直线，垂直设置于吊具的顶面。

3.如权利要求1所述的集装箱吊具位姿检测系统，其特征在于，所述箱位标识包括两个标识点，所述两个标识点的连线平行于箱位。

4.如权利要求1所述的集装箱吊具位姿检测系统，其特征在于，所述吊具标识设置于第一相机的正下方且位于第一相机的视野内，所述箱位标识设置于第二相机的正下方且位于第二相机的视野内。

5.一种集装箱吊具位姿检测方法，其特征在于，包括：

步骤1，在小车、吊具和箱位的对应位置设置第一相机、第二相机、吊具标识和箱位标识；

步骤2，利用标定靶获取第一相机和第二相机的转换关系；

步骤3，计算吊具坐标系到第一相机坐标系的转换关系；

步骤4，计算第二相机坐标系到箱位坐标系的转换关系；

步骤5，计算吊具坐标系到箱位坐标系的转换关系。

6.如权利要求5所述的集装箱吊具位姿检测方法，其特征在于，所述步骤2包括：

设定标定靶，使得持标定靶坐标系相对第一相机坐标系和第二相机坐标系不发生变化；

通过对第一相机的外参数标定，获取第一相机坐标系到标定靶坐标系之间的转换关系；

通过对第二相机的外参数标定，获取标定靶坐标系到第二相机坐标系之间的转换关系；

计算第一相机坐标系与第二相机坐标系的转换关系。

7.如权利要求6所述的集装箱吊具位姿检测方法，其特征在于，所述步骤3包括：

第一相机获取吊具标识的图像，得到吊具标识在第一相机坐标系中的坐标；

测量吊具标识在吊具坐标系中的坐标；

计算吊具坐标系到第一相机坐标系之间转换关系。

8.如权利要求7所述的集装箱吊具位姿检测方法，其特征在于，所述步骤4包括：

第二相机获取箱位标识的图像，得到箱位标识在第二相机坐标系中的坐标；

测量箱位标识在箱位坐标系中的坐标；

计算箱位坐标系到第二相机坐标系之间转换关系。