CN106643661A - 基于机器视觉的轨道式起重机吊具位姿检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的轨道式起重机吊具位姿检测系统及方法。该系统包括大车、小车、吊具、相机和检测装置。小车设置于大车上，小车的运动方向垂直于大车的运动方向，吊具悬挂于小车下方，相机设置于小车的下表面，检测装置设置于吊具之上，且检测装置的物理尺寸预先设定。该方法包括以下步骤：建立吊具坐标系；建立相机坐标系；预先测量和存储8个特征点在吊具坐标系下的坐标值；获取检测装置的灰度图像；根据灰度图像获得“回”字形标识的8个特征点的像素坐标值；计算“回”字形标识的8个特征点在相机坐标系下的坐标值；选取4个特征点；利用选取的4个特征点在不同坐标系下的坐标值，计算吊具坐标系和相机坐标系之间的转换关系。

Description

基于机器视觉的轨道式起重机吊具位姿检测系统及方法

技术领域

本发明涉及吊具空间位姿的检测系统及检测方法，更具体地说，涉及一种基于机器视觉的轨道式集装箱起重机吊具空间位姿的检测系统及检测方法。

背景技术

集装箱是具有一定强度、刚度、规格，且专供转运使用的大型装货容器，其转运过程是货物运输的重要环节。通常，在每个港口都有大量的集装箱需要卸载、转运到临时堆场，而后再装载到各种形式的运输工具上，其装卸过程需要投入大量的时间和人工成本。全自动化码头不仅可以提高生产效率，降低人工成本，还能够改善工人的工作环境，降低劳动强度，提高港口的综合竞争力，所以建设全自动化码头已成为国内外众多集装箱码头发展的必然趋势。

全自动化码头设备主要包括岸边集装箱起重机(QC)，轨道式集装箱门式起重机(RMG)，自动导航小车(AGV)等设备。其中，轨道式集装箱门式起重机，又称为轨道吊(以下都称为轨道吊)，是专门用来装卸集装箱的一种起重机，在码头的集装箱堆场区域内作业。轨道吊是采用大车和小车编码器来进行位置定位的，使吊具粗定位于目标集装箱上方。但是，在吊具下降对准目标集装箱的作业过程中，起重机承重梁存在形变，大车轨道弯曲导致起重机位置偏斜，编码器存在定位误差等原因将使吊具位姿发生不可预期的变化，从而增加了吊具与目标集装箱对位失败的风险。因此，吊具位姿检测是实现轨道吊全自动化的一个关键技术环节，针对该技术环节，本发明提出了一种基于机器视觉的轨道式集装箱起重机吊具位姿检测系统及方法。

机器视觉是一个多学科交叉的领域，它综合了光学工程、电子信号处理、模式识别、人工智能、机械工程和软件工程等多领域知识。机器视觉系统一般由光源、镜头、摄像器件、图像存储体、监视器以及计算机系统等设备组成。光源为视觉系统提供足够的照度；镜头将被测场景中的目标成像到视觉传感器(即摄像器件)的成像面上；图像存储体负责将电信号转变为数字图像，即把每像素点的亮度转变为灰度级数据，并存储一幅或多幅图像；计算机系统负责对图像进行处理、分析、判断和识别，最终给出检测结果。

电子全站仪是一种由机械，光学，电子元件组合而成的测量仪器，它可以同时进行角度(水平角，垂直角)测量和距离(斜距，平距，高差)测量。只要一次安置，仪器便可以完成在该测站上所有的测量工作，故称为“全站仪”。广泛用于控制测量，细部测量，施工放样，变形观测等方面的测量工作。

发明内容

针对现有技术中存在的吊具空间位姿检测过程复杂且精确度低的问题，本发明的目的是提供一种基于机器视觉的轨道式集装箱起重机吊具位姿检测系统及方法。

为实现上述目的，本发明采用如下技术方案：

一种基于机器视觉的轨道式集装箱起重机吊具位姿检测系统，包括大车、小车、吊具、相机、检测装置。小车设置于大车之上，小车的运动方向垂直于大车的运动方向，吊具悬挂于小车下方，相机设置于小车的下表面，检测装置设置于吊具上，且检测装置的物理尺寸预先设定。

根据本发明的一实施例，检测装置为一块平板，其上设有外圈矩形标识和内圈矩形标识，即为“回”字形标识。

根据本发明的一实施例，特征点为外圈矩形标识的4个外顶点和内圈矩形标识的4个顶点，共8个特征点。

根据本发明的一实施例，吊具的中心处建立吊具坐标系，相机的镜头光心处建立相机坐标系。

根据本发明的一实施例，相机获取检测装置上的特征点在相机坐标系下的坐标值，并结合预先测量和存储的对应特征点在吊具坐标系下的坐标值计算出吊具坐标系与相机坐标系之间的转换关系。

为实现上述目的，本发明还采用如下技术方案：

一种基于机器视觉的轨道式集装箱起重机吊具位姿检测方法，包括以下步骤：建立吊具坐标系；建立相机坐标系；预先测量和存储8个特征点在吊具坐标系下的坐标值；获取具有检测装置的灰度图像；根据灰度图像获得“回”字形标识的8个特征点的像素坐标值；计算“回”字形标识的8个特征点在相机坐标系下的坐标值；选取4个特征点；利用选取的4个特征点在不同坐标系下的坐标值，计算吊具坐标系和相机坐标系之间的转换关系。

根据本发明的一实施例，本发明还包括以下步骤：在吊具工作过程中，内圈矩形标识的设计尺寸能够保证其在工业相机中可以清晰成像，且成像不会越界。

在上述技术方案中，本发明的基于机器视觉的轨道式集装箱起重机吊具空间位姿的检测系统及方法能够使检测结果更加精确，并且检测过程更加简便。

附图说明

图1是本发明的系统原理流程图；

图2是检测装置安装位置及坐标系信息示意图；

图3是检测装置结构示意图；

图4是检测装置的检测原理示意图；

图5是吊具位姿检测的算法流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明的技术方案。

本发明针对轨道吊自动化中的关键技术之一：吊具位姿检测，提出了一种基于机器视觉的解决方案，并设计了本发明系统的检测装置，完成系统功能代码编写。

本发明系统能够把吊具位姿信息实时地反馈至轨道吊控制单元，从而有利于实现轨道吊控制单元对吊具位姿的闭环控制，更准确地完成吊具对准目标集装箱位置的任务。

本发明的系统结构图如附图1所示。安装在轨道吊小车平台上的一个工业相机，通过TCP/IP网络协议，把采集到的具有检测装置信息的图像数据(包含标识)传输给工业计算机。在工业计算机中运行的算法程序，通过对图像数据的处理来获得吊具的当前位姿信息。

本发明的检测系统主要包括大车10、小车20、吊具30、检测装置40和相机50，如图2和图3所示。小车20设置于大车10上，小车20的运动方向垂直于大车10的运动方向，吊具30悬挂于小车20下方，相机50设置于小车20的下表面。检测装置40设置于吊具30上，且检测装置40的物理尺寸预先设定。

作为本发明的一种实施方式，相机可以是工业相机、工业摄像机等各种图像获取设备，下面以最常用的工业相机50为例，但本发明的相机并不以此为限。

本发明系统在轨道吊工作区域内定义了两个坐标系统，如图2所示，在吊具30的中心处建立吊具坐标系，相机50的镜头光心处建立相机坐标系。具体来说，坐标系O_sX_sY_sZ_s为轨道吊吊具坐标系，其中O_sX_s轴与吊具长边平行，指向大车10前进方向，O_sY_s轴与吊具短边平行，指向小车20前进方向，O_sZ_s轴由右手定则确定；坐标系O_cX_cY_cZ_c为工业相机坐标系，其中O_cX_c轴为相机成像平面的行方向，O_cY_c轴为相机成像平面的列方向，O_cZ_c轴按右手定则来确定。

本发明专利系统的目的是获得吊具坐标系O_sX_sY_sZ_s与相机坐标系O_cX_cY_cZ_c之间的转换关系T_s→c，进而由某点P在吊具坐标下的坐标值(x_sp,y_sp,z_sp)和转换关系T_s→c就可以计算出点P在相机坐标系下的坐标值(x_cp,y_cp,z_cp)。

Leica徕卡(电子)全站仪坐标系的建立与吊具坐标系保持一致，其测量结果即为吊具坐标系下的坐标值。

本发明系统设计了一种检测装置40，如图3所示，其安装位置如图2所示。检测装置40表面具有呈“回”字形的、物理尺寸预先已知的外圈矩形标识41和内圈矩形标识42(阴影区)。“回”字形结构的设计可以解决由于工业相机50工作时的物距(吊具30的高度)变化过大，进而导致的外圈标识41在工业相机50中成像越界等的异常情况。在吊具30的工作过程中，内圈矩形标识42的设计尺寸能够保证其在工业相机50中成像不会越界，且可以清晰成像。因此，当外圈矩形标识41在工业相机50中成像越界时，利用内圈矩形标识42仍能够获得吊具30的当前位姿信息。

本发明系统的吊具位姿信息检测原理示意图，如图4所示。外圈标识41和内圈标识42的物理尺寸预先已知，当外圈标识41在工业相机50中成像未越界时，本系统选取外圈标识41的4个特征点(1，2，3，4)；当外圈标识41在工业相机50中成像越界时，本系统选取内圈标识42的4个特征点(5，6，7，8)。本发明系统预先测量并存储8个特征点在吊具坐标系(徕卡坐标系)下的坐标值{(x_si,y_si,z_si)}(i＝1,2,…,8)，然后将轨道吊大车10和小车20移动至检测位置，接下来不断循环以下步骤：获取检测装置在工业相机40中灰度图像；计算选定的4个特征点在相机坐标系下的坐标值{(x_ci,y_ci,z_ci)}(i＝1,2,3,4或者i＝5,6,7,8)；利用{(x_ci,y_ci,z_ci)}和{(x_si,y_si,z_si)}(i＝1,2,3,4或者i＝5,6,7,8)计算吊具坐标系与相机坐标系之间的转换关系T_s→c；直到停止检测吊具的当前位姿信息为止。吊具位姿检测的算法流程如图5所示，可以概括为以下步骤：

建立吊具坐标系；

建立相机坐标系；

预先测量和存储8个特征点在吊具坐标系下的坐标值；

获取检测装置40的灰度图像；

根据灰度图像获得“回”字形标识的8个特征点的像素坐标值；

计算“回”字形标识的8个特征点在相机坐标系下的坐标值；

选取4个特征点；

利用选取的4个特征点在不同坐标系下的坐标值，计算吊具坐标系和相机坐标系之间的转换关系。

下面通过具体的实施例来进一步说明上述技术方案。

为了使本发明的技术手段和创作特征能够达成目的与功效,又易于了解，下面结合具体实施例示，进一步阐述。本发明提供了一种基于机器视觉的轨道式集装箱起重机吊具位姿检测的技术手段，包括以下步骤：

吊具位姿检测装置40的安装和调试。检测装置40在出厂时，必须严格保证内圈矩形标识41和外圈矩形标识42的加工精度。检测装置40安装于吊具30之上，如附图2中所示。

搭建本发明的硬件系统。本例示采用分辨率为656×494的工业相机50，选择焦距为16mm的镜头，并安装滤光片，消除干扰。调整工业相机50的相关参数，确保检测标识能够清晰成像，且工业相机50的内部参数在安装前已经获知。工业计算机安装于轨道吊电气房内，程序开发运行环境为WinXP+Visual Studio2010，其中还可使用第三方图像处理库OpenCV2.20。

吊具位姿检测。架设Lecia徕卡坐标系(吊具坐标系)，测量并存储外圈矩形标识41和内圈矩形标识42的特征点(顶点)在吊具坐标系下的坐标值{(x_si,y_si,z_si)}(i＝1,2,…,8)。检测算法根据标识装置在工业相机50中的成像，计算出外圈矩形标识41和内圈矩形标识42的特征点在相机坐标系下的坐标值{(x_ci,y_ci,z_ci)}(i＝1,2,…,8)。当外圈标识41在工业相机50中成像未越界时，结合{(x_si,y_si,z_si)}(i＝1,2,3,4)和{(x_ci,y_ci,z_ci)}(i＝1,2,3,4)计算出吊具坐标系与相机坐标系之间的转换关系T_s→c；当外圈标识41在工业相机50中成像越界时，结合{(x_si,y_si,z_si)}(i＝5,6,7,8)和{(x_ci,y_ci,z_ci)}(i＝5,6,7,8)计算出吊具坐标系与相机坐标系之间的转换关系T_s→c。最后，把吊具位姿检测结果T_s→c传送给轨道吊控制单元。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种基于机器视觉的轨道式集装箱起重机吊具位姿检测系统，其特征在于：

所述检测系统包括：大车、小车、吊具、相机、检测装置；

所述小车设置于所述大车上，小车的运动方向垂直于大车的运动方向；

所述吊具悬挂于小车下方；

所述相机设置于所述小车的下表面；

所述相机包括镜头和滤光片，使得所述标识在相机中有清晰的成像效果。

所述检测装置设置于吊具之上，且所述检测装置的物理尺寸预先设定。

2.如权利要求1所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测系统，其特征在于：

所述检测装置为一平面检测板；

所述检测板的外圈和内圈均设有矩形标识，所述外圈矩形标识和内圈矩形标识组成了“回”字形标识。

3.如权利要求1所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测系统，其特征在于：

吊具的中心处建立吊具坐标系，相机的镜头光心处建立相机坐标系。

4.如权利要求3所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测系统，其特征在于：

所述相机获取所述检测装置上的特征点在相机坐标系下的坐标值，并结合预先测量和存储的对应特征点在吊具坐标系下的坐标值计算出吊具坐标系与相机坐标系之间的转换关系。

5.一种基于机器视觉的轨道式集装箱起重机吊具位姿检测方法，其特征在于，包括以下步骤：

建立吊具坐标系；

建立相机坐标系；

预先测量和存储“回”字形标识的8个特征点在吊具坐标系下的坐标值；

获取检测装置的灰度图像；

根据灰度图像获得“回”字形标识的8个特征点的像素坐标值；

计算“回”字形标识的8个特征点在相机坐标系下的坐标值；

选取4个特征点；

利用选取的4个特征点在不同坐标系下的坐标值，计算吊具坐标系和相机坐标系之间的转换关系。

6.如权利要求5所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测方法，其特征在于：

所述检测装置一平面检测板；

所述检测板的外圈和内圈均设有矩形标识，所述外圈矩形标识和内圈矩形标识组成了“回”字形标识。

7.如权利要求5所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测方法，其特征在于：

所述的用于计算吊具坐标系和相机坐标系之间转换关系的特征点选取方法：当外圈矩形标识在工业相机中成像未越界时，选取外圈矩形标识的4个顶点作为特征点；当外圈矩形标识在工业相机中成像越界时，选取内圈矩形标识的4个顶点作为特征点。

8.如权利要求5所述的基于机器视觉的轨道式集装箱起重机吊具位姿检测方法，其特征在于：

在吊具工作过程中，内圈矩形标识的设计尺寸能够保证其在工业相机中可以清晰成像，且成像不会越界。