CN111704036B - 一种吊装设备对位系统及方法 - Google Patents

一种吊装设备对位系统及方法 Download PDF

Info

Publication number
CN111704036B
CN111704036B CN202010631776.9A CN202010631776A CN111704036B CN 111704036 B CN111704036 B CN 111704036B CN 202010631776 A CN202010631776 A CN 202010631776A CN 111704036 B CN111704036 B CN 111704036B
Authority
CN
China
Prior art keywords
pose
data
container
inertial navigation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010631776.9A
Other languages
English (en)
Other versions
CN111704036A (zh
Inventor
梁浩
冯志
陈环
洪俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yumo Information Technology Co ltd
Original Assignee
Shanghai Yumo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yumo Information Technology Co ltd filed Critical Shanghai Yumo Information Technology Co ltd
Priority to CN202010631776.9A priority Critical patent/CN111704036B/zh
Publication of CN111704036A publication Critical patent/CN111704036A/zh
Application granted granted Critical
Publication of CN111704036B publication Critical patent/CN111704036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/40—Applications of devices for transmitting control pulses; Applications of remote control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/22—Control systems or devices for electric drives

Abstract

本发明公开了一种吊装设备对位系统及方法，系统包括：数据采集模块，包括分别设置在吊具的四个末端执行机构上的四组数据采集设备，四组数据采集设备用于采集吊具的图像数据和惯性导航数据；吊具位姿检测模块，用于得到吊具的实时位姿；目标位位姿检测模块，用于得到集装箱的实时位姿；对位模块，根据吊具的实时位姿和集装箱的实时位姿，确定吊具和集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成另一末端执行机构与对应目标锁孔的对位。本发明提供的吊装设备对位系统及方法，通过提供低延时高精度的吊具位姿信息，提高了对位成功率，从而实现集装箱的自动化装卸，进而提高吊装设备作业效率。

Description

一种吊装设备对位系统及方法
技术领域
本发明涉及起重机装卸领域，尤其涉及一种吊装设备对位系统及方法。
背景技术
传统起重机作业采用人工作业的方式进行集装箱的装卸，由人工操作起重机对集装箱实施控制，当出现对位失败时，需要人工根据实际情况对操作进行调整。该方式作业效率不高，并且由于人工的介入，整个作业会收到人为的影响，导致危险性大增。
在集装箱的装卸过程中，吊具是对集装箱进行操作的具体执行设备，在使用吊具进行装卸作业过程中，由于编码器的定位误差、拉绳的形变、天气环境的影响等，会导致吊具的位姿出现不可预期的变化，从而导致吊具和目标集装箱对位失败。
因此，集装箱的自动装卸是集装箱码头实现自动化的关键技术环节，有必要提供一种吊装设备对位系统，可以实现集装箱的自动化装卸。
发明内容
本发明所要解决的技术问题是提供吊装设备对位系统及方法，通过提供低延时高精度的吊具位姿信息，提高了对位成功率，从而实现了集装箱的自动化装卸，进而提高吊装设备作业效率。
本发明为解决上述技术问题而采用的技术方案是提供一种吊装设备对位系统，包括：
数据采集模块，包括分别设置在吊具的四个末端执行机构上的四组数据采集设备，所述四组数据采集设备用于采集吊具的图像数据和惯性导航数据；
吊具位姿检测模块，用于通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到所述吊具的四个末端执行机构的世界坐标系下的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；
目标位位姿检测模块，用于通过所述吊具的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿；
对位模块，根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，完成着箱工作。
优选地，所述数据采集设备包括图像采集设备和惯性导航单元，所述图像采集设备用于提供图像数据，所述惯性导航单元用于提供角速度和线加速度数据。
优选地，所述末端执行机构，安装在所述吊具的锁钮上。
优选地，所述吊具位姿检测模块包括数据预处理单元、初始化单元、后端非线性优化单元以及闭环检测单元；
所述预处理单元用于同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；
所述初始化单元用于对所述图像数据和所述惯性导航数据进行融合，得到所述图像采集设备尺度、重力向量的方向、惯性测量单元的偏置；
所述后端非线性优化单元用于将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；
所述闭环检测单元用于使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
优选地，所述图像采集设备的坐标系以及所述惯性导航单元的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
本发明为解决上述技术问题而还采用的技术方案是提供一种吊装设备对位方法，包括以下步骤：
采集吊具的图像数据和惯性导航数据；
通过使用位姿检测算法确定四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到吊具的四个末端执行机构的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；
通过所述吊具的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿；
根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，完成着箱工作。
优选地，所述图像数据由图像采集设备提供，所述惯性导航数据包括角速度和线加速度数据，所述惯性导航数据由惯性导航单元提供。
优选地，所述末端执行机构安装在所述吊具的锁钮上。
优选地，通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿包括：
同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；
对所述图像数据和所述惯性导航数据进行融合，得到所述图像采集设备尺度、重力向量的方向、惯性测量单元的偏置；
将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；
使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
优选地，所述图像采集设备的坐标系以及所述惯性导航单元的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
本发明对比现有技术有如下的有益效果：本发明提供的吊装设备对位系统及方法，通过设置在吊具的四个末端执行机构上的四组数据采集设备采集吊具的图像数据和惯性导航数据，获取四组数据采集设备在世界坐标系下的位姿，进而获得四个末端执行机构的位姿，通过位姿拟合空间矩形从而获得吊具的实时位姿，通过图像数据和惯性导航数据得到四个目标锁孔的位姿，通过位姿拟合空间矩形从而获得集装箱的实时位姿，根据吊具和集装箱的实时位姿，确定吊具和集装箱的实时相对位置关系，先完成低点对位再完成另一末端执行机构与对应目标锁孔的对位，通过提供低延时高精度的吊具和集装箱的实时位姿信息，提高了对位成功率，从而实现了集装箱的自动化装卸，进而提高吊装设备作业效率；
进一步地，通过数据采集设备获取吊具的图像数据，进而获取吊具的实时位姿以及目标锁孔的实时位姿，从而得到集装箱的实时位姿，由此精确获取吊具和集装箱的相对位姿关系，提高了对位的成功率和准确率。
进一步地，先进行集装箱的低点着箱，再进行高点着箱，实现了集装箱的自动动态着箱。
附图说明
图1为本发明实施例中吊装设备对位系统的结构示意图；
图2为本发明实施例中吊装设备对位系统的模块图；
图3为本发明又一实施例中吊装设备对位系统的模块图；
图4为本发明实施例中吊装设备对位方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。
现在参看图1，图1为本发明实施例中施例中吊装设备对位系统的结构示意图，所述吊装设备对位系统包括大车1、小车2、吊具3、数据采集设备4、吊具低点锁钮5、集装箱6以及目标锁孔7。
当大车1以及小车2到达可以对集装箱6进行操作的目标位置，且吊具3到达目标高度时，启动吊具位姿检测。目标高度是动态可变的，由当前操作的集装箱6的高度决定，目标高度通常为当前操作的集装箱6的高度加上3米。该目标高度的设定是为了让吊具位姿检测算法能够正常的进行初始化。
吊装设备对位系统的数据采集设备4通常采用图像采集设备以及惯性导航单元(Inertial Measurement Unit，IMU)作为数据源，图像采集设备可以是例如相机。由图1所示，吊具在水平面上有四个顶点，吊具低点锁钮5所在的顶点是四个顶点中高度最低的点，即低点，位于相同长边的相邻点为高点。低点处的相应位置放置朝下的数据采集设备4，包括图像采集设备，并搭配安装惯性导航单元。图像采集设备用于提供图像数据，惯性导航单元用于提供角速度以及线加速度数据。
图2是本发明实施例中吊装设备对位系统的模块图，示出了一种吊装设备对位系统，包括：数据采集模块21，包括分别设置在吊具的四个末端执行机构上的四组数据采集设备，所述四组数据采集设备用于采集吊具的图像数据和惯性导航数据；吊具位姿检测模块22，用于通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到所述吊具的四个末端执行机构的世界坐标系下的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；目标位位姿检测模块23，用于通过所述吊具的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿；对位模块24，根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的对位。
在具体实施中，四组数据采集设备用于吊具的图像数据和惯性导航数据，由于四组数据采集设备设置在吊具的四个末端执行机构上，因此通过位姿检测算法确定四组数据采集设备在世界坐标系下的位姿后，可以容易得到四个末端执行机构在世界坐标系下的位姿，四个数据采集设备在世界坐标系下的位姿分别与四个相应的末端执行机构在世界坐标系下的位姿相同。
在具体实施中，将所述吊具的四个末端执行机构的位姿拟合空间矩形包括如下步骤：已知吊具四个末端执行机构的位姿，即已知四个点的三维坐标。首先使用最小二乘法根据这四个点拟合平面，然后将四个点分别投影到该平面上，获得这四个点在平面上的二维坐标。根据四个点在平面上的二维坐标求取其最小外接矩形，即可得到四个末端执行机构的空间矩形。因为已知平面方程和矩形在平面中的表示，即可得到四个目标锁孔的的空间矩形，并进一步得到集装箱在世界坐标系中的表示。在具体实施中，所述末端执行机构安装在所述吊具的锁钮上，所述末端执行机构有四个，吊具的锁钮也有四个，四个末端执行机构分别安装在吊具的四个锁钮上。
对于单个目标锁孔，首先利用深度学习方法在图像中框出单个目标锁孔在每帧图像中的粗略位置，然后利用边缘分割算法获取精确的单个目标锁孔在图像中的位置。以此类推，可以获取四个目标锁孔在图像中的位置。
在具体实施中，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，因为吊具是刚体，所以当一侧长边对位成功后，另一侧长边天然对位成功，完成着箱工作。
图3是本发明又一实施例中吊装设备对位系统的模块图，示出了一种吊装设备对位系统，包括：数据采集模块21，包括分别设置在吊具的四个末端执行机构上的四组数据采集设备，所述四组数据采集设备用于采集吊具的图像数据和惯性导航数据；吊具位姿检测模块22，用于通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到所述吊具的四个末端执行机构的世界坐标系下的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；目标位位姿检测模块23，用于通过所述吊具的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿；对位模块24，根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，因为吊具是刚体，所以当一侧长边对位成功后，另一侧长边天然对位成功，完成着箱工作。
在具体实施中，四组数据采集设备用于吊具的图像数据和惯性导航数据，由于四组数据采集设备设置在吊具的四个末端执行机构上，因此通过位姿检测算法确定四组数据采集设备在世界坐标系下的位姿后，可以容易得到四个末端执行机构在世界坐标系下的位姿，四个数据采集设备在世界坐标系下的位姿分别与四个相应的末端执行机构在世界坐标系下的位姿相同。其中，数据采集模块21包括图像采集设备211和惯性导航单元212。吊具位姿检测模块22包括数据预处理单元221、初始化单元222、后端非线性优化单元223以及闭环检测单元224；所述数据预处理单元221用于同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；所述初始化单元222用于对所述图像数据和所述惯性导航数据进行融合，得到图像采集设备211的尺度、重力向量的方向、惯性测量单元的偏置；所述后端非线性优化单元223用于将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；所述闭环检测单元224用于使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
数据预处理单元221中，检测算法的数据输入分别是图像采集设备211的图像数据和来自于惯性导航单元212的角速度和线加速度数据。系统中的同步模块对图像采集设备211和惯性导航单元212提供触发信号和已经同步过的时钟。检测算法首先会根据数据的时间戳对以上两种数据进行同步，将每帧图像数据和两帧图像数据时间间隔中的惯性导航数据一一对应。图像数据的处理往往需要很大的计算量。为了降低计算量，提升运行效率，首先需要对图像提取特征点。而针对堆场中物体较少以及特征纹理不丰富的特点，同时考虑到计算量，选择采用ORB(Oriented FAST and Rotated BRIEF)提取特征点，利用LK(Lucas–Kanade)光流法跟踪相邻角点，并通过随机抽样一致方法(RANSAC，Random SampleConsensus)过滤异常点，最后得到该帧的目标特征点。将目标特征点作为图像的数学表示推送到数据队列中，并通知后端进行处理。对于惯性导航单元212的数据，分别对每帧惯性导航单元212的数据以及之前已经同步过的每帧图像所对应的惯性导航单元212的数据进行积分，从而得到对应的速度、旋转和位姿。同时，计算相邻图像帧所对应惯性导航单元212的数据的预积分增量。
初始化单元222中，采用松耦合的方式对图像信息和惯性导航单元212的信息进行融合，从而得到系统中的图像采集设备尺度、重力向量的方向、惯性导航单元212的偏置。
1)根据第一步中得到的目标特征点队列，算法在此基础上维护了一个固定数目n+1的滑动窗口。根据图像采集设备的帧率以及计算机的处理速度，经过实验得到n为10比较理想。通过视觉SFM方法，主要是PnP(Perspective-n-Point)和三角化，对滑动窗口的所有帧计算当前时刻的图像采集设备位姿以及对应路标点的位姿。然后将位姿转化到惯性导航单元212的坐标系，其外参已经通过标定得到。
2)通过1)中的计算，可以得到相邻图像帧之间的旋转。而相邻图像帧的旋转同样可以通过第一步中计算的惯性导航单元212的预积分得到。最小化以上两种方式的差值，通过最优化方法可以计算得到惯性导航单元212的偏置，重力向量以及图像采集设备尺度。
后端非线性优化单元223中，将基于图像信息构造的残差项和基于惯性导航单元212信息构造的残差项放在一起进行联合优化，采用非线性优化的方式求解得到最优的状态向量。
状态向量包括滑动窗口内的n+1个图像采集设备的状态(X状态向量)，图像采集设备211到惯性导航单元212的外参(x)，m+1个路标点的逆深度。
Figure GDA0003357162460000081
Figure GDA0003357162460000082
Figure GDA0003357162460000083
Figure GDA0003357162460000084
是图像采集设备211到惯性导航单元212的外参，xk是滑动窗口中第k帧的状态变量，包括平移
Figure GDA0003357162460000085
旋转
Figure GDA0003357162460000086
速度
Figure GDA0003357162460000087
加速度计偏置ba和陀螺仪偏置bg。λi表示第i个路标点的逆深度。
目标函数为
Figure GDA0003357162460000088
其中三个残差项即误差项分别为边缘化的先验信息、惯性导航单元212测量残差、视觉的重投影残差。
闭环检测单元224中，使用DBoW2(Bags of Binary Words for Fast PlaceRecognition in Image Sequences)进行闭环检测，如果检测到的结果经过滤后重新加入优化队列，通过第三步进行优化，得到最优的位姿结果。港口本身比较空旷，除集装箱和设备外物体比较少。针对港口的此特点，通用的词袋并不适用，词袋是用于表征图像特征的数据库。于是使用港口现场图片重新制作了词袋，在算法启动前已经载入完毕。该步对图像提取500个FAST(Features from Accelerated Segment Test)角点，并同时对该图像在第一步中提取的ORB(Oriented FAST and Rotated BRIEF)角点计算BRIEF描述符，然后利用DBoW2进行闭环检测，得到闭环帧，并将其推送到后端优化的数据队列中参与位姿优化。
在上述算法产生的以10赫兹频率输出的位姿基础上，叠加算法第一步中对惯性导航单元212原始数据积分得到的每帧相对位姿，即可得到最高频率为100赫兹的吊具位姿输出。高频率的吊具精确位姿可以提高对位操作的成功率以及效率。
在吊具位姿检测算法运行的同时，利用深度学习方法获取目标锁孔在初始化成功后的起始帧图像中的坐标值。同时，目标锁孔的深度可以通过图像采集设备211获得，从而恢复出目标锁孔7和吊具3在起始帧的相对位置关系。因为集装箱是固定的，之后就可以根据吊具的运动来获取目标锁孔7和吊具3的相对位置关系。集装箱以及锁孔结构如图1所示，目标锁孔7为吊具低点所对应目标锁孔。因此，系统可以以100赫兹输出目标锁孔7和吊具3的相对位置关系，从而对后续的对位操作提供支持，实现吊具3与集装箱对位的自动化。
在具体实施中，对于单个目标锁孔，首先使用深度学习方法在图像中框出单个目标锁孔在每帧图像中的粗略位置，然后根据框出的结果使用边缘分割算法精确分割出单个目标锁孔在图像中的位置，最后计算单个目标锁孔中心点的像素坐标，即单个目标锁孔的像素坐标。根据单个目标锁孔的像素坐标，可以从深度图获取单个目标锁孔在当前图像数据采集设备坐标系下的深度值。已知单个目标锁孔的像素坐标和深度值，计算可得单个目标锁孔在当前图像数据采集设备坐标系下的三维坐标，即可知单个目标锁孔和吊具的相对位置关系。以此类推，可以获取四个目标锁孔在当前图像数据采集设备坐标系下的三维坐标，即可知四个目标锁孔和吊具的相对位置关系。
在具体实施中，所述图像采集设备211的坐标系以及所述惯性导航单元212的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
在开启吊具位姿检测算法的时候，同时开启图像采集设备211，并利用深度学习方法识别待着箱目标位置的锁孔或地标信息。其中，当目标位为集装箱时，则识别锁钮。当目标位为地面时，则识别地标。当目标位置的识别达到置信度阈值后，则将目标位置在图像采集设备211的坐标系中的位姿信息给出。
将图像采集设备给出的目标位置信息pD与视觉惯性里程计在同一时刻的自身位姿信息pV对齐，即得到转移矩阵
Figure GDA0003357162460000101
目标位置信息pD和自身位姿信息pV满足以下公式：
Figure GDA0003357162460000102
此后随着视觉惯性里程计系统的运动，可以根据转移矩阵
Figure GDA0003357162460000103
得到目标位置相对于视觉惯性的实时位置关系。
现在参看图4，本发明为解决上述技术问题而还采用的技术方案是提供一种吊装设备对位方法，包括以下步骤：
步骤401：采集吊具的图像数据和惯性导航数据；
步骤402：通过使用位姿检测算法确定四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到吊具的四个末端执行机构的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；
步骤403：通过所述吊具的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿；
步骤404：根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，完成着箱工作。
在具体实施中，因为吊具是刚体，所以当一侧长边对位成功后，另一侧长边天然对位成功。优选地，所述图像数据由图像采集设备提供，所述惯性导航数据包括角速度和线加速度数据，所述惯性导航数据由惯性导航单元提供。
优选地，所述末端执行机构安装在所述吊具的锁钮上。
优选地，通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿包括：
同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；
对所述图像数据和所述惯性导航数据进行融合，得到图像采集设备尺度、重力向量的方向、惯性测量单元的偏置；
将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；
使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
优选地，所述图像采集设备的坐标系以及所述惯性导航单元的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
综上，本实施例提供的吊装设备对位系统及方法，通过设置在吊具的四个末端执行机构上的四组数据采集设备采集吊具的图像数据和惯性导航数据，获取四组数据采集设备在世界坐标系下的位姿，进而获得四个末端执行机构的位姿，通过位姿拟合空间矩形从而获得吊具的实时位姿，通过图像数据和惯性导航数据得到四个目标锁孔的位姿，通过位姿拟合空间矩形从而获得集装箱的实时位姿，根据吊具和集装箱的实时位姿，确定吊具和集装箱的实时相对位置关系，先完成低点对位再完成另一末端执行机构与对应目标锁孔的对位，通过提供低延时高精度的吊具和集装箱的实时位姿信息，提高了对位成功率，从而实现了集装箱的自动化装卸，进而提高了吊装设备作业效率；
进一步地，通过数据采集设备获取吊具的图像数据，进而获取吊具的实时位姿以及目标锁孔的实时位姿，从而得到集装箱的实时位姿，由此精确获取吊具和集装箱的相对位姿关系，提高了对位的成功率和准确率。
进一步地，先进行集装箱的低点着箱，再进行高点着箱，实现了集装箱的自动动态着箱。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (10)

1.一种吊装设备对位系统,其特征在于，包括：
数据采集模块，包括分别设置在吊具的四个末端执行机构上的四组数据采集设备，所述四组数据采集设备用于采集吊具的图像数据和惯性导航数据；
吊具位姿检测模块，用于通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到所述吊具的四个末端执行机构的世界坐标系下的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；
目标位位姿检测模块，用于通过所述吊具上设置的所述四组数据采集设备采集的四个目标锁孔的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿，对于单个目标锁孔，首先利用深度学习方法在图像中框出单个目标锁孔在每帧图像中的粗略位置，然后利用边缘分割算法获取精确的单个目标锁孔在图像中的位置，从而获取所述四个目标锁孔在图像中的位置；
对位模块，根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，完成着箱工作。
2.根据权利要求1所述的吊装设备对位系统，其特征在于，所述数据采集设备包括图像采集设备和惯性导航单元，所述图像采集设备用于提供图像数据，所述惯性导航单元用于提供角速度和线加速度数据。
3.根据权利要求2所述的吊装设备对位系统，其特征在于，所述末端执行机构，安装在所述吊具的锁钮上。
4.根据权利要求2所述的吊装设备对位系统，其特征在于，所述吊具位姿检测模块包括数据预处理单元、初始化单元、后端非线性优化单元以及闭环检测单元；
所述预处理单元用于同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；
所述初始化单元用于对所述图像数据和所述惯性导航数据进行融合，得到所述图像采集设备尺度、重力向量的方向、惯性测量单元的偏置；
所述后端非线性优化单元用于将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；
所述闭环检测单元用于使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
5.根据权利要求2所述的吊装设备对位系统，其特征在于，所述图像采集设备的坐标系以及所述惯性导航单元的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
6.一种吊装设备对位方法，其特征在于，包括以下步骤：
采集吊具的图像数据和惯性导航数据；
通过使用位姿检测算法确定四组数据采集设备在世界坐标系下的位姿，根据所述四组数据采集设备在世界坐标系下的位姿变换得到吊具的四个末端执行机构的位姿，并将所述吊具的四个末端执行机构的位姿拟合空间矩形，从而得到所述吊具的实时位姿；
通过所述吊具上设置的所述四组数据采集设备采集的四个目标锁孔的图像数据和惯性导航数据得到四个目标锁孔相对于所述四组数据采集设备的位姿，并将所述四个目标锁孔的位姿拟合空间矩形，从而得到集装箱的实时位姿，对于单个目标锁孔，首先利用深度学习方法在图像中框出单个目标锁孔在每帧图像中的粗略位置，然后利用边缘分割算法获取精确的单个目标锁孔在图像中的位置，从而获取所述四个目标锁孔在图像中的位置；
根据所述吊具的实时位姿和所述集装箱的实时位姿，确定所述吊具和所述集装箱的实时相对位置关系，将最接近所述集装箱的末端执行机构与对应目标锁孔进行低点对位之后，再完成和最接近所述集装箱的末端执行机构位于相同长边的另一末端执行机构与对应目标锁孔的高点对位之后，完成着箱工作。
7.根据权利要求6所述的吊装设备对位方法，其特征在于，所述图像数据由图像采集设备提供，所述惯性导航数据包括角速度和线加速度数据，所述惯性导航数据由惯性导航单元提供。
8.根据权利要求7所述的吊装设备对位方法，其特征在于，所述末端执行机构安装在所述吊具的锁钮上。
9.根据权利要求7所述的吊装设备对位方法，其特征在于，通过使用位姿检测算法确定所述四组数据采集设备在世界坐标系下的位姿包括：
同步所述图像数据和所述惯性导航数据，以及对所述图像数据和所述惯性导航数据的抽象和变换；
对所述图像数据和所述惯性导航数据进行融合，得到所述图像采集设备尺度、重力向量的方向、惯性测量单元的偏置；
将基于所述图像数据构造的残差项和基于所述惯性导航数据构造的残差项进行联合优化，采用非线性优化的方式得到最优的状态向量；
使用DBoW2算法进行闭环检测，将检测到的结果经过滤后重新加入优化队列参与位姿优化，以得到最优的位姿结果。
10.根据权利要求7所述的吊装设备对位方法，其特征在于，所述图像采集设备的坐标系以及所述惯性导航单元的坐标系的外部参数在安装之前使用Kalibr标定软件进行标定获得。
CN202010631776.9A 2020-07-03 2020-07-03 一种吊装设备对位系统及方法 Active CN111704036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010631776.9A CN111704036B (zh) 2020-07-03 2020-07-03 一种吊装设备对位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010631776.9A CN111704036B (zh) 2020-07-03 2020-07-03 一种吊装设备对位系统及方法

Publications (2)

Publication Number Publication Date
CN111704036A CN111704036A (zh) 2020-09-25
CN111704036B true CN111704036B (zh) 2022-03-01

Family

ID=72546412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010631776.9A Active CN111704036B (zh) 2020-07-03 2020-07-03 一种吊装设备对位系统及方法

Country Status (1)

Country Link
CN (1) CN111704036B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487672B (zh) * 2021-06-17 2024-02-20 北京控制工程研究所 一种复杂场景下行为关联的对象特征提取方法
CN113902814B (zh) * 2021-12-07 2022-03-15 武汉港迪智能技术有限公司 自动化起重机吊具上多相机的统一标定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI895892A0 (fi) * 1989-12-08 1989-12-08 Kone Oy Menetelmä ja laite kontin paikallistamiseksi nostamista varten
CN2890845Y (zh) * 2005-05-13 2007-04-18 高旭 集装箱卡车岸桥下自动定位装置
CN101289156A (zh) * 2008-05-30 2008-10-22 浙江工业大学 基于全方位视觉传感器的智能集装箱吊具
CN101934982A (zh) * 2010-09-29 2011-01-05 上海海事大学 基于图像传感器的双吊具桥吊定位方法
JP2014174021A (ja) * 2013-03-08 2014-09-22 Mitsui Eng & Shipbuild Co Ltd トラック搭載コンテナの重心計測システム及び重心計測方法
CN105712206A (zh) * 2016-04-27 2016-06-29 上海振华重工电气有限公司 集装箱吊具位姿检测系统及方法
CN106096606A (zh) * 2016-06-07 2016-11-09 浙江工业大学 一种基于直线拟合的集装箱轮廓定位方法
CN106643661A (zh) * 2015-10-28 2017-05-10 上海振华重工电气有限公司 基于机器视觉的轨道式起重机吊具位姿检测系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006273532A (ja) * 2005-03-30 2006-10-12 Mitsui Eng & Shipbuild Co Ltd コンテナ荷役用クレーン
CN100575873C (zh) * 2007-12-29 2009-12-30 武汉理工大学 基于机器视觉的双集装箱定位方法
CN102452611B (zh) * 2010-10-21 2014-01-15 上海振华重工(集团)股份有限公司 集装箱起重机的吊具空间姿态的检测方法和装置
CN105956619B (zh) * 2016-04-27 2019-05-24 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
CN110902570A (zh) * 2019-11-25 2020-03-24 上海驭矩信息科技有限公司 一种用于集装箱装卸作业的动态测量方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI895892A0 (fi) * 1989-12-08 1989-12-08 Kone Oy Menetelmä ja laite kontin paikallistamiseksi nostamista varten
CN2890845Y (zh) * 2005-05-13 2007-04-18 高旭 集装箱卡车岸桥下自动定位装置
CN101289156A (zh) * 2008-05-30 2008-10-22 浙江工业大学 基于全方位视觉传感器的智能集装箱吊具
CN101934982A (zh) * 2010-09-29 2011-01-05 上海海事大学 基于图像传感器的双吊具桥吊定位方法
JP2014174021A (ja) * 2013-03-08 2014-09-22 Mitsui Eng & Shipbuild Co Ltd トラック搭載コンテナの重心計測システム及び重心計測方法
CN106643661A (zh) * 2015-10-28 2017-05-10 上海振华重工电气有限公司 基于机器视觉的轨道式起重机吊具位姿检测系统及方法
CN105712206A (zh) * 2016-04-27 2016-06-29 上海振华重工电气有限公司 集装箱吊具位姿检测系统及方法
CN106096606A (zh) * 2016-06-07 2016-11-09 浙江工业大学 一种基于直线拟合的集装箱轮廓定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"集装箱码头自动化轨道吊定位技术及参数设定";吴照阳;《水运工程》;20160930(第9期);116-121 *

Also Published As

Publication number Publication date
CN111704036A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
CN109993113B (zh) 一种基于rgb-d和imu信息融合的位姿估计方法
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN109676604B (zh) 机器人曲面运动定位方法及其运动定位系统
CN110312912B (zh) 车辆自动停车系统和方法
US11199414B2 (en) Method for simultaneous localization and mapping
WO2021180128A1 (zh) 一种基于rgbd传感器和imu传感器的定位方法
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN111704036B (zh) 一种吊装设备对位系统及方法
CN112634451A (zh) 一种融合多传感器的室外大场景三维建图方法
US20220051031A1 (en) Moving object tracking method and apparatus
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN110517324A (zh) 基于变分贝叶斯自适应算法的双目vio实现方法
CN109871024A (zh) 一种基于轻量级视觉里程计的无人机位姿估计方法
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN109352646B (zh) 纱线自动装卸方法及系统
Huttunen et al. A monocular camera gyroscope
CN109785428A (zh) 一种基于多态约束卡尔曼滤波的手持式三维重建方法
Ling et al. RGB-D inertial odometry for indoor robot via keyframe-based nonlinear optimization
Feng et al. A fusion algorithm of visual odometry based on feature-based method and direct method
CN116659490A (zh) 低成本视觉-惯性融合的slam方法
Zhang et al. Monocular visual-inertial and robotic-arm calibration in a unifying framework
CN109542094B (zh) 无期望图像的移动机器人视觉镇定控制
CN109459046A (zh) 悬浮式水下自主航行器的定位和导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant