CN113879984A - 一种基于机器视觉的集装箱自动抓放系统及操作方法 - Google Patents
一种基于机器视觉的集装箱自动抓放系统及操作方法 Download PDFInfo
- Publication number
- CN113879984A CN113879984A CN202111210454.8A CN202111210454A CN113879984A CN 113879984 A CN113879984 A CN 113879984A CN 202111210454 A CN202111210454 A CN 202111210454A CN 113879984 A CN113879984 A CN 113879984A
- Authority
- CN
- China
- Prior art keywords
- industrial camera
- container
- ground
- lifting appliance
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
- B66C19/007—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries for containers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
- B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
Abstract
本发明提供了一种基于机器视觉的集装箱自动抓放系统及操作方法，包括地面标识单元、图像采集模块、图像处理模块和控制模块；地面标识线性阵列排布在堆场的地面上并固定在地面；地面标识至少与一个集装箱放置位置的端点位置相对应；图像采集模块包括若干工业相机和针孔相机，工业相机对称设置在两长边延伸方向的端部位置；针孔相机分别设置在吊具的两短边上的锁具处；图像处理模块，接收第一工业相机和第二工业相机拍摄的地面标识的图像以及各针孔相机拍摄的吊具下方的集装箱的锁孔图像或者箱角图像，计算地面标识、集装箱标识在相机中的相对位姿并换算为吊具相对地面标识的角度偏移量和位置偏移量；控制模块对应的发出抓放箱控制信号。
Description
技术领域
本发明涉及港口起重机吊装技术领域，尤其涉及一种基于机器视觉的及装置自动抓放系统及操作方法。
背景技术
传统的集装箱吊运作业操作难度高，对操作人员的技术和经验有一定要求。随着港口自动化水平的提升，越来越多的港口开始布局全自动作业，集装箱的自动抓放箱是一项重要技术。
现有自动抓放箱的方案为采用带锁具的吊具并结合相机和加速度传感器，获取吊具下方集装箱上的锁孔位置的当前吊具位置，引导吊具接近锁孔位置，但是该方法只适用于吊具空抓的情形，吊具抓取集装箱运动时会遮挡相机，无法获取相应的锁孔图像；有的方案是采用3D激光扫描方式，通过分析点云数据，来引导抓放箱，导致系统开销大而且作业效率无法保证。
因此，本发明提出了一种基于机器视觉的及装置自动抓放系统及操作方法。
发明内容
有鉴于此，本发明提出了一种实时性好、准确度高、鲁棒性强的基于机器视觉的及装置自动抓放系统及操作方法。
本发明的技术方案是这样实现的：
一方面，本发明提供了一种基于机器视觉的集装箱自动抓放系统，包括龙门架、吊具、地面标识单元(100)、图像采集模块(200)、图像处理模块(300)和控制模块(400)；龙门架上设置有吊具；
地面标识单元(100)，包括若干地面标识，各地面标识线性阵列排布在堆场的地面上并固定在地面，相邻的地面标识间隔设置；每个地面标识至少与一个集装箱放置位置的端点位置相对应；
图像采集模块(200)，包括第一工业相机(21)、第二工业相机(22)和四个针孔相机，第一工业相机(21)和工业相机中心对称设置在吊具两长边延伸方向的端部位置，第一工业相机(21)和第二工业相机(22)分别拍摄集装箱放置位置两端的地面标识的图像；各针孔相机分别设置在吊具两短边上的锁具处，各针孔相机拍摄吊具下方的集装箱的锁孔或者箱角图像；
图像处理模块(300)，接收第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，以及各针孔相机拍摄的吊具下方的集装箱的锁孔图像或者箱角图像，提取地面标识的图像、锁孔图像或者箱角图像中的几何特征，基于N点透视算法获取吊具在空间中的位姿以及吊具相对于地面标识或者堆场的集装箱的位姿，并获取吊具需要调整的角度偏移量和位置偏移量，图像处理模块(300)将角度偏移量和位置偏移量发送给控制模块(400)；
控制模块(400)，依据图像处理模块(300)发出的角度偏移量和位置偏移量使吊具位姿改变，或者发出抓放箱控制信号，实现吊具与集装箱位姿调节或者抓放箱动作；
其中，需要执行抓放箱动作时，吊具移动至目标集装箱放置位置，图像处理模块(300)获取第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，基于已标定的相机内参、畸变系数，应用N点透视算法求解地面标识在相机中的外参，再基于已标定第一工业相机与第二工业相机与吊具间的相对位姿，换算吊具在世界坐标系的当前位姿，来获取吊具需要调整的角度偏移量和位置偏移量；控制模块(400)根据图像处理模块(300)发送的角度偏移量和位置偏移量，使吊具位于集装箱或者地面标识对应的集装箱放置位置正上方；
图像处理模块(300)还选择性的通过各针孔相机获取集装箱箱角图像进行箱角提取与计算，使吊具或者吊具上的集装箱与地面标识或者已放置集装箱的四个箱角进一步对齐后并下放。在以上技术方案的基础上，优选的，所述各地面标识分别沿着龙门架的大车水平运动方向以及门架的小车的水平移动方向线性阵列分布，至少两个不同的地面标识可以确定一个集装箱放置位置。
进一步优选的，所述已建立的世界坐标系是将龙门架的大车水平运动方向作为X轴，将龙门架的小车的水平移动方向作为Y轴，将竖直方向作为Z轴，以每个地面标识的形态中心作为零点，建立基于每一个地面标识的世界坐标系。
进一步优选的，所述地面标识为一组中心对称的图案，每个图案与集装箱放置位置的端点相对应。
更进一步优选的，所述地面标识的图案为矩形、L形、扇形或者圆形。
进一步优选的，还包括第三工业相机(23)和第四工业相机(24)，第三工业相机(23)和第四工业相机(24)分别设置在吊具两个长边的中心处，第三工业相机(23)和第四工业相机(24)选择性的对准集装箱两端之间跨设的地面标识，并获取该处的地面标识的图像。
另外，本发明还提供了一种基于机器视觉的集装箱自动抓放系统的操作方法，其特征在于：包括如下步骤：
S100：在龙门架上配置前述的基于机器视觉的集装箱自动抓放系统；
S200：对各工业相机及针孔相机分别进行单个相机标定，获取各工业相机及针孔相机的内参矩阵和畸变参数；
S300：对各工业相机进行相机间标定：通过实际吊箱来辅助标定，分别建立基于各地面标识的世界坐标系，使第一工业相机(21)和第二工业相机(22)坐标统一；手动吊运集装箱至一个集装箱放置位置的中心，使该集装箱靠近地面的四个端点与相应端点地面标识的中心距离相同；分别拍摄相应的地面标识并测量此时第一工业相机(21)与第二工业相机(22)在其对应拍摄的地面标识的世界坐标系中的坐标值，随后吊具开锁并升起一定高度，等吊具静止后，第一工业相机(21)和第二工业相机(22)继续拍摄对应的地面标识的图像，图像处理模块(300)根据前一步获取的畸变参数，修正第一工业相机(21)和第二工业相机(22)的畸变，然后根据相机内参应用N点透视算法计算第一工业相机(21)和第二工业相机(22)的旋转矩阵和平移矩阵，即第一工业相机(21)和第二工业相机(22)的位姿；再根据旋转矩阵获得第一工业相机(21)或者第二工业相机(22)在空间中的三个轴向的二维旋转角度和轴向位置，保存第一工业相机(21)和第二工业相机(22)的初始位姿；在不同的吊具高度下重复上述步骤；拟合出吊具在不同高度时第一工业相机(21)和第二工业相机(22)的初始位姿，消除第一工业相机(21)和第二工业相机(22)安装偏差的影响；
S400：对四个针孔相机的相对位姿，通过已获得的各针孔相机的畸变参数，当吊具开锁并上升后，在该高度下获取各针孔相机的图像，提取锁孔图像或者箱角图像的锁孔或者箱角的特征点，保存在该高度下的像素坐标值，在不同的吊具高度下重复上述步骤；拟合出四个针孔相机与四个锁孔或者箱角的特征点的像素坐标的对应关系；
S500：当地面相应的集装箱放置位置没有放置集装箱，且需要放置集装箱时：吊具带动集装箱向集装箱放置位置移动，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，分别计算第一工业相机(21)和第二工业相机(22)在世界坐标系中的当前旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵转换为相对于初始位姿的空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，吊具下放过程中图像采集模块(200)和图像处理模块(300)实时检测当前吊具的位姿相对于地面标识确定的集装箱放置位置的相对位置保持平齐，实现集装箱放箱动作；
S600：当地面相应的集装箱放置位置有放置集装箱，且需要继续堆叠放置集装箱时：吊具带着集装箱到达目标集装箱放置位置上方，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)在世界坐标系中的当前旋转矩阵和平移矩阵，得到空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，保证吊具吊起的集装箱边缘与下方已放置的集装箱边缘平行，在吊具下放过程中，图像处理模块(300)还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，控制模块(400)做出相应调整保证吊具吊起的集装箱与已放置的集装箱四个箱角均对齐，完成堆垛集装箱的放箱动作；
S700：当地面相应的集装箱放置位置有放置集装箱，且需要空吊具抓取时：空吊具达到目标集装箱上方后下放，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)获取的地面标识的图像，得到三个轴向的二维旋转角度偏移量和位置偏移量，将角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)调整吊具的位姿并下放，图像处理模块(300)还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，使得吊具竖直下落时吊具上的锁具能直接落入集装箱的锁孔中实现集装箱抓箱动作。
进一步优选的，所述对各工业相机及针孔相机分别进行单个相机标定，是预设一个尺寸已知的棋盘格，采用各工业相机分别拍摄不同姿态的棋盘格图像，读取棋盘格图像的角点，通过张正友标定法获得相机内参矩阵和畸变参数。
进一步优选的，所述步骤S300还包括第三工业相机(23)和第四工业相机(24)与第一工业相机(21)和第二工业相机(22)坐标统一的步骤：当集装箱有跨设地面标识，则第三工业相机(23)和第四工业相机(24)分别对准集装箱跨设过的地面标识的图像，获取第三工业相机(23)和第四工业相机(24)在相应拍摄的地面标识的世界坐标系中的坐标值，在吊具开锁上升后，重复上述步骤修正第三工业相机(23)和第四工业相机(24)的畸变，并获取第三工业相机(23)或者第四工业相机(24)在空间中的三个轴向的二维旋转角度和轴向平移量，保存第三工业相机(23)和第四工业相机(24)的初始位姿，消除第三工业相机(23)和第四工业相机(24)安装偏差的影响。
更进一步优选的，所述步骤S500或者S700中，当集装箱放置位置有跨设地面标识时，图像处理模块(300)还同时处理第三工业相机(23)和第四工业相机(24)拍摄的地面标识的图像，分别计算第三工业相机(23)和第四工业相机(24)在对应的地面标识建立的世界坐标系中的位姿，使吊具下放过程中图像采集模块(200)和图像处理模块(300)实时检测当前集装箱的位姿相对于地面标识确定的集装箱放置位置的相对位置，其后续过程与步骤S500或者S700相同。
本发明的相对于现有技术具有以下有益效果：
(1)本发明基于机器视觉，实现针对固定的地面标识的取景，实时获取吊具的当前位姿，并采用N点透视算法计算吊具的调整参数，使得控制模块实现闭环控制，精确的实现自动抓放箱动作，实时性好；
(2)采用多个工业相机对准不同的地面标识的几何特征提取，多个针孔相机分别对准集装箱边缘部位拍摄对位，同类相机相互之间可以进行验证，系统冗余性好，鲁棒性强；
(3)地面标识采用特定的图案固定设置在地面，可以指示集装箱靠近地面一端的端点位置，还能辅助定位集装箱的轮廓和定义各相机在世界坐标系中的初始位姿和实时位姿；
(4)采用基于N点透视算法来求解对应相机的旋转矩阵及平移矩阵，实现3D对象到2D像素坐标系的映射，结合预先进行的相机标定，能快速计算对应的相机位姿；
(5)针对集装箱放置位置不同的使用状态，本系统均能稳定的实现抓箱或者放箱动作，提高抓放箱的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于机器视觉的及装置自动抓放系统及操作方法的地面标识单元、图像采集模块、图像处理模块和控制模块组合布置状态俯视图；
图2为本发明一种基于机器视觉的及装置自动抓放系统及操作方法的地面标识单元的布设状态俯视图；
图3为本发明一种基于机器视觉的及装置自动抓放系统及操作方法的图像采集模块在吊具上的布置状态俯视图；
图4为本发明一种基于机器视觉的及装置自动抓放系统及操作方法的操作流程图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
本发明的技术方案是这样实现的：
一方面，如图1—3所示，本发明提供了一种基于机器视觉的集装箱自动抓放系统，包括龙门架和吊具，龙门架设置在堆场；龙门架上设置有吊具，吊具上对称设置有一对长边和一对短边，短边平行设置在两长边之间，两短边上分别设置有锁具，龙门架包括驱动龙门架沿地面移动的大车和驱动吊具沿着龙门架跨设方向移动的小车；还包括地面标识单元100、图像采集模块200、图像处理模块300和控制模块400；
地面标识单元100，包括若干地面标识，各地面标识线性阵列排布在堆场的地面上并固定在地面，相邻的地面标识间隔设置；每个地面标识至少与一个集装箱放置位置的端点位置相对应。
图像采集模块200，包括第一工业相机21、第二工业相机22和四个针孔相机，第一工业相机21和工业相机中心对称设置在两长边延伸方向的端部位置，第一工业相机21和第二工业相机22分别拍摄集装箱放置位置两端的地面标识的图像；各针孔相机分别设置在吊具的两短边上的锁具处，各针孔相机拍摄吊具下方的集装箱的锁孔或者箱角图像。针孔相机为图示的附图标记25、26、27和28。
图像处理模块300，接收第一工业相机21和第二工业相机22拍摄的地面标识的图像，以及各针孔相机拍摄的吊具下方的集装箱的锁孔图像或者箱角图像，提取地面标识的图像、锁孔图像或者箱角图像中的几何特征，基于N点透视算法获取吊具在空间中的位姿以及吊具相对于地面标识或者堆场的集装箱的位姿，并获取吊具需要调整的角度偏移量和位置偏移量，图像处理模块300将角度偏移量和位置偏移量发送给控制模块400。
在机器视觉领域，N点透视算法是比较常见的对相机位姿进行求解的手段，OpenCV中已有求解该算法的函数SlovePnP，通常获取4个已知点的位置即可求解相对精确的相机位姿，具体函数内容可参考GitHub或者OpenCV官方文档介绍，在此不再赘述。第一工业相机21和第二工业相机22拍摄的地面标识的图像很容易获取地面标识对应的四个已知点的坐标。
控制模块400，依据图像处理模块300发出的角度偏移量和位置偏移量使吊具位姿改变，或者发出抓放箱控制信号，实现吊具与集装箱位姿调节或者抓放箱动作。
本发明工作时：在需要执行抓放箱动作时，吊具移动至目标集装箱放置位置，图像处理模块300获取第一工业相机21和第二工业相机22拍摄的地面标识的图像，基于已标定的相机内参、畸变系数，应用N点透视算法求解地面标识在相机中的外参，再基于已标定第一工业相机与第二工业相机与吊具间的相对位姿，换算吊具在世界坐标系的当前位姿，即对应地面标识建立坐标系下的当前位姿，来获取吊具需要调整的角度偏移量和位置偏移量；控制模块400根据图像处理模块300发送的角度偏移量和位置偏移量，使吊具位于集装箱或者地面标识对应的集装箱放置位置正上方；图像处理模块300还选择性的通过各针孔相机获取集装箱箱角图像进行箱角提取与计算，使吊具或者吊具上的集装箱与地面标识或者已放置集装箱的四个箱角进一步对齐后并下放。
如图2所示，为了更好的限定第一集装箱放置位置1或者第二集装箱放置位置2，使得集装箱的运动方向与地面标识相吻合，可将地面标识单元100的各地面标识分别沿着龙门架的大车水平运动方向以及门架的小车的水平移动方向线性阵列分布，图2所示的一组地面标识3、4所在列与另一组地面标识5、6和7所在列构成了若干第一集装箱放置位置1的轮廓；而一组地面标识5、6和7所在列与地面标识8所在的列构成了若干第二集装箱放置位置2。地面标识可以采用反光材料制成。地面标识可以采用一组中心对称的图案组合而成，每个图案与集装箱放置位置的端点相对应。地面标识的图案为矩形、L形、扇形或者圆形。以图2为例，图示的地面标识为四个中心对称的L形图案组成的十字型地面标识，每个L形图案的拐点对应一个集装箱放置位置的端点。
每个地面标识至少与一个集装箱放置位置的端点位置相对应；在此具有两层含义，同一平面相邻的四个集装箱共用一个地面标识的不同的图案；而且堆叠起来的同规格集装箱共用一个地面标识中的同一个图案。至少两个不同的地面标识可以确定一个集装箱放置位置。
同样如图2所示，由于集装箱尺寸的不同，第一集装箱放置位置1或者第二集装箱放置位置2可以对应不同规格的集装箱，如20尺柜或者40尺柜。为了更好的确定第二集装箱放置位置2的轮廓，该处的集装箱的箱体跨设了一组地面标识，该组地面标识可以指示集装箱长度方向的轮廓中点，如图中地面标识9所在列。
上述系统中，基于各地面标识分别建立对应的世界坐标系是将龙门架的大车水平运动方向作为X轴，将龙门架的小车的水平移动方向作为Y轴，将竖直方向作为Z轴，以每个地面标识的形态中心作为零点，建立基于每一个地面标识的世界坐标系。
为了更好的观察集装箱的长度方向与地面标识的相对关系，本发明的系统还包括第三工业相机23和第四工业相机24，第三工业相机23和第四工业相机24分别设置在吊具两个长边的中心处，第三工业相机23和第四工业相机24选择性的对准集装箱两端之间跨设的地面标识，并获取该处的地面标识的图像。为了提高各工业相机的成像质量，可以在各工业相机处对应的设置红外光源29，为工业相机更好的获取地面标识的图像。
如图4所示，另一方面，本发明还提供了一种基于机器视觉的集装箱自动抓放系统的操作方法，包括如下步骤：
S100：在龙门架上配置前述的基于机器视觉的集装箱自动抓放系统；
S200：对各工业相机及针孔相机分别进行单个相机标定，获取各工业相机及针孔相机的内参矩阵和畸变参数；
S300：对各工业相机进行相机间标定：通过实际吊箱来辅助标定，分别建立基于各地面标识的世界坐标系，使第一工业相机21和第二工业相机22坐标统一；手动吊运集装箱至一个集装箱放置位置的中心，使该集装箱靠近地面的四个端点与相应端点地面标识的中心距离相同；分别拍摄相应的地面标识并测量此时第一工业相机21与第二工业相机22在其对应拍摄的地面标识的世界坐标系中的坐标值，随后吊具开锁并升起一定高度，等吊具静止后，第一工业相机21和第二工业相机22继续拍摄对应的地面标识的图像，图像处理模块300根据前一步获取的畸变参数，修正第一工业相机21和第二工业相机22的畸变，然后根据相机内参应用N点透视算法计算第一工业相机21和第二工业相机22的旋转矩阵和平移矩阵，即第一工业相机21和第二工业相机22的位姿；再根据旋转矩阵获得第一工业相机21或者第二工业相机22在空间中的三个轴向的二维旋转角度和轴向位置，保存第一工业相机21和第二工业相机22的初始位姿；在不同的吊具高度下重复上述步骤；拟合出吊具在不同高度时第一工业相机21和第二工业相机22的初始位姿，消除第一工业相机21和第二工业相机22安装偏差的影响；
S400：对四个针孔相机的相对位姿，通过已获得的各针孔相机的畸变参数，当吊具开锁并上升后，在该高度下获取各针孔相机的图像，提取锁孔图像或者箱角图像的锁孔或者箱角的特征点，保存在该高度下的像素坐标值，在不同的吊具高度下重复上述步骤；拟合出四个针孔相机与四个锁孔或者箱角的特征点的像素坐标的对应关系；后续步骤S500—S700分别对应着不同的堆场情况，执行不同的集装箱抓放箱动作策略；
S500：当地面相应的集装箱放置位置没有放置集装箱，且需要放置集装箱时：吊具带动集装箱向集装箱放置位置移动，图像处理模块300处理第一工业相机21和第二工业相机22拍摄的地面标识的图像，分别计算第一工业相机21和第二工业相机22在世界坐标系中的当前旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵转换为相对于初始位姿的空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块400，控制模块400首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，吊具下放过程中图像采集模块200和图像处理模块300实时检测当前吊具的位姿相对于地面标识确定的集装箱放置位置的相对位置保持平齐，实现集装箱放箱动作；
S600：当地面相应的集装箱放置位置有放置集装箱，且需要继续堆叠放置集装箱时：吊具带着集装箱到达目标集装箱放置位置上方，图像处理模块300处理第一工业相机21和第二工业相机22在世界坐标系中的当前旋转矩阵和平移矩阵，得到空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块400，控制模块400首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，保证吊具吊起的集装箱边缘与下方已放置的集装箱边缘平行，在吊具下放过程中，图像处理模块300还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，控制模块400做出相应调整保证吊具吊起的集装箱与已放置的集装箱四个箱角均对齐，完成堆垛集装箱的放箱动作；
S700：当地面相应的集装箱放置位置有放置集装箱，且需要空吊具抓取时：空吊具达到目标集装箱上方后下放，图像处理模块300处理第一工业相机21和第二工业相机22获取的地面标识的图像，得到三个轴向的二维旋转角度偏移量和位置偏移量，将角度偏移量和轴向偏移量发送给控制模块400，控制模块400调整吊具的位姿并下放，图像处理模块300还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，使得吊具竖直下落时吊具上的锁具能直接落入集装箱的锁孔中实现集装箱抓箱动作。
上述步骤S200中，对各工业相机及针孔相机分别进行单个相机标定，是预设一个尺寸已知的棋盘格，采用各工业相机分别拍摄不同姿态的棋盘格图像，读取棋盘格图像的角点，通过张正友标定法获得相机内参矩阵和畸变参数。可采用如下方法变换：
内参矩阵
其中fx是像素坐标系u轴上的归一化焦距，fy是像素坐标系v轴上的归一化焦距；u0和v0是像素坐标系下的中心坐标，单位为像素；令
畸变参数包括径向畸变参数k1、k2、k3和k4以及切向畸变参数p1和p2，令(x0,y0)为图像坐标系中畸变点的原始位置，(x,y)为畸变点校正后在图像坐标系中的位置，r2＝x2+y2；通过下式求取各畸变参数：
为了更好的对较大尺寸的集装箱的实时位姿进行确认，在上述步骤S300中还包括第三工业相机23和第四工业相机24与第一工业相机21和第二工业相机22坐标统一的步骤：当集装箱有跨设地面标识，则第三工业相机23和第四工业相机24分别对准集装箱跨设过的地面标识的图像，获取第三工业相机23和第四工业相机24在相应拍摄的地面标识的世界坐标系中的坐标值，在吊具开锁上升后，重复上述步骤修正第三工业相机23和第四工业相机24的畸变，并获取第三工业相机23或者第四工业相机24在空间中的三个轴向的二维旋转角度和轴向平移量，保存第三工业相机23和第四工业相机24的初始位姿，消除安装导致的第三工业相机23和第四工业相机24安装偏差的影响。
上述步骤S500或者S700中，当集装箱放置位置有跨设地面标识时，图像处理模块300还同时处理第三工业相机23和第四工业相机24拍摄的地面标识的图像，分别计算第三工业相机23和第四工业相机24在对应的地面标识建立的世界坐标系中的位姿，使吊具下放过程中图像采集模块200和图像处理模块300实时检测当前集装箱的位姿相对于地面标识确定的集装箱放置位置的相对位置，其后续过程与步骤S500或者S700相同。
上述步骤S500—S700，根据堆场当前情况的不同，对应的进行抓箱或者方向动作，实现不同集装箱放置位置的不同对策。S700对应的集装箱跨设地面标识，即该集装箱长度尺寸较大，如对应40尺柜。第三工业相机23和第四工业相机24对应的跨设的地面标识可以指示其长度方向的中部的边缘位置，可辅助提高抓放箱的效率，缩短位姿调整时间。图像处理模块300还能获取当前吊具的抓放箱动作执行状态，返回步骤S500或者S700，为后续进一步的动作做好准备。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器视觉的集装箱自动抓放系统，其特征在于：包括龙门架、吊具、地面标识单元(100)、图像采集模块(200)、图像处理模块(300)和控制模块(400)；龙门架上设置有吊具；
地面标识单元(100)，包括若干地面标识，各地面标识线性阵列排布在堆场的地面上并固定在地面，相邻的地面标识间隔设置；每个地面标识至少与一个集装箱放置位置的端点位置相对应；
图像采集模块(200)，包括第一工业相机(21)、第二工业相机(22)和四个针孔相机，第一工业相机(21)和工业相机中心对称设置在吊具两长边延伸方向的端部位置，第一工业相机(21)和第二工业相机(22)分别拍摄集装箱放置位置两端的地面标识的图像；各针孔相机分别设置在吊具两短边上的锁具处，各针孔相机拍摄吊具下方的集装箱的锁孔或者箱角图像；
图像处理模块(300)，接收第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，以及各针孔相机拍摄的吊具下方的集装箱的锁孔图像或者箱角图像，提取地面标识的图像、锁孔图像或者箱角图像中的几何特征，基于N点透视算法获取吊具相对于地面标识或者堆场的集装箱的位姿，并获取吊具需要调整的角度偏移量和位置偏移量，图像处理模块(300)将角度偏移量和位置偏移量发送给控制模块(400)；
控制模块(400)，依据图像处理模块(300)发出的角度偏移量和位置偏移量使吊具位姿改变，或者发出抓放箱控制信号，实现吊具与集装箱位姿调节或者抓放箱动作；
其中，需要执行抓放箱动作时，吊具移动至目标集装箱放置位置，图像处理模块(300)获取第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，基于已标定的相机内参、畸变系数，应用N点透视算法求解地面标识在相机中的外参，再基于已标定第一工业相机与第二工业相机与吊具间的相对位姿，换算吊具在世界坐标系的当前位姿，来获取吊具需要调整的角度偏移量和位置偏移量；控制模块(400)根据图像处理模块(300)发送的角度偏移量和位置偏移量，使吊具位于集装箱或者地面标识对应的集装箱放置位置正上方；
图像处理模块(300)还选择性的通过各针孔相机获取集装箱箱角图像进行箱角提取与计算，使吊具或者吊具上的集装箱与地面标识或者已放置集装箱的四个箱角进一步对齐后并下放。
2.根据权利要求1所述的一种基于机器视觉的集装箱自动抓放系统，其特征在于：所述各地面标识分别沿着龙门架的大车水平运动方向以及门架的小车的水平移动方向线性阵列分布，至少两个不同的地面标识可以确定一个集装箱放置位置。
3.根据权利要求2所述的一种基于机器视觉的集装箱自动抓放系统，其特征在于：所述已建立的世界坐标系是将龙门架的大车水平运动方向作为X轴，将龙门架的小车的水平移动方向作为Y轴，将竖直方向作为Z轴，以每个地面标识的形态中心作为零点，建立基于每一个地面标识的世界坐标系。
4.根据权利要求2所述的一种基于机器视觉的集装箱自动抓放系统，其特征在于：所述地面标识为一组中心对称的图案，每个图案与集装箱放置位置的端点相对应。
5.根据权利要求4所述的一种基于机器视觉的集装箱自动抓放系统，其特征在于：所述地面标识的图案为矩形、L形、扇形或者圆形。
6.根据权利要求2所述的一种基于机器视觉的集装箱自动抓放系统，其特征在于：还包括第三工业相机(23)和第四工业相机(24)，第三工业相机(23)和第四工业相机(24)分别设置在吊具两个长边的中心处，第三工业相机(23)和第四工业相机(24)选择性的对准集装箱两端之间跨设的地面标识，并获取该处的地面标识的图像。
7.一种基于机器视觉的集装箱自动抓放系统的操作方法，其特征在于：包括如下步骤：
S100：在龙门架上配置如权利要求1—6任一项所述的基于机器视觉的集装箱自动抓放系统；
S200：对各工业相机及针孔相机分别进行单个相机标定，获取各工业相机及针孔相机的内参矩阵和畸变参数；
S300：对各工业相机进行相机间标定：通过实际吊箱来辅助标定，分别建立基于各地面标识的世界坐标系，使第一工业相机(21)和第二工业相机(22)坐标统一；手动吊运集装箱至一个集装箱放置位置的中心，使该集装箱靠近地面的四个端点与相应端点地面标识的中心距离相同；分别拍摄相应的地面标识并测量此时第一工业相机(21)与第二工业相机(22)在其对应拍摄的地面标识的世界坐标系中的坐标值，随后吊具开锁并升起一定高度，等吊具静止后，第一工业相机(21)和第二工业相机(22)继续拍摄对应的地面标识的图像，图像处理模块(300)根据前一步获取的畸变参数，修正第一工业相机(21)和第二工业相机(22)的畸变，然后根据相机内参应用N点透视算法计算第一工业相机(21)和第二工业相机(22)的旋转矩阵和平移矩阵，即第一工业相机(21)和第二工业相机(22)的位姿；再根据旋转矩阵获得第一工业相机(21)或者第二工业相机(22)在空间中的三个轴向的二维旋转角度和轴向位置，保存第一工业相机(21)和第二工业相机(22)的初始位姿；在不同的吊具高度下重复上述步骤；拟合出吊具在不同高度时第一工业相机(21)和第二工业相机(22)的初始位姿，消除第一工业相机(21)和第二工业相机(22)安装偏差的影响；
S400：对四个针孔相机的相对位姿，通过已获得的各针孔相机的畸变参数，当吊具开锁并上升后，在该高度下获取各针孔相机的图像，提取锁孔图像或者箱角图像的锁孔或者箱角的特征点，保存在该高度下的像素坐标值，在不同的吊具高度下重复上述步骤；拟合出四个针孔相机与四个锁孔或者箱角的特征点的像素坐标的对应关系；
S500：当地面相应的集装箱放置位置没有放置集装箱，且需要放置集装箱时：吊具带动集装箱向集装箱放置位置移动，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)拍摄的地面标识的图像，分别计算第一工业相机(21)和第二工业相机(22)在世界坐标系中的当前旋转矩阵和平移矩阵，将旋转矩阵和平移矩阵转换为相对于初始姿态的空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，吊具下放过程中图像采集模块(200)和图像处理模块(300)实时检测当前吊具的位姿相对于地面标识确定的集装箱放置位置的相对位置保持平齐，实现集装箱放箱动作；
S600：当地面相应的集装箱放置位置有放置集装箱，且需要继续堆叠放置集装箱时：吊具带着集装箱到达目标集装箱放置位置上方，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)在世界坐标系中的当前旋转矩阵和平移矩阵，得到空间中的三个轴向的二维旋转角度偏移量和轴向偏移量，分别将三个轴向的二维旋转角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)首先根据旋转角度偏移量和轴向偏移量调整吊具和集装箱的位姿，保证吊具吊起的集装箱边缘与下方已放置的集装箱边缘平行，在吊具下放过程中，图像处理模块(300)还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，控制模块(400)做出相应调整保证吊具吊起的集装箱与已放置的集装箱四个箱角均对齐，完成堆垛集装箱的放箱动作；
S700：当地面相应的集装箱放置位置有放置集装箱，且需要空吊具抓取时：空吊具达到目标集装箱上方后下放，图像处理模块(300)处理第一工业相机(21)和第二工业相机(22)获取的地面标识的图像，得到三个轴向的二维旋转角度偏移量和位置偏移量，将角度偏移量和轴向偏移量发送给控制模块(400)，控制模块(400)调整吊具的位姿并下放，图像处理模块(300)还根据四个针孔相机获取的锁孔的图像或者箱角的图像调整吊具的位姿，使得吊具竖直下落时吊具上的锁具能直接落入集装箱的锁孔中实现集装箱抓箱动作。
8.根据权利要求7所述的一种基于机器视觉的集装箱自动抓放系统的操作方法，其特征在于：所述对各工业相机及针孔相机分别进行单个相机标定，是预设一个尺寸已知的棋盘格，采用各工业相机分别拍摄不同姿态的棋盘格图像，读取棋盘格图像的角点，通过张正友标定法获得相机内参矩阵和畸变参数。
9.根据权利要求7所述的一种基于机器视觉的集装箱自动抓放系统的操作方法，其特征在于：所述步骤S300还包括第三工业相机(23)和第四工业相机(24)与第一工业相机(21)和第二工业相机(22)坐标统一的步骤：当集装箱有跨设地面标识，则第三工业相机(23)和第四工业相机(24)分别对准集装箱跨设过的地面标识的图像，获取第三工业相机(23)和第四工业相机(24)在相应拍摄的地面标识的世界坐标系中的坐标值，在吊具开锁上升后，重复上述步骤修正第三工业相机(23)和第四工业相机(24)的畸变，并获取第三工业相机(23)或者第四工业相机(24)在空间中的三个轴向的二维旋转角度和轴向平移量，保存第三工业相机(23)和第四工业相机(24)的初始位姿，消除第三工业相机(23)和第四工业相机(24)安装偏差的影响。
10.根据权利要求8所述的一种基于机器视觉的集装箱自动抓放系统的操作方法，其特征在于：所述步骤S500或者S700中，当集装箱放置位置有跨设地面标识时，图像处理模块(300)还同时处理第三工业相机(23)和第四工业相机(24)拍摄的地面标识的图像，分别计算第三工业相机(23)和第四工业相机(24)在对应的地面标识建立的世界坐标系中的位姿，使吊具下放过程中图像采集模块(200)和图像处理模块(300)实时检测当前集装箱的位姿相对于地面标识确定的集装箱放置位置的相对位置，其后续过程与步骤S500或者S700相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210454.8A CN113879984A (zh) | 2021-10-18 | 2021-10-18 | 一种基于机器视觉的集装箱自动抓放系统及操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111210454.8A CN113879984A (zh) | 2021-10-18 | 2021-10-18 | 一种基于机器视觉的集装箱自动抓放系统及操作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113879984A true CN113879984A (zh) | 2022-01-04 |
Family
ID=79003321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111210454.8A Pending CN113879984A (zh) | 2021-10-18 | 2021-10-18 | 一种基于机器视觉的集装箱自动抓放系统及操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113879984A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116074616A (zh) * | 2023-04-06 | 2023-05-05 | 上海知率智能科技有限公司 | 集装箱图像采集系统 |
| CN116891177A (zh) * | 2023-09-01 | 2023-10-17 | 河南科技学院 | 一种工件分拣起重机吊具 |
| WO2024060792A1 (zh) * | 2022-09-22 | 2024-03-28 | 中车资阳机车有限公司 | 一种分体式集装箱吊具的锁孔定位系统及方法 |
-
2021
- 2021-10-18 CN CN202111210454.8A patent/CN113879984A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024060792A1 (zh) * | 2022-09-22 | 2024-03-28 | 中车资阳机车有限公司 | 一种分体式集装箱吊具的锁孔定位系统及方法 |
| CN116074616A (zh) * | 2023-04-06 | 2023-05-05 | 上海知率智能科技有限公司 | 集装箱图像采集系统 |
| CN116891177A (zh) * | 2023-09-01 | 2023-10-17 | 河南科技学院 | 一种工件分拣起重机吊具 |
| CN116891177B (zh) * | 2023-09-01 | 2023-12-05 | 河南科技学院 | 一种工件分拣起重机吊具 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113879984A (zh) | 一种基于机器视觉的集装箱自动抓放系统及操作方法 | |
| US10562188B1 (en) | Automated package registration systems, devices, and methods | |
| CN106809730B (zh) | 一种基于视觉的集装箱自动对接起吊系统及起吊方法 | |
| CN102448679B (zh) | 至少一个物体以高精度定位到空间最终位置的方法和系统 | |
| CN105800464B (zh) | 一种基于自动吊钩系统的定位方法 | |
| WO2010009570A1 (zh) | 一种起吊定位方法及起吊智能视觉系统 | |
| AU2013326359A1 (en) | Load handling by load handling device | |
| KR20080012764A (ko) | 스크린 인쇄장치 및 화상 인식 위치 맞춤방법 | |
| US20180354137A1 (en) | Robot System Calibration | |
| CN107055331A (zh) | 集装箱对箱引导系统 | |
| WO2021017352A1 (zh) | 激光雷达-摄像机联合标定靶和联合标定方法 | |
| JP2023014351A (ja) | ビジョンシステムの３次元校正のためのシステム及び方法 | |
| CN115880372A (zh) | 自动化起重机的外集卡定位相机统一标定方法及系统 | |
| KR101089265B1 (ko) | 컨테이너 도킹 시스템, 컨테이너 크레인, 및 컨테이너 도킹 방법 | |
| CN113012235A (zh) | 一种港口起重机吊具姿态控制系统及其控制方法 | |
| JP2008281418A (ja) | 位置姿勢推定方法 | |
| CN209342062U (zh) | 3d视觉引导拆垛测量系统 | |
| CN114897981A (zh) | 一种基于视觉检测的吊具位姿识别方法 | |
| CN110533717A (zh) | 一种基于双目视觉的目标抓取方法及装置 | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| CN115937331A (zh) | 基于重卡电池自动换电系统的深度相机外参标定方法 | |
| CN114643577B (zh) | 一种通用型机器人视觉自动标定装置和方法 | |
| CN114034205A (zh) | 一种箱体装填系统及装填方法 | |
| KR20220058740A (ko) | 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법 | |
| CN111496795A (zh) | 一种抓取多层物料的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |