CN111704035B - 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的集装箱装卸集卡自动定位装置及方法，装置包括：图像获取模块，用于获取集卡挂车的图像数据；边缘提取模块，用于对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；直线拟合模块，用于对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。本发明提供的基于机器视觉的集装箱装卸集卡自动定位装置及方法，通过获取集卡挂车的图像数据并进行边缘轮廓提取，进而获取集卡挂车的边缘直线，能够获得更精准的集卡挂车数据，从而使得集装箱装载到集卡挂车的精度更高，更为智能。

Description

一种基于机器视觉的集装箱装卸集卡自动定位装置及方法

技术领域

本发明涉及起重机装卸领域，尤其涉及一种基于机器视觉的集装箱装卸集卡自动定位装置及方法。

背景技术

目前，港口对集卡进行装卸集装箱多采用人工作业的方式，轮胎吊司机操作轮胎吊对其下方的集卡(骨架式集卡挂车、平板式集卡挂车)进行集装箱装卸作业。轮胎吊司机进行人工作业的缺点在于作业效率低，且作业质量不稳定，经常出现粗暴地将集装箱砸进集卡导板的情况，对箱子和集卡都有一定的损伤。现有技术中有一些自动化改造方案，例如可以使用激光雷达对集卡轮廓进行扫描，在确定集卡位置后进行集装箱的装卸作业。但是这种做法对于不同型号的集卡及不同型号的挂车，需要建立模板库进行比对，并且容易出现偏差，造成自动装卸不成功。

因此有必要提供一种集装箱自动化装卸装置，可以实现对集卡作业的集装箱的自动化装卸。

发明内容

本发明所要解决的技术问题是提供基于机器视觉的集装箱装卸集卡自动定位装置及方法，通过获取集卡挂车的是图像数据并进行边缘轮廓提取，进而获取集卡挂车的边缘直线，能够获得更精准的集卡挂车数据，从而使得集装箱装载到集卡挂车的精度更高，更为智能。

本发明为解决上述技术问题而采用的技术方案是提供一种基于机器视觉的集装箱装卸集卡自动定位装置,包括：

图像获取模块，用于获取集卡挂车的图像数据；

边缘提取模块，用于对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；

直线拟合模块，用于对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。

优选地，当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，所述直线拟合模块用于将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，所述直线拟合模块用于将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

优选地，所述图像获取模块为摄像设备，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。

优选地，当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据；

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

优选地，还包括空间转换模块，用于将所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或第二边缘直线进行水平投影，得到所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或所述第二边缘直线的相交点，根据所述相交点得到所述集卡挂车中心点在吊车坐标系中的坐标，从而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

本发明为解决上述技术问题而还采用的技术方案是提供一种基于机器视觉的集装箱装卸集卡自动定位方法，包括以下步骤：

获取集卡挂车的图像数据；

对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；

对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。

优选地，当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

优选地，所述图像数据由摄像设备获取，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。

优选地，当所述摄像设备为RGBD深度相机时，对获取的3D点云进行实例分割，或结合RGB图像得到的轮廓ROI区域，找到对应3D点云中所述纵梁和所述横梁的边缘，通过直接拟合的方式得到其边缘直线。

优选地，当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据；

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

优选地，还包括以下步骤：

将所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或第二边缘直线进行水平投影，得到所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或所述第二边缘直线的相交点，根据所述相交点得到所述集卡挂车中心点在吊车坐标系中的坐标，从而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

本发明对比现有技术有如下的有益效果：本发明提供的基于机器视觉的集装箱装卸集卡自动定位装置及方法，通过获取集卡挂车的图像数据并进行边缘轮廓提取，进而获取集卡挂车的边缘直线，能够获得更精准的集卡挂车数据，从而使得集装箱装载到集卡挂车的精度更高，更为智能；

进一步地，将骨架式集卡挂车的纵梁和横梁的边缘进行直线拟合或将平板式集卡挂车的纵边和横边进行直线拟合分别得到两组互相垂直的直线，从而获取集卡挂车的边缘直线，对于不同型号的集卡挂车，都能够实时获取精准的集卡挂车数据，不需要建立模板库进行比对，提高了集装箱装载到集卡挂车的精度和效率；

进一步地，直线拟合为RANSAC平行线拟合时，判断直线拟合误差，如果误差小于阈值，则融合得到的直线，否则重新获取集卡挂车的图像数据，从而保证获取到的图像数据的精度。

附图说明

图1为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的结构示意图；

图2为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的骨架式集卡挂车结构示意图；

图3为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的又一骨架式集卡挂车结构示意图；

图4为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的平板式集卡挂车结构示意图；

图5为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的又一骨架式集卡挂车结构示意图；

图6为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的模块图；

图7为本发明又一实施例中基于机器视觉的集装箱装卸集卡自动定位装置的模块图；

图8为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的计算关系示意图；

图9为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位方法的流程图；

图10为本发明又一实施例中基于机器视觉的集装箱装卸集卡自动定位方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。

现在参看图1至图4，图1为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的结构示意图，所述基于机器视觉的集装箱装卸集卡自动定位装置包括集卡车头1、集卡挂车2、摄像设备3、摄像设备4、电气房5以及轮胎吊大梁6。其中，摄像设备也可以是一个，可以将一个摄像设备居中安装在电气房5内侧，并且能够完整拍摄到集卡挂车2。当摄像设备是两个的时候，例如摄像设备3和摄像设备4，可以沿集卡挂车2的方向的前端安装摄像设备3，沿后端安装摄像设备4，使得摄像设备3和摄像设备4分别覆盖到集卡挂车的一部分，增加了水平分辨率。

摄像设备安装之后，首先需要进行摄像设备和吊车的外参(Camera Extrinsics)标定。当摄像设备是两个的时候，还需要进行两个摄像设备之间的外参标定，并且需要将两个摄像设备获取的图像数据进行拼接，合并成一幅完整的集卡挂车图像。

图2是本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的骨架式集卡挂车结构示意图，骨架式集卡挂车包括两根纵梁21，多根横梁22以及锁钮23，其中两根纵梁21互相平行，多根横梁22互相平行，纵梁和横梁互相垂直。

图3为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的又一骨架式集卡挂车结构示意图，该骨架式集卡挂车包括骨架和平板，靠近车头部分的骨架包括横梁311，纵梁312以及锁钮313，其中横梁互相平行，纵梁互相平行，横梁和纵梁互相垂直。靠近车尾部分的平板包括平板纵边314和平板横边315，其中平板纵边314和平板横边315垂直。其中，骨架部分占整个骨架式集卡挂车的3/4，平板部分占整个骨架式集卡挂车的1/4。

图4是本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的平板式集卡挂车结构示意图，平板式集卡挂车包括平板纵边41和平板横边42，以及锁钮43，其中平板纵边41和平板横边42垂直。

现在参看图6，图6是本发明实施例中基于机器视觉的集装箱装卸集卡自动定位装置的模块图。一种基于机器视觉的集装箱装卸集卡自动定位装置，包括：图像获取模块61，用于获取集卡挂车的图像数据；边缘提取模块62，用于对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；直线拟合模块63，用于对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。

对于骨架式集卡挂车，对所述集卡挂车的图像数据的边缘轮廓进行提取可以通过传统图像处理的方式，例如先进行Canny边缘提取，然后进行霍夫直线拟合。

优选地，获取所述集卡挂车的像素级边缘，可以通过深度学习实例分割的方法例如Yolact算法分割出纵梁和横梁的实例，从而找到纵梁和横梁的像素级边缘，然后通过平行线拟合或者求最小包围矩形的方式进一步精确地得到其边缘直线。

在具体实施中，当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，所述直线拟合模块用于将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，所述直线拟合模块用于将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

图2所示意的集卡是骨架式集卡，其中，纵梁有两根，横梁有多根，将所述两根纵梁的边缘进行直线拟合得到第一组直线，第一组直线为四根直线，将所述多根横梁的边缘进行直线拟合得到第二组直线，如果拟合的是首端或尾端横梁，则所述第二组直线为两根直线，如果拟合的是多根横梁，则第二组直线为多根直线。

图4所示意的集卡是平板式集卡，其中纵边有两根，横边有两根，将所述纵边进行直线拟合得到第三组直线，第三组直线为两根直线，将所述横边进行直线拟合得到第四组直线，第四组直线为两根直线，第三组直线和第四组直线互相垂直。

其中，所述图像获取模块61为摄像设备，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。在具体使用时，所述摄像设备为深度相机。

在具体实施中，当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC(Random Sample Consensus，随机抽样一致)平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据；

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

在具体实施中，假设第一组直线的四条平行直线的方程为y＝Ax+Bn(n为1、2、3、4)，第一纵向中轴线通过以下方程获得：y＝Ax+(B1+B2+B3+B4)/4，其中A为直线方程的系数，Bn为直线方程的常数。

现在参看图5，以骨架式集卡挂车为例，当第一组直线的拟合误差小于第一阈值时，第一阈值的范围可以为0.1°至0.3°，将第一组直线融合得到挂车第一纵向中轴线Lv0；将横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，第五组直线有两条，如果第五组直线与第一纵向中轴线Lv0的夹角减90°的绝对值小于第二阈值时，第二阈值的范围可以为0°至3°，取第五组直线中的边缘直线作为第一边缘直线Lh0或Lh1。

现在参看图5和图7，一种基于机器视觉的集装箱装卸集卡自动定位装置，包括：图像获取模块71，用于获取集卡挂车的图像数据；边缘提取模块72，用于对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；直线拟合模块73，用于对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。空间转换模块74，用于将第一纵向中轴线Lv0或第二纵向中轴线分别和第一边缘直线Lh0/Lh1或第二边缘直线进行水平投影，得到第一纵向中轴线Lv0或第二纵向中轴线分别和所述第一边缘直线Lh0/Lh1或所述第二边缘直线的相交点O1，根据|O₁O_t|＝L/2，可求得相交点O1，其中L是集卡挂车的长度，从而得到集卡挂车中心点Ot在吊车坐标系中的坐标，进而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

在具体实施中，集卡的自动集装箱装卸，需要龙门吊车在空间四个维度上与集卡挂车对齐(x,y,z,θ)，具体对应到吊车的输出控制(小车位置、大车位置、吊具高度、吊具旋转)。现在参看图8，601为轮胎吊小车，602为轮胎吊大车，603为钢丝绳，604为吊具到集卡挂车2距离h，605为吊具，606为集卡挂车直线空间平移辅助线，607为吊具与集卡挂车直线水平投影夹角θ，608为集卡挂车2的横梁边缘直线，609为吊具605与集卡挂车2之间沿大车602方向的水平投影距离d，610为吊具605到集卡挂车2之间沿小车601方向的水平投影距离x，611为大车602方向辅助线，612为集卡挂车2的纵梁边缘直线。

当得到集卡挂车边缘直线608时，通过空间变换，即可得到吊具需要旋转的角度θ607，小车需要移动的位置x610，吊具需要下降的高度h604，以及需要指导集卡前进后退的距离d609。

现在参看图9，图9为本发明实施例中基于机器视觉的集装箱装卸集卡自动定位方法的流程图。一种基于机器视觉的集装箱装卸集卡自动定位方法，包括以下步骤：步骤71：获取集卡挂车的图像数据；步骤72：对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；步骤73：对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线。

在具体实施中，当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

其中，所述图像数据由摄像设备获取，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。在具体使用时，所述摄像设备为深度相机，当所述摄像设备为RGBD深度相机时，对获取的3D点云进行实例分割，或结合RGB图像得到的轮廓ROI区域，找到对应3D点云中所述纵梁和所述横梁的边缘，通过直接拟合的方式得到其边缘直线。。

在具体实施中，当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据；

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

现在参看图10，图10为本发明又一实施例中基于机器视觉的集装箱装卸集卡自动定位方法的流程图。一种基于机器视觉的集装箱装卸集卡自动定位方法，包括以下步骤：步骤101：获取集卡挂车的图像数据；步骤102：对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；步骤103：对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线；步骤104：将第一纵向中轴线或第二纵向中轴线分别和第一边缘直线或第二边缘直线进行水平投影，得到第一纵向中轴线或第二纵向中轴线分别和第一边缘直线或第二边缘直线的相交点，根据所述相交点得到所述集卡挂车中心点在吊车坐标系中的坐标，从而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

最后通过IPC(Industrial Personal Computer，工控机)输出控制指令给PLC(Programmable Logic Controller，可编程逻辑控制器)，PLC中运行先进控制算法控制吊具旋转，小车移动，吊具下降到指定位置；并且IPC输出指示给指示面板，指示集卡应该向前或向后移动的距离。从而完成对集卡自动装卸作业。

综上，本实施例提供的基于机器视觉的集装箱装卸集卡自动定位装置及方法，通过获取集卡挂车的图像数据并进行边缘轮廓提取，进而获取集卡挂车的边缘直线，能够获得更精准的集卡挂车数据，从而使得集装箱装载到集卡挂车的精度更高，更为智能；

进一步地，将骨架式集卡挂车的纵梁和横梁的边缘进行直线拟合或将平板式集卡挂车的纵边和横边进行直线拟合分别得到两组互相垂直的直线，从而获取集卡挂车的边缘直线，对于不同型号的集卡挂车，都能够实时获取精准的集卡挂车数据，不需要建立模板库进行比对，提高了集装箱装载到集卡挂车的精度和效率；

进一步地，直线拟合为RANSAC平行线拟合时，判断直线拟合误差，如果误差小于阈值，则融合得到的直线，否则重新获取集卡挂车的图像数据，从而保证获取到的图像数据的精度。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (11)

1.一种基于机器视觉的集装箱装卸集卡自动定位装置，其特征在于，包括：

图像获取模块，用于获取集卡挂车的图像数据；

边缘提取模块，用于对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；

直线拟合模块，用于对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线；

当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，所述直线拟合模块用于将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据。

2.根据权利要求1所述的基于机器视觉的集装箱装卸集卡自动定位装置，其特征在于，

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，所述直线拟合模块用于将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

3.根据权利要求1所述的基于机器视觉的集装箱装卸集卡自动定位装置，其特征在于，所述图像获取模块为摄像设备，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。

4.根据权利要求2所述的基于机器视觉的集装箱装卸集卡自动定位装置，其特征在于，

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

5.根据权利要求4所述的基于机器视觉的集装箱装卸集卡自动定位装置，其特征在于，还包括空间转换模块，用于将所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或第二边缘直线进行水平投影，得到所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或所述第二边缘直线的相交点，根据所述相交点得到所述集卡挂车中心点在吊车坐标系中的坐标，从而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

6.一种基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，包括以下步骤：

获取集卡挂车的图像数据；

对所述集卡挂车的图像数据的边缘轮廓进行提取，从而获取所述集卡挂车的像素级边缘；

对所述集卡挂车的像素级边缘进行直线拟合，从而获取所述集卡挂车的边缘直线；

当所述集卡是骨架式集卡挂车时，所述集卡挂车包括纵梁和横梁，将所述纵梁的边缘进行直线拟合得到第一组直线，将所述横梁的边缘进行直线拟合得到第二组直线，所述第一组直线和所述第二组直线互相垂直；

当所述集卡是骨架式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第一组直线有四条，如果所述第一组直线的拟合误差小于第一阈值，则将所述第一组直线融合得到挂车第一纵向中轴线，否则重新获取集卡挂车的图像数据；将所述横梁中的首端横梁或尾端横梁的两条边缘进行RANSAC平行线拟合得到第五组直线，所述第五组直线有两条，如果所述第五组直线与所述第一纵向中轴线的夹角减90°的绝对值小于第二阈值，则取所述第五组直线中的边缘直线作为第一边缘直线，否则重新获取集卡挂车的图像数据。

7.根据权利要求6所述的基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，

当所述集卡是平板式集卡挂车时，所述集卡挂车包括纵边和横边，将所述纵边进行直线拟合得到第三组直线，将所述横边进行直线拟合得到第四组直线，所述第三组直线和所述第四组直线互相垂直。

8.根据权利要求6所述的基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，所述图像数据由摄像设备获取，所述摄像设备的数量为至少一个，所述摄像设备安装在电气房或动力房靠近集卡车道的一侧。

9.根据权利要求7所述的基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，当摄像设备为RGBD深度相机时，对获取的3D点云进行实例分割，或结合RGB图像得到的轮廓ROI区域，找到对应3D点云中所述纵梁和所述横梁的边缘，通过直接拟合的方式得到其边缘直线。

10.根据权利要求7所述的基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，

当所述集卡是平板式集卡挂车时，当所述直线拟合为RANSAC平行线拟合时，所述第三组直线有两条，所述第四组直线有两条，如果所述第三组直线的拟合误差小于所述第一阈值，则将所述第三组直线融合得到挂车第二纵向中轴线，否则重新获取集卡挂车的图像数据；如果所述第四组直线与所述第三组直线的夹角减90°的绝对值小于第二阈值，则取所述第四组直线中的边缘直线作为第二边缘直线，否则重新获取集卡挂车的图像数据。

11.根据权利要求10所述的基于机器视觉的集装箱装卸集卡自动定位方法，其特征在于，还包括以下步骤：

将所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或第二边缘直线进行水平投影，得到所述第一纵向中轴线或所述第二纵向中轴线分别和所述第一边缘直线或所述第二边缘直线的相交点，根据所述相交点得到所述集卡挂车中心点在吊车坐标系中的坐标，从而获取吊具需要调整的高度、所述吊具需要调整的旋转角度以及小车需要调整的位置、所述集卡需要调整的位置。

Images