CN109455622A - 集装箱吊具的视觉识别系统以及集装箱的吊箱方法 - Google Patents

Abstract

本发明公开了一种集装箱吊具的视觉识别系统，包括控制装置，控制装置分别连接安装于吊具的视频输入设备、用于显示视频输入设备所拍摄图像的显示设备，所述的视频输入设备有4组，分别安装于吊具的四个角处，用于拍摄下方集装箱的四个顶角以及每个顶角所对应的锁孔的位置；然后将4个视频输入设备的图像拼接形成一个图像；控制装置设有数据处理单元以及对接单元；数据处理单元对图像中的集装箱的轮廓特征以及锁孔特征进行识别，计算集装箱与吊具之间的角度偏移量与位置偏移量；对接单元将数据处理单元计算的角度偏移量与位置偏移量传送给plc，由plc控制吊具进行调整并对集装箱进行锁定，吊具自动与集装箱对准锁定，减少对人工的依赖，降低成本。

Description

集装箱吊具的视觉识别系统以及集装箱的吊箱方法

技术领域

本发明涉一种港口集装箱装卸领域，更具体的说涉及一种集装箱吊具的视觉识别系统以及集装箱的吊箱方法。

背景技术

在目前自动化集装箱装卸作业流程中，大部分流程是靠plc控制单元控制和传感定位技术实现了自动化操作，但在吊箱时，吊具与集装箱对位，将吊具锁头精确地插入集装箱锁孔，还是靠人工远程操控的方式来完成，导致集装箱在吊箱过程中对人工的依赖较强，效率较低 。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种可以提高装卸效率，降低人工成本的集装箱吊具的视觉识别系统以及集装箱的吊箱方法。

为实现上述目的，本发明提供了如下技术方案：一种集装箱吊具的视觉识别系统，包括控制装置，控制装置分别连接安装于吊具的视频输入设备、用于显示视频输入设备所拍摄图像的显示设备，所述的视频输入设备有4组，分别安装于吊具的四个角处，用于拍摄下方集装箱的四个顶角以及每个顶角所对应的锁孔的位置；然后将4个视频输入设备的图像拼接形成一个图像；控制装置设有数据处理单元以及对接单元；数据处理单元对图像中的集装箱的轮廓特征以及锁孔特征进行识别，计算集装箱与吊具之间的角度偏移量与位置偏移量；对接单元将数据处理单元计算的角度偏移量与位置偏移量传送给plc，由plc控制吊具进行调整并对集装箱进行锁定。

通过采用上述技术方案，通过视频输入设备所拍摄的图像对集装箱特征进行识别，无需安装其他辅助设备，成本较低，现有技术中的吊具都安装有用于监控的视频输入设备，因此本发明利用了原来用于监控的视频输入设备，仅调整其安装的位置，因此改装的成本较低，并且适合大部分吊具的改装；4组视频输入设备形成的图像相互拼接，形成一个图像面，便于数据处理单元统一识别集装箱的锁孔特征和轮廓特征，特征识别之后，计算吊具与集装箱之间的位置关系，通过控制装置上的对接单元，将角度偏移量和位置偏移量传送给plc，通过plc调整吊具的姿态，使吊具与集装箱的锁孔对准，从而方便吊具自动与集装箱进行锁定，减少对人工的依赖。

一种利用如权利要求1所述集装箱吊具的视觉识别系统的集装箱的吊箱方法，

一、建立坐标系：plc控制吊具运行到设定设定高度a，并以拼接后图像的中心为原点建立坐标系；

二、集装箱特征识别：数据处理单元识别拼接后图像中的集装箱的轮廓特征以及每个锁孔特征，并确定锁孔的中心坐标；

三、吊具校准，吊具校准的次数以及执行校准步骤的高度可以设定，具体校准步骤如下：

（1）确定吊具是否有角度偏转：数据处理单元比对相邻锁孔的中心坐标，判断是否存在角度的偏转，若有角度偏转则执行第（2）步，若不存在角度偏转则执行第（3）步；

（2）吊具偏转角度调整：通过集装箱的锁孔坐标或轮廓特征计算集装箱与吊具之间的偏转角度，控制装置的对接单元将数据传输给plc,并由plc控制吊具旋转；

（3）计算偏移量：数据处理单元比对相邻两个锁孔中心坐标的横纵坐标，求的横纵坐标绝对值的差值，根据绝对值差值所对应的集装箱尺寸，计算集装箱吊具的偏移量；

（4）吊具平移：根据第（3）步计算得出的偏移量，控制装置通过对接单元将偏移量的数据传输给plc,由plc控制吊具平移；

四、吊具下放至集装箱；

五、安全验证：确定吊具是否与集装箱对准、锁定牢固；

六、完成集装箱的吊装。

通过采用上述技术方案，锁孔在被识别之后，四个锁孔在显示设备中呈矩形排布，在确定吊具是否有角度偏转中，判断同一条边上的两个锁孔的连线是否垂直于坐标，例如第一象限和第二象限的锁孔坐标，两者的Y坐标如果相同，则可判断吊具与集装箱之间无角度的偏差，反之则具有角度的偏差；而在计算吊具与集装箱之间的偏移量，主要通过比对锁孔之间坐标的绝对值是否相同，根据绝对值来计算吊具需要移动的位置；由于四个视频输入设备所拍摄的图像在同一显示设备中，因此在计算的时候较为快速；在整个过程中通过集装箱吊具的视觉识别系统识别，并完成集装箱的锁定，不需要人工操控，减少对人对依赖，实现吊箱的自动化。

本发明进一步设置为：安全验证分为3个步骤，分别为（1）第一次验证；（2）锁定集装箱；（3）第二次验证。

通过采用上述技术方案，吊具完成校准步骤之后，在与集装箱锁定之前完成第一次安全验证，确定吊具与集装箱是否对准，提升吊具与集装箱锁定的准确性；吊具与集装箱锁定之后，进行第二次验证，确定吊具已经与集装箱牢靠的锁定，减少安全事故的发生。

本发明进一步设置为：第一次验证的具体过程为：数据处理单元对集装箱的轮廓边缘进行识别，确定各个视频输入设备中集装箱的边缘是否对称，若完全对称则执行锁定集装箱步骤；若未对称则提升吊具至设定高度a处，重新执行吊具校准步骤。。

通过采用上述技术方案，吊具下放到集装箱上的时候，确定吊具与集装箱之间的关系，通过视频输入设备拍摄的集装箱的轮廓的特征，判断集装箱的轮廓是否关于坐标轴对称；该步骤用于确定吊具是否准确的被放在了集装箱上，用于保证吊具上的锁舌准确的插入到锁孔内。

本发明进一步设置为：第二次验证的具体过程为：锁定集装箱之后，plc控制吊具上升，将集装箱提升至设定高度c，数据处理单元对集装箱的轮廓边缘进行识别；若完全对称，则吊具与集装箱完全锁定，完成集装箱吊装；若不对称，控制吊具下放，并解除锁舌与集装箱的锁定，提升吊具至设定高度a，并重新执行吊具校准步骤。

通过采用上述技术方案，吊具与集装箱锁定之后，吊起集装箱一定的距离，例如提升5cm或10cm，再通过视频输入设备识别显示设备中的集装箱是否关于坐标轴对称，从而判断吊具是否与集装箱牢固的锁定，减少后续动作发生安全事故的可能性；由于该抬升高度不高，假设吊具未与集装箱锁定牢固，松脱之后产生的安全影响也比较小，保证工作的安全。

本发明进一步设置为：吊具偏转角度调整的过程为：根据所获取的集装箱轮廓，计算集装箱轮廓与坐标轴的偏转角度，并根据计算的偏转角度控制吊具旋转相应的角度。

通过采用上述技术方案，识别集装箱对轮廓，并计算其与坐标轴之间的夹角，计算出角度之后通过plc控制吊具一次性旋转到位，调整效率高。

本发明进一步设置为：角度偏移量的计算方式为：吊具偏转角度调整的过程为：比对同一条边上的两个锁孔的坐标，确定旋转方向，控制吊具做若干次旋转，预设每次控制吊具的偏转角度为α，直至相邻两个锁孔坐标的连线垂直于坐标轴。

通过采用上述技术方案，通过比对同一条边上的两个锁孔坐标，例如X轴两侧的锁孔，通过每次旋转α的角度，α的越小，最终校准后的精度越高；直至相邻两个锁孔坐标的连线垂直于坐标轴，识别旋转过后两个锁孔见X轴的坐标是否相同，通过若干次的调整，使得两个锁孔的X坐标相同，即两者的连线与X轴垂直。

与现有技术相比，本发明的有益效果是：吊具在plc的控制之下进入到相应位置之后，通过集装箱吊具的视觉识别系统来识别集装箱，确定集装箱的位置，准确的完成对集装箱的锁定，减少了对人工的依赖；在集装箱下放的过程中，会在不同高度对集装箱进行识别并校准吊具到位，用于保证吊具与集装箱相互位置的准确性；吊具下放到集装箱之后，再次对集装箱的轮廓特征进行识别，确认吊具与集装箱之间的位置是否准确，从而保证吊具与集装箱准确的锁定，确保吊箱的安全性；锁定集装箱之后，吊起集装箱一定高度，进一步确认集装箱与吊具之间的连接，通过双次验证，确保吊具与集装箱已稳定的连接。

附图说明

图1为集装箱吊具的视觉识别系统的结构示意图；

图2为吊具的结构示意图；

图3为吊具与集装箱对准时，显示器的示意图；

图4为吊具与集装箱存在偏移量时，显示器的示意图；

图5为吊具在不同高度下与集装箱之间的位置关系示意图。

具体实施方式

一种集装箱吊具的视觉识别系统,如图1所示，包括控制装置、安装于吊具上的视频输入设备、显示视频输入设备所拍摄图像的显示设备、控制吊具运动的plc；控制装置包括数据处理单元和对接单元；数据处理单元用于对视频输入设备的图像进行识别并进行计算，对接单元将数据处理单元处理后的数据传输至plc，由plc控制吊具运行，完成对集装箱的锁定。

如图2所示，视频输入设备包括设置于吊具四个角处的4个摄像头，用于拍摄下方集装箱四个角的位置。摄像头所拍摄的图像信息通过有线或者无线的方式传控制装置中的数据处理单元，本是实力中的控制装置可以采用工控机；控制装置将视频图像输出给显示设备，即显示器；同时数据处理单元识别视频图像中集装箱的轮廓特征与锁孔特征，以确定吊具与集装箱之间的位置关系，计算出吊具需要微调的数据，并通过对接单元将数据发送给plc，由plc控制吊具运动。

摄像头朝向正下方获取图像，当吊具运动至集装箱上方，且吊具上的锁舌与集装箱的锁孔对齐时，如图3所示，附图展现的是4个摄像头c1、c2、c3、c4所拍摄的图像，将四个图像按照摄像头的排列方式进行组合，拼接成一个图像，该拼接而成的图像可以被显示在同一个显示器中；由于4个摄像头的规格、参数相同，因此，图像中所拍摄到的集装箱的局部会拼接形成一个矩形，以拼接后四个图像的中心作为坐标轴的原点建立坐标系，在吊具的上的锁舌于集装箱上的锁孔对准时，集装箱锁孔所在位置的横纵坐标的绝对值是相同的，即假设c1图像中锁孔的位置为(x,y)，则c2、c3、c4图像的锁孔分别为（-x，y）、(-x,-y)、（x,-y）。

利用集装箱吊具的视觉识别系统的集装箱的吊箱方法如下：

一、建立坐标系：移动吊具到集装箱上方，并下降到设定高度a（例如距离集装箱100cm的高度），plc释放控制权限，将权限交给集装箱吊具的视觉识别系统，由集装箱吊具的视觉识别系统控制对吊具进行调整；以拼接后图像的中心为原点建立坐标系，如图4所示。

二、集装箱特征识别：摄像头拍摄到图像之后，通过数据处理单元识别图像中集装箱的轮廓特征以及锁孔特征，识别出四个锁孔的中心坐标分别为A1(x1,y1)、A2(x2,y2)、A3(x3,y3)、4(x4,y4)，如图4所示。

三、吊具校准：吊具校准的次数以及执行校准步骤的高度可以设定（例如每次下降10cm；或者根据实际需求设定下降次数以及每次下降的高度），具体校准步骤如下：

（1）确定吊具是否有角度偏转：数据处理单元比对A1与A4之间的X坐标是否相同（需要说明的是，本发明创造所称的相同允许存在一定误差，并不是指完全相同），若相同则进入到第（3）步，若不相同则执行第（2）步；

（2）吊具偏转角度调整：数据处理单元通过集装箱的锁孔特征以及轮廓特征计算集装箱与吊具之间的偏转角度，并控制吊具旋转；吊具角度调整的方式可以有以下两种，

一种角度调整方式为：数据处理单元根据所获取的集装箱轮廓，计算集装箱轮廓与坐标轴的之间的夹角，控制装置将计算出的夹角通过对接单元，将夹角传输给plc,plc控制吊具旋转；

另一种角度调整方式为：比对A1与A4之的横坐标坐标，确定旋转方向，预设每次控制吊具的偏转角度为α；假设A1的横坐标比A4大，则控制吊具逆时针旋转，假设A1的横坐标比A4小，则控制吊具顺时针旋转，直至A1、A4的横坐标相同；

（3）计算偏移量：数据处理单元通过比对旋转后A1、A4点的坐标确定两点之间Y坐标的绝对值是否相同，若不相同则计算两者之间Y坐标绝对值的差值；比对A1、A2点的坐标，确定两点之间的X坐标的绝对值是否相同，若不相同则计算两者之间X坐标绝对值的差值；根据设定高度下，单位坐标所对应集装箱尺寸，通过两锁孔之间X轴坐标以及Y轴坐标绝对值差值所对应的集装箱尺寸，计算吊具需要沿X轴平移的距离；

（4）吊具平移：控制装置根据第（3）步计算得出的偏移量，将数据通过对接单元将数据传输给plc,由plc控制吊具进行调整。

四、吊具下放至集装箱：当吊具完成校准步骤后下降到设定高度b时（例如吊具距离集装箱20cm时），持续降低吊具高度，直至吊具完全放置到集装箱上，以使吊具上的锁舌插入至集装箱的锁孔内（可根据吊具施加在场桥或岸桥的作用力来判断吊具是否完全落在集装箱上）。

五、安全验证：具体步骤如下：

（1）第一次验证：数据处理单元对集装箱的轮廓边缘进行识别，确定各个摄像头拍摄中拍摄的集装箱的边缘是否关于坐标轴对称，若对称则plc控制吊具上的锁舌旋转与集装箱进行锁定，若未对称则提升吊具并重复步骤二至四；

（2）集装箱锁定:plc控制吊具上的锁舌与集装箱的锁孔进行锁定

（3）第二次验证:plc控制吊具将集装箱提升设定高度c（如10cm），对集装箱的轮廓边缘进行识别；若完全对称，则吊具与集装箱完全锁定，此时执行第六步；若不对称，控制吊具下放，并解除锁舌与集装箱的锁定，重新执行步骤二至四。

六、完成集装箱的吊装:控制系统控制集装箱吊具视觉识别系统将控制权重新交还plc，由plc完成集装箱搬运的后续步骤。

需要说明的是，在第一步中吊具根据plc默认的设置，其对吊具所处位置的精度要求不高，以使4个摄像头均能捕捉到集装箱图像为准。由于集装箱与周围环境会存在差距，因此摄像头捕捉到的图像后，数据处理单元会比较方便的识别出集装箱的轮廓。同样的，集装箱锁孔与集装箱的上表面同样会存在明显的差别，因此当图像出现在显示设备中，可以非常方便的识别出图像中集装箱的边缘轮廓以及集装箱的锁孔。由于摄像头在捕捉图像的过程中，吊具会有一定程度的晃动，因此在识别集装箱特征的时候，识别视频图像中的若干关键帧，排除偏差较大的点，计算其余关键帧中锁孔坐标的平均值，从而保证识别出的锁孔中心坐标的准确性。

在计算偏移量的步骤中，假设吊具距离集装箱的距离为100cm时，图像中单位坐标所对应集装箱的尺寸为10cm，如图像中A1、A2的X坐标的绝对值的差为2，则吊具需要向沿X向A1方向移动的距离为10cm，即plc控制吊具沿X轴向右移动10cm，Y坐标吊具的偏移量计算同X轴相同。其中单位坐标所对应集装箱的尺寸可以在前期进行采集，例如吊具距离集装箱距离高度为100cm时，通过测量图像中单位坐标所对应的集装箱尺寸，并根据不同高度，预先采集好各个高度位置，单位坐标所对应的集装箱尺寸，用于精确的对吊具进行平移。在第五步中，由于摄像头安装位置的关系，可以拍摄到集装箱顶角的两条边，因此可以判断C1、C2中的集装箱的轮廓以及C1、C4中的集装箱的轮廓是否对称。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (7)

1.一种集装箱吊具的视觉识别系统，包括控制装置，控制装置分别连接安装于吊具的视频输入设备、用于显示视频输入设备所拍摄图像的显示设备，其特征是：所述的视频输入设备有4组，分别安装于吊具的四个角处，用于拍摄下方集装箱的四个顶角以及每个顶角所对应的锁孔的位置；然后将4个视频输入设备的图像拼接形成一个图像；控制装置设有数据处理单元以及对接单元；数据处理单元对图像中的集装箱的轮廓特征以及锁孔特征进行识别，计算集装箱与吊具之间的角度偏移量与位置偏移量；对接单元将数据处理单元计算的角度偏移量与位置偏移量传送给plc，由plc控制吊具进行调整并对集装箱进行锁定。

2.一种利用如权利要求1所述集装箱吊具的视觉识别系统的集装箱的吊箱方法，其特征是：

一、建立坐标系：plc控制吊具运行到设定设定高度a，并以拼接后图像的中心为原点建立坐标系；

二、集装箱特征识别：数据处理单元识别拼接后图像中的集装箱的轮廓特征以及每个锁孔特征，并确定锁孔的中心坐标；

三、吊具校准，吊具校准的次数以及执行校准步骤的高度可以设定，具体校准步骤如下：

（1）确定吊具是否有角度偏转：数据处理单元比对相邻锁孔的中心坐标，判断是否存在角度的偏转，若有角度偏转则执行第（2）步，若不存在角度偏转则执行第（3）步；

（2）吊具偏转角度调整：通过集装箱的锁孔坐标或轮廓特征计算集装箱与吊具之间的偏转角度，控制装置的对接单元将数据传输给plc,并由plc控制吊具旋转；

（3）计算偏移量：数据处理单元比对相邻两个锁孔中心坐标的横纵坐标，求的横纵坐标绝对值的差值，根据绝对值差值所对应的集装箱尺寸，计算集装箱吊具的偏移量；

（4）吊具平移：根据第（3）步计算得出的偏移量，控制装置通过对接单元将偏移量的数据传输给plc,由plc控制吊具平移；

四、吊具下放至集装箱；

五、安全验证：确定吊具是否与集装箱对准、锁定牢固；

六、完成集装箱的吊装。

3.根据权利要求2所述的集装箱的吊箱方法，其特征是：安全验证分为3个步骤，分别为（1）第一次验证；（2）锁定集装箱；（3）第二次验证。

4.根据权利要求3所述的集装箱的吊箱方法，其特征是：第一次验证的具体过程为：数据处理单元对集装箱的轮廓边缘进行识别，确定各个视频输入设备中集装箱的边缘是否对称，若完全对称则执行锁定集装箱步骤；若未对称则提升吊具至设定高度a处，重新执行吊具校准步骤。

5.根据权利要求4所述的集装箱的吊箱方法：第二次验证的具体过程为：锁定集装箱之后，plc控制吊具上升，将集装箱提升至设定高度c，数据处理单元对集装箱的轮廓边缘进行识别；若完全对称，则吊具与集装箱完全锁定，完成集装箱吊装；若不对称，控制吊具下放，并解除锁舌与集装箱的锁定，提升吊具至设定高度a，并重新执行吊具校准步骤。

6.根据权利要求3所述的集装箱的吊箱方法：吊具偏转角度调整的过程为：根据所获取的集装箱轮廓，计算集装箱轮廓与坐标轴的偏转角度，并根据计算的偏转角度控制吊具旋转相应的角度。

7.根据权利要求3所述的集装箱的吊箱方法：吊具偏转角度调整的过程为：比对同一条边上的两个锁孔的坐标，确定旋转方向，控制吊具做若干次旋转，预设每次控制吊具的偏转角度为α，直至相邻两个锁孔坐标的连线垂直于坐标轴。