CN109941885A - 一种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法 - Google Patents

Abstract

本发明公开了一种基于伸缩臂的集装箱箱号抓拍识别装置，包括壳体和置于壳体内的伸缩臂，伸缩臂一端与驱动电机连接，另一端设有相机；所述伸缩臂包括平行力滑套，固定平衡轴，伸缩横轴，传动轴，收缩联动板，以及底座构成；所述传动轴两端分别于平行力滑套，底座套接；所述伸缩衡杆穿套在平行力滑套内，其两端分别与相机和收缩联动板固定连接；所述固定平衡杆穿套在收缩联动板内，其两端分别与平行力滑套和底座固定连接。

Description

一种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法

技术领域

本发明涉及一种集装箱箱号抓拍和识别装置及其方法，尤其涉及一种基于伸缩臂的集装箱箱号抓拍和识别装置，属于机械技术领域。

背景技术

在集装箱物流运输过程中，需要由各种吊具将集装箱在各种运载工具，以及堆场之间进行移动，基于管理的要求，需要对集装箱箱号进行识别和记录。常见的箱号识别有人工查验和自动查验两种方式，人工查验是由工作人员在现场人工查看并记录箱号，自动查验主要是通过摄像头拍摄集装箱箱体照片，并对照片中显示的集装箱箱号进行人工识别或自动识别。常见的自动查验是通过在出入口，吊装集装箱的岸桥，场桥等吊装设备上安装摄像头来实现拍摄的。由于出入口的环境可控，集装箱和相机的相对位置便于设置，应用较为成熟。岸桥是大型港口上下船装卸的主要手段，以三车道岸桥的箱号拍摄为例，为保证获取到清洗，有效的照片。需要在岸桥的大梁上安装12台相机，以便适应20尺和40尺集装箱在三个车道的不同工况下的箱号图片采集。可见岸桥上需要使用较多数量的相机进行拍摄，此外，在岸桥上对相机进行安装，维护，检修时，由于属于高空作业，需要岸桥停机才能进行操作，对生产效率造成较大的影响。此外，对于场桥而言，需要在场桥的轨道吊或轮胎吊的吊具上安装相机，并且需要将相机从箱体上方探出，拍摄侧下方的箱号，由于拍摄倾斜角度较大，导致拍摄照片上箱号字符变形较大，识别较为困难。而且由于相机从箱体侧方突出，在堆积有较多集装箱时，容易受到周边集装箱箱体的阻碍，导致拍摄装置受损。

中国专利CN107364795A公开了一种自动化集装箱起吊箱号拍照识别装置，自动化集装箱起吊箱号拍照识别装置包括有固定连接于集装箱专用吊架某一F-TR锁座上的机械手伸缩装置，固定于机械手伸缩装置上用于对集装箱箱号进行拍照识别的摄像头和控制器。本发明在集装箱F-TR锁固定后通过机械手伸缩装置将摄像头伸出对箱号进行拍照识别，整个过程采用控制器进行自动化操作，箱号识别快速，且机械手伸缩装置设置有避障系统，避免机械手伸缩装置和摄像头与障碍物碰撞造成损伤，保证拍照识别装置的顺利运行。这种机械手伸缩装置结构复杂，主要由可以收纳的旋转部，以及可以伸缩的拍照部构成，其伸缩运转较为复杂，伸展拍照和回收时间过长。在追求速度的集装箱吊装作业过程中，机械手的工作时间较长，不适用于实际使用环境。

发明内容

本发明的技术方案旨在提供一种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法，结构简单可靠，伸缩控制快捷高效，安装维护便捷。

这种基于伸缩臂的集装箱箱号抓拍识别装置，包括壳体和置于壳体内的伸缩臂，伸缩臂一端与驱动电机连接，另一端设有相机；所述伸缩臂包括平行力滑套，固定平衡轴，伸缩横轴，传动轴，收缩联动板，以及底座构成；所述传动轴两端分别于平行力滑套，底座套接；所述伸缩衡杆穿套在平行力滑套内，其两端分别与相机和收缩联动板固定连接；所述固定平衡杆穿套在收缩联动板内，其两端分别与平行力滑套和底座固定连接。

所述收缩联动板上部设有与伸缩衡杆连接的通孔。所述收缩联动板上设有与传动轴连接的通孔。所述收缩联动板上设有与固定平衡轴连接的通孔。

所述平行力滑套由封板，第一收缩联动板，以及滑套组成，封板和第一收缩联动板上部的对应位置均设有通孔，所述滑套设置在对应通孔间。

所述相机设有保护罩，所述相机还设有LED补光光源，所述相机镜头朝向本体。

所述保护罩尺寸与外壳开口尺寸一致，可收纳在壳体内。

进一步的，壳体内设有限位开关，对伸缩臂的伸缩到位信息进行反馈，以及伸缩故障自动报警提示。

所述伸缩臂伸缩长度不低于1.1米。

这种基于伸缩臂的集装箱箱号抓拍方法，具体步骤如下：

步骤一，在集装箱吊运设备上设置有红外对射装置，将吊具工作区分割为水侧工作区和路侧工作区。

步骤二，当吊具挂载集装箱后，发出闭锁信号，伸缩臂收到闭锁信号后，激活伸缩控制状态。

步骤三，当吊具依次经过第一红外对射装置，第二红外对射装置，判断吊具由水侧工作区进入路侧工作区，当经过第二红外对射装置后，伸缩臂伸出，完成拍照后自动收回。

进一步的，在步骤三中，当吊具依次经过第二红外对射装置，第一红外对射装置，判断吊具由路侧工作区进入水侧工作区，当经过第一红外对射装置后，伸缩臂强制收回。

进一步的，在步骤一中，在集装箱吊运设备上设置若干红外对射装置，在红外对射区内为伸缩臂的伸缩工作区，在红外对射区域外为伸缩臂的禁止工作区。

这种基于伸缩臂的集装箱箱号识别方法，具体步骤如下：

步骤一，对相机拍摄所得图片进行矫正，使得字符处于水平排列或竖直排列。

步骤二，定位出箱号字符区域。

步骤三，对箱号字符文本进行识别。

在步骤一中，具体矫正步骤如下：

S1，模拟调整相机姿态角r＝[r_x r_y r_z]^T，用r的长度表示旋转的角度θ，根据罗德里格斯变换(Rodrigues)获取透视变换矩阵R。

S2,由于目标图像大小未知，难以使用密集透视变换(warp PespectiveTransform)，因此根据原图像的4个顶点p1,p2,p3,p4坐标，通过稀疏透视变换(PespectiveTransform)，得到变换后的对应点 q1,q2,q3,q4坐标，从而获取得到目标图像的大小。

S3，给目标图像中每个像素的坐标位置赋值。

S4，根据目标图像中的每个像素坐标以及透视变换矩阵R的逆矩阵R^-1，得到原图像与目标图像之间的各个坐标之间的一一映射关系，即映射表。

S5，根据原图像以及映射表，通过重映射(remap)得到矫正后的图像。

在步骤二中，利用预训练的深度学习目标检测模型检测出字符串区域，根据长宽比等规则选择合理目标区域。

在步骤三中，在字符区域内利用预训练的深度学习小目标检测模型分割出每个字符，根据字符位置和字符之间空间位置约束，生成文本行。利用预训练的深度学习分类器模型对文本行的字符提取特征，进行识别，得到每个字符的结果。

采用本发明技术方案的优势在于：

1.将伸缩臂直接安装在集装箱的吊具上，在集装箱吊运的过程中同步实现对箱号的拍摄，不需要单独的拍摄等待时间，压缩了整体作业时间。

2.伸缩臂伸展出集装箱箱体，对字符的变形影响较小，比固定式相机方案有较大的提升。有利于后期对图像内箱号字符的识别处理。此外，在对图片中箱号字符进行识别前，先对图形进行矫正，

3.将伸缩臂设置在吊具上，安装和维护都更为方便。并且通过对集装箱工作区域的划分，保障了伸缩臂的安全运行。避免伸缩臂在伸缩作业过程中，与周边环境的物体或集装箱发生碰撞，导致损失。将这种基于伸缩臂的集装箱箱号抓拍和识别装置设置在集装箱吊具上的另一大好处是，吊具与集装箱在吊送过程中固定连接，无论集装箱在空中如何移动或晃动，设置在吊具上的伸缩臂与集装箱的相对位置始终固定，能确保相机在短时间内获取清晰的图像。而安装在其他位置的相机，受到集装箱摆动的影响，对焦速度慢，清晰度较低，影响后期图像识别的准确度。

4.通过封板，实现了外壳体的防水防尘效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为伸缩装置的立体结构示意图；

图2为伸缩装置的伸展状态示意图；

图3为伸缩臂的立体结构示意图

图4为伸缩装置的剖面结构示意图

图5为伸缩装置工作状态示意图

其中：

具体实施方式

下面我们结合附图和具体的实例来对这种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法进一步的详细说明。

这种基于伸缩臂的集装箱箱号抓拍识别装置，包括壳体和置于壳体内的伸缩臂，伸缩臂一端与驱动电机连接，另一端设有相机；所述伸缩臂包括平行力滑套，固定平衡轴，伸缩横轴，传动轴，收缩联动板，以及底座构成；所述传动轴两端分别于平行力滑套，底座套接；所述伸缩衡杆穿套在平行力滑套内，其两端分别与相机和收缩联动板固定连接；所述固定平衡杆穿套在收缩联动板内，其两端分别与平行力滑套和底座固定连接。所述收缩联动板上部设有与伸缩衡杆连接的通孔。所述收缩联动板上设有与传动轴连接的通孔。所述收缩联动板上设有与固定平衡轴连接的通孔。所述平行力滑套由封板，第一收缩联动板，以及滑套组成，封板和第一收缩联动板上部的对应位置均设有通孔，所述滑套设置在对应通孔间。传动电机带动传动轴旋转，穿套在传动轴和固定平衡轴上的收缩联动板在固定平衡轴的限定下，将传动轴的旋转力转化为推力沿着传动轴轴向进行前后运动，并通过伸缩衡轴带动固定在伸缩衡轴另一端的相机实现伸展和收缩动作。在靠近相机端还设有平行力滑套，对伸缩衡轴提供额外的固定和支撑，提高伸缩结构的结构强度和稳定性，防止相机和收缩衡轴的重量均由伸缩衡轴与收缩联动板的连接处承担，导致设备耐久性下降。

所述相机设有保护罩，所述相机还设有LED补光光源，所述相机镜头朝向本体。LED补光灯源与相机采取联动设计，在相机工作时，LED补光光源自动打开，当相机停止工作时，LED补光光源自动关闭。

所述保护罩尺寸与外壳开口尺寸一致，可完全收纳在壳体内。避免吊具上存在突出物，在集装箱吊送工程中与周边物体发生碰撞。

进一步的，所述传动轴的导程为360度14mm。所述驱动电机采用直流正反转高速电机，其转速大于5000转/分钟，小于15000转/分钟。

因此，在理想工况下，伸缩臂的最快伸缩速度为15000转/分钟÷60 秒×14毫米＝3500毫米/秒，伸缩臂的最慢伸缩速度为5000转/分钟÷60 秒×14毫米＝1167毫米/秒。以1米(1000毫米)的伸缩距离为例，随着驱动电机的加速启动和减速停止，伸缩臂的完全伸展或收缩的最快时间为不超过0.8秒。根据现场条件，可适当延长或缩小伸缩臂的伸缩距离，从而确保在不影响正常集装箱吊装作业的时间内，获取到符合识别条件的照片图像，从而提高识别准确度。

进一步的，壳体内设有限位开关，对伸缩臂的伸缩到位信息进行反馈，以及伸缩故障自动报警提示。当伸缩臂开始伸展时，伸缩臂离开收缩限位开关，此时相机和LED补光光源打开，开始拍摄工作，当伸缩臂完全伸展后，伸展限位开关给出伸展到位信号，此时相机进行对焦拍摄，截取当前静态画面以供后续步骤进行箱号识别。当箱号拍摄完成后，伸展臂开始收缩离开伸展限位开关，此时相机和LED补光光源保持打开状态，以供操作人员通过摄像画面浏览集装箱周边情况，当伸缩臂完全收缩后，收缩限位开关给出收缩到位信号，此时相机和LED补光光源关闭。

所述伸缩臂伸缩长度不低于1.1米。若伸缩臂伸展后，相机远端距离集装箱箱体过近，会导致拍摄到的图像变形过大，增加了后期图像矫正的难度，延长了图像矫正的处理时间，也降低了图像识别的精度。

这种基于伸缩臂的集装箱箱号抓拍方法，具体步骤如下：

步骤一，在集装箱吊运设备上设置有红外对射装置，将吊具工作区分割为水侧工作区和路侧工作区。进一步的，在步骤一中，在集装箱吊运设备上设置若干红外对射装置，在红外对射区内为伸缩臂的伸缩工作区，在红外对射区域外为伸缩臂的禁止工作区。根据本实施例可知，技术人员可以根据现场需要，将吊装作业中，障碍物较少的区域划分为伸缩臂的安全作业区，障碍物较多的区域划分为伸缩臂的危险或禁止作业区，以保障伸缩臂抓拍作业的安全性，降低操作人员的工作强度。此外，虽然本实施例中仅仅举例采用了红外对射的区域划分和判断方式，但本领域技术人员可采用行程限位开关，激光测距等传感器，来判断吊具运行的区域位置。

步骤二，当吊具挂载集装箱后，发出闭锁信号，伸缩臂收到闭锁信号后，激活伸缩控制状态。在未收到闭锁信息之前，不论吊具处于何种工作区，均不会激活伸缩臂。

步骤三，当吊具依次经过第一红外对射装置，第二红外对射装置，判断吊具由水侧工作区进入路侧工作区，当经过第二红外对射装置后，伸缩臂伸出，完成拍照后自动收回。

进一步的，在步骤三中，当吊具依次经过第二红外对射装置，第一红外对射装置，判断吊具由路侧工作区进入水侧工作区，当经过第一红外对射装置后，伸缩臂强制收回。

同理，还可设置若干组红外对射装置，当吊具进入第一红外对射装置后，判断吊具处于安全区域内，此时伸缩臂伸出，完成拍照后自动收回，当吊具进入最后一组红外对射装置后，判断吊具将进入危险区域，此时若伸缩臂处于伸展状态，则强制收回，若伸缩臂处于收缩状态，则不做处理。

通过安全操作区域的划分，保证伸缩臂在进行伸展拍摄状态时，均处在安全可控的状态中，不会对周围部件和集装箱箱体发生碰撞，导致生产事故的发生。采用这种安全操作区域划分的方式，还可减少在伸缩臂上设置多种类型的避障传感器，降低设备的生产和使用维护成本，降低了故障节点，保证设备长期可靠的运行。

这种基于伸缩臂的集装箱箱号识别方法，具体步骤如下：

步骤一，对相机拍摄所得图片进行矫正，使得字符处于水平排列或竖直排列。

步骤二，定位出箱号字符区域。

步骤三，对箱号字符文本进行识别。

在步骤一中，具体矫正步骤如下：

S1，模拟调整相机姿态角r＝[r_x r_y r_z]^T，用r的长度表示旋转的角度θ，根据罗德里格斯变换(Rodrigues)获取透视变换矩阵R。

S2,由于目标图像大小未知，难以使用密集透视变换(warp PespectiveTransform)，因此根据原图像的4个顶点p1,p2,p3,p4坐标，通过稀疏透视变换(PespectiveTransform)，得到变换后的对应点 q1,q2,q3,q4坐标，从而获取得到目标图像的大小。

S3，给目标图像中每个像素的坐标位置赋值。

S4，根据目标图像中的每个像素坐标以及透视变换矩阵R的逆矩阵R^-1，得到原图像与目标图像之间的各个坐标之间的一一映射关系，即映射表。

S5，根据原图像以及映射表，通过重映射(remap)得到矫正后的图像。

在步骤二中，利用预训练的深度学习目标检测模型检测出字符串区域，根据长宽比等规则选择合理目标区域。

在步骤三中，在字符区域内利用预训练的深度学习小目标检测模型分割出每个字符，根据字符位置和字符之间空间位置约束，生成文本行。利用预训练的深度学习分类器模型对文本行的字符提取特征，进行识别，得到每个字符的结果。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (16)

1.一种基于伸缩臂的集装箱箱号抓拍识别装置，包括壳体和置于壳体内的伸缩臂，伸缩臂一端与驱动电机连接，另一端设有相机；所述伸缩臂包括平行力滑套，固定平衡轴，伸缩横轴，传动轴，收缩联动板，以及底座构成；所述传动轴两端分别于平行力滑套，底座套接；所述伸缩衡杆穿套在平行力滑套内，其两端分别与相机和收缩联动板固定连接；所述固定平衡杆穿套在收缩联动板内，其两端分别与平行力滑套和底座固定连接。

2.如权利要求1所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述收缩联动板上部设有与伸缩衡杆连接的通孔。

3.如权利要求1所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述收缩联动板上设有与传动轴连接的通孔。

4.如权利要求1所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述收缩联动板上设有与固定平衡轴连接的通孔。

5.如权利要求1至4任一所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述平行力滑套由封板，第一收缩联动板，以及滑套组成，封板和第一收缩联动板上部的对应位置均设有通孔，所述滑套设置在对应通孔间。

6.如权利要求5所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述相机设有保护罩，所述相机还设有LED补光光源，所述相机镜头朝向本体。

7.如权利要求6所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述保护罩尺寸与外壳开口尺寸一致，可收纳在壳体内。

8.如权利要求1至4所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：壳体内设有限位开关，对伸缩臂的伸缩到位信息进行反馈，以及伸缩故障自动报警提示。

9.如权利要求1至4所述的一种基于伸缩臂的集装箱箱号抓拍识别装置，其特征在于：所述伸缩臂伸缩长度不低于1.1米。

10.一种基于伸缩臂的集装箱箱号抓拍方法，其特征在于：具体步骤如下：

步骤一，在集装箱吊运设备上设置有红外对射装置，将吊具工作区分割为水侧工作区和路侧工作区。

步骤二，当吊具挂载集装箱后，发出闭锁信号，伸缩臂收到闭锁信号后，激活伸缩控制状态。

步骤三，当吊具依次经过第一红外对射装置，第二红外对射装置，判断吊具由水侧工作区进入路侧工作区，当经过第二红外对射装置后，伸缩臂伸出，完成拍照后自动收回。

11.如权利要求10所述的一种基于伸缩臂的集装箱箱号抓拍方法，其特征在于：在步骤三中，当吊具依次经过第二红外对射装置，第一红外对射装置，判断吊具由路侧工作区进入水侧工作区，当经过第一红外对射装置后，伸缩臂强制收回。

12.如权利要求10所述的一种基于伸缩臂的集装箱箱号抓拍方法，其特征在于：在步骤一中，在集装箱吊运设备上设置若干红外对射装置，在红外对射区内为伸缩臂的伸缩工作区，在红外对射区域外为伸缩臂的禁止工作区。

13.一种基于伸缩臂的集装箱箱号识别方法，其特征在于：具体步骤如下：

步骤一，对相机拍摄所得图片进行矫正，使得字符处于水平排列或竖直排列。

步骤二，定位出箱号字符区域。

步骤三，对箱号字符文本进行识别。

14.如权利要求13所述的一种基于伸缩臂的集装箱箱号识别方法，其特征在于：在步骤一中，具体矫正步骤如下：

S1，模拟调整相机姿态角r＝[r_x r_y r_z]^T，用r的长度表示旋转的角度θ，根据罗德里格斯变换(Rodrigues)获取透视变换矩阵R。

S2,由于目标图像大小未知，难以使用密集透视变换(warp Pespective Transform)，因此根据原图像的4个顶点p1,p2,p3,p4坐标，通过稀疏透视变换(PespectiveTransform)，得到变换后的对应点q1,q2,q3,q4坐标，从而获取得到目标图像的大小。

S3，给目标图像中每个像素的坐标位置赋值。

S4，根据目标图像中的每个像素坐标以及透视变换矩阵R的逆矩阵R^-1，得到原图像与目标图像之间的各个坐标之间的一一映射关系，即映射表。

S5，根据原图像以及映射表，通过重映射(remap)得到矫正后的图像。

15.如权利要求13所述的一种基于伸缩臂的集装箱箱号识别方法，其特征在于：在步骤二中，利用预训练的深度学习目标检测模型检测出字符串区域，根据长宽比等规则选择合理目标区域。

16.如权利要求13所述的一种基于伸缩臂的集装箱箱号识别方法，其特征在于：在步骤三中，在字符区域内利用预训练的深度学习小目标检测模型分割出每个字符，根据字符位置和字符之间空间位置约束，生成文本行。利用预训练的深度学习分类器模型对文本行的字符提取特征，进行识别，得到每个字符的结果。