CN112528721B - 一种桥吊集卡安全定位方法和系统 - Google Patents

Abstract

一种桥吊集卡安全定位方法和系统，预先通过摄像头标定车辆停车点，1)获取摄像头的视频数据，解码成图片，采用Faster_RCNN目标检测方法，判断车道的识别区域上是否有人，若有，则限制吊具移动并报警，若否，则吊具正常工作；2)当车辆到达车道的识别区域，获取图片，根据标定的车辆停车点，加减一定范围，对图片进行剪裁；3)将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱或车架的中心点；4)获取车辆停车点，计算集装箱或车架的中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置；5)控制吊具工作进行装船或卸船。本发明提高了装卸船效率和现场作业的安全性。

Description

一种桥吊集卡安全定位方法和系统

技术领域

本发明涉及集装箱装卸领域，特别是指一种桥吊集卡安全定位方法和系统。

背景技术

集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时，龙门吊司机使用操作手柄手动控制吊具，进行集装箱的对位和抓取。操作过程中，司机需注意力高度集中，长时间作业会导致司机疲劳，进而降低对位作业效率和精确性。

另外，货船在装卸集装箱过程中，桥吊在固定位置不动。前一辆集装箱车装卸完后，后一辆集装箱就需要开到指定位置，因此集装箱车一般情况下都比吊具提前到位。

现有几种，采用的激光扫描的方式，引导车辆到位。缺点是价格昂贵，功能单一，维护成本高，精度不可提升且在安全保护上也有功能缺失。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种定位准确、提高安全性能的桥吊集卡安全定位方法和系统。

本发明采用如下技术方案：

一种桥吊集卡安全定位方法，其特征在于，预先通过摄像头标定车辆停车点，其余步骤如下：

1)间隔获取摄像头的视频数据，解码成图片，对图片采用Faster_RCNN目标检测方法，判断车道的识别区域上是否有人，若有，则限制吊具移动并报警，若否，则吊具正常工作；

2)当车辆到达车道的识别区域，获取图片，根据标定的车辆停车点，加减一定范围，对图片进行剪裁；

3)将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱或车架的中心点；

4)获取车辆停车点，计算集装箱或车架的中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置；

5)控制吊具工作进行装船或卸船。

优选的，通过AI服务器间隔获取摄像头的视频数据，并且将视频数据放到队列中，并且及时销毁过期的视频数据。

优选的，获取桥吊的PLC数据，根据装船或者卸船的状态判断识别的是车架还是集装箱。

优选的，所述Mask RCNN神经网络训练过程如下：

a获取摄像头的视频流，通过目标检测算法识别出集装箱，获取带有集装箱的图像，并使用labelme进行集装箱顶面的mask标注工作，从而建立集装箱顶部的样本库；

b从样本库中提取训练集、验证集、测试集；

c建立Mask RCNN神经网络，使用训练集进行训练，通过验证集来评判Mask RCNN神经网络是否符合要求，并通过测试进行测试，最终得到训练好的Mask RCNN神经网络。

优选的，所述根据二值化图计算得到集装箱中心点，具体为先通过开闭运算操作，得到代表集装箱顶面的所有坐标点，之后再得到所述集装箱中心点。

优选的，所述步骤4)中，通过输出控制命令引导车辆移动，控制命令包括前进或后退。

优选的，还包括预先通过摄像头标定吊具坐标，用于在车辆未到位时，禁止吊具下降到预设高度以下。

优选的，包括有若干车道，对车道编号并分别标定所述车辆停车点，步骤1)中，通过车道编号以获取对应的车辆停车点。

优选的，步骤3)中，还包括根据二值化图计算得到集装箱长度；步骤5)中，控制吊具根据集装箱长度调整参数以执行抓取。

一种桥吊集卡安全定位系统，其特征在于，包括：

摄像头，用于拍摄车道的识别区域，并标定停车位置在对应图像中的坐标；

视频数据处理模块，获取摄像头的视频流，解码成图片；

目标检测模块，对图片采用Faster_RCNN的目标检测方法，判断车道的识别区域上是否有人；

图片处理模块，根据标定的车辆停车点，加减一定范围，对图片进行剪裁模块，

模型计算模块，将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱中心点；

对位模块，获取标定的车辆停车点，计算集装箱中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置；

吊具，执行装船或卸船操作。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本发明的方法和系统，采用Faster_RCNN目标检测方法识别检测区域是否有人，从而保障人员安全、提升现场作业的安全性；结合Mask RCNN神经网络检测集装箱或车架的位置以引导车辆移动到达准确的停车位置，通过事先调整车辆位置，吊具到位时，能直接抓起(放下)集装箱，不用再调整车辆位置，提高装卸船效率。

2、本发明的方法和系统，其采用的Mask RCNN神经网络是一个实例分割的算法，相对目标检测的边界框，实例分割可精确到物体的边缘，是一种像素级分割，在识别不重叠物体的速度上更快，准确度更高。

3、本发明的方法和系统，随着数据集的增加，精度可再提高，且方便的拓展其它的功能。

附图说明

图1为本发明流程图；

图2为本发明吊具吊起船舱的盖板示意图；

图3为本发明Mask RCNN神经网络组成图；

图4本发明采集到的图片(集装箱)；

图5为本发明采集到的图片(车架)；

图6为图片剪裁后的示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图1，本发明提出一种桥吊集卡安全定位方法，预先安装摄像头拍摄车道的视频，包括如下步骤：

1)通过AI服务器间隔获取摄像头的视频数据，并且将视频数据放到队列中，并且及时销毁过期的视频数据。将视频数据解码成图片，对图片采用Faster_RCNN目标检测方法，判断车道的识别区域上是否有人，若有，则限制吊具移动并报警，若否，则吊具正常工作。

岸边作业的桥吊是专业化集装箱码头的核心作业机械，在货船靠岸边后，需要进行装船或卸船作业时，集装箱卡车还没有进入，需要先通过桥吊将船舱的盖板吊起，放置周围地面上，才能进行装卸船作业，参见图2。在吊具吊起盖板过程中，需要检测车道上是否有人，若有，则停止吊具移动，体现人员离开，当人员离开后再进行作业。

本发明可采用基于Tensorflow的Faster RCNN检测图片中是否有人，其主要包括：转换层(Conv layers)、RPN网络(Region Proposal Networks)、Roi Pooling、分类(Classification)等。作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的conv+relu+pooling层提取image的feature maps。该feature maps被共享用于后续RPN层和全连接层。

其中RPN网络用于生成region proposals。该层通过softmax判断anchors属于positive或者negative，再利用bounding box regression修正anchors获得精确的proposals。

对于Roi Pooling，其收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。Classification是利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。

对于Faster RCNN，其可将一副任意大小PxQ的图像，首先缩放至固定大小MxN，然后将MxN图像送入网络；而Conv layers中包含了13个conv层+13个relu层+4个pooling层；RPN网络首先经过3x3卷积，再分别生成positive anchors和对应bounding boxregression偏移量，然后计算出proposals；而Roi Pooling层则利用proposals从featuremaps中提取proposal feature送入后续全连接和softmax网络作classification，即分类proposal属于什么object。

2)当车辆到达车道的识别区域，获取图片，根据标定的车辆停车点，加减一定范围，对图片进行剪裁，参见图4至图6。

因每个车道与摄像头的距离和角度不同，从视频上来看，存在一定的轻微的变形。需要通过标定来矫正这种变形。因此，预先对摄像头进行标定，标定的数据有车辆停车点，还可根据需要标定吊具的坐标、集装箱在车道上占用的像素点等。标定的车辆停车点，即车辆停在车道准确位置时，拍摄的图片中的集装箱中心点坐标。

其中，可通过车道编号以获取对应的车辆停车点，加减范围可根据需要设定，确保图像中的集装箱保持完整，例如：大于集装箱长度一定值。

举例：可从OPC中获取当前作业车道的编号3，根据标定的该车道的车辆停车点的坐标(例如X轴坐标为1000)，加减一定范围(例如100像素点)，就得到作业车道的准备位置为(900-1100)，再从图片上截取x轴方向，该范围内的图片。

3)将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱或车架的中心点。参见图3，为Mask RCNN神经网络结构图，包括有ROIAlign层，若干个卷积层和输出层等。

本发明中，Mask RCNN神经网络训练过程如下：

a获取摄像头的视频流，通过目标检测算法识别出集装箱，获取带有集装箱的图像，并使用labelme进行集装箱顶面的mask标注工作，从而建立集装箱顶部的样本库；

b从样本库中提取训练集、验证集、测试集；

c建立Mask RCNN神经网络，使用训练集进行训练，通过验证集来评判Mask RCNN神经网络是否符合要求，并通过测试集对模型的泛化性、准确度进行测试，最终得到训练好的Mask RCNN神经网络。

将剪裁的图片输入Mask RCNN神经网络后，输出300*1280的二值化图，其中0代表没有，1代表有。经过开闭运算操作，即可得到代表集装箱顶面的所有坐标点，其中包括集装箱中心点。从神经网络中得到集装箱顶面近似一个矩形，获取包裹该区域最小的外接矩形的四个点坐标，再通过计算获取该四个点坐标的中心点，即可得到集装箱或车架中心点。

该步骤中，还可根据二值图得到集装箱长度，即得出集装箱占用多少个像素点。还可进一步确定集装箱为单箱或双箱，则在执行装卸操作之前，可控制吊具根据集装箱长度调整参数以便后续执行抓取。

通常单箱为20尺，若为双箱时候，通过Mask RCNN神经网络(语义分割网络)能识别出两个集装箱顶面，将前一个集装箱的头端坐标减去后一个集装箱的尾端坐标，得出总的长度，然后减去40尺集装箱在该车道的长度，即为箱缝的宽度。

该步骤中，通过获取桥吊的PLC数据，先根据装船或者卸船的状态判断识别的是车架还是集装箱，而后再计算集装箱或车架的中心点。通过PLC数据的OPC服务器所获取的数据还包括有：吊具高度、桥吊是否开机、桥吊是否在运行、吊具是否吊着集装箱、吊具在哪一个车道中等信息。

4)获取车辆停车点，计算集装箱或车架的中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置。

欧式距离公式如下：

具体的，将计算得到的欧式距离转换为控制命令，通过输出控制命令引导车辆移动，控制命令包括前进或后退。例如距离大于0，前进；距离等于0，到位；距离小于0，后退。另外控制命令可通过LED屏进行展示。LED屏可展示的信息不限于此，还可包括进入识别区域、禁止驶离、车辆到位、吊具安全等。

该步骤中，由于预先通过摄像头标定吊具坐标，则在车辆未到位时，禁止吊具下降到预设高度以下。

4)控制吊具工作进行装船或卸船。

该步骤中，若识别的是车架，则控制吊具执行卸船，装40尺的集装箱或者20尺的集装箱。若识别的是集装箱，则控制吊具执行装船，卸40尺集装箱或卸两个20尺集装箱或者卸单个20尺集装箱(只有一个)或者前后分别卸单个20尺集装箱等。对于两个20尺集装箱，可根据箱缝的宽度，调整吊具，确保吊具分两次顺利执行抓取。

在步骤4)的装卸过程中，还可同时执行步骤1)实现检测是否有人位于吊具下或车道周围，避免发生危险事故。

本发明还提出一种桥吊集卡安全定位系统，包括：

摄像头，用于拍摄车道的识别区域，并标定停车位置在对应图像中的坐标。该摄像头安装位置不唯一，可以是桥吊上，或者桥吊周围合适位置。

视频数据处理模块，获取摄像头的视频流，解码后得到一张张图片，可每隔一帧，进行一次检测得到图片。

目标检测模块，对图片采用Faster_RCNN的目标检测方法，判断车道的识别区域上是否有人。

图片处理模块，根据标定的车辆停车点，加减一定范围，对图片进行剪裁模块。

模型计算模块，将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱中心点。

对位模块，获取标定的车辆停车点，计算集装箱中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置。

吊具，安装于桥吊上，执行装船或卸船操作。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (9)

1.一种桥吊集卡安全定位方法，其特征在于，预先通过摄像头标定车辆停车点，其余步骤如下：

1）间隔获取摄像头的视频数据，解码成图片，对图片采用Faster_RCNN目标检测方法，判断车道的识别区域上是否有人，若有，则限制吊具移动并报警，若否，则吊具正常工作；

2）当车辆到达车道的识别区域，获取图片，根据标定的车辆停车点，加减一定范围，对图片进行剪裁，确保图像中的集装箱保持完整；

3）将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱或车架的中心点具体为先通过开闭运算操作，得到代表集装箱顶面的所有坐标点，之后再得到所述集装箱中心点；

4）获取车辆停车点，计算集装箱或车架的中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置；

5)控制吊具工作进行装船或卸船。

2.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，通过AI服务器间隔获取摄像头的视频数据，并且将视频数据放到队列中，并且及时销毁过期的视频数据。

3.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，获取桥吊的PLC数据，根据装船或者卸船的状态判断识别的是车架还是集装箱。

4.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，所述Mask RCNN神经网络训练过程如下：

a获取摄像头的视频流，通过目标检测算法识别出集装箱，获取带有集装箱的图像，并使用labelme进行集装箱顶面的mask标注工作，从而建立集装箱顶部的样本库；

b从样本库中提取训练集、验证集、测试集；

c建立Mask RCNN神经网络，使用训练集进行训练，通过验证集来评判Mask RCNN神经网络是否符合要求，并通过测试进行测试，最终得到训练好的Mask RCNN神经网络。

5.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，所述步骤4）中，通过输出控制命令引导车辆移动，控制命令包括前进或后退。

6.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，还包括预先通过摄像头标定吊具坐标，用于在车辆未到位时，禁止吊具下降到预设高度以下。

7.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，包括有若干车道，对车道编号并分别标定所述车辆停车点，步骤1）中，通过车道编号以获取对应的车辆停车点。

8.如权利要求1所述的一种桥吊集卡安全定位方法，其特征在于，步骤3）中，还包括根据二值化图计算得到集装箱长度；步骤5）中，控制吊具根据集装箱长度调整参数以执行抓取。

9.一种桥吊集卡安全定位系统，其特征在于，执行权利要求1至8中任一所述的一种桥吊集卡安全定位方法，包括：

摄像头，用于拍摄车道的识别区域，并标定停车位置在对应图像中的坐标；

视频数据处理模块，获取摄像头的视频流，解码成图片；

目标检测模块，对图片采用Faster_RCNN的目标检测方法，判断车道的识别区域上是否有人；

图片处理模块，根据标定的车辆停车点，加减一定范围，对图片进行剪裁模块，

模型计算模块，将剪裁得到的图像输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱中心点；

对位模块，获取标定的车辆停车点，计算集装箱中心点与车辆停车点的欧式距离，根据欧式距离引导车辆移动到达准确的停车位置；

吊具，执行装船或卸船操作。

Images