CN116092003A - 一种基于多视角视觉检测的集卡防吊起自动识别方法 - Google Patents

Abstract

本发明提出一种基于多视角视觉检测的集卡防吊起自动识别方法，包括步骤：对每个集卡作业位布置了四个视角的摄像头；使用视觉检测模型对每一帧图像中的锁头、车轮、车牌进行目标检测；获取每一帧图像中的锁头、车轮、车牌的位置和大小；根据每一帧目标检测框的结果，进行目标判断和跟踪；基于目标跟踪获取检测框的偏移量，判断目标是否异常移动；综合目标判断和移动判断结果，判断是否出现异常吊起。该方法具有成本较低、识别率较高、不需要人工确认等优点，对集卡防吊起识别任务的推进有着极大的有益效果。

Description

一种基于多视角视觉检测的集卡防吊起自动识别方法

技术领域

本发明涉及计算机视觉、目标识别、自动化港口、系统安全技术领域。

背景技术

在港口集装箱装卸货作业过程中，“提箱”是一个重要的生产环节，也是生产安全事故易发的环节。“提箱”指集卡载有集装箱静止于吊具之下，操作人员按规定将集装箱与车体进行解锁后，吊具将集装箱从集卡平板上提起的过程。在此过程中，由于操作人员失误或者机械故障等原因，可能会发生集装箱和车体无法完全分离的现象，从而导致吊具上升时将集装箱和车体一同提起，从而造成极严重的安全事故。因此，对于提箱阶段的“防吊起”检测，一直以来是港口集卡作业的重要安全确认环节。

当前，通常采用人工确认的方式来进行“防吊起”的安全识别。在提箱阶段，需要人工确认“箱子与集卡是否完全分离”，防止出现未分离的情况导致吊具将集卡一同吊起。然而，人工确认有着成本较高、速度较慢等缺点，尤其在繁忙作业阶段，将大大拉低整体的作业效率。

近期，业界也出现了一些基于激光传感器的“防吊起”自动识别方法。但此类方法依赖特殊的激光传感器，具有成本较高、使用场景较为局限等缺点。

目前，业界采用了一些基于激光传感器的算法来进行放箱、提箱过程安全识别。以一种基于三维激光的集卡防砸检测方法、装置和计算机设备为例，该方法使用三维激光传感器实现，主要实现流程如图1所示。

现有技术可改进点：和其他需要例如三维激光传感器等特殊传感器的方法类似，以上所介绍的方法均需要特殊的传感器进行识别，而无法基于常见的，例如RGB视频摄像头实现，这将大大增加应用的成本，并且限制应用场景，无法在实用中达到大规模推广应用的地步。

现有的人工确认方法无法实现集卡“防吊起”的自动识别：在短时间内一个工作人员往往无法同时关注到四个锁头的解锁情况、漏看、误报的情况经常发生，即使能正确发出警报，往往载具的吊起高度已达到较为危险的距离。而基于一些特殊传感器的识别方法成本较高且应用场景较为局限，如遇到大雾降雨等天气时，将无法准确感知到集装箱是否被正常解锁。

发明内容

本发明方案通过使用目标检测和目标跟踪技术，基于多视角的视觉摄像头，实现了低成本、高准确率的集卡“防吊起”安全识别。

本发明技术方案如下：

一种基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，包括步骤：

步骤1，对每个集卡作业位布置了四个视角的摄像头；

步骤2，使用视觉检测模型对每一帧图像中的锁头、车轮、车牌进行目标检测；获取每一帧图像中的锁头、车轮、车牌的位置和大小；

步骤3，根据每一帧目标检测框的结果，进行目标判断和跟踪；

步骤4，基于目标跟踪获取检测框的偏移量，判断目标是否异常移动；

步骤5，综合目标判断和移动判断结果，判断是否出现异常吊起。

步骤1中，对每个集卡作业位布置了四个视角的摄像头，分别位于泊位的西北、东北、西南、东南方位；每个位置的摄像头均被相邻两个泊位共享。

步骤1中，东南方向摄像头额外进行后车牌的识别；每一帧都将记录每个识别框对应的类别。

步骤2，具体通过如下过程实现:

步骤2.1，目标检测与目标跟踪；步骤2.1.1目标检测：使用基于深度学习的RetinaNet方法进行图像的目标检测，并进行深度学习的训练；深度学习网络结构：使用了特征金字塔网络(Feature Pyramid Net)结构进行特征提取；使用ResNet网络结构对原始图像进行前馈特征提取，并根据每一层网络的输出特征获得一个特征金字塔；这些特征将被送入两个子网络，分别进行物体类别识别和物体检测框的回归，最终得到带有物体类别标签的检测框。

步骤2.1.2目标跟踪：基于步骤2.1.1中的目标检测结果，对于连续帧的每一对相邻帧的同一个物体，通过计算其目标检测识别框的均方误差MSE，来判断其是否发生了移动。当MSE大于某个设定的阈值时，认为该物体发生了移动。

步骤5，提箱过程的“防吊起”判断

步骤5.1直接判断

直接判断集装箱与车体是否完全分离，即判断集装箱四角的固定锁是否全部解锁。在集装箱被抬起一定高度后，若平板四角的锁头未露出，则可直接判断集装箱与车体未完全分离。

因此，通过在集装箱被吊起一定高度后，对四个方位的摄像头画面进行目标检测，判断是否出现column(锁头)。若总识别出的column数量小于4，则认为出现了集装箱与车体未完全分离的情况。但是，考虑到系统可能会出现漏识别、误识别等问题，最终的判断结果还需结合间接判断来做出。

步骤5.2间接判断

间接判断是指通过判断在出现吊具异常地将集装箱和车体一起吊起来地情况后，通过判断车体的异常移动，从而判断是否出现异常情况。

具体方法为：通过东南方位摄像头对车辆后牌照作目标检测和目标跟踪、通过四方位摄像头对车体轮胎做目标检测和目标跟踪，当某个物体(车牌或车轮)在相邻连续帧的识别框MSE大于某个阈值以后，则认为车体发生了异常移动，从而间接判断出现了集装箱和车体未完全分离的异常情况。

步骤5.3最终判断逻辑

为了保证识别系统的准确率、误报率和漏报率，需要在逻辑上综合直接判断和间接判断。

本发明基于多视角视觉检测的集卡防吊起自动识别方法，使用人工智能和计算机视觉识别技术，通过在车体周围布置较为常见的视觉摄像头并进行关键点的目标检测与目标跟踪，实现了“防吊起”的全过程自动化识别。在识别到异常后，将自动向有关系统发送警报，第一时间阻止安全事故的发生。相比于已有的方法，该方法具有成本较低、识别率较高、不需要人工确认等优点。

1)目标检测技术

目标检测技术是计算机视觉技术的一个重要应用，指从视觉图像中获得关于图像中出现的各个物体的信息，并给出每个物体的类别并框定具体位置。其核心定义为两个步骤过程：(1)对输入图像进行特征提取(目前通常使用深度神经网络)来获得图片的高维信息；(2)基于提取到的图片的高维信息，输出各个物体的类别和位置。

2)目标跟踪技术

目标跟踪技术通常基于目标检测技术实现。对于输入的连续多帧图像(例如视频)，通过对每帧图像进行目标检测，并在帧与帧之间对比同一个物体的目标检测框的位移和差别，来判断该物体是否移动。其核心定义为两个步骤过程：(1)对于连续两帧图片进行目标检测；(2)对于帧与帧之间同一个物体的目标检测结果，通过跟踪比较算法判断该物体是否发生移动。

本发明提出的自动识别方法，提出了一种新颖的多视角检测方案。本发明通过对车体关键点的目标检测与跟踪，以及判断某些关键车体部位是否出现，来判断集装箱与车体是否完全分离，从而达到判断“防吊起”的效果。本方法利用多视角的视觉摄像头，并且基于多层次的判断逻辑，进一步确保识别率和误报率。

基于这样的多视角多层次逻辑判断方法，本发明方案在实际港口作业中进行了大量实地调试与测试，实现了集卡“防吊起”的高性能、低成本识别。本发明技术方案优势：

本发明方法最终可以在集卡防吊起任务中，达到以下两种效果：

1、不需要人工确认是否发生异常，也不需要使用特殊的传感器(例如激光传感器)来进行识别判断；

2、利用多视角的视觉检测和多层次的逻辑判断，实现了较高的识别准确率，并保证了较低的漏检率和误报率。

综上，本发明方案对集卡防吊起识别任务的推进有着极大的有益效果。

附图说明

图1现有的基于激光传感器的算法来进行放箱、提箱过程安全识别方法流程图；

图2本发明基于多视角视觉检测的集卡防吊起自动识别方法过程的流程图；

图3本发明方法各个视角的摄像头；

图4本发明方法深度学习网络结构；

图5本发明方法场景示意图；

图6本发明方法中均方误差MSE；

图7本发明方法锁头识别示例；

图8本发明方法车辆异常移动检测示例；

图9本发明方法最终的判断逻辑。

具体实施方式

下面将结合具体实施例及其附图对本申请提供的技术方案作进一步说明。结合下面说明，本申请的优点和特征将更加清楚。

需要说明的是，本申请的实施例有较佳的实施性，并非是对本申请任何形式的限定。本申请实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。本申请优选实施方式的范围也可以包括另外的实现，且这应被本申请实施例所属技术领域的技术人员所理解。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限定。因此，示例性实施例的其它示例可以具有不同的值。

本申请的附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本申请实施例的目的，并非是限定本申请可实施的限定条件。任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的效果及所能达成的目的下，均应落在本申请所揭示的技术内容所能涵盖的范围内。且本申请各附图中所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

本发明将解释如何对画面内容进行目标检测与目标跟踪；在此基础之上，将解释如何利用这些识别结果来进行“防吊起”的判断。

如图2所示本发明方法流程：

一种基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，包括步骤：

步骤1，对每个集卡作业位布置了四个视角的摄像头；

步骤2，使用视觉检测模型对每一帧图像中的锁头、车轮、车牌进行目标检测；获取每一帧图像中的锁头、车轮、车牌的位置和大小；

步骤3，根据每一帧目标检测框的结果，进行目标判断和跟踪；

步骤4，基于目标跟踪获取检测框的偏移量，判断目标是否异常移动；

步骤5，综合目标判断和移动判断结果，判断是否出现异常吊起。

步骤1中，本方法对每个集卡作业位布置了四个视角的摄像头，分别位于泊位的西北、东北、西南、东南方位，如图3所示。值得注意的是，每个位置的摄像头均被相邻两个泊位共享，因此具有较高的资源利用效率。

对于图3所示的每个视角的摄像头，本发明均进行车轮和锁头的识别；此外，东南方向摄像头额外进行后车牌的识别。每一帧都将记录每个识别框对应的类别。

步骤2，具体通过如下过程实现:

步骤2.1，目标检测与目标跟踪

步骤2.1.1目标检测

本发明使用基于深度学习的RetinaNet方法(出自论文Focal Loss for DenseObject Detection)来进行图像的目标检测，并基于本发明自有的、并进行了标注的图像来进行深度学习的训练。深度学习网络结构如图4所示：该方法使用了特征金字塔网络(Feature Pyramid Net)结构进行特征提取。左侧(a)使用ResNet网络结构对原始图像进行前馈特征提取，并根据每一层网络的输出特征获得一个特征金字塔(b)。这些特征将被送入两个子网络(c)(d)，分别进行物体类别识别和物体检测框的回归，最终得到带有物体类别标签的检测框。

自标注的图像数据共涵盖以下几种物体类别：license plate(后车牌)、wheel(车轮)、column(用于将集装箱固定在车板上的锁头)，如图5所示场景示意图。

(黄色框为后车牌、蓝色框为车轮、绿色框为锁头)

步骤2.1.2目标跟踪

基于步骤2.1.1中的目标检测结果，对于连续帧的每一对相邻帧的同一个物体，通过计算其目标检测识别框的均方误差MSE(定义见图6)，来判断其是否发生了移动。当MSE大于某个设定的阈值时，认为该物体发生了移动。

步骤5，提箱过程的“防吊起”判断

“防吊起”识别，关键在于判断集装箱与车体是否完全分离。本发明的判断逻辑主要分为两个层次：直接判断与间接判断。

步骤5.1直接判断

直接判断集装箱与车体是否完全分离，即判断集装箱四角的固定锁是否全部解锁。在集装箱被抬起一定高度后，若平板四角的锁头未露出，则可直接判断集装箱与车体未完全分离。

因此，通过在集装箱被吊起一定高度后，对四个方位的摄像头画面进行目标检测，判断是否出现column(锁头)。若总识别出的column数量小于4，则认为出现了集装箱与车体未完全分离的情况。但是，考虑到系统可能会出现漏识别、误识别等问题，最终的判断结果还需结合间接判断来做出。

锁头识别如图7绿框所示：

本发明记“四方位摄像头识别出锁头数量为4”为事件A。

步骤5.2间接判断

间接判断是指通过判断在出现吊具异常地将集装箱和车体一起吊起来地情况后，通过判断车体的异常移动，从而判断是否出现异常情况。

具体方法为：通过东南方位摄像头对车辆后牌照作目标检测和目标跟踪、通过四方位摄像头对车体轮胎做目标检测和目标跟踪，当某个物体(车牌或车轮)在相邻连续帧的识别框MSE大于某个阈值以后，则认为车体发生了异常移动，从而间接判断出现了集装箱和车体未完全分离的异常情况。

车辆异常移动检测示例如图8所示：

本发明记“四方位摄像头未检测出车体移动”为事件B。

步骤5.3最终判断逻辑

为了保证识别系统的准确率、误报率和漏报率，需要在逻辑上综合直接判断和间接判断。最终的判断逻辑如图9所示：基于这种多层次的判断逻辑，本方法同时实现了较高的识别率和较低的误报率。

实施例技术效果验证：

经过港口5000箱次实际验证，本方法在防吊起任务中达到了98％的准确率、低于7％的识别误报率、低于0.01％的识别漏检率。

其中，准确率、误报率、漏检率定义如下：

识别率＝正确识别箱量/总箱量，

漏检率＝未识别车次/总车次数量，

误报率＝误识别异常车次/总识别异常车次。

上述描述仅是对本申请较佳实施例的描述，并非是对本申请范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本申请技术方案保护的范围。

Claims (5)

1.一种基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，包括步骤：

步骤1，对每个集卡作业位布置了四个视角的摄像头；

步骤2，使用视觉检测模型对每一帧图像中的锁头、车轮、车牌进行目标检测；获取每一帧图像中的锁头、车轮、车牌的位置和大小；

步骤3，根据每一帧目标检测框的结果，进行目标判断和跟踪；

步骤4，基于目标跟踪获取检测框的偏移量，判断目标是否异常移动；

步骤5，综合目标判断和移动判断结果，判断是否出现异常吊起。

2.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤1中，对每个集卡作业位布置了四个视角的摄像头，分别位于泊位的西北、东北、西南、东南方位；每个位置的摄像头均被相邻两个泊位共享。

3.如权利要求2所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤1中，东南方向摄像头额外进行后车牌的识别；每一帧都将记录每个识别框对应的类别。

4.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤2，具体通过如下过程实现：

步骤2.1，目标检测与目标跟踪；

步骤2.1.1目标检测：使用基于深度学习的RetinaNet方法进行图像的目标检测，并进行深度学习的训练；深度学习网络结构：使用了特征金字塔网络(Feature Pyramid Net)结构进行特征提取；使用ResNet网络结构对原始图像进行前馈特征提取，并根据每一层网络的输出特征获得一个特征金字塔；这些特征将被送入两个子网络，分别进行物体类别识别和物体检测框的回归，最终得到带有物体类别标签的检测框；

步骤2.1.2目标跟踪：基于步骤2.1.1中的目标检测结果，对于连续帧的每一对相邻帧的同一个物体，通过计算其目标检测识别框的均方误差MSE，来判断其是否发生了移动；当MSE大于某个设定的阈值时，认为该物体发生了移动。

5.如权利要求1所述的基于多视角视觉检测的集卡防吊起自动识别方法，其特征在于，步骤5，提箱过程的“防吊起”判断：

步骤5.1直接判断

直接判断集装箱与车体是否完全分离，即判断集装箱四角的固定锁是否全部解锁；在集装箱被抬起一定高度后，若平板四角的锁头未露出，则直接判断集装箱与车体未完全分离；

通过在集装箱被吊起一定高度后，对四个方位的摄像头画面进行目标检测，判断是否出现column(锁头)；若总识别出的column数量小于4，则认为出现了集装箱与车体未完全分离的情况；最终的判断结果还需结合间接判断来做出；

步骤5.2间接判断

间接判断是指通过判断在出现吊具异常地将集装箱和车体一起吊起来地情况后，通过判断车体的异常移动，从而判断是否出现异常情况；

具体方法为：通过东南方位摄像头对车辆后牌照作目标检测和目标跟踪、通过四方位摄像头对车体轮胎做目标检测和目标跟踪，当某个物体在相邻连续帧的识别框MSE大于某个阈值以后，则认为车体发生了异常移动，从而间接判断出现了集装箱和车体未完全分离的异常情况；

步骤5.3最终判断逻辑

为了保证识别系统的准确率、误报率和漏报率，需要在逻辑上综合直接判断和间接判断。

Images