CN116343125A - 一种基于计算机视觉的集装箱箱底锁头检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的集装箱箱底锁头检测方法，包括如下步骤：步骤一、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车托架和集装箱的图像数据传输给服务器；步骤二、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像；步骤三、服务器对融合处理后的图像数据进行目标检测，并在识别出集装箱箱底锁头特征后，对锁头进行目标跟踪，输出锁头位置信息。本发明利用目标检测算法和目标跟踪算法，实现对箱底锁头在视频流中的实时检测和跟踪，本发明方法能够自动识别锁头并输出锁头位置信息，从而提高箱底锁头检测的效率和准确性。

Description

一种基于计算机视觉的集装箱箱底锁头检测方法

技术领域

本发明涉及一种基于计算机视觉的集装箱箱底锁头检测方法。

背景技术

在港口集装箱的运输过程中，集装箱会在底部安置锁头进行集装箱之间的连接固定。当集装箱从船上卸到集卡车上时，传统人工检测集装箱底锁头效率低，劳动强度大，还存在由于工作人员疏忽锁头漏摘的情况。当集卡车运输携带有锁头的集装箱进入堆场，并收入场区堆码时，可能会损坏下层集装箱，甚至引发集装箱倾倒事故，给码头生产作业带来诸多的安全隐患。

目前市场上检查集装箱箱底是否有锁头的技术方案主要有：

1)港口工作人员通过肉眼观察来解决，此种方式可能会因人的疏忽导致锁头未被检查出来，进而导致人员和车辆的危险；

2)港口通过安装监控设备供工作人员巡检视频画面来解决，此种方式也可能人员疏忽、视觉疲劳、效率和实时性差问题，影响自动化港口的收箱效率；

3)港口通过传统的视觉和激光融合的方式来解决，如X射线检测、超声波检测、磁粉检测等，此种方式成本过高，感知范围有限，在实际使用中存在一些缺陷，不能完全满足实际需求。

为了克服现有技术的上述缺点，本发明提出将多台摄像头作为主要传感器，提供了一种基于计算机视觉的集装箱箱底锁头检测方法。

发明内容

为了克服现有技术的上述缺点，本发明提出了一种基于计算机视觉的集装箱箱底锁头检测方法，采用了基于计算机视觉的图像处理算法，以及基于视频流的目标跟踪、定位、检测和识别，实现对集装箱和集卡车的实时监测与运动跟踪，综合分析检测及跟踪结果，判断集装箱箱底锁头的状态。根据摄像头采集的实时视频图像，判断视频画面中是否有作业集卡车及集装箱存在，进而进行锁头检测，并将检测到的锁头漏摘的情况输出预警信息到业务流程进行处理并做出防护响应，防止由于锁头漏摘进而导致集装箱倾倒的情况产生。

本发明解决其技术问题所采用的技术方案是：一种基于计算机视觉的集装箱箱底锁头检测方法，包括如下步骤：

步骤一、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车托架和集装箱的图像数据传输给服务器；

步骤二、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像；

步骤三、服务器对融合处理后的图像数据进行目标检测，并在识别出集装箱箱底锁头特征后，对锁头进行目标跟踪，输出锁头位置信息。

与现有技术相比，本发明的积极效果是：

本发明提供了一种基于计算机视觉的集装箱箱底锁头检测方法，该方法利用目标检测算法和目标跟踪算法，实现对箱底锁头在视频流中的实时检测和跟踪。该方法能够自动识别锁头并输出锁头位置信息，从而提高箱底锁头检测的效率和准确性。具体优点如下：

1.便携性：本发明考虑港口实际作业工况，立足于硬件安装的便携和易于维护；

2.适用性：本发明可以适应白天、夜晚、雨天、雾天等作业环境；

3.自动化：本发明通过充分考虑并结合码头作业的实际情况，基于视频流的计算机视觉检测和识别技术，将摄像头、交换机以及服务器相结合，对集装箱箱底锁头图像进行精确检测、跟踪、定位。

4.高效性：采用目标检测算法和目标跟踪算法，能够快速、准确地检测和跟踪箱底锁头，提高了检测的效率，实现了码头全自动化作业，解决了现有自动化集装箱港口在实现自动化运行时还需要人工介入检查的技术问题，大大节省作业时间与人工成本，提高了港口的自动化效率。

5.应用范围广：集装箱箱底锁头是制造和物流等领域中广泛应用的一种物品，本发明的技术适用于各种类型的锁头，可用于集装箱箱底锁头的自动检测和跟踪。

具体实施方式

本发明提出了一种基于计算机视觉的集装箱箱底锁头检测方法，包括视频流输入、目标检测和目标跟踪。其中，视频流输入用于采集实时的视频流数据，并对视频流进行预处理，包括图像去噪、图像增强、图像融合等步骤。目标检测采用PicoDet算法进行锁头检测，目标跟踪采用ByteTrack算法进行锁头跟踪。具体方法如下：

第一步、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车上的集装箱和集卡车托架的视频数据并基于以太网传输数据的交换机传输给服务器，具体地：

本发明支持在起重设备作业侧安装多台摄像头，其中摄像头水平视场角：180°，垂直视场角：98°；垂直、水平视场角较大。具体体现为：①安装在左右两侧时可轻松兼顾拍摄。②箱体上升过程中，在画面中出现的时间较长(检测时间长)。

摄像头安装角度以拍摄托架为水平基准，摄像头拍摄范围能覆盖到完整的集卡托架和集装箱，可根据现场实际情况进行调整。

第二步、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像。

本发明使用尺度不变特征变换SURF(Speeded Up Robust Features)算法对多台摄像头采集的图像进行特征点提取，针对每张图像生成的特征点集合，将图像特征点进行配准，建立图像之间特征点集合的对应关系。通过快速最近邻搜索包FLANN(Fast Libraryfor Approximate Nearest Neighbors)进行单应性匹配获取透视变换矩阵，将两张图片的重合部分进行覆盖，剩余部分进行融合，改变融合缝隙附近的灰度。在去除缝隙实现平滑过渡步骤中，使用alpha通道对像素进行加权平均，alpha通道在中心像素处的值为1，在与边界像素线性递减后变为0，最终融合为一张图像。具体地：

(1)特征点提取：包括以下步骤：①使用高斯差分算法对图像进行尺度空间变换，提取尺度不变的特征点；②使用海森矩阵对特征点进行筛选，去除低对比度和不稳定的特征点；③使用方向梯度直方图对特征点进行描述，得到特征向量。④对于每张图像，使用SURF算法得到该图像的特征点集合。⑤将特征点集合进行归一化，使得每个特征点的描述子的L2范数为1，提高匹配的准确性。

(2)特征点匹配：包括以下步骤：①对于两张图像，使用FLANN算法寻找最近邻特征点，得到初始的特征点对。②使用随机抽样一致算法对初始的特征点对进行筛选，排除误匹配的特征点对，得到更精确的特征点对。③使用透视变换矩阵将第二张图像映射到第一张图像的坐标系中，从而实现两张图像的配准。

(3)图像融合：透视变换利用矩阵变换将平面上的点映射到另一个平面上的方法。在图像拼接中，透视变换可以将多张图像的相似部分映射到同一个坐标系下，并对其进行融合。融合算法主要利用alpha通道对像素进行加权平均，使得融合后的图像在边缘处产生平滑的过渡效果，避免了明显的接缝。将两张图片的重合部分进行覆盖，剩余部分进行融合，改变融合缝隙附近的灰度。该步骤包括以下小步骤：①将两张图像进行重叠，得到重合部分和非重合部分。②对于重合部分的像素，使用alpha通道对像素进行加权平均，创建一个alpha通道，其尺寸与待融合的图像相同。通道中心点的alpha值为1，随着离中心点的距离的增加，alpha值线性递减至0，边界点的alpha值为0。对于每个像素，将两张待融合的图像中对应位置的像素进行加权平均，其中alpha通道的值为加权系数，用来控制融合的程度。具体地，对于第i行第j列的像素，其在融合后图像中的值new_pixel__i,j按如下公式计算：

new_pixel__i,j＝α_i,j*pixel_1,i,j+(1-α_i,j)*pixel_2,i,j

其中α_i,j为第i行第j列像素的alpha通道值，pixel_1,i,j和pixel_2,i,j分别为待融合的两张图像在第i行第j列的像素值。

该计算方式保证了中心点的alpha值为1，随着离中心点的距离的增加，alpha值线性递减至0，边界点的alpha值为0，由于alpha通道的存在，融合后图像的边缘部分会产生一定的透明度，可以让两张待融合的图像在边缘处产生平滑的过渡效果。③对于非重合部分的像素，直接复制到融合后的图像中。④改变融合缝隙附近的灰度，使得融合后的图像在边缘处产生平滑的过渡效果，避免了明显的接缝，提高了图像的视觉质量和真实感。

图像融合的优点是：①高效准确：通过SURF算法和FLANN算法的组合具有较好的鲁棒性和速度，可以快速准确地找到图像中相似的部分，提高了图像拼接的效率和准确度。②无缝拼接：通过透视变换和融合算法，可以将多张图像进行无缝拼接，生成一张图像。融合算法中使用alpha通道对像素进行加权平均，可以使得融合后的图像在边缘处产生平滑的过渡效果，避免了明显的接缝。③可扩展性：该方法可以应用于任意数量的图像拼接，可以根据需要进行扩展，生成更大尺寸的图像。

第三步、服务器对图像融合后的视频数据进行目标检测，然后对检测结果区域进行目标跟踪；

第四步、通过跟踪结果判断当前是否进行来车作业，具体地：

使用PicoDet目标检测算法持续检测融合后图像中的集卡车。为防止出现非作业集卡车误检的问题，设定来车检测的最小宽高阈值，当检测来车满足阈值条件时，判定当前作业区域来车；

对作业区域内来车的最低帧数设定阈值N，当连续N帧图像中均出现集卡车目标时，此时判定集卡车为当前作业车；

第五步、通过跟踪结果判断当前是否停车作业，具体地：

1)判定当前有集卡来车时，通过目标跟踪算法ByteTrack对当前画面内检测到的集卡车进行跟踪，同时设定集卡车停止时的最低阈值帧数。当阈值内集卡车无移动状态时，即认定为集卡车停止；

2)ByteTrack跟踪器的关键部分使用卡尔曼滤波来预测当前帧的跟踪轨迹在下一帧的位置，预测的框和实际的检测框之间的交并比作为跟踪匹配的相似度，通过匈牙利算法完成匹配；

第六步、通过跟踪结果判断当前是否重车作业，具体地：

集卡车停止后，使用PicoDet算法对图像中的集装箱和集卡车托架进行检测，同时设定集卡车与集装箱接触的判定阈值，计算集装箱区域与托架区域的距离，通过集装箱和集卡车托架的相对位置，判断此时集卡车是否为载箱，即重车的状态。

第七步、通过跟踪结果判断当前是否收箱作业，具体地：

通过检测到的集装箱的具体位置及移动信息，在集装箱运动时设定最低阈值帧数与最小上升的距离，当检测到集装箱连续上升帧数与上升距离超过该阈值时，判定当前集装箱为收箱作业；

第八步、使用目标检测算法PicoDet来检测图像中的集装箱箱底是否有锁头。PicoDet基于卷积神经网络的目标检测算法，可以在图像中准确地检测出集装箱箱底锁头；该算法包括以下步骤：

(1)输入多台摄像头融合预处理后的图像；

(2)采用卷积神经网络对图像进行特征提取，具体来说，采用一个基于PicoDet的主干网络来提取图像特征，使用了一种称为"BiFPN"的特征金字塔网络，用于生成高质量的多尺度特征图。BiFPN中的输入特征图包括从不同层级的骨干网络提取的特征图，这些特征图具有不同的尺度和语义信息。BiFPN的结构包括两个主要的子模块：多层级特征融合模块和自适应特征选择模块。多层级特征融合模块通过上下采样、加权融合和跨层连接等操作，将来自不同层级的特征图进行融合，产生多尺度的特征图，以便在不同尺度上检测不同大小的目标。自适应特征选择模块对于每个特征图的每个空间位置，根据其自身的语义信息和周围特征图的语义信息，动态地学习一个权重，以自适应地选择和融合周围特征图的信息，以提高特征图的质量和表达能力。该网络的输入为原始图像，经过多次卷积和池化操作后，得到了一系列高层次的特征表示，这些特征表示具有较好的图像区分能力，可以用于检测目标物体。

(3)使用多层感知器进行位置回归，得到锁头位置信息。在PicoDet中，使用了一种称为"FCOS"的目标检测头部模块，用于进行目标位置回归。FCOS通过在特征图上对每个空间位置上预测目标的中心点、高度和宽度，来进行位置回归。对于特征图上的每个空间位置，FCOS网络预测该位置上是否存在目标(即目标的置信度)，以及目标的中心点、高度和宽度。FCOS通过学习一组可共享的卷积核，将特征图的每个空间位置映射到不同尺度的预测热图。然后，FCOS使用最大值池化操作，从预测热图中获取每个目标的位置和大小信息，该位置回归分支使用了一个多层感知器来对锁头的位置进行回归，具体是对锁头的中心点坐标、宽度和高度进行预测。

第九步、如果PicoDet检测到了集装箱箱底锁头，就可以使用目标跟踪算法ByteTrack来跟踪集装箱箱底锁头的位置。ByteTrack基于深度学习的目标跟踪算法，可以在视频中跟踪目标并输出其位置信息。如果没有检测到集装箱箱底锁头，则判定为当前图像中的集装箱箱底没有锁头。

采用ByteTrack算法进行锁头跟踪，具体包括以下步骤：

(1)输入目标检测得到的锁头位置信息，得到锁头的初始位置和大小，在这一步中，需要将目标检测算法PicoDet得到的箱底锁头位置信息作为输入，并从中提取出锁头的初始位置和大小，以便进行后续的运动状态预测和轨迹拟合。通常情况下，可以使用目标框的中心坐标和长宽信息来表示锁头的位置和大小。

(2)采用卡尔曼滤波对锁头的运动状态进行预测，卡尔曼滤波基于贝叶斯推断的动态系统状态估计算法，可以用来对锁头的运动状态进行预测。具体地，卡尔曼滤波将锁头的运动状态表示为一个包含位置和速度信息的状态向量，并通过测量噪声和动态噪声模型来对锁头状态进行估计。卡尔曼滤波包括预测和更新两个步骤，其中预测步骤用于估计下一时刻的状态，更新步骤用于将预测结果与实际观测结果进行比较并调整预测结果。具体地，在本应用场景中，可以采用如下的卡尔曼滤波模型：

①状态向量：假设锁头的状态向量为x＝[p_x,p_y,v_x,v_y]^T，其中p_x和p_y分别表示锁头在水平和竖直方向上的位置，v_x和v_y分别表示锁头在水平和竖直方向上的速度。

②状态转移方程：锁头的运动状态可以通过状态转移方程来描述：

x_{k}＝F x_{k-1}+B u_k+w_k

其中，F是状态转移矩阵，B是控制输入矩阵，u_k是外部控制输入，w_k是过程噪声。

③观测方程：假设观测向量为z＝[p_x,p_y]^T，即每次观测到的锁头位置信息，观测方程可以表示为：

z_k＝H x_k+v_k

其中，H是观测矩阵，v_k是观测噪声，表示观测的不确定性。

(3)使用最小二乘法对锁头的轨迹进行拟合，输出锁头位置信息：在卡尔曼滤波的基础上，可以使用最小二乘法对锁头的轨迹进行拟合，并输出锁头的最终位置信息。最小二乘法用于解决线性方程组最小二乘问题的数学方法，可以用于估计锁头的运动轨迹和位置信息。具体来说，可以将锁头的位置和卡尔曼滤波预测的位置作为输入，使用最小二乘法拟合锁头的运动轨迹，并根据拟合结果输出锁头的最终位置信息。在本场景中，锁头的轨迹可以用一个二维平面上的曲线来描述，可以使用二次多项式函数来拟合锁头的运动轨迹，函数形式为：f(x)＝ax^2+bx+c，其中x表示时间，a、b、c是需要拟合的参数。使用最小二乘法可以求出最优的参数值，使得函数最能够拟合数据集中的锁头位置信息。

第十步、如果ByteTrack跟踪到集装箱箱底锁头已经移动到了新的位置，则再次使用PicoDet检测集装箱箱底锁头并更新其位置。

第十一步、实时对每一帧图像进行处理，直到此次作业结束。

第十二步、最终，可以从ByteTrack输出的连续跟踪结果中提取集装箱箱底锁头的位置信息，以便在图像中标示出集装箱箱底锁头的位置区域。

Claims (10)

1.一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：包括如下步骤：

步骤一、通过安装在自动化港口起重设备的多台摄像头实时拍摄集卡车托架和集装箱的图像数据传输给服务器；

步骤二、服务器对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理，输出一张图像；

步骤三、服务器对融合处理后的图像数据进行目标检测，并在识别出集装箱箱底锁头特征后，对锁头进行目标跟踪，输出锁头位置信息。

2.根据权利要求1所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：摄像头的水平视场角为180°，垂直视场角为98°，确保摄像头的安装角度以拍摄集卡车托架为水平基准，摄像头拍摄范围能覆盖到完整的集卡车托架和集装箱。

3.根据权利要求1所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：步骤二所述对所获取的图像数据进行特征点检测并将多台摄像头的图像进行融合处理的方法包括：

（1）特征点提取：

1）使用高斯差分算法对多台摄像头采集的图像进行尺度空间变换，提取尺度不变的特征点；

2）使用海森矩阵对特征点进行筛选，去除低对比度和不稳定的特征点；

3）使用方向梯度直方图对特征点进行描述，得到特征向量；

4）对于每张图像，使用SURF算法得到该图像的特征点集合；

5）将特征点集合进行归一化，使得每个特征点的描述子的L2范数为1；

（2）特征点匹配：

1）对于两张图像，使用FLANN算法寻找最近邻特征点，得到初始的特征点对；

2）使用随机抽样一致算法对初始的特征点对进行筛选，排除误匹配的特征点对；

3）使用透视变换矩阵将第二张图像映射到第一张图像的坐标系中，从而实现两张图像的配准；

（3）图像融合：

1）将两张图像进行重叠，得到重合部分和非重合部分，其中：对于重合部分的像素，使用alpha通道对像素进行加权平均；对于非重合部分的像素，直接复制到融合后的图像中；

2）改变融合缝隙附近的灰度，使得融合后的图像在边缘处产生平滑的过渡效果。

4.根据权利要求1所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：步骤三中，服务器对融合处理后的图像数据进行目标检测的方法为：

（1）判断当前作业区域是否出现作业集卡车；

（2）若出现作业集卡车，则判断集卡车是否停车作业；

（3）若集卡车停车作业，则判断集卡车是否为载箱状态；

（4）若集卡车为载箱状态，则判断是否为收箱作业；

（5）若为收箱作业，则采用目标检测算法来检测集装箱箱底是否有锁头。

5.根据权利要求4所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：判断当前作业区域是否出现作业集卡车的方法为：先通过设定来车检测的最小宽高阈值，来判断当前作业区域是否来车；当出现来车时，通过设定的最低帧数阈值来判断来车是否为作业集卡车。

6.根据权利要求4所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：判断集卡车是否停车作业的方法为：采用目标跟踪算法ByteTrack对当前画面内检测到的集卡车进行跟踪，当在设定的集卡车停止时的最低阈值帧数内集卡车无移动状态时，则判定集卡车不停车作业。

7.根据权利要求4所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：判断集卡车是否为载箱状态的方法为：首先计算集装箱区域与集卡车托架区域的距离，当二者的距离小于设定的集卡车与集装箱接触的判定阈值时，则判断此时集卡车为载箱状态。

8.根据权利要求4所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：判断是否为收箱作业的方法为：在集装箱运动时，当检测到集装箱连续上升帧数与上升距离均超过设定的最低阈值帧数与最小上升距离时，则判定当前集装箱为收箱作业。

9.根据权利要求4所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：采用目标检测算法来检测集装箱箱底是否有锁头的方法为：

（1）输入多台摄像头融合预处理后的图像；

（2）采用卷积神经网络对图像进行特征提取：采用一个基于PicoDet的主干网络来提取图像特征，采用的特征金字塔网络BiFPN的结构包括多层级特征融合模块和自适应特征选择模块，其中：多层级特征融合模块通过上下采样、加权融合和跨层连接操作，将来自不同层级的特征图进行融合，产生多尺度的特征图，以便在不同尺度上检测不同大小的目标；自适应特征选择模块对于每个特征图的每个空间位置，根据其自身的语义信息和周围特征图的语义信息，动态地学习一个权重，以自适应地选择和融合周围特征图的信息；

（3）使用多层感知器进行位置回归，得到锁头位置信息。

10.根据权利要求1所述的一种基于计算机视觉的集装箱箱底锁头检测方法，其特征在于：步骤三中对锁头进行目标跟踪的方法为：

（1）输入目标检测得到的锁头位置信息，得到锁头的初始位置和大小；

（2）采用卡尔曼滤波对锁头的运动状态进行预测；

（3）使用最小二乘法对锁头的轨迹进行拟合，输出锁头位置信息；

（4）若跟踪到集装箱箱底锁头移动到了新的位置，则再次使用PicoDet算法检测集装箱箱底锁头并更新其位置；

（5）实时对每一帧图像进行处理，直到此次作业结束；

（6）从输出的连续跟踪结果中提取集装箱箱底锁头的位置信息，以便在图像中标示出集装箱箱底锁头位置区域。