CN109335964B - 一种集装箱旋锁检测系统及检测方法 - Google Patents

Abstract

本发明涉及一种集装箱旋锁检测系统及检测方法，采集系统的视场覆盖多种尺寸集装箱的箱底的四角，IO模块采集采集系统输出的视频数据，并进行解析，生成图像数据；如果检测模块输出报警信号，IO模块将检测模块的报警信号输出给龙门吊控制系统；检测模块，在接收到起吊信号后读取IO模块解析的图像数据，判断集装箱的箱底是否有旋锁，如果有则输出报警信号。本发明利用机器视觉技术，实现对集装箱底部未摘除旋锁的自动检测、识别与跟踪，提高作业效率。将检测结果接入吊具控制电路，在异常工况下控制吊具停止作业，预防事故发生。能够自动识别起吊状态和箱型，减少对龙门控制装置的改动，通用性好。

Description

一种集装箱旋锁检测系统及检测方法

技术领域

本发明涉及一种集装箱旋锁检测系统及检测方法，尤其是一种利用机器视觉技术针对龙门吊进行集装箱装卸作业过程中的集装箱旋锁检测系统。

背景技术

港口作业中，出于安全考虑，在运输集装箱过程中会通过在集装箱四个箱角下方安装旋锁的方式，将其与运输车或其他集装箱固联，在集装箱需要码放至堆场前将其箱角下方的旋锁全部摘除。若此时旋锁未被全部摘除，则会导致再次转运过程中因与其下层集装箱固联而产生堆场坍塌事故。

目前，国内外各港口主要通过人工检测的方式来预防该类事故，但港口工作环境恶劣复杂，劳动强度大，极易因人员疲劳而疏忽，所以急需一种集装箱旋锁检测装置对该类事故进行检测预警。

发明内容

本发明的目的在于克服现有技术的不足，提供一种集装箱旋锁检测系统及检测方法，减少人为因素失误且成本较低，并能够根据需要进行功能扩展。

本发明目的通过如下技术方案予以实现：

提供一种集装箱旋锁检测系统，包括采集系统和处理系统；

采集系统的视场覆盖多种尺寸集装箱的箱底的四角，并将图像数据发送给处理系统；

处理系统包括检测模块和IO模块；IO模块采集采集系统输出的视频数据，并进行解析，生成图像数据；如果检测模块输出报警信号，IO模块将检测模块的报警信号输出给龙门吊控制系统；检测模块，在接收到起吊信号后读取IO模块解析的图像数据，判断集装箱的箱底是否有旋锁，如果有则输出报警信号。

优选的，采集系统包括多组图像采集装置，视场分别覆盖不同箱型的箱底角。

优选的，IO模块还从龙门吊控制系统中获取起吊作业信号及箱型，判断正在执行集装箱起吊时，将起吊信号及箱型发送给检测模块，检测模块读取该箱型对应的图像数据。

优选的，处理系统还包括作业状态识别模块，采集采集系统输出的视频数据，提取集装箱的特征图像，判断集装箱的箱型及是否吊起，如果吊起则将起吊信号及箱型发送给检测模块。

优选的，采集系统的图像采集装置，采用摄像机或相机。

优选的，图像采集装置安装在龙门的两个龙腿上，每个龙腿上设置两个图像采集装置，图像采集装置和卡车的车架高度一致，第一和第二图像采集装置设置在一个龙腿上，第三和第四图像采集装置设置在另一个龙腿上；第二和第三图像采集装置距离龙门轴线的距离相同，在集装箱从卡车装卸到龙门的过程中，第二和第三图像采集装置的视场能覆盖到二十尺集装箱的箱底的四角；第一和第四图像采集装置距离龙门轴线的距离相同，在集装箱从卡车装卸到龙门的过程中，第一和第四图像采集装置的视场能覆盖到四十尺或四十五尺集装箱的箱底的四角。

优选的，检测模块根据图像尺寸，截取集装箱边缘区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统。

优选的，特征模型M的生成方法如下：采集系统采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库；提取每帧样本图像中旋锁的特征信息；统计上述特征信息并生成旋锁特征模型M。

优选的，采集一系列集装箱装卸过程覆盖各种天气情况。

提供一种利用所述的集装箱旋锁检测系统进行旋锁检测的方法，步骤如下：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装多路图像采集装置，使得图像采集装置采集集装箱箱底数据的视场不被遮挡；

步骤2：图像采集装置采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库；提取每帧样本图像中旋锁的特征信息；统计特征信息并生成旋锁特征模型M；

步骤3：图像采集装置实时获取龙门吊作业场景图像发送给IO模块；IO模块采集图像采集装置输出的视频数据，并进行解析，生成图像数据；

步骤4：作业状态识别模块读取图像数据提取集装箱的特征图像，并判断集装箱的箱底的四角处于哪个摄像头的视场，进而确定集装箱的尺寸，相邻多帧图像的差异，判断集装箱是否吊起，如果吊起则将起吊信号及箱型发送给检测模块，执行步骤5，否则返回步骤3；

步骤5：检测模块接收到起吊信号及箱型后，读取该箱型对应的图像采集装置的图像数据；

步骤6：检测模块分别截取集装箱前侧和后侧周围像素子区域为待检测子区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统；否则返回步骤3。

提供一种利用所述的集装箱旋锁检测系统进行旋锁检测的方法，步骤如下：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装多路图像采集装置，使得图像采集装置采集集装箱箱底数据的视场不被遮挡；

步骤2：图像采集装置采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库；提取每帧样本图像中旋锁的特征信息；统计特征信息并生成旋锁特征模型M；

步骤3：图像采集装置实时获取龙门吊作业场景图像发送给IO模块；IO模块采集图像采集装置输出的视频数据，并进行解析，生成图像数据；

步骤4：IO模块还从龙门吊控制系统中获取起吊作业信号及箱型，判断正在执行集装箱起吊时，将起吊信号及箱型发送给检测模块，执行步骤5，否则返回步骤3；

步骤5：检测模块接收到起吊信号及箱型后，读取该箱型对应的图像采集装置的图像数据；

步骤6：检测模块分别截取集装箱前侧和后侧周围像素子区域为待检测子区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统；否则返回步骤3。

优选的，步骤6中如果存在匹配的模型，还包括计算旋锁位置计算，并保存旋锁位置信息。

本发明与现有技术相比具有如下优点：

(1)本发明利用机器视觉技术，实现对集装箱底部未摘除旋锁的自动检测、识别与跟踪，提高作业效率。

(2)本发明可将检测结果接入吊具控制电路，在异常工况下控制吊具停止作业，预防事故发生。

(3)本发明可选择进行图像截取集装箱边缘区域图像进行特征匹配，提高图像的处理速度。

(4)本发明能够自动识别起吊状态和箱型，减少对龙门控制装置的改动，通用性好。

附图说明

图1集装箱旋锁及位置示意图。

图2本发明集装箱旋锁检测的基础流程图。

图3具体实施方式一摄像设备安装位置示意图。

图4具体实施方式一系统流程图。

具体实施方式

一种集装箱旋锁检测系统，包括：采集系统，获取龙门吊操作集装箱的作业场景数据；

处理系统，与采集系统通讯连接，主要实现旋锁检测功能；包括检测模块、IO模块和作业状态识别模块。

采集系统的图像采集装置，采用多路摄像机或相机；安装在龙门的两个龙腿上，每个龙腿上设置两个图像采集装置，图像采集装置和卡车的车架高度一致或略高于小车架高度，第一和第二图像采集装置设置在一个龙腿上，第三和第四图像采集装置设置在另一个龙腿上；第二和第三图像采集装置距离龙门吊轴线的距离相同，在集装箱从卡车装卸到龙门吊的过程中，第二和第三图像采集装置的视场能覆盖到二十尺集装箱的箱底的四角；第一和第四图像采集装置距离龙门轴线的距离相同，在集装箱从卡车装卸到龙门的过程中，第一和第四图像采集装置的视场能覆盖到四十尺或四十五尺集装箱的箱底的四角；

检测模块，用于读取IO模块解析的图像数据，提取图像数据中目标的特征信息，经目标特征的识别与判断后得到检测结果。IO模块实现对采集系统传输数据的读取、解析并发送给检测模块以及将检测模块的检测结果输出给龙门的控制系统；作业状态识别模块接收IO模块读取、解析的图像数据，并判断集装箱是否有起吊趋势，如果有，则启动检测模块，如果没有则继续接收图像数据，并判断是否有起吊趋势。

IO模块同时采集四个图像采集装置输出的视频数据，并进行解析，生成图像数据；如果检测模块输出报警信号，IO模块将检测模块的报警信号输出给龙门吊控制系统。在一个实施例中，IO模块还从龙门吊控制系统中获取起吊作业信号及箱型，判断正在执行集装箱起吊，并将起吊信号及箱型发送给检测模块。

作业状态识别模块提取集装箱的特征图像，并判断集装箱的箱底的四角处于哪个摄像头的视场，如果处于第二和第三图像采集装置的视场，则判断为二十尺集装箱；如果处于第一和第四图像采集装置的视场，则判断为四十尺或四十五尺集装箱；根据相邻多帧图像的差异，判断集装箱是否吊起，如果吊起则将起吊信号及箱型发送给检测模块。检测模块接收到起吊信号及箱型后，读取该箱型对应的图像采集装置的图像数据；在一个实施例中，可以选择根据图像尺寸，截取集装箱边缘区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统。

下面结合附图和实施例来详细阐述本发明的具体实施方式。

所述的一种集装箱旋锁识别方法，其特征在于包括具体步骤如下：

实施例一：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装2路摄像机(共4路)，从车头端至车位段一次标记为1、2、3、4、号，分别用于获取不同尺寸集装箱前端和后端的图像信息。较佳的，同一个集装箱的同一端(前端或后端)的内、外两侧箱角始终同时出现在同一路摄像机中而不被遮挡。其中，摄像机安装位置如图2所示。

步骤2：初次使用或需要重新标定时，使用4路摄像机采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库。较佳的，未被摘除的旋锁应尽量包含各种型号，工作环境尽量覆盖各种天气，如雨天、雾天等。

提取每帧样本图像中旋锁的特征信息。

统计上述特征信息并生成旋锁特征模型M。

步骤3：采集系统使用步骤1中的摄像机实时获取龙门吊作业场景图像并通过网络输出给处理系统。较佳的，上述图像视场与步骤2中采样图像的视场相同。

步骤4：作业状态识别模块获取集装箱的尺寸，通过集装箱与集卡车架的运动趋势和相对关系判断集装箱是否具有起吊趋势，若存在起吊趋势则执行步骤5，反之返回步骤3。

步骤5：箱型检测模块通过读取步骤4所获取的图像自动识作业箱尺寸。通过检测当前帧图像和其前一帧图像的变化区域，根读取该箱型对应的图像采集装置的图像数据；

步骤6：基于集装箱尺寸数据，检测模块分别截取集装箱前侧和后侧周围(0.25×W)×(0.25×H)像素子区域为待检测子区域为ROI区域。其中W为采样图像的帧宽度，H为采样图像的帧高度。旋锁检测模块通过步骤2生成的模型M判断截取的子区域中检测并识别集装箱底部是否存在旋锁，如果存在旋锁则将检测结果信息输出给IO模块，由IO模块输出给龙门吊控制系统，通过PLC控制模块控制龙门吊停止作业。如果未检测到旋锁则返回步骤3。

实施例二：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装3路摄像机(共6路)，分别用于获取不同尺寸集装箱前端和后端的图像信息。较佳的，令同尺寸集装箱的同一端(前端或后端)的内、外两侧箱角始终同时出现在同一路摄像机中而不被遮挡。

步骤2：使用步骤1中安装的四路摄像机采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据。较佳的，未被摘除的旋锁应尽量包含各种型号，工作环境尽量覆盖各种天气，如雨天、雾天等。

提取每帧样本图像中旋锁的特征信息。

统计上述特征信息并生成模型M。

步骤3：图像采集装置实时获取龙门吊作业场景图像发送给IO模块；IO模块采集图像采集装置输出的视频数据，并进行解析，生成图像数据

步骤4：IO模块读取PLC控制模块的龙门吊作业信息获取功能实时获取龙门吊工作信息，当获取到起吊作业信号后及箱型执行步骤5。

步骤5：采集系统使用步骤1中的摄像机实时获取龙门吊作业场景图像并通过网络输出给处理系统。较佳的，实时采集的图像视场与步骤2中采样图像的视场相同。

步骤6：旋锁检测模块将实时获取的图像与步骤2生成的模型M进行匹配，若相似度大于一定阈值则认为旋锁存在，并将检测结果信息输出给IO模块，由IO模块输出给龙门吊系统，龙门吊系统通过PLC控制模块控制龙门吊停止作业。若未检测到旋锁，则通过数据管理模块保存检测结果相关信息，保存的信息主要为检测到旋锁时刻的图像或视频，还可以保存检测时间、旋锁相对采样图像的坐标值，旋锁位于集装箱的哪处箱角等，并返回步骤3。

可选的，若步骤6检测到存在旋锁，则继续计算旋锁位置信息。比如旋锁坐标值即为旋锁检测模块识别出的为旋锁区域的中心点位置在步骤6图像中的坐标值，并进行本地保存，便于事后分析。

以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (3)

1.一种利用集装箱旋锁检测系统进行旋锁检测的方法，其特征在于，步骤如下：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装多路图像采集装置，使得图像采集装置采集集装箱箱底数据的视场不被遮挡；

步骤2：图像采集装置采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库；提取每帧样本图像中旋锁的特征信息；统计特征信息并生成旋锁特征模型M；

步骤3：图像采集装置实时获取龙门吊作业场景图像发送给IO模块；IO模块采集图像采集装置输出的视频数据，并进行解析，生成图像数据；

步骤4：作业状态识别模块读取图像数据提取集装箱的特征图像，并判断集装箱的箱底的四角处于哪个摄像头的视场，进而确定集装箱的尺寸，相邻多帧图像的差异，判断集装箱是否吊起，如果吊起则将起吊信号及箱型发送给检测模块，执行步骤5，否则返回步骤3；

步骤5：检测模块接收到起吊信号及箱型后，读取该箱型对应的图像采集装置的图像数据；

步骤6：检测模块分别截取集装箱前侧和后侧周围像素子区域为待检测子区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统；否则返回步骤3；

集装箱旋锁检测系统，包括采集系统和处理系统；

采集系统的视场覆盖多种尺寸集装箱的箱底的四角，将采集的图像数据发送给处理系统；采集系统包括多组图像采集装置，视场分别覆盖不同箱型的箱底角；

处理系统包括检测模块和IO模块；IO模块采集采集系统输出的视频数据，并进行解析，生成图像数据；如果检测模块输出报警信号，IO模块将检测模块的报警信号输出给龙门吊控制系统；检测模块，在接收到起吊信号后读取IO模块解析的图像数据，判断集装箱的箱底是否有旋锁，如果有则输出报警信号；处理系统还包括作业状态识别模块，采集采集系统输出的视频数据，提取集装箱的特征图像，判断集装箱的箱型及是否吊起，如果吊起，则将起吊信号及箱型发送给检测模块。

2.一种利用集装箱旋锁检测系统进行旋锁检测的方法，其特征在于，步骤如下：

步骤1：在龙门吊前后两端龙腿旁立柱上分别安装多路图像采集装置，使得图像采集装置采集集装箱箱底数据的视场不被遮挡；

步骤2：图像采集装置采集一系列集装箱装卸过程中，旋锁未被全部摘除的异常工况图像数据，形成样本图像数据库；提取每帧样本图像中旋锁的特征信息；统计特征信息并生成旋锁特征模型M；

步骤3：图像采集装置实时获取龙门吊作业场景图像发送给IO模块；IO模块采集图像采集装置输出的视频数据，并进行解析，生成图像数据；

步骤4：IO模块还从龙门吊控制系统中获取起吊作业信号及箱型，判断正在执行集装箱起吊时，将起吊信号及箱型发送给检测模块，执行步骤5，否则返回步骤3；

步骤5：检测模块接收到起吊信号及箱型后，读取该箱型对应的图像采集装置的图像数据；

步骤6：检测模块分别截取集装箱前侧和后侧周围像素子区域为待检测子区域图像后与特征模型M对比，如果存在匹配的模型，则输出报警信号给IO模块，IO模块输出给龙门的控制系统；否则返回步骤3；

一种集装箱旋锁检测系统，包括采集系统和处理系统；

采集系统的视场覆盖多种尺寸集装箱的箱底的四角，将采集的图像数据发送给处理系统；采集系统包括多组图像采集装置，视场分别覆盖不同箱型的箱底角；

处理系统包括检测模块和IO模块；IO模块采集采集系统输出的视频数据，并进行解析，生成图像数据；如果检测模块输出报警信号，IO模块将检测模块的报警信号输出给龙门吊控制系统；检测模块，在接收到起吊信号后读取IO模块解析的图像数据，判断集装箱的箱底是否有旋锁，如果有则输出报警信号；

IO模块还从龙门吊控制系统中获取起吊作业信号及箱型，判断正在执行集装箱起吊时，将起吊信号及箱型发送给检测模块，检测模块读取该箱型对应的图像数据。

3.如权利要求2所述的旋锁检测的方法，其特征在于，步骤6中如果存在匹配的模型，还包括旋锁位置计算，并保存旋锁位置信息。

Images