CN114132842A - 集装箱门式起重机堆场作业状态实时监测系统及监测方法 - Google Patents

Abstract

本发明涉及港口远程安全监测领域，公开了一种集装箱门式起重机堆场作业状态实时监测系统及监测方法，包括单机控制系统和中控室的远程操作台，单机控制系统与远程操作台通讯连接，包括单机PLC、若干网络摄像机、分布式处理平台；单机PLC控制起重机的作业，并将当前作业状态发至分布式处理平台；若干网络摄像机设于起重机不同位置，可实时拍摄不同视角下起重机运行动态或工作区域；分布式处理平台包括视频流接入模块、核心算法模块、PLC交互模块、报警信息输出模块和WEB服务器。本发明充分利用现有远控摄像机，计算处理单元分布式前置，融合起重机作业状态及多视角摄像机，多功能根据作业状态自动切换，智能化程度高，有效提升作业效率及安全防护等级。

Description

集装箱门式起重机堆场作业状态实时监测系统及监测方法

技术领域

本发明涉及港口远程安全监测领域，尤其涉及一种基于视觉识别的集装箱门式起重机堆场作业状态实时监测系统及监测方法。

背景技术

远程控制系统是港口工业的最新技术之一，远控司机在远程控制室(中控室)操作，而不是在码头现场港机设备司机室内进行操作，这给码头运营商带来了很多好处，例如，远控司机可远离噪音，工作环境更舒适，更加自由的工作空间，更高的作业效率，降低运营成本等。在远程操作台(remote operation station,ROS)，远控司机可以通过摄像机从港机设备传回的视频，看到港机设备的运行情况和工作区域；远控司机可以通过控制手柄或触摸屏上的按钮来控制港机设备；远控司机可以通过主屏幕显示的远程操作界面实时了解港机设备的运行状态；安装在港机设备上各个位置的摄像机给远控司机提供必要的视觉辅助。实际上，通过远程操作台可以在远程控制室实现与在港机设备司机室同样的功能。

本地操作切换到远程操作后，对作业安全及异常防护提出了更高的要求；同时为了满足远程控制室的司机操作需求及传统人工巡检需求，当前起重机上安装了多台摄像机，基本覆盖了起重机的所有作业视角，但目前现有远控摄像机利用率低，对作业状态的监测还是多依赖于人工视觉观察，智能化程度低。为此，申请人研究开发出融合起重机作业状态及多视角摄像机的状态监测系统，其高效利用现有远程设备自身的摄像机，可辅助或逐步取代传统人工巡检，智能化程度高，可有效提高作业效率及安全防护等级。

发明内容

针对现有技术中存在的缺陷和不足，本发明提出一种集装箱门式起重机堆场作业状态实时监测系统及监测方法，其充分利用现有远控摄像机，计算处理单元分布式前置，高效融合起重机作业状态及多视角摄像机，多功能根据作业状态可自动切换，智能化程度高，有效提升了作业效率及安全防护等级。

本发明上述目的通过以下技术方案实现：

集装箱门式起重机堆场作业状态实时监测系统，包括设于集装箱门式起重机上的单机控制系统和设于中控室的远程操作台，所述单机控制系统与远程操作台通讯连接，且包括有单机PLC、若干网络摄像机、及分布式处理平台；其中，

所述单机PLC控制起重机的作业，并可将起重机当前作业状态信息发送至分布式处理平台；

所述若干网络摄像机布设于起重机不同位置，可实时拍摄不同作业视角下起重机的运行动态或工作区域；

所述远程操作台设有可显示远程操作界面的主屏幕，便于远控司机进行远控操作；

所述分布式处理平台包括：

视频流接入模块，负责网络摄像机拍摄的视频数据接入与转发；

核心算法模块，负责根据网络摄像机拍摄的实时画面完成大车防撞监测、箱门朝向确认、堆场及集装箱状态确认、箱体变形检测，并得出相应的作业安全及异常防护监测结果；

PLC交互模块，负责与单机PLC进行交互，获取起重机当前作业状态信息，传送动作指令；

报警信息输出模块，根据作业安全及异常防护监测结果将相应的报警信息发送至远程操作台，及时给出安全隐患提示；

WEB服务器，提供远程访问入口，便于历史记录查询、网络摄像机标定参数设定及系统的预设配置。

优选的，所述若干网络摄像机包括：

用于大车防撞监测的网络摄像机，共四台，分别安装于起重机的卷盘侧大车左、卷盘侧大车右、非卷盘侧大车左和非卷盘侧大车右；

用于箱门朝向确认的网络摄像机，共用用于拍摄集卡车顶号的两台卷盘侧集卡摄像机和两台非卷盘侧集卡摄像机；

用于堆场及集装箱状态确认的网络摄像机，共六台，其中两台安装于起重机小车架前后，其余四台安装于起重机吊具锁销内侧；

用于箱体变形检测的网络摄像机，共六台，其中四台安装于起重机吊具锁销内侧，其余两台安装于起重机小车架前后。

优选的，所述分布式处理平台采用8核ARM V8.2 64位CPU，512核Volta GPU，32GB内存。

优选的，所述分布式处理平台通过起重机电气房内的汇聚交换机分别与所述若干网络摄像机及远程操作台TCP通信连接。

优选的，所述远程操作台还设有控制手柄，所述主屏幕为触摸显示屏，远控司机可通过所述控制手柄或触摸显示屏上的按钮进行远程操作。

优选的，所述中控室部署有多台远程操作台，根据实际作业需求，各起重机上的分布式处理平台可切换连接至某一远程操作台。

优选的，所述核心算法模块运行包括多个深度神经网络的程序，所述多个深度神经网络包括实现不同检测任务的多个检测网络和实现不同分割任务的多个分割网络。

本发明还提出一种集装箱门式起重机堆场作业状态实时监测方法，采用上述的监测系统，包括以下步骤：

S1：起重机上的分布式处理平台按照预设频率扫描单机PLC点位，以获取起重机当前作业状态信息、并根据当前作业状态选择相应功能模块的使能和关闭，实现自动切换，其中，不同的PLC点位值对应于起重机不同的当前作业状态；

S2：调用视频流接入模块，连接相应网络摄像机视频流，拉取画面的原始码流信息，通过分布式处理平台的硬件解码模块获取起重机当前运行动态或工作区域的实时画面，并将画面推送至核心算法模块；

S3：核心算法模块中相应的检测网络和分割网络对当前实时画面进行处理、计算、比较，得出该作业状态下的作业安全及异常防护监测结果，当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理、同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认，远控司机作出判断后，分布式处理平台向单机PLC发送相应的动作指令。

进一步地，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是大车行走信号及方向，核心算法模块的算法运行模式设定为大车行走，大车防撞功能使能，则步骤S3中，可行驶区域分割网络对可行驶区域进行像素级分割，障碍物检测网络计算得到障碍物具体位置信息，根据障碍物具体位置与分割后的可行驶区域之间的距离，同预先设定的报警阈值进行比较，获取当前起重机行走危险态势评估，按正常、减速、停止三个不同等级进行相应处理；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具闭锁信号&吊具起升，核心算法模块的算法运行模式设定为已抓箱，箱门朝向确认功能使能，则步骤S3中，集装箱及箱门检测网络对当前实时画面处理、获取当前集装箱的位置和箱门位置信息，综合考虑二者的空间位置关系，同箱门允许出现在画面的预先指定侧比较，根据正常、异常进行相应处理；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具开锁信号&吊具起升，核心算法模块的算法运行模式设定为已放箱，堆场及集装箱状态确认功能使能，则步骤S3中，集装箱检测网络检测两个贝位之间的集装箱缝隙，根据缝隙大小判断堆场地面是否存在不平隐患以及判断堆场集装箱相邻贝、相邻列的缝隙是否存在安全隐患；通过集装箱检测网络获取当前画面中集装箱位置，再级联集装箱分割网络，将该集装箱多个面进行分割，将分割出来的集装箱单个平面送入分类网络，判断当前集装箱是否存在大肚、污损、变形；堆场画面推送至烟雾、火焰检测网络，当检测结果出现烟雾、火焰时，判断存在火灾隐患；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具下降&吊具与锁孔对位信号，核心算法模块的算法运行模式设定为抓箱，箱体变形检测功能使能，则步骤S3中，集装箱检测网络分别对各相应网络摄像机拍摄的当前画面进行锁头及横梁检测，将检测出的锁孔和横梁面积大小与预设阈值比较，小于预设阈值时，当前吊具位置不进行判断处理；当锁孔和横梁面积大于预设阈值时，将锁孔和横梁画面切割后送入分类网络，判断当前集装箱的锁头是否有杂物，横梁是否存在变形。

进一步地，所述步骤S3中，当远控司机判断误报时，分布式处理平台向单机PLC发送相应的动作指令，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其中的算法包括：

①数据随机混合增强：将数据量较少的异常图片和随机选取的正常图片进行混合，分别按照两张、三张、四张进行缩放拼接，得到一张包含异常信息的新的图片，作为新的数据进行算法权重更新，以提高异常数据训练集数量、提升准确率；

②数据随机噪声增强：对人工标注好的前期收集的图片和系统运行过程中人工系统校正的图片，增加随机噪声，产生新的数据集进行训练；

③多尺度检测：获取摄像机实时视频画面，将原分辨率画面进行金字塔尺度变化得到不同尺寸新的待检测样本，送入相应检测网络后获取多个尺度下的检测输出结果，对目标检测结果标签融合判断，以获得更加精准的结果输出。

与现有技术相比，本发明技术方案的有益效果是：

本发明充分利用现有远控摄像机，不新增摄像机安装点位，节省硬件数量和成本；在起重机上增设分布式处理平台，计算处理单元前置，不增加起重机单机对外带宽需求，形成分布式处理架构；高效融合起重机作业状态及多视角摄像机，多功能根据作业状态可自动切换；采用视频融合处理策略，可有效降低大车碰撞事故；对箱门朝向实时确认，降低箱门朝向异常带来的经济损失和作业效率的下降；对堆场和集装箱状态，利用作业视角，自动化、智能化分析，完成集装箱破损和堆场损坏的早发现、早处理，降低安全生产事故；对堆场的冒烟、火焰进行检测，提高安全事故预警的及时性，减少事故发生；本系统智能化程度高，有效提升了作业效率及安全防护等级，还可与ECS、TOS等多系统进行联动，拓展更多的应用功能。

本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

图1本发明的集装箱门式起重机堆场作业状态实时监测系统示意图；

图2本发明的集装箱门式起重机堆场作业状态实时监测系统流程示意图；

图中：中控室1、远程操作台11、单机控制系统2、单机PLC 21、网络摄像机22、分布式处理平台23。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接连接，可以说两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明的具体含义。术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

下面结合附图和实施例对本发明的技术方案作进一步的说明。

如图1所示，本实施例的集装箱门式起重机堆场作业状态实时监测系统，包括设于集装箱门式起重机上的单机控制系统2和设于中控室1的远程操作台11，所述单机控制系统与远程操作台通讯连接，且包括有单机PLC 21、若干网络摄像机22、及分布式处理平台23。其中，所述单机PLC控制起重机的作业，并可将起重机当前作业状态信息发送至分布式处理平台；所述若干网络摄像机布设于起重机不同位置，可实时拍摄不同作业视角下起重机的运行动态或工作区域；所述远程操作台设有可显示远程操作界面的主屏幕，便于远控司机进行远控操作；所述分布式处理平台23包括视频流接入模块、核心算法模块、PLC交互模块、报警信息输出模块和WEB服务器，其中，视频流接入模块负责网络摄像机22拍摄的视频数据接入与转发，核心算法模块负责根据网络摄像机拍摄的实时画面完成大车防撞监测、箱门朝向确认、堆场及集装箱状态确认、箱体变形检测并得出相应的作业安全及异常防护监测结果，PLC交互模块负责与单机PLC 21进行交互、获取起重机当前作业状态信息及传送动作指令等，报警信息输出模块根据作业安全及异常防护监测结果将相应的报警信息发送至远程操作台11、及时给出安全隐患提示，WEB服务器提供便于历史记录查询、网络摄像机标定参数设定及系统预设配置的远程访问入口。

本实施例中，所述若干网络摄像机利用起重机上现有布设的远控摄像机，具体来说，利用分别安装于起重机的卷盘侧大车左(该位置可观察大车向左运行过程中，卷盘侧车道上是否有人或者其他障碍物)、卷盘侧大车右(该位置可观察大车向右运行过程中，卷盘侧车道上是否有人或者其他障碍物)、非卷盘侧大车左(该位置可观察大车向左运行过程中，非卷盘侧车道上是否有人或者其他障碍物)和非卷盘侧大车右(该位置可观察大车向右运行过程中，非卷盘侧车道上是否有人或者其他障碍物)的四台摄像机作为本系统中用于大车防撞监测的网络摄像机；利用用于拍摄集卡车顶号的两台卷盘侧集卡摄像机和两台非卷盘侧集卡摄像机兼作本系统中用于箱门朝向确认的网络摄像机；利用安装于起重机小车架前后的两台摄像机(可从小车架观察吊具集装箱长边侧导板区域的情况)和安装于起重机吊具锁销内侧的四台摄像机(可观察吊具与集装箱锁孔对位)兼作本系统中用于堆场及集装箱状态确认的网络摄像机；还利用所述安装于起重机吊具锁销内侧的四台摄像机兼作本系统中用于箱体变形检测的网络摄像机，并利用安装于起重机小车架前后的两台摄像机进行辅助。如此，充分利用现有远控摄像机，不新增摄像机安装点位，节省硬件数量和成本。

其中，分布式处理平台23优选8核ARM V8.2 64位CPU，512核Volta GPU，32GB内存，其通过起重机电气房内的汇聚交换机分别与所述若干网络摄像机及远程操作台TCP通信连接。为满足高带宽、长距离传输需求，汇聚交换机与中控室远程操作台之间采用单模光纤连接。可以理解的是，在港口码头进行作业的集装箱门式起重机有多台，中控室1部署的远程操作台11也有多台(图中仅示出一台)，根据实际作业需求，各起重机上的分布式处理平台23可切换连接至某一远程操作台11，每台远程操作台由一名远控司机操作。为方便操作，所述远程操作台还设有控制手柄，所述主屏幕为触摸显示屏，远控司机可通过控制手柄或触摸显示屏上的按钮进行远程操作。

其中，所述核心算法模块运行包括多个深度神经网络的程序，多个深度神经网络具体如：障碍物检测、集装箱及箱门检测等检测网络，可行驶区域分割、集装箱分割等分割网络，以实现不同检测任务或不同分割任务。公知的，深度神经网络是由一些基本图像操作组成的网络结构，包括图像的卷积、池化等操作，通过不同的组合方式达到检测和分割的功能效果。深度神经网络的运行主要包括两个阶段：训练和推理。训练过程中输入的是图像和相应的标签数据(对于检测网络，是各个目标的图像坐标；对于分割网络，是像素点的属性标记)，通过不断的迭代网络输出结果与真实的标签数据对比，调整网络中的一些参数，最终得到包含参数的网络模型；推理过程中输入的是图像，输出的就是相应结果(目标位置、像素点属性)。可以理解的是，检测网络即输出是目标类别和位置的深度神经网络；分割网络即输出是每个像素点属性的深度神经网络。

运用上述的监测系统进行集装箱门式起重机堆场作业状态实时监测的方法，包括以下步骤：

S1：起重机上的分布式处理平台按照预设的一定频率不断扫描单机PLC点位，以获取起重机当前作业状态信息、并根据当前作业状态选择相应功能模块的使能和关闭，实现自动切换，其中，不同的PLC点位值对应于起重机不同的当前作业状态。需说明的是：根据当前作业状态，单机PLC中有相关的信号使能，例如，当起重机处于行走模式时，对应的PLC点位置位；当前作业状态改变，相应地，PLC点位值改变，分布式处理平台通过不断扫描单机PLC点位，捕捉点位变化，以便及时解析出当前作业状态。

S2：调用视频流接入模块，根据获取的起重机当前作业状态，连接相应网络摄像机视频流，拉取画面的原始码流信息，通过分布式处理平台的硬件解码模块获取起重机当前运行动态或工作区域的实时画面，并将画面推送至核心算法模块。需说明的是，本系统中的硬件解码模块是基于NvidiaJetson Xavier系列的边缘计算设备，主要包括用于逻辑处理的CPU(基于Arm架构)和用于AI计算的GPU。

S3：如图2所示，核心算法模块中相应的检测网络和分割网络对当前实时画面进行处理、计算、比较，得出该作业状态下的作业安全及异常防护监测结果，当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理、同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认，远控司机作出判断后，分布式处理平台向单机PLC发送相应的动作指令。

进一步地，在一具体实施方式中，该监测系统应用于以下几个方面：

(1)大车防撞。本发明利用可对行走方向进行全覆盖的四台网络摄像机，利用深度学习训练起重机可通行区域及障碍物检测模型，与起重机单机PLC进行联动，当大车行走时，对前进方向的视频画面进行实时计算处理，出现异常情况立即联动单机PLC进行减速或停止处理，同时将报警信息和当前监测视频弹窗推送给远控司机，提醒其及时对异常情况进行确认。具体来说，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是大车行走信号及方向，核心算法模块的算法运行模式设定为大车行走，大车防撞功能使能，则步骤S3中，可行驶区域分割网络对可行驶区域进行像素级分割，障碍物检测网络计算得到障碍物具体位置信息，根据障碍物具体位置与分割后的可行驶区域之间的距离，同预先设定的报警阈值进行比较，获取当前起重机行走危险态势评估，按正常、减速、停止三个不同等级进行相应处理。当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理(减速或停止)，同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认。若远控司机确认该安全隐患，分布式处理平台向单机PLC发送相应的动作指令(维持减速或停止)；若远控司机判断该安全隐患为误报，分布式处理平台向单机PLC发送相应的动作指令(取消减速或停止)，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其中的算法包括：①数据随机混合增强：将数据量较少的异常图片和随机选取的正常图片进行混合，分别按照两张、三张、四张进行缩放拼接，得到一张包含异常信息的新的图片，作为新的数据进行算法权重更新，以提高异常数据训练集数量、提升准确率；②数据随机噪声增强：对人工标注好的前期收集的图片和系统运行过程中人工系统校正的图片，增加随机噪声(比如，图片增加噪点、随机擦除部分内容或随机旋转)，产生新的数据集进行训练；③多尺度检测：获取摄像机实时视频画面，将原分辨率画面进行金字塔尺度变化得到不同尺寸新的待检测样本，送入相应检测网络后获取多个尺度下的检测输出结果，对目标检测结果标签融合判断，以获得更加精准的结果输出，提高系统的监测准确率。

(2)箱门朝向确认。按照运输规范，集装箱箱门需要朝向集卡车尾方向，箱门朝向异常会带来作业成本支出和安全隐患。一般箱门朝向确认，需要安装单独的理货软件，安装单独的摄像机检测分析，增加了系统冗余和硬件成本。利用安装在起重机上的用于拍摄集卡车顶号的四台集卡摄像机在作业时自动判断箱门朝向信息，发现异常时及时给出报警信息到远控司机操作界面，及时中断异常作业流程，减少事后修改操作时间，提高生产效率。具体来说，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具闭锁信号&吊具起升，核心算法模块的算法运行模式设定为已抓箱，箱门朝向确认功能使能，则步骤S3中，集装箱及箱门检测网络对当前实时画面处理、获取当前集装箱的位置和箱门位置信息，综合考虑二者的空间位置关系，同箱门允许出现在画面的预先指定侧(比如，指定左侧)比较，根据正常、异常进行相应处理。当监测结果提示箱门朝向异常(与指定侧不一致)时，分布式处理平台即联动单机PLC作相应处理(停止吊具起升)，同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认。若远控司机确认箱门朝向异常，分布式处理平台向单机PLC发送相应的动作指令(按码头堆场管理规则，异常处理)；若远控司机判断此次箱门朝向异常为误报，分布式处理平台向单机PLC发送相应的动作指令(恢复吊具起升)，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其算法处理同上，此处不再赘述。

(3)堆场及集装箱状态确认。在堆场堆放的集装箱，由于超重等原因，会对堆场产生破坏，造成堆场下陷损坏；由于集装箱破损等原因，可能会造成集装箱物品泄露；堆场在夏季处于高温状态，对于易燃货物会造成火灾安全隐患。传统手段多依靠人工巡检，效率较低，不能及时发现隐患点。利用安装于起重机小车架前后的两台摄像机和安装于起重机吊具锁销内侧的四台摄像机对作业范围内的集装箱进行全面监测，及时发现安全隐患点，智能化程度极大提高，效率极大提升。具体来说，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具开锁信号&吊具起升，核心算法模块的算法运行模式设定为已放箱，堆场及集装箱状态确认功能使能，则步骤S3中，集装箱检测网络检测该集装箱与相邻贝位集装箱之间的缝隙(检测集装箱边沿位置->根据摄像机标定信息，如高度、分辨率、视场角等->计算出缝隙)，根据缝隙大小判断堆场地面是否存在不平隐患以及判断堆场集装箱相邻贝、相邻列的缝隙是否存在安全隐患；通过集装箱检测网络获取当前画面中集装箱位置，再级联集装箱分割网络，将该集装箱的多个面(顶面和四个侧面)进行分割，将分割出来的集装箱单个平面送入分类网络，判断当前集装箱是否存在大肚、污损、变形等异常；堆场画面推送至烟雾、火焰检测网络，当检测结果出现烟雾、火焰时，判断存在火灾隐患。当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理(发出告警信号)，同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认。若远控司机确认该安全隐患，分布式处理平台向单机PLC发送相应的动作指令(继续发出告警信号)；若远控司机判断该安全隐患为误报，分布式处理平台向单机PLC发送相应的动作指令(取消告警信号)，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其算法处理同前，此处不再赘述。

(4)箱体变形检测。在起重机作业时，要求锁孔轮廓完好。箱角、横梁、箱柱的变形或者锁孔的杂物堵塞可能会造成吊具闭锁受阻，导致作业事故。在传统作业过程中，对变形判断只能依赖司机人工判别，容易造成漏判、误判。利用安装于起重机吊具锁销内侧的四台摄像机(通常称之为吊具相机)和安装于起重机小车架前后的两台摄像机(该六台摄像机也用于前述的堆场及集装箱状态确认)，对作业操作的每一个集装箱进行变形检测，提高了作业安全。具体来说，当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具下降&吊具与锁孔对位信号，核心算法模块的算法运行模式设定为抓箱，箱体变形检测功能使能，则步骤S3中，集装箱检测网络分别对各相应网络摄像机拍摄的当前画面进行锁头及横梁检测，将检测出的锁孔和横梁面积大小与预设阈值比较，小于预设阈值时，当前吊具位置不进行判断处理；当锁孔和横梁面积大于预设阈值时，将锁孔和横梁画面切割后送入分类网络，判断当前集装箱的锁头是否有杂物，横梁是否存在变形。当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理(停止抓箱)，同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认。若远控司机确认该安全隐患，分布式处理平台向单机PLC发送相应的动作指令(继续停止抓箱)；若远控司机判断该安全隐患为误报，分布式处理平台向单机PLC发送相应的动作指令(恢复抓箱)，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其算法处理同前，此处不再赘述。

除了以上应用，本发明中的监测系统还可与ECS、TOS等多系统进行联动，拓展更多的应用功能。

以上所述，仅为本发明的较佳的具体实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (10)

1.集装箱门式起重机堆场作业状态实时监测系统，其特征在于，包括设于集装箱门式起重机上的单机控制系统和设于中控室的远程操作台，所述单机控制系统与远程操作台通讯连接，且包括有单机PLC、若干网络摄像机、及分布式处理平台；其中，

所述单机PLC控制起重机的作业，并可将起重机当前作业状态信息发送至分布式处理平台；

所述若干网络摄像机布设于起重机不同位置，可实时拍摄不同作业视角下起重机的运行动态或工作区域；

所述远程操作台设有可显示远程操作界面的主屏幕，便于远控司机进行远控操作；

所述分布式处理平台包括：

视频流接入模块，负责网络摄像机拍摄的视频数据接入与转发；

核心算法模块，负责根据网络摄像机拍摄的实时画面完成大车防撞监测、箱门朝向确认、堆场及集装箱状态确认、箱体变形检测，并得出相应的作业安全及异常防护监测结果；

PLC交互模块，负责与单机PLC进行交互，获取起重机当前作业状态信息，传送动作指令；

报警信息输出模块，根据作业安全及异常防护监测结果将相应的报警信息发送至远程操作台，及时给出安全隐患提示；

WEB服务器，提供远程访问入口，便于历史记录查询、网络摄像机标定参数设定及系统的预设配置。

2.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述若干网络摄像机包括：

用于大车防撞监测的网络摄像机，共四台，分别安装于起重机的卷盘侧大车左、卷盘侧大车右、非卷盘侧大车左和非卷盘侧大车右；

用于箱门朝向确认的网络摄像机，共用用于拍摄集卡车顶号的两台卷盘侧集卡摄像机和两台非卷盘侧集卡摄像机；

用于堆场及集装箱状态确认的网络摄像机，共六台，其中两台安装于起重机小车架前后，其余四台安装于起重机吊具锁销内侧；

用于箱体变形检测的网络摄像机，共六台，其中四台安装于起重机吊具锁销内侧，其余两台安装于起重机小车架前后。

3.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述分布式处理平台采用8核ARM V8.2 64位CPU，512核Volta GPU，32GB内存。

4.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述分布式处理平台通过起重机电气房内的汇聚交换机分别与所述若干网络摄像机及远程操作台TCP通信连接。

5.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述远程操作台还设有控制手柄，所述主屏幕为触摸显示屏，远控司机可通过所述控制手柄或触摸显示屏上的按钮进行远程操作。

6.根据权利要求1所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述中控室部署有多台远程操作台，根据实际作业需求，各起重机上的分布式处理平台可切换连接至某一远程操作台。

7.根据权利要求1～6中任一项所述的集装箱门式起重机堆场作业状态实时监测系统，其特征在于，所述核心算法模块运行包括多个深度神经网络的程序，所述多个深度神经网络包括实现不同检测任务的多个检测网络和实现不同分割任务的多个分割网络。

8.集装箱门式起重机堆场作业状态实时监测方法，其特征在于，采用如权利要求7所述的监测系统，包括以下步骤：

S1：起重机上的分布式处理平台按照预设频率扫描单机PLC点位，以获取起重机当前作业状态信息、并根据当前作业状态选择相应功能模块的使能和关闭，实现自动切换，其中，不同的PLC点位值对应于起重机不同的当前作业状态；

S2：调用视频流接入模块，连接相应网络摄像机视频流，拉取画面的原始码流信息，通过分布式处理平台的硬件解码模块获取起重机当前运行动态或工作区域的实时画面，并将画面推送至核心算法模块；

S3：核心算法模块中相应的检测网络和分割网络对当前实时画面进行处理、计算、比较，得出该作业状态下的作业安全及异常防护监测结果，当监测结果提示安全隐患时，分布式处理平台即联动单机PLC作相应处理、同时向远程操作台发送报警信息及推送当前监测视频弹窗，提示远控司机进行确认，远控司机作出判断后，分布式处理平台向单机PLC发送相应的动作指令。

9.根据权利要求8所述的集装箱门式起重机堆场作业状态实时监测方法，其特征在于：

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是大车行走信号及方向，核心算法模块的算法运行模式设定为大车行走，大车防撞功能使能，则步骤S3中，可行驶区域分割网络对可行驶区域进行像素级分割，障碍物检测网络计算得到障碍物具体位置信息，根据障碍物具体位置与分割后的可行驶区域之间的距离，同预先设定的报警阈值进行比较，获取当前起重机行走危险态势评估，按正常、减速、停止三个不同等级进行相应处理；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具闭锁信号&吊具起升，核心算法模块的算法运行模式设定为已抓箱，箱门朝向确认功能使能，则步骤S3中，集装箱及箱门检测网络对当前实时画面处理、获取当前集装箱的位置和箱门位置信息，综合考虑二者的空间位置关系，同箱门允许出现在画面的预先指定侧比较，根据正常、异常进行相应处理；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具开锁信号&吊具起升，核心算法模块的算法运行模式设定为已放箱，堆场及集装箱状态确认功能使能，则步骤S3中，集装箱检测网络检测两个贝位之间的集装箱缝隙，根据缝隙大小判断堆场地面是否存在不平隐患以及判断堆场集装箱相邻贝、相邻列的缝隙是否存在安全隐患；通过集装箱检测网络获取当前画面中集装箱位置，再级联集装箱分割网络，将该集装箱多个面进行分割，将分割出来的集装箱单个平面送入分类网络，判断当前集装箱是否存在大肚、污损、变形；堆场画面推送至烟雾、火焰检测网络，当检测结果出现烟雾、火焰时，判断存在火灾隐患；

当步骤S1中分布式处理平台根据扫描到的PLC点位获得的是吊具下降&吊具与锁孔对位信号，核心算法模块的算法运行模式设定为抓箱，箱体变形检测功能使能，则步骤S3中，集装箱检测网络分别对各相应网络摄像机拍摄的当前画面进行锁头及横梁检测，将检测出的锁孔和横梁面积大小与预设阈值比较，小于预设阈值时，当前吊具位置不进行判断处理；当锁孔和横梁面积大于预设阈值时，将锁孔和横梁画面切割后送入分类网络，判断当前集装箱的锁头是否有杂物，横梁是否存在变形。

10.根据权利要求9所述的集装箱门式起重机堆场作业状态实时监测方法，其特征在于，所述步骤S3中，当远控司机判断误报时，分布式处理平台向单机PLC发送相应的动作指令，同时核心算法模块将当前检测图片存入训练更新路径，与之相应的基于深度学习的检测网络权重值更新，其中的算法包括：

①数据随机混合增强：将数据量较少的异常图片和随机选取的正常图片进行混合，分别按照两张、三张、四张进行缩放拼接，得到一张包含异常信息的新的图片，作为新的数据进行算法权重更新，以提高异常数据训练集数量、提升准确率；

②数据随机噪声增强：对人工标注好的前期收集的图片和系统运行过程中人工系统校正的图片，增加随机噪声，产生新的数据集进行训练；

③多尺度检测：获取摄像机实时视频画面，将原分辨率画面进行金字塔尺度变化得到不同尺寸新的待检测样本，送入相应检测网络后获取多个尺度下的检测输出结果，对目标检测结果标签融合判断，以获得更加精准的结果输出。

Images