CN109583317A - 一种基于地面识别的集装箱理货系统 - Google Patents

Abstract

本发明公开了一种基于地面识别的集装箱理货系统，包括桥吊，以及安装在桥吊上的摄像设备，所述摄像设备能够在吊具或集卡带动集装箱在桥吊内的每个车道进行装卸时都能完成关键对象的图像采集；后台终端设备与摄像设备网络连接；摄像设备采集的视频流数据实时传送至后台终端设备，后台终端设备接收并处理视频流数据以获得所需的关键对象的数据，并且将关键对象的数据与预设在所述后台终端设备内的数据进行对比识别，并将识别结果传输至显示设备显示；该理货系统在对集装箱进行识别时无需将其起吊后在空中进行识别，避免错误集装箱被抓起后需要再放回,另外在作业关键环节前就对作业现场进行关键信息与状态的处理，提高了自动化程度。

Description

一种基于地面识别的集装箱理货系统

技术领域

本发明涉及集装箱理货技术领域，具体涉及一种基于地面识别的集装箱理货系统。

背景技术

随着现代物流管理技术的发展，加快货物通道的管理自动化已成为十分紧迫的任务。对于码头来说，码头的集装箱吞吐量严重影响着码头的效益。

申请号201510126745.7的发明专利公开了一种港口集装箱全方位图形识别理货信息监测系统，包括码头桥吊，图像采集装置和后台终端设备，所述码头桥吊的联系梁设置获取集装箱箱面图像的图像采集装置，所述图像采集装置采集到的图像信号传输到后台终端设备显示。上述发明还提出了一种理货信息监测方法。上述发明使得理货人员无需到现场工作，解决了“人工验残”高危险、低效率、长耗时等问题。上述发明通过图像采集装置，实现对集装箱装卸作业过程中状态的自动采集，采集到的图像信息传输到后台终端设备，在后台终端设备上还需要理货员在后台对传输回来的图像进行识别，若箱体状态异常或发生变化则在后台设备需要理货员进行标识，并需要做好残损信息记录，该监测系统仍然需要人工进行记录，智能化程度不高；另外在集装箱起吊之后在空中进行识别，如果识别后发现集装箱有问题就需要放回，如此操作严重影响码头作业效率，影响集装箱的装卸速度，不利于整个港口的高速运作，而且在空中无法完成集装箱顶部是否有破损的识别；另外桥吊下面如果有多个车道时在空中识别就需要设置多个摄像设备，因此成本投入就比较大。

发明内容

本发明的目的在于克服现有技术上的缺陷，提供一种无需将集装箱吊起进行识别的，而且能在作业关键环节前就对集装箱信息进行采集并完全处理的集装箱理货系统。

到以上目的，本发明采用的技术方案为：

一种基于地面识别的集装箱理货系统，包括用于装卸集装箱的桥吊；摄像设备，所述摄像设备安装在桥吊上，所述摄像设备能够在吊具或集卡带动集装箱在桥吊内的每个车道进行装卸时都能完成关键对象的图像采集；

后台终端设备，所述后台终端设备与所述摄像设备网路连接；所述摄像设备采集的视频流数据实时传送至后台终端设备，所述后台终端设备接收并处理视频流数据以获得所需的关键对象的数据，并且将关键对象的数据与预设在所述后台终端设备内的数据进行对比识别，并将识别结果传输至显示设备显示。

通过上述技术方案，在对集装箱进行识别时无需将其起吊后在空中进行识别，大大提高了作业效率，而且在作业关键环节前就对作业现场进行采集并完全处理，提高了自动化程度，大大减少了人力的投入。

进一步的技术方案中，所述关键对象为吊具、集装箱、集卡车头、集卡拖板；通过上述关键对象信息的采集即可全面获知集装箱作业现场的信息。

进一步的技术方案中，所述摄像设备通过设定预置位主动寻找关键对象，摄像设备预先根据集卡带动集装箱在桥吊内的每个车道上时作为关键对象相对于摄像设备的相对位置，调整好摄像设备智能云台及镜头参数使摄像设备对准、聚焦关键对象，并将对应的的智能云台及镜头参数设定为与该操作步骤联锁的预置位，摄像设备执行操作指令时，自动调整智能云台及镜头至该执行操作指令对应操作步骤的预置位，摄取关键对象的数据。

进一步的技术方案中，所述摄像设备为四个高清摄像头，且其中两个高清摄像头分别安装在桥吊的左横梁和右横梁的中间位置，另外两个高清摄像头分别安装在桥吊的左前桥腿和右后桥腿上；该系统在多个车道上只需四个高清摄像头即可完成作业现场信息的采集，大大降低了设备投入成本，同时能实现集装箱五个面的抓拍，便于残损记录保存。

进一步的技术方案中，安装在桥吊左前桥腿和右后桥腿上的高清摄像头的安装高度其中a为相邻车道之间的间距，b为每个车道的宽度，c为集装箱侧面右上角箱号最下方一位字符到集装箱顶部的垂直距离，d为集装箱侧面右上角箱号最下方一位字符到地面的垂直距离，n为车道个数且n≤8；该设置使得高清摄像头在摄取画面时不会很小，而且不会降低识别率，同时又能满足集装箱上的箱号不会被遮挡。

通过上述技术方案，摄像头不能安装很高，如果太高，摄取画面视觉倾斜度太大，会降低箱号与箱类型识别率，所以需要计算一个角度合适的安装位置，又满足箱号不会被遮挡的要求且倾斜角度可容忍的程度。

进一步的技术方案中，所述后台终端设备处理视频流的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备是否到达预置位；当摄像设备到达预置位后执行步骤二；当摄像设备没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，检查识别视频流中的区域并识别视频流中集装箱箱号和箱型；

步骤三，判断视频流中否有新箱号，当有新箱号时后台终端设备记录新箱号以及新箱号在视频流中持续的时长，然后执行步骤四，当没有新箱号时直接执行步骤四；

步骤四，判断视频流中的图像是否稳定，当视频流中的图像稳定时，后台终端设备记录视频流中集装箱的箱号和稳定图像在视频流中的持续时长以及遮挡物信息，然后执行步骤五，当视频流中的图像不稳定为移动状态时，后台终端设备记录视频流中集装箱的箱号和移动图像在视频流中的移动时长以及遮挡物信息，然后执行步骤六；

步骤五，判断后台终端设备记录的图像稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像稳定、识别时间、已识别累计时长、遮挡物信息、遮挡时间；

步骤六，判断后台终端设备记录的图像不稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像移动、识别时间、已识别累计时长、遮挡物信息、遮挡时间。

通过上述技术方案，后台终端设备在处理视频流时，能够实现新到的车与之前已经到位(已识别过)的车的判断、过路车与非过路车的判断、以及当前作业车道与非当前作业车道车的判断，排除了地面识别的干扰，提高了识别的精准度。

进一步的技术方案中，所述后台终端设备通过处理视频流获取关键节点的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备是否到达预置位；当摄像设备到达预置位后执行步骤二；当摄像设备没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，通过视频流检查识别区域的作业动作，当集装箱与吊具一起上升，且集装箱箱号识别的图像由稳定状态转变为移动状态时依次执行步骤三至步骤六；当集装箱与吊具一起下降，且集装箱箱号识别的图像由运动状态转变为稳定状态时依次执行步骤七至步骤；

步骤三，后台终端设备记录装船动作和装船时间，以及集装箱装船的个数；

步骤四，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤五，当不能识别集装箱箱号和箱型时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出装船动作，以及记录的装船时间；

步骤五，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤六，判断是否有抓图，当有抓图时执行步骤一，当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一；

步骤七，后台终端设备记录卸船动作和卸船时间，以及集装箱卸船的个数；

步骤八，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤九，当不能识别集装箱箱号和箱型时执行步骤一；

步骤九，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤十，判断是否有抓图，当有抓图时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出卸船动作，以及记录的卸船时间；当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一。

通过上述技术方案，后台终端设备在处理视频流时，能够对车辆到位、吊具着箱闭锁、吊具起升、吊具带箱拉升、过前大梁、吊具下降、海侧开闭锁、空车满车等等机械作业的关键节点进行判断。

其中集卡是指：集装箱卡车。

有益效果：

该基于地面识别的集装箱理货系统在对集装箱进行识别时无需将其起吊后在空中进行识别，大大提高了作业效率，而且在作业关键环节前就对作业现场进行采集并完全处理，提高了自动化程度，大大减少了人力的投入；同时该理货系统只需四个高清摄像头即可完成对多个车道上集装箱信息的采集，大大降低了成本的；另外该理货系统通过一套判断逻辑，系统自动识别甄别真正需要作业的车辆，避免地面识别时，各种过路集卡、非作业集卡、暂时停留集卡的干扰；通过选用合适的识别算法，可以实现倾斜角度的箱号、箱型识别；通过能对关键对象(集卡车头、托板、吊具、集装箱)动作状态进行判断，实现作业逻辑与类型的判断；通过预置位自动跟踪关键对象，实现地面多个车道的自动判断与识别。

附图说明

图1为本发明中桥吊的部分结构示意图；

图2为桥吊的部分剖面结构示意图；

图3为后台终端设备处理视频流的方法流程图；

图4为后台终端设备通过处理视频流获取关键节点的方法流程图。

附图标记：1-桥吊；1a-左横梁；1b-右横梁；1c-左前桥腿；1d-右后桥腿；2-摄像设备。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

如图1-4所示，一种基于地面识别的集装箱理货系统，包括用于装卸集装箱的桥吊1；摄像设备2，所述摄像设备2优选为球机，利用球机SDK接口，根据不同场景光线与镜头灰尘，实现最佳图像质量参数动态调整与一键自动设置功能，能够解决晚上灯光、不同灯光色调、强烈光照对比场景图像对识别的影响。所述摄像设备2向下倾斜地设置的桥吊1上，所述摄像设备2能够在吊具带动集装箱在桥吊1内的每个车道进行装卸时都能完成关键对象图像采集；后台终端设备，所述后台终端设备与所述摄像设备2网络连接；所述摄像设备2采集的视频流数据实时传送至后台终端设备，所述后台终端设备接收并处理视频流数据以获得所需的关键对象的数据，并且将关键对象的数据与预设在所述后台终端设备内的数据进行对比识别，并将识别结果传输至显示设备显示。其中关键对象的数据为关键对象的动作与关键对象的标签。

其中所述关键对象为吊具、集装箱、集卡车头、集卡拖板；通过上述关键对象信息的采集即可全面获知集装箱作业现场的信息；其中集装箱的标识为箱号与箱型，集卡车头的标识为集卡号。

所述摄像设备2通过设定联动的预置位主动寻找关键对象，摄像设备2预先根据集卡带动集装箱在桥吊1内的每个车道上时作为关键对象相对于摄像设备2的相对位置，调整好摄像设备2智能云台及镜头参数使摄像设备2对准、聚焦关键对象，并将对应的的智能云台及镜头参数设定为与该操作步骤联锁的预置位，摄像设备2执行操作指令时，自动调整智能云台及镜头至该执行操作指令对应操作步骤的预置位，摄取关键对象的数据。

所述摄像设备2为四个高清摄像头，且其中两个高清摄像头分别安装在桥吊1的左横梁1a和右横梁1b的中间位置，另外两个高清摄像头分别安装在桥吊1的左前桥腿1c和右后桥腿1d上；该系统在多个车道上只需四个高清摄像头即可完成作业现场信息的采集，大大降低了设备投入成本。

安装在桥吊1左前桥腿1c和右后桥腿1d上的高清摄像头的安装高度其中a为相邻车道之间的间距，b为每个车道的宽度，c为集装箱侧面右上角箱号最下方一位字符到集装箱顶部的垂直距离，d为集装箱侧面右上角箱号最下方一位字符到地面的垂直距离，n为车道个数且n≤8；该设置使得高清摄像头在摄取画面时不会很小，而且不会降低识别率，同时又能满足集装箱上的箱号不会被遮挡。

所述后台终端设备处理视频流的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备2是否到达预置位；当摄像设备2到达预置位后执行步骤二；当摄像设备2没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，检查识别视频流中的区域并识别视频流中集装箱箱号和箱型；

步骤三，判断视频流中否有新箱号，当有新箱号时后台终端设备记录新箱号以及新箱号在视频流中持续的时长，然后执行步骤四，当没有新箱号时直接执行步骤四；

步骤四，判断视频流中的图像是否稳定，当视频流中的图像稳定时，后台终端设备记录视频流中集装箱的箱号和稳定图像在视频流中的持续时长以及遮挡物信息，然后执行步骤五，当视频流中的图像不稳定为移动状态时，后台终端设备记录视频流中集装箱的箱号和移动图像在视频流中的移动时长以及遮挡物信息，然后执行步骤六；

步骤五，判断后台终端设备记录的图像稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像稳定、识别时间、已识别累计时长、遮挡物信息、遮挡时间；

步骤六，判断后台终端设备记录的图像不稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像移动、识别时间、已识别累计时长、遮挡物信息、遮挡时间。

其中后台终端设备记录视频流中集装箱的箱号时，摄像设备根据可定义流程自动触发预置位实现铅封特写镜头与图片的抓取，并且保存记录，相比于通过PLC位置触发更加灵活可靠。

所述后台终端设备通过处理视频流获取关键节点的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备2是否到达预置位；当摄像设备2到达预置位后执行步骤二；当摄像设备2没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，通过视频流检查识别区域的作业动作，当集装箱与吊具一起上升，且集装箱箱号识别的图像由稳定状态转变为移动状态时依次执行步骤三至步骤六；当集装箱与吊具一起下降，且集装箱箱号识别的图像由运动状态转变为稳定状态时依次执行步骤七至步骤；

步骤三，后台终端设备记录装船动作和装船时间，以及集装箱装船的个数；

步骤四，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤五，当不能识别集装箱箱号和箱型时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出装船动作，以及记录的装船时间；

步骤五，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤六，判断是否有抓图，当有抓图时执行步骤一，当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一；

步骤七，后台终端设备记录卸船动作和卸船时间，以及集装箱卸船的个数；

步骤八，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤九，当不能识别集装箱箱号和箱型时执行步骤一；

步骤九，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤十，判断是否有抓图，当有抓图时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出卸船动作，以及记录的卸船时间；当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于地面识别的集装箱理货系统，其特征在于，包括用于装卸集装箱的桥吊；

摄像设备，所述摄像设备安装在桥吊上，所述摄像设备能够在吊具带动集装箱在桥吊内的每个车道进行装卸时都能完成关键对象的图像采集；

后台终端设备，所述后台终端设备与所述摄像设备网络连接；所述摄像设备采集的视频流数据实时传送至后台终端设备，所述后台终端设备接收并处理视频流数据以获得所需的关键对象的数据，并且将关键对象的数据与预设在所述后台终端设备内的数据进行对比识别，并将识别结果传输至显示设备显示。

2.如权利要求1所述的基于地面识别的集装箱理货系统，其特征在于，所述关键对象为吊具、集装箱、集卡车头、集卡拖板。

3.如权利要求2所述的基于地面识别的集装箱理货系统，其特征在于，所述摄像设备通过设定联动的预置位主动寻找关键对象，摄像设备预先根据吊具或集卡带动集装箱在桥吊内的每个车道上时作为关键对象相对于摄像设备的相对位置，调整好摄像设备智能云台及镜头参数使摄像设备对准、聚焦关键对象，并将对应的的智能云台及镜头参数设定为与该操作步骤联锁的预置位，摄像设备执行操作指令时，自动调整智能云台及镜头至该执行操作指令对应操作步骤的预置位，摄取关键对象的数据。

4.如权利要求1所述的基于地面识别的集装箱理货系统，其特征在于，所述摄像设备为四个高清摄像头，且其中两个高清摄像头分别安装在桥吊的左横梁和右横梁的中间位置，另外两个高清摄像头分别安装在桥吊的左前桥腿和右后桥腿上；

安装在桥吊左前桥腿和右后桥腿上的高清摄像头的安装高度其中a为相邻车道之间的间距，b为每个车道的宽度，c为集装箱侧面右上角箱号最下方一位字符到集装箱顶部的垂直距离，d为集装箱侧面右上角箱号最下方一位字符到地面的垂直距离，n为车道个数且n≤8。

5.如权利要求3所述的基于地面识别的集装箱理货系统，其特征在于，所述后台终端设备处理视频流的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备是否到达预置位；当摄像设备到达预置位后执行步骤二；当摄像设备没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，检查识别视频流中的区域并识别视频流中集装箱箱号和箱型；

步骤三，判断视频流中否有新箱号，当有新箱号时后台终端设备记录新箱号以及新箱号在视频流中持续的时长，然后执行步骤四，当没有新箱号时直接执行步骤四；

步骤四，判断视频流中的图像是否稳定，当视频流中的图像稳定时，后台终端设备记录视频流中集装箱的箱号和稳定图像在视频流中的持续时长以及遮挡物信息，然后执行步骤五，当视频流中的图像不稳定为移动状态时，后台终端设备记录视频流中集装箱的箱号和移动图像在视频流中的移动时长以及遮挡物信息，然后执行步骤六；

步骤五，判断后台终端设备记录的图像稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像稳定、识别时间、已识别累计时长、遮挡物信息、遮挡时间；

步骤六，判断后台终端设备记录的图像不稳定时的数据信息是否发送给显示设备，当信息发送时返回执行步骤一，当信息没有发送时发送箱号、箱型、图像移动、识别时间、已识别累计时长、遮挡物信息、遮挡时间。

6.如权利要求5所述的基于地面识别的集装箱理货系统，其特征在于，所述后台终端设备通过处理视频流获取关键节点的方法包括以下步骤：

步骤一，后台终端设备通过视频流中的图像检测判断摄像设备是否到达预置位；当摄像设备到达预置位后执行步骤二；当摄像设备没有到达预置位时，后台终端设备发出系统预警并提示手动操作，然后在执行步骤一；

步骤二，通过视频流检查识别区域的作业动作，当集装箱与吊具一起上升，且集装箱箱号识别的图像由稳定状态转变为移动状态时依次执行步骤三至步骤六；当集装箱与吊具一起下降，且集装箱箱号识别的图像由运动状态转变为稳定状态时依次执行步骤七至步骤；

步骤三，后台终端设备记录装船动作和装船时间，以及集装箱装船的个数；

步骤四，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤五，当不能识别集装箱箱号和箱型时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出装船动作，以及记录的装船时间；

步骤五，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤六，判断是否有抓图，当有抓图时执行步骤一，当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一；

步骤七，后台终端设备记录卸船动作和卸船时间，以及集装箱卸船的个数；

步骤八，后台终端设备根据视频流判断能否识别集装箱箱号和箱型，当能够识别集装箱箱号和箱型时执行步骤九，当不能识别集装箱箱号和箱型时执行步骤一；

步骤九，记录集装箱的箱号和箱型，稳定图像在视频流中的持续时长以及遮挡物信息；

步骤十，判断是否有抓图，当有抓图时后台终端设备输出最后识别的集装箱箱号和箱型以及遮挡物信息，并输出卸船动作，以及记录的卸船时间；当没有抓图时后台终端设备对视频流进行抓图，然后执行步骤一。