CN113658255A - 集装箱堆存位置自动识别系统及识别方法 - Google Patents

Abstract

本发明涉及集装箱堆存位置自动识别系统及识别方法。所述自动识别系统，包括识别摄像头组、带无线传输模块的工控机、识别摄像头组分别电连接的堆位识别子系统和箱号识别子系统，堆位识别子系统与箱号识别子系统共同接入带无线传输模块的工控机，带无线传输模块的工控机经高精度定位子系统电连接厘米级差分定位模块，带无线传输模块的工控机连接后台管理系统；自动识别系统还包括网络结构。自动识别方法，包括步骤：⑴对堆场堆位进行编码；⑵堆场3D建模；⑶堆存定位；⑷箱号识别；⑸数据入库；⑹数据检索。

Description

集装箱堆存位置自动识别系统及识别方法

技术领域

本发明属于集装箱技术领域，特别涉及一种集装箱堆存位置自动识别系统及识别方法。

背景技术

目前在港口等集装箱堆场的集装箱堆存位置大都采用提前给集装箱指定堆存位置(场、贝、位、列、层构成了一个实际的放箱位置，称为场位)，然后集卡司机将集装箱拖运到指定区域，由龙门吊等作业设备按照指令操作将集装箱堆存到指定位置，然后做好记录，确认集装箱作业，系统更新堆场数据。如果现场原先指定的位置已经存在有集装箱，集装箱放置在新的位置，则记录实际的堆存位置，形成理货报告，根据理货报告在系统中确认操作，系统更新堆场数据，并记录操作日志。

这种方式的一个问题是，必须提前制定严格的堆场计划，经常发生集装箱到达指定位置后，因为各种原因集装箱并不能按照堆场计划堆存到指定位置，新的实际堆存位置需要通过理货报告提交后台系统进行堆存位置确认和更新，环节多、效率低。

另外，由于堆场计划做的不好和码头不可控制的随机因素的影响，堆场常会发生倒箱，主要原因如：不同船名、航次的重箱混合进场，可能产生不走船箱子压走船箱子的现象，为顺利进行装船作业，需将走船的集装箱取出，放至适当位置；船公司临时改变某集装箱的航次或目的港，码头必须修改装卸船计划，导致部分集装箱必须倒箱；特殊箱型的重箱由于在船上比较有固定的位置，装卸作业前必须在堆场内单独堆放，以便于装箱，从而导致倒箱，如冷藏箱、危险箱、框架箱、高箱等；进口重箱发放给收货人或内陆承运人时，所产生的倒箱也是比较常见的，因为他们来码头提箱是陆续和随机的，不可避免地要产生倒箱。

倒箱时，由于现场作业随意性的问题，需要在倒箱完成后将移动的箱位准确及时记录下来，形成理货报告到后台系统进行箱位的更新。由于现场作业的随意性和现场人工记录的不清晰、不准确，经常会发生箱位记录错误。从而导致在堆场经常根据箱位找不到集装箱的情况。同样，现场人工记录的差错率高、效率低。

此外，对于港口码头等吞吐量大的集装箱堆场，有较好的信息化系统和严格的堆场计划和堆场作业规范，集装箱箱位位置记录相对准确，但是对于服务于集疏港的周边中小型堆场，因为信息化系统不完善、堆场计划相对简单、现场作业随意性大等问题，导致这些堆场集装箱堆存一方面是箱位人工记录效率低，一方面是差错率高，经常发生找不到集装箱的情况。

传统堆场集装箱定位需要采用RFID或通过布设地面磁钉，DGPS差分设备等，力争实现集装箱放置的位置准确，自动上传存放位置。成本太高、系统复杂、维护难、性价比低。仍然是提前安排位置，放置后做记录。倒箱后经常没有放回原来位置、找不到箱子。

所检索到的集装箱定位大部分采用智能位置定位终端或实现，需要在集装箱上面加装设备；由于集装箱的全球流动性和使用人和所有权人的分离，安装实施不方便，且成本高。且在堆场，由于集装箱金属表面，会在集装箱堆叠的时候，导致信号屏蔽，无法实现集装箱定位；另外，有部分定位采用在吊机上面安装称重装置等来定位高度，但无法解决识别集装箱所在堆场区域问题。

跟本发明相关的基于机器视觉和人工智能技术实现箱号识别，已有多个在先专利文献的报导，其公开内容仅限于集装箱箱号等文字识别，没有实现集装箱定位。

CN202010623206.5公开了一种货场集装箱箱号识别装置、定位装置及系统。它的目的是针对箱管人员手工录入集装箱箱号和移动后的位置时容易出错，给货场管理系统造成不便的问题，提供一种通过箱号识别装置获取集装箱箱号，通过集装箱定位装置获取集装箱存放位置信息，通过服务器获取集装箱箱号和所述集装箱的位置信息，在预装的数据库中将集装箱箱号和所述集装箱的位置信息绑定，并生成数据记录。当集装箱位置改变时，服务器接收集装箱箱号和更新的位置信息，将集装箱箱号和所述集装箱的更新的位置信息绑定，并生成数据记录，避免通过管理人员手工录入容易出错的货场集装箱箱号识别装置、定位装置及系统。该技术方案：货场集装箱定位识别系统，包括：服务器；箱号识别装置，安装在集装箱吊装设备上，与服务器通信连接，被配置为获取集装箱箱号并向所述服务器发送；集装箱定位装置，安装在集装箱吊装设备上，所述服务器通信连接，被配置为获取所吊装的集装箱的第一位置信息；其中，所述服务器被配置为将所述第一位置信息与所述集装箱箱号绑定并生成第一数据记录。其不足之处是:1)只能识别正面吊当前作业集装箱作业后层高位置，无法识别当前集装箱在堆场哪个区域。2)不能用于堆高机作业时识别位置。

发明内容

针对上述现有技术存在的不足，本发明的目的是提供一种将机器视觉、人工智能、高精度定位和3D地图结合，实现低成本、高效率的堆场集装箱定位技术，采用摄像头对集装箱堆场的集装箱进行实时摄像，对获取的视频和图像进行图像分析和处理，自动获得堆场的集装箱堆存实时位置图集的装箱堆存位置自动识别系统。本发明的另一目的是提供一种基于堆场立杆和地上标线，或采用高精度定位方式，基于3D引擎和电子地图，构建3D堆场地图的装箱堆存位置自动识别系统。本发明的再一目的是提供一种分布在集装箱堆场的摄像头，覆盖堆场集装箱区域，能获取到集装箱的场位(场、贝、位、列、层)的所有信息，通过带有深度学习和人工智能算法的工控机对摄像头获取的图像和视频信息进行分析和处理，对堆场内发生的各类作业进行行为分析，实时更新集装箱堆场的作业信息，如集装箱的放箱、倒箱、提箱等作业的集装箱堆存位置自动识别方法。

本发明的技术解决方案是所述集装箱堆存位置自动识别系统，其特殊之处在于，包括识别摄像头组、带无线传输模块的工控机、所述识别摄像头组分别电连接的堆位识别子系统和箱号识别子系统，所述堆位识别子系统与所述箱号识别子系统共同接入带无线传输模块的工控机，所述带无线传输模块的工控机经高精度定位子系统电连接厘米级差分定位模块，所述带无线传输模块的工控机连接后台管理系统；所述自动识别系统还包括网络结构；摄像头将采集的视频图像传输给工控机，高精度定位模组将定位信息传输给工控机，工控机识别集装箱所在层、地面标记、立杆标记和箱号等信息，并将数据传输给后端管理系统，所述后端管理系统将数据库已经存有的3D堆场场位数据，通过计算，更新堆位和集装箱位置信息。

作为优选：所述识别摄像头组对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息；所述识别摄像头组中的摄像头可以安装在堆高机、龙门吊等堆场集装箱作业设备上，安装在作业设备上内置图像识别算法的工控机可自动识别作业的集装箱的箱号，以及通过判断作业集装箱与周边已经放置好的集装箱的相对位置或者场位的相对位置自动记录集装箱的堆存位置，并上传后台系统。

作为优选：所述网络结构包括服务器、分别与服务器网络连接的用户终端及路由器，所述路由器分别以有线或无线传输的方式连接的闸口装置，和以专线网络接入5G基站并通过5G网络传输的方式连接的堆高机总成。

作为优选：所述闸口装置包括箱知门边缘盒子、与箱知门边缘盒子网线连接的摄像头。

作为优选：所述堆高机总成包括箱知门边缘盒子、分别与箱知门边缘盒子网线连接的摄像头，和线路连接的堆高机。

本发明的另一技术解决方案是所述集装箱堆存位置的自动识别方法，其特殊在于，包括以下步骤：

⑴对堆场堆位进行编码；

⑵堆场3D建模；

⑶堆存定位；

⑷箱号识别；

⑸数据入库；

⑹数据检索。

作为优选：所述步骤⑵进一步包括：基于3D引擎对堆场进行3D建模，空间坐标系记做P＝(X,Y,Z)；基于3D地图，实现堆场的每个堆位区域跟3D坐标系建立对应关系；建立3D地图跟经纬度对应关系；于是，对每个堆位，其空间信息包括：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经纬度坐标)}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中；

用户界面查找集装箱时，只需要输入集装箱箱号，根据固定安装的堆场的带摄像头的图像获取子系统对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息的堆位集装箱对应关系，在数据库进行相应的查找即可得到；查询结果在3D地图中以高亮方式显示。

作为优选：所述步骤⑶进一步包括：

(3.1)图像识别层位；

(3.2)高精度定位；

(3.3)计算堆位位置。

作为优选：所述步骤⑷进一步包括：

(4.1)基于高精度识别出经纬度，在数据库中查找符合条件的堆位，然后基于堆位识别子系统，识别当前作业集装箱堆放到第几层，并结合地面标线辅助识别，得到当前集装箱堆位的空间坐标系统(X,Y,Z)；

(5.2)基于箱号识别子系统，识别出箱号，建立箱号跟堆位的关联关系：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经度、纬度)，集装箱号}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中。

作为优选：所述步骤⑸进一步包括：

(5.1)堆位编码；1、在堆场各区域立杆或地上画标线，实现堆场堆存区位统一编号；编号以RE.BL.BY.RW.TR来编码，其中：

RE代表泊位区号；按照船舶停放的泊位顺序，每个泊位对应一个区；如1号泊位对应1区，2号泊位对应2区；非港口区域的陆地堆场，跟船无对应关系，则没有泊位区号；

每个泊位区号按照海侧到陆侧的顺序又分为多个区块；BL代表区块(Block)，或者叫做箱区；

每箱区又划分为“贝”，与船箱位的BAY对应；BY代表贝位(BAY)，用奇数表示20英尺小箱的摆放位置，用偶数表示40英尺大箱的摆放位置，带红光圈的数字标示出这个箱块的实际堆箱贝位；

每贝又划分为“列”；从靠近车道一侧起，依次进行编号；RW代表列；

每列又分为“层”；一般为4-5层，从底向上，依次为1、2、3、4……；TR代表层；如01.2E.02.03.05代表第01泊位2E箱区02贝03列05层；

(5.2)经纬度；

(5.3)箱号。

与现有技术相比，本发明的有益效果:

⑴本发明采用摄像头对集装箱堆场的集装箱进行实时摄像，对获取的视频和图像进行图像分析和处理，自动获得堆场的集装箱堆存实时位置图。

⑵本发明基于堆场立杆和地上标线，或采用高精度定位方式，基于3D引擎和电子地图，构建3D堆场地图。

⑶本发明分布在集装箱堆场的摄像头，覆盖堆场集装箱区域，能获取到集装箱的场位(场、贝、位、列、层)的所有信息。

⑷本发明通过带有深度学习和人工智能算法的工控机对摄像头获取的图像和视频信息进行分析和处理，对堆场内发生的各类作业进行行为分析，实时更新集装箱堆场的作业信息，如集装箱的放箱、倒箱、提箱等作业。

⑸本发明一方面解决集装箱放置位置的自动记录和上传的问题，避免人工抄录和录入，大大提升了堆场的作业效率。

⑹本发明堆场发生作业时，系统能自动识别该作业，同时自动记录作业过程中集装箱的存放位置和作业结束后的集装箱实际存放位置，大大降低了箱位记录的差错率，同时也避免了人工记录和录入，大大提升了堆场管理效率。

⑺本发明不需要在集装箱上面安装任何设备，不会影响集装箱作业流程；本发明只需要在堆高机或堆场堆存区域安装摄像头和箱号定位与识别终端，结合3D地图，就可以实现全堆场集装箱的定位。

附图说明

图1是本发明集装箱堆存位置自动识别系统架构图；

图2是本发明集装箱堆存位置计算流程图；

图3是本发明网络结构图。

具体实施方式

本发明下面将结合附图作进一步详述：

请参阅图1所示，该集装箱堆存位置自动识别系统，包括识别摄像头组、带无线传输模块的工控机、所述识别摄像头组分别电连接的堆位识别子系统和箱号识别子系统，所述堆位识别子系统与所述箱号识别子系统共同接入带无线传输模块的工控机，所述带无线传输模块的工控机经高精度定位子系统电连接厘米级差分定位模块，所述带无线传输模块的工控机连接后台管理系统；所述自动识别系统还包括网络结构；摄像头将采集的视频图像传输给工控机，高精度定位模组将定位信息传输给工控机，工控机识别集装箱所在层、地面标记、立杆标记和箱号等信息，并将数据传输给后端管理系统，后端管理系统将数据库已经存有的3D堆场场位数据，通过计算，更新堆位和集装箱位置信息。

本实施例中，所述识别摄像头组对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息；所述识别摄像头组中的摄像头可以安装在堆高机、龙门吊等堆场集装箱作业设备上，安装在作业设备上内置图像识别算法的工控机可自动识别作业的集装箱的箱号，以及通过判断作业集装箱与周边已经放置好的集装箱的相对位置或者场位的相对位置自动记录集装箱的堆存位置，并上传后台系统。

请参阅图3所示，所述网络结构包括服务器、分别与服务器网络连接的用户终端及路由器，所述路由器分别以有线或无线传输的方式连接的闸口装置，和以专线网络接入5G基站并通过5G网络传输的方式连接的堆高机总成。

本实施例中，所述闸口装置包括箱知门边缘盒子、与箱知门边缘盒子网线连接的摄像头。

本实施例中，所述堆高机总成包括箱知门边缘盒子、分别与箱知门边缘盒子网线连接的摄像头，和线路连接的堆高机。

请参阅图2所示，该集装箱堆存位置的自动识别方法，包括以下步骤：

⑴对堆场堆位进行编码；

⑵堆场3D建模；基于3D引擎对堆场进行3D建模，空间坐标系记做P＝(X,Y,Z)；基于3D地图，实现堆场的每个堆位区域跟3D坐标系建立对应关系；建立3D地图跟经纬度对应关系；于是，对每个堆位，其空间信息包括：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经纬度坐标)}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中；

用户界面查找集装箱时，只需要输入集装箱箱号，根据固定安装的堆场的带摄像头的图像获取子系统对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息的堆位集装箱对应关系，在数据库进行相应的查找即可得到；查询结果在3D地图中以高亮方式显示。

⑶堆存定位；

(3.1)图像识别层位；

(3.2)高精度定位；

(3.3)计算堆位位置。

⑷箱号识别；

(4.1)基于高精度识别出经纬度，在数据库中查找符合条件的堆位，然后基于堆位识别子系统，识别当前作业集装箱堆放到第几层，并结合地面标线辅助识别，得到当前集装箱堆位的空间坐标系统(X,Y,Z)；

(4.2)基于箱号识别子系统，识别出箱号，建立箱号跟堆位的关联关系：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经度、纬度)，集装箱号}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中；

⑸数据入库；

(5.1)堆位编码；1、在堆场各区域立杆或地上画标线，实现堆场堆存区位统一编号；编号以RE.BL.BY.RW.TR来编码，其中：

RE代表泊位区号；按照船舶停放的泊位顺序，每个泊位对应一个区；如1号泊位对应1区，2号泊位对应2区；非港口区域的陆地堆场，跟船无对应关系，则没有泊位区号；

每个泊位区号按照海侧到陆侧的顺序又分为多个区块；BL代表区块(Block)，或者叫做箱区；

每箱区又划分为“贝”，与船箱位的BAY对应；BY代表贝位(BAY)，用奇数表示20英尺小箱的摆放位置，用偶数表示40英尺大箱的摆放位置，带红光圈的数字标示出这个箱块的实际堆箱贝位；

每贝又划分为“列”；从靠近车道一侧起，依次进行编号；RW代表列；

每列又分为“层”；一般为4-5层，从底向上，依次为1、2、3、4……；TR代表层；如01.2E.02.03.05代表第01泊位2E箱区02贝03列05层；

(5.2)经纬度；

(5.3)箱号；

⑹数据检索。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明权利要求的涵盖范围。

Claims (10)

1.一种集装箱堆存位置自动识别系统，其特征在于，包括识别摄像头组、带无线传输模块的工控机、所述识别摄像头组分别电连接的堆位识别子系统和箱号识别子系统，所述堆位识别子系统与所述箱号识别子系统共同接入带无线传输模块的工控机，所述带无线传输模块的工控机经高精度定位子系统电连接厘米级差分定位模块，所述带无线传输模块的工控机连接后台管理系统；所述自动识别系统还包括网络结构；摄像头将采集的视频图像传输给工控机，高精度定位模组将定位信息传输给工控机，工控机识别集装箱所在层、地面标记、立杆标记和箱号的信息，并将数据传输给后端管理系统，所述后端管理系统将数据库已经存有的3D堆场场位数据，通过计算，更新堆位和集装箱位置信息。

2.根据权利要求1所述集装箱堆存位置自动识别系统，其特征在于，所述识别摄像头组对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息；所述识别摄像头组中的摄像头可以安装在堆高机、龙门吊等堆场集装箱作业设备上，安装在作业设备上内置图像识别算法的工控机可自动识别作业的集装箱的箱号，以及通过判断作业集装箱与周边已经放置好的集装箱的相对位置或者场位的相对位置自动记录集装箱的堆存位置，并上传后台系统。

3.根据权利要求1所述集装箱堆存位置自动识别系统，其特征在于，所述网络结构包括服务器、分别与服务器网络连接的用户终端及路由器，所述路由器分别以有线或无线传输的方式连接的闸口装置，和以专线网络接入5G基站并通过5G网络传输的方式连接的堆高机总成。

4.根据权利要求3所述集装箱堆存位置自动识别系统，其特征在于，所述闸口装置包括箱知门边缘盒子、与箱知门边缘盒子网线连接的摄像头。

5.根据权利要求3所述集装箱堆存位置自动识别系统，其特征在于，所述堆高机总成包括箱知门边缘盒子、分别与箱知门边缘盒子网线连接的摄像头，和线路连接的堆高机。

6.一种集装箱堆存位置的自动识别方法，其特征在于，包括以下步骤：

⑴对堆场堆位进行编码；

⑵堆场3D建模；

⑶堆存定位；

⑷箱号识别；

⑸数据入库；

⑹数据检索。

7.根据权利要求6所述集装箱堆存位置的自动识别方法，其特征在于，所述步骤⑵进一步包括：基于3D引擎对堆场进行3D建模，空间坐标系记做P＝(X,Y,Z)；基于3D地图，实现堆场的每个堆位区域跟3D坐标系建立对应关系；建立3D地图跟经纬度对应关系；于是，对每个堆位，其空间信息包括：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经纬度坐标)}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中；

用户界面查找集装箱时，只需要输入集装箱箱号，根据固定安装的堆场的带摄像头的图像获取子系统对堆场进行实时摄像，基于高精度定位或识别堆场标线的方式获得堆场集装箱堆存区位图像信息、集装箱堆存空间图像信息、以及堆场内的人、车和设备等的作业图像信息的堆位集装箱对应关系，在数据库进行相应的查找即可得到；查询结果在3D地图中以高亮方式显示。

8.根据权利要求6所述集装箱堆存位置的自动识别方法，其特征在于，所述步骤⑶进一步包括：

(3.1)图像识别层位；

(3.2)高精度定位；

(3.3)计算堆位位置。

9.根据权利要求6所述集装箱堆存位置的自动识别方法，其特征在于，所述步骤⑷进一步包括：

(4.1)基于高精度识别出经纬度，在数据库中查找符合条件的堆位，然后基于堆位识别子系统，识别当前作业集装箱堆放到第几层，并结合地面标线辅助识别，得到当前集装箱堆位的空间坐标系统(X,Y,Z)；

(4.2)基于箱号识别子系统，识别出箱号，建立箱号跟堆位的关联关系：

T＝{RE.BL.BY.RW.TR，(X,Y,Z),(经度、纬度)，集装箱号}

T为具体一个堆位，RE.BL.BY.RW.TR代表堆位编码，(X,Y,Z)代表其空间坐标；每个堆位的信息保存到数据库中。

10.根据权利要求6所述集装箱堆存位置的自动识别方法，其特征在于，所述步骤⑸进一步包括：

(5.1)堆位编码；1、在堆场各区域立杆或地上画标线，实现堆场堆存区位统一编号；编号以RE.BL.BY.RW.TR来编码，其中：

RE代表泊位区号；按照船舶停放的泊位顺序，每个泊位对应一个区；如1号泊位对应1区，2号泊位对应2区；非港口区域的陆地堆场，跟船无对应关系，则没有泊位区号；

每个泊位区号按照海侧到陆侧的顺序又分为多个区块；BL代表区块(Block)，或者叫做箱区；

每箱区又划分为“贝”，与船箱位的BAY对应；BY代表贝位(BAY)，用奇数表示20英尺小箱的摆放位置，用偶数表示40英尺大箱的摆放位置，带红光圈的数字标示出这个箱块的实际堆箱贝位；

每贝又划分为“列”；从靠近车道一侧起，依次进行编号；RW代表列；

每列又分为“层”；一般为4-5层，从底向上，依次为1、2、3、4……；TR代表层；如01.2E.02.03.05代表第01泊位2E箱区02贝03列05层；

(5.2)经纬度；

(5.3)箱号。

Images