CN115797847A - 一种港口集装箱智能视频识别系统 - Google Patents

Abstract

本发明公开了一种港口集装箱智能视频识别系统，涉及集装箱理货技术领域，其结构包括相互之间联系的触发设备、采集设备、智能理货系统和理货监控系统，所述识别系统识别的步骤包括：集装箱运输到目标区域装卸；将集装箱运输至第一高度，触发设备触发识别系统，采集设备开始采集集装箱图像；对集装箱图像进行处理，识别集装箱的箱号和破损集装箱；对包含集装箱的箱号和破损集装箱信息的集装箱图像进行整合获得整合信息，传输至智能理货系统；智能理货系统将整合信息与目标信息进行对比，若出现异常信息，进行处理；集装箱箱号、箱型、积载位信息全部正确，将集装箱箱号、箱型、积载位信息递交至理货监控系统，识别系统完成识别。

Description

一种港口集装箱智能视频识别系统

技术领域

本发明涉及集装箱理货技术领域，尤其涉及到一种港口集装箱智能视频识别系统。

背景技术

集装箱理货业务是指根据进出口集装箱舱单或清单，核准箱号，理清箱数，分清集装箱残损，验封及施封。依据理货结果，办理交接、签证手续，向委托方及有关口岸部门提供有关理货单证和电子信息，随着我国对外贸易的蓬勃发展，目前外轮理货的主要重心已转移到集装箱理货上，在信息化普及的当前，传统纯手工的理货工艺已成为其瓶颈。现阶段需要对理货的系统进行智能化改造工作，以满足理货业务规范化、统一化要求。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种港口集装箱智能视频识别系统，相比于现有技术，本发明中对理货的系统进行智能化改造工作，以满足理货业务规范化、统一化要求，解决人力，且提高理货的效率。

本发明是通过以下技术方案实现的：本发明公开一种港口集装箱智能视频识别系统，其结构包括相互之间联系的触发设备、采集设备、智能理货系统和理货监控系统，所述识别系统识别的步骤包括：

步骤一：集装箱运输到目标区域装卸；

步骤二：将集装箱运输至第一高度，触发设备触发识别系统，采集设备开始采集集装箱图像；

步骤三：对集装箱图像进行处理，识别集装箱的箱号和破损集装箱；

步骤四：对包含集装箱的箱号和破损集装箱信息的集装箱图像进行整合获得整合信息，传输至智能理货系统；

步骤五：智能理货系统将整合信息与目标信息进行对比，若出现异常信息，进行处理；

步骤六：对破损集装箱信息的图像进行判断，若集装箱破损严重，更换集装箱；

步骤七：搬运集装箱，将集装箱实际位置与集装箱的预配位置信息进行比对，判断位置是否正确，将位置错误的集装箱移动至预配位置；

步骤八：集装箱箱号、箱型、积载位信息全部正确，将集装箱箱号、箱型、积载位信息递交至理货监控系统，识别系统完成识别。

优选的，识别所述破损集装箱的方法包括：

将集装箱运输至第一目标区域；

所述目标区域包括至少四个图像传输组件，对第一目标区域的集装箱四个侧边的图像信息进行采集；

对第一目标区域的集装箱所有图像信息进行处理，判断第一目标区域的集装箱是否破损。

优选的，判断第一目标区域的集装箱是否破损的方法包括人工对集装箱四个侧边的图像信息进行判断或处理器系统对集装箱四个侧边的图像信息进行判断。

优选的，判断第一目标区域的集装箱是否破损的方法包括：

处理器系统对集装箱四个侧边的图像信息进行判断，筛选出疑似破损的集装箱图像；

人工对疑似破损的集装箱图像进行判断，识别出破损的集装箱图像，其对应的集装箱为破损集装箱。

优选的，识别集装箱箱号的步骤包括：

对集装箱有效箱号进行捕捉，获得图像组，

筛选出图像组可供识别的图像；

对筛选出的可供识别的图像进行字符识别，获得有效箱号字符；

将识别的有效箱号字符按通讯协议发送。

优选的，若出现异常信息，进行处理的步骤包括：

整合信息与目标信息不匹配，进行警报；

人工干预处理。

本发明公开了一种港口集装箱智能视频识别系统及方法，与现有技术相比：

针对目前生产的现状，对智能理货建设需要不断提高，本发明装卸集装箱过程中，对集装箱的箱号箱型信息、验残图片、箱子装船位置等，通过摄像机拍摄，经识别系统处理后，在后方监控室的PC客户端中实现采集到的图片、箱号信息等，使得操作人员能在后方的控制室内一人同时处理多路桥吊作业，智能理货系统能帮助业务人员加快理货速度、准确性，同时改善理货环境，保障安全生产，适时调整机械设备和人力的分配，提供了更直接的手段，并为码头管理提供了科学的数据分析,最终实现集装箱理货作业的智能化。

附图说明

图1为本发明一实施例中装船的流程示意图；

图2为本发明一实施例中卸船的流程示意图；

图3为本发明一实施例中智能理货系统的框体示意图；

图4为本发明一实施例中智能理货系统的总体设备部署示意图

图5为一实施例中桥吊箱号识别系统昼夜作业捕捉的图像。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明是通过以下技术方案实现的：本发明公开一种港口集装箱智能视频识别系统，其结构包括相互之间联系的触发设备、采集设备、智能理货系统和理货监控系统，所述识别系统识别的步骤包括：

步骤一：集装箱运输到目标区域装卸；

步骤二：将集装箱运输至第一高度，触发设备触发识别系统，采集设备开始采集集装箱图像；

步骤三：对集装箱图像进行处理，识别集装箱的箱号和破损集装箱；

步骤四：对包含集装箱的箱号和破损集装箱信息的集装箱图像进行整合获得整合信息，传输至智能理货系统；

步骤五：智能理货系统将整合信息与目标信息进行对比，若出现异常信息，进行处理；

步骤六：对破损集装箱信息的图像进行判断，若集装箱破损严重，更换集装箱；

步骤七：搬运集装箱，将集装箱实际位置与集装箱的预配位置信息进行比对，判断位置是否正确，将位置错误的集装箱移动至预配位置；

步骤八：集装箱箱号、箱型、积载位信息全部正确，将集装箱箱号、箱型、积载位信息递交至理货监控系统，识别系统完成识别。

一实施例如图1所示，涉及集装箱装船的流程，具体步骤包括：

1、集卡携带集装箱行驶到桥吊下车道停止。

2、桥吊小车移动到车道上方并放下吊具，此时系统判断出装箱作业状态。桥吊放下吊具，此时系统通过吊具状态判断抓箱数量。桥吊吊具抓取上升到一定高度，系统触发箱号识别，摄像机开始采集图像。

3、箱号识别软件开始过滤有效图片，识别箱号并进行多幅比对后得出结果，验残软件根据箱子距离进行图片整合。

4、所有信息进行汇集后提交给智能理货系统，智能理货系统把识别出的结果与码头系统进行比对，箱号如不在作业的计划中，则需人工进行处理，箱号如果识别出错，在客户端进行人工修正。

5、业务人员查看验残图片，如发现疑似残损，保存验残图片。

6、系统通过计算PLC信息得出集装箱的船舱位置，与码头系统的预配信息进行比对，给予业务人员安放位置是否正确提示。

7、箱号、箱型、积载位等信息全部正确由系统自动进行校对提交，如有问题由业务人员确认无误后，智能理货系统把作业信息提交给码头作业系统。

8、装船作业完毕。

其中，触发设备包括桥吊PLC数据及PLC接收运算；采集设备包括箱识采集和验残采集；智能理货系统包括数据汇总、应用服务器端、监控端以及对箱号、验残的图像进行处理，而理货监控主要是依据智能理货系统的数据，进行数据的处理、保存、修改、警示。

一实施例如图2所示，涉及集装箱卸船的流程，具体步骤包括：

1、集卡行驶到桥吊下车道停止。

2、桥吊小车移动到甲板上方抓取箱子，移动到桥吊内侧并放下吊具，此时系统判断出装箱作业状态。桥吊放下吊具，此时系统通过吊具状态判断抓箱数量。桥吊吊具抓取下降到一定高度，系统触发箱号识别，摄像机开始采集图像。

3、箱号识别软件开始过滤有效图片，识别箱号并进行多幅比对后得出结果，验残软件根据箱子距离进行图片整合。

4、所有信息进行汇集后提交给智能理货系统，智能理货系统把识别出的结果与码头系统进行比对，箱号如不在作业的计划中，则需人工进行处理，箱号如果识别出错，在客户端进行人工修正。

5、业务人员查看验残图片，如发现疑似残损，保存验残图片。

6、卸船作业完毕。

如图3所示，本发明的识别系统主要由前端采集系统（包括箱号识别系统、箱体验残系统、车号识别系统、视频监控系统）、应用服务软件和监控管理端两部分组成，并需要与码头后台系统进行数据联动。各种先进技术予以有机结合，其核心控制模块根据业务过程控制各个部分运作，自动完成关键业务数据的采集，并完成与后端码头生产系统实时交互，从而完成智能理货业务，根据智能理货的业务要求与实现思想，总体设备部署如图4所示。

系统实现的要点主要包括：

A、每台桥吊都部署相关的识别采集设备，对应单独的相机、工控机、PLC服务器；

B、每台桥吊都部署独立的识别系统，对前端相机采集到的图片进行箱号识别，验残图片处理；

C、每台桥吊部署独立的拖车OCR识别系统，对桥吊下的作业集卡车进行识别；

D、独立部署1套服务器，与码头业务系统连接，负责进行交互；

E、前端采集设备所采集的图片、识别的结果，通过光缆传输到后方的应用服务器端。

系统主要包含功能如表格一所示

表格一

序号	模块	硬件组成
			1	箱号识别模块	摄像机、识别服务器
2	残损检测模块	摄像机、验残服务器
			3	箱位计算模块	PLC、服务器
4	车号识别模块	摄像机
			5	后方监控系统	服务器、显示器、键盘、鼠标

整体系统主要为分二个部分：

一、采集部分，通过布置在桥吊横梁、鞍梁上的摄像机，根据解析桥吊PLC发送给箱识系统的数据，进行抓拍。对集装箱的几个面进行拍摄，通过对图像的OCR识别、拼接处理等工作，得到作业集装箱的箱号、箱型、箱识图片、验残图片。OCR是光学字符识别的缩写(Optical Character Recognition)，是通过扫描等光学输入方式将各种印刷品的文字转化为图像信息再利用文字识别技术将图像信息转化为可以使用的计算机输入技术。

二、运用现代先进的软件工程学根据业务流程提供信息处理系统体系结构，合理规范数据流，实现与码头系统的数据交互。同时提供易用、界面友好的客户端监控系统。

对于箱号识别，桥吊箱号识别系统是一套安装在桥吊上的自动化箱号识别系统，桥吊在每次作业过程中系统判断装/卸集装箱的操作，并自动识别出集装箱箱号，一实施例中，对箱号识别的场景如图5所示，此场景为桥吊箱号识别系统昼夜作业图片。

对于图像采集\识别服务器的功能主要是两点：第一，对集装箱有效箱号进行捕捉，运用图像处理技术，筛选最佳识别图像，筛选出当前装卸作业集装箱可供识别的图像；然后将筛选出的箱号图像一一进行字符识别，主要动用了图像处理技术对图像先进行二值化处理，经过去噪声、倾斜度校正、图像区域分割、字符分割后，运用模式识别技术进行字符识别等手段得到最终识别结果，然后将的识别的结果按通讯协议发送。

由于系统需要同时处理多路高清视频，图像处理服务器需具备较强的运算处理能力，同时需要能够适应桥吊恶劣的工作环境和电气环境，有高超的设备稳定性。

系统控制多组网络摄像机拍摄图像，通过逻辑控制模块判断作业情况，使用箱号识别程序自动识别集装箱箱号，并保存箱号信息及图片信息。

系统设备软硬件设备安装在桥吊上，形成独立的运行子系统。系统通过接口可以将箱号识别信息发送给码头系统。

本发明综合利用自动化技术与图像识别技术代替桥边人工作业操作模式，系统的成功应用改善了桥吊环境下作业人员的人身安全性,提高了桥吊作业数据信息化水平。同时，由于桥边严酷的作业工况和复杂的光线环境条件，系统着重于抗震动、抗干扰、抗腐蚀能力的设计。

更具体的优势包括

一、系统适应桥吊复杂工况，自动判断装、卸船作业、自动判断单短箱、双短箱、单长箱等作业类型

二、系统硬件组成选用工业标准的产品，适应高温严寒、机械振动、电磁干扰等恶劣环境下的持续工作，系统具有较强的稳定性，可维护性。

三、系统能够满足24小时作业要求，夜间也能达到稳定的识别性能。

四、系统具有开放、标准的通信接口，便于不同业务操作系统的高效集成。

五、系统采用多幅图像比对，识别理模块将多个结果按校验规则和识别致信度校验，如未能识别则将最终结果提交可视化界面或用户系统平台。

六、系统具备识别数据统计软件，能够根据时间、车道、作业类型等方式对识别结果进行查询统计。

为了可以提高对破损集装箱的识别效率，识别所述破损集装箱的方法包括：

将集装箱运输至第一目标区域；

所述目标区域包括至少四个图像传输组件，对第一目标区域的集装箱四个侧边的图像信息进行采集；

对第一目标区域的集装箱所有图像信息进行处理，判断第一目标区域的集装箱是否破损。

其中，判断第一目标区域的集装箱是否破损的方法包括人工对集装箱四个侧边的图像信息进行判断或处理器系统对集装箱四个侧边的图像信息进行判断。

或者，判断第一目标区域的集装箱是否破损的方法包括：

处理器系统对集装箱四个侧边的图像信息进行判断，筛选出疑似破损的集装箱图像；

人工对疑似破损的集装箱图像进行判断，识别出破损的集装箱图像，其对应的集装箱为破损集装箱。一实施例中，通过摄像机对箱体图片的抓拍，工作人员可以在控制室通过图像对装卸作业的集装箱箱体进行箱损检验判别，大大提高了安全性、可靠性以及工作效率。

验残系统部署桥吊下4个作业车道，对集装箱前后左右4个面进行拍摄。提交给智能理货应用系统。在监控软件中展示当前作业箱子的4个面的验残图像，供业务人员人工进行查看。确认提交后，智能理货应用端通过与码头系统的接口，把作业完成的数据提交给码头系统，系统在装卸作业过程中自动抓取集装箱前后、左右箱面图像、完整呈现便于业务人员的验残处理。本发明的系统适应桥吊复杂工况，自动判断装、卸船作业、判断各种作业类型桥吊集装箱验残系统自动判断当前装、卸船作业，可自动抓取集装箱前、后、左、右各箱面图像，左右箱面可以按照用户要求进行智能拼接处理或原始合图处理，系统适应桥吊复杂工况，处理时间短，运行稳定可靠。

其中，识别集装箱箱号的步骤包括：

对集装箱有效箱号进行捕捉，获得图像组，

筛选出图像组可供识别的图像；

对筛选出的可供识别的图像进行字符识别，获得有效箱号字符；

将识别的有效箱号字符按通讯协议发送。

其中，若出现异常信息，进行处理的步骤包括：

整合信息与目标信息不匹配，进行警报；

人工干预处理。

综上，针对目前生产的现状，对智能理货建设需要不断提高，本发明装卸集装箱过程中，对集装箱的箱号箱型信息、验残图片、箱子装船位置等，通过摄像机拍摄，经识别系统处理后，在后方监控室的PC客户端中实现采集到的图片、箱号信息等，使得操作人员能在后方的控制室内一人同时处理多路桥吊作业，智能理货系统能帮助业务人员加快理货速度、准确性，同时改善理货环境，保障安全生产，适时调整机械设备和人力的分配，提供了更直接的手段，并为码头管理提供了科学的数据分析,最终实现集装箱理货作业的智能化。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

需要要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (6)

1.一种港口集装箱智能视频识别系统，其特征在于，包括相互之间联系的触发设备、采集设备、智能理货系统和理货监控系统，所述识别系统识别的步骤包括：

集装箱运输到目标区域装卸；

将集装箱运输至第一高度，触发设备触发识别系统，采集设备开始采集集装箱图像；

对集装箱图像进行处理，识别集装箱的箱号和破损集装箱；

对包含集装箱的箱号和破损集装箱信息的集装箱图像进行整合获得整合信息，传输至智能理货系统；

智能理货系统将整合信息与目标信息进行对比，若出现异常信息，进行处理；

对破损集装箱信息的图像进行判断，若集装箱破损严重，更换集装箱；

搬运集装箱，将集装箱实际位置与集装箱的预配位置信息进行比对，判断位置是否正确，将位置错误的集装箱移动至预配位置；

集装箱箱号、箱型、积载位信息全部正确，将集装箱箱号、箱型、积载位信息递交至理货监控系统，识别系统完成识别。

2.如权利要求1所述的一种港口集装箱智能视频识别系统，其特征在于，识别所述破损集装箱的方法包括：

将集装箱运输至第一目标区域；

所述目标区域包括至少四个图像传输组件，对第一目标区域的集装箱四个侧边的图像信息进行采集；

对第一目标区域的集装箱所有图像信息进行处理，判断第一目标区域的集装箱是否破损。

3.如权利要求2所述的一种港口集装箱智能视频识别系统，其特征在于，判断第一目标区域的集装箱是否破损的方法包括人工对集装箱四个侧边的图像信息进行判断或处理器系统对集装箱四个侧边的图像信息进行判断。

4.如权利要求2所述的一种港口集装箱智能视频识别系统，其特征在于，判断第一目标区域的集装箱是否破损的方法包括：

处理器系统对集装箱四个侧边的图像信息进行判断，筛选出疑似破损的集装箱图像；

人工对疑似破损的集装箱图像进行判断，识别出破损的集装箱图像，其对应的集装箱为破损集装箱。

5.如权利要求4所述的一种港口集装箱智能视频识别系统，其特征在于，识别集装箱箱号的步骤包括：

对集装箱有效箱号进行捕捉，获得图像组，

筛选出图像组可供识别的图像；

对筛选出的可供识别的图像进行字符识别，获得有效箱号字符；

将识别的有效箱号字符按通讯协议发送。

6.如权利要求5所述的一种港口集装箱智能视频识别系统，其特征在于，若出现异常信息，进行处理的步骤包括：

整合信息与目标信息不匹配，进行警报；

人工干预处理。

Images