CN115049031A - 一种无人机集装箱箱号识别作业的方法、系统及装置 - Google Patents

Abstract

本申请提供一种无人机集装箱箱号识别作业的方法、系统及装置，系统包括：无人机，用于根据作业任务对集装箱进行图像采集并传送实时数据，以及对采集的图像进行初步箱号识别；飞控系统，用于对无人机进行飞行控制，以及接收并转发实时数据；无人机数据中心，包括服务器，用于根据作业任务对无人机进行自动航迹规划，以及接收飞控系统转发的实时数据，对实时数据进行解码和精确箱号识别；远程运行管理平台，用于规划作业任务和对无人机进行远程监控，以及储存实时数据和精确箱号识别结果。本申请通过无人机在岸桥吊具对集装箱进行装卸操作前进行箱号识别，避免了箱号识别错漏，提高了装卸作业效率。

Description

一种无人机集装箱箱号识别作业的方法、系统及装置

技术领域

本发明涉及自动检测技术领域，具体涉及一种无人机集装箱箱号识别作业的方法、系统及装置。

背景技术

集装箱箱号采用ISO6346(1995)标准编制，是每个集装箱的唯一标识，也是连接码头集装箱装卸运输作业多个操作流程的关键信息。OCR(Optical Character Recognition,光学字符识别)是模式识别的一个领域，对输入图像进行分析识别处理，获取图像中文字信息的过程，通常包括预处理、特征提取和降维、分类器设计、训练和实际识别和后处理几个步骤。通过OCR系统对集装箱号进行自动识别，替代人工的箱号辨别和信息录入，降低了人员的工作量，减少了出错概率，提高了作业效率。但以现有自动化岸桥的集装箱装卸船作业为例，存在集装箱的实际装船位置与船图计划位置不一致，造成装卸作业指令中包含的集装箱箱号信息与OCR系统实际识别的卸箱箱号不一致的错箱情况，所产生的装卸回滚工作量大，不利于自动化码头作业效率。

发明内容

有鉴于此，本发明提供一种无人机集装箱箱号识别作业的方法、系统及装置。

为解决上述技术问题，本发明采用以下技术方案：

根据本发明实施例的一种无人机集装箱箱号识别作业的方法，包括：

S100、无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹；

S200、无人机根据所述无人机数据中心的规划航迹，定位飞行作业至所述第一作业任务中各悬停点对作业全域表面集装箱进行图像扫描并传送实时数据至无人机数据中心；

S300、所述无人机数据中心对实时数据进行箱号箱位识别并与船图对比，并将异常识别结果发送至所述港口作业管理平台；

S400、所述港口作业管理平台将异常识别结果和图像发送至工作人员，并更新船图信息并调整作业调度计划；

S500、所述港口作业管理平台将所述第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱上方进行箱号识别。

在本发明的一个实施例中，所述第一作业任务还包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹，包括：

所述无人机数据中心根据港口作业管理平台下发的第一作业任务对无人机飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数进行规划，以使所述无人机采集的图像完整覆盖船舶船舶顶层，即当次作业全域顶层集装箱。

在本发明的一个实施例中，所述定位飞行作业至所述第一作业任务中各悬停点对船舶顶层集装箱进行图像采集并传送实时数据至无人机数据中心，包括：

所述无人机使用边缘图像识别分析处理器对采集的图像进行初步箱号识别和定位；

所述无人机将采集的视频流数据和初步箱号识别结果通过飞控系统实时传送至无人机数据中心。

在本发明的一个实施例中，所述无人机数据中心对实时数据进行箱号识别，并将异常识别结果发送至所述港口作业管理平台，包括：

所述无人机数据中心根据所述无人机的定位信息和实时数据进行精确箱号识别。

在本发明的一个实施例中，所述第二作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述港口作业管理平台将所述第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱的作业悬停位置进行箱号识别，包括：

所述无人机数据中心根据岸桥管理平台提供的岸桥运行信息和所述第二作业任务进行自动航迹规划以使所述无人机在岸桥吊具吊运顶层集装箱后飞行至该顶层集装箱下层的集装箱上方；

所述无人机在岸桥吊具装卸前对指定集装箱进行箱号识别并将箱号识别结果通过所述无人机数据中心转发至所述港口作业管理平台；

所述港口作业管理平台将箱号识别结果与数据库中的集装箱信息进行确认绑定。

本发明还提供一种无人机集装箱箱号识别作业的系统，包括：

无人机数据中心，用于根据港口作业管理平台下发的第一作业任务自动规划航迹；

无人机，用于根据所述无人机数据中心的规划航迹，定位飞行作业至所述第一作业任务中各悬停点对船舶顶层集装箱分别进行图像采集，并传送实时数据至无人机数据中心；

所述无人机数据中心用于对实时数据进行箱号识别，并标定出异常识别结果；

港口作业管理平台，用于从所述无人机数据中心获取所述异常识别结果，以推送所述异常识别结果和图像，并更新船图信息，调整作业计划，同时生成第二作业任务；

所述港口作业管理平台将所述第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱的作业悬停位置进行箱号识别。

在本发明的一个实施例中，所述第一作业任务还包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心用于根据港口作业管理平台下发的第一作业任务对无人机飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数进行规划，以使无人机采集的图像完整覆盖作业全域顶层集装箱。

在本发明的一个实施例中，所述无人机用于使用边缘图像识别分析处理器对采集的图像进行初步箱号识别和定位，以及将采集的视频流数据和初步箱号识别结果通过飞控系统实时传送至无人机数据中心。

在本发明的一个实施例中，所述第二作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心用于根据所述无人机的定位信息和实时数据进行精确箱号识别，以及根据岸桥管理平台提供的岸桥运行信息和所述第二作业任务进行自动航迹规划以使所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱的作业悬停位置；

所述无人机用于在指定集装箱的作业悬停位置对集装箱进行箱号识别并将箱号识别结果通过所述无人机数据中心转发至所述港口作业管理平台；

所述港口作业管理平台用于将箱号识别结果与数据库中的集装箱信息进行确认绑定。

本发明还提供一种无人机集装箱箱号识别作业的装置包括：

航迹规划模块，用于根据港口作业管理平台下发的第一作业任务为无人机自动规划航迹；

视频处理模块，用于接收所述无人机发送的实时数据以进行解码和储存，并将实时数据转发至港口作业管理平台；

箱号识别模块，用于根据无人机定位信息和实时视频信息进行箱号识别，并将箱号识别结果转发至港口作业管理平台；

所述航迹规划模块还用于根据所述港口作业管理平台下发的第二作业任务以及岸桥管理平台提供的岸桥运行信息为无人机自动规划航迹，以使所述无人机飞行至指定集装箱的作业悬停位置进行箱号识别。

本发明的上述技术方案至少具有如下有益效果之一：

1、本发明实施例的无人机集装箱箱号识别作业的方法、系统及装置，可有效覆盖海侧区域，从而通过可实现预先对作业区域进行箱号识别比对和上报异常，优化了自动化装卸作业流程，实时更新调度计划，有效避免了错箱情况导致的回滚作业，提高了装卸效率；

2、本发明实施例的无人机集装箱箱号识别作业的方法、系统及装置，结合岸桥工作信息在岸桥吊运顶层集装箱后，通过无人机飞行至顶层集装箱下层的指定集装箱上方对指定集装箱进行箱号识别，及时核对和更新船图信息，提高船图准确率，有利于后续装卸作业，提高了装卸的准确性。

附图说明

图1为本发明实施例的无人机集装箱箱号识别作业的系统的结构示意图；

图2为本发明实施例的无人机集装箱箱号识别作业的系统的无人机对顶层集装箱进行箱号识别的示意图；

图3为本发明实施例的无人机集装箱箱号识别作业的系统的无人机对指定集装箱进行箱号识别的示意图；

图4为本发明实施例的无人机集装箱箱号识别作业的方法的流程图；

图5为本发明实施例的无人机集装箱箱号识别作业的装置的结构示意图。

附图标记：50、集装箱；60、船舶；70、岸桥；71、岸桥吊具；100、无人机；110、边缘图像识别分析处理模块；200、飞控系统；210、飞控模块；300、无人机数据中心；310、航迹规划模块；320、视频处理模块；330、箱号识别模块；340、港口管理交互接口；350、岸桥管理交互接口；400、远程运行管理平台；410、远程运行管理模块；500、港口作业管理平台；510、路由器；520、港口作业管理模块；600、岸桥管理平台；610、岸桥管理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

现有自动化岸桥的集装箱装卸船作业中，存在集装箱的实际装船位置与船图计划位置不一致，造成装卸作业指令中包含的集装箱箱号信息与OCR系统实际识别的卸箱箱号不一致的错箱情况，而现有OCR系统受安装位置限制无法覆盖海侧船上区域，因而需先吊运至指定区域后识别。目前的处理方法是“集装箱号不匹配”信息被发送给码头和外轮理货人员的操作终端确认，并调度集卡或AGV将错箱暂时放置到中转区域，这种事后发现处理的操作方法，影响了岸桥设备的作业效率。为解决上述问题，本发明提供一种无人机集装箱箱号识别作业的方法、系统及系统。

下面首先结合附图具体描述根据本发明实施例的一种无人机集装箱箱号识别作业的方法、系统及装置。

如图1所示，图1示出了根据本申请实施例的无人机100集装箱50箱号识别作业的系统的结构示意图，系统包括：无人机100、飞控系统200、无人机数据中心300以及远程运行管理平台400。其中，无人机100用于根据作业任务对集装箱50进行图像采集并传送实时数据，以及对采集的图像进行初步箱号识别；飞控系统200用于对无人机100进行飞行控制，以及接收并转发实时数据；无人机数据中心300(Drone OCR，DOCR)包括服务器，用于根据作业任务对无人机100进行自动航迹规划，以及接收飞控系统200转发的实时数据，对实时数据进行解码和精确箱号识别；远程运行管理平台400用于规划作业任务和对无人机100进行远程监控，以及储存实时数据和精确箱号识别结果。

具体来说，为确保在岸桥吊具71起吊集装箱50前，完成对集装箱50箱号的识别作业，可以通过无人机数据中心300根据作业任务对无人机100进行自动航迹规划，以使无人机100飞行至船舶60的多个悬停点进行整船顶层集装箱50的初步箱号识别扫描并与船图信息核对，或单次识别多组箱号并上报异常箱号；以及在岸桥吊具71抓取顶层集装箱50后，飞行至被抓取的顶层集装箱50下层的集装箱50上方进行箱号识别，从而可以在岸桥起吊集装箱50前完成对各集装箱50的箱号识别，避免了现有固定位置摄像头OCR系统在岸桥70鞍梁区域进行箱号识别的事后处理船图信息错误方法产生的误抓箱操作情况下对岸桥70工作效率的不利影响，将箱号识别工作前移，优化了自动化作业流程，提高效率；同时，飞控系统200可以通过与无人机100之间的通信链路进行飞行控制和数据传输，从而在保证无人机100飞行安全的情况下将无人机100获取的实时数据转发至无人机数据中心300，以使无人机数据中心300根据视频流进行精确箱号识别；此外，远程运行管理平台400可以实现无人机100箱号识别作业中的远程控制、作业任务规划、状态实时监控等功能，获取并展示基础飞行状态数据。由此，有效提高了无人机100在码头复杂环境下的飞行安全性和工作效率。

在本发明的一个实施例中，无人机100包括：云台、相机以及边缘图像识别分析处理器。其中，相机(未图示)设置在云台上，用于对集装箱50进行图像采集；边缘图像识别分析处理器(未图示)用于对相机采集的图像进行解码并进行初步箱号识别，以及将无人机100的信息和相机采集的图像实时推送至飞控系统200。

具体来说，云台可以控制相机全方位角度转动，以方便不同角度拍摄，在本发明的一个实施例中，云台挂载有超高清相机，并集成超清高倍率光学镜头、激光测距和红外测距功能，或采用负载协同方式的光学相机和半固态或固态激光雷达，可以在无人机100按规划航迹飞行的过程中，实时记录测距信息，将所采集图像和激光扫描结果关联。

更具体来说，在本申请的一个实施例中，机载云台连接的超高清相机为三传感器单元相机，通过控制接口调整云台姿态参数和设置相机参数，包括光学变焦镜头、激光测距仪以及辐射热像仪。其中，光学变焦镜头采用2000万像素分辨率、23倍混合变焦镜头，由此可以获取准确清晰的集装箱50箱号图像信息，降低了箱号识别难度，提高了识别效率。激光测距仪可覆盖3-1200米测距范围，可以通过对集装箱50激光测距的结果对光学变焦镜头进行调焦，使得光学变焦镜头可以快速采集集装箱50箱号，提升了采集效率；同时也可以通过激光测距以及无人机100高度数据计算集装箱50相对高度信息，并发送至岸桥管理平台600，以应用于小车运行方向的岸桥吊具71防撞保护，有效避免岸桥吊具71与集装箱50发生碰撞，提高了岸桥70作业的安全性。辐射热像仪设置有高热敏性红外感应单元，用于保存相机采集的每帧画面中每个像素点温度数据的视频流。由此，热辐射图像流可以协助岸桥70相关作业人员掌握现场的全局温度分布，避免无人机100飞行至高温的动火作业区域，进一步提高了无人机100作业的安全性。

在本发明的一个实施例中，相机采集的实时数据可以通过无人机100的无线图传链路回传到飞控系统200，同时使用物理接口连接固定安装在无人机100上的边缘图像识别分析处理器，以使边缘图像识别分析处理器进行视频解码和图像识别处理。

在本申请的一个实施例中，边缘图像识别分析处理器用于实时从相机获取超清相机的实时视频，并对解码后的视频流按一定的帧率由内置深度学习箱号识别分析模型推理图像帧中的集装箱50箱号信息。具体来说，边缘图像识别分析处理器集成有低功耗的加速深度学习模型算法，用于集装箱50号特征区域识别算法的运算。边缘图像识别分析处理器由无人机100提供的物理接口连接并由无人机100提供的物理接口对装置供电，可以实现包含视频流、控制指令的数据通信，为适应露天作业要求和天气适应型，机载的箱号识别装置具备一定等级的防尘防水要求。由此，可以有效应对码头湿度大工业废气多的环境，提高了使用寿命。

在本发明的一个优选实施例中，边缘图像识别分析处理器可以基于无人机100厂家提供的软件开发工具保重中的接口读取相机视频流和无人机100第一人称主视角(FirstPerson View，FPV)视频流，同时可以使用图形处理模组(graphics processing unit，GPU)对集装箱50箱号进行识别，例如可以使用深度学习神经网络加速模块，上述模组中可以部署针对集装箱50箱号识别的简化深度学习神经网络，例如FasterRCNN、YoloV3等目标检测网络对所采集图像进行OCR识别以识别所采集的集装箱50图片中箱号所在区域。由此，边缘图像识别分析处理器利用硬件对箱号识别深度学习神经网络算法的加速运算能力，以实时对相机视频流和抓拍照片中的集装箱50箱号进行初步箱号识别。有效提高了箱号识别的速度和准确性。

此外，边缘图像识别分析处理器内置5G通信模组，可接入运营商5G公网或者港口自建的4G/5G通信专网，利用建立的无人机100和远程控制中心的高带宽低时延高可靠通信链接，可以基于实时消息传输协议(Real Time Messaging Protocol，RTMP)实现无人机100相机视频流和无人机100的FPV视频流视频推流回传，由此，有效提高了无人机数据中心300对视频流进行精确箱号识别的速度。同时，也可以将边缘图像识别分析处理器实时运算分析的初步箱号识别结果回传以辅助无人机数据中心300的精确箱号识别，提高了箱号识别的准确性。此外，5G通信带宽高，可以满足远程飞行控制、航线任务上传以及箱号识别算法模型更新等功能，有效提高了作业效率。

在本发明的另外一个实施例中，边缘图像识别分析处理器设置有储存单元，当4G/5G网络连接中断或丢失，可以按规则将视频流录制到储单元中，以在网络连接恢复后续断点上传。由此，提高了无人机100数据传输的稳定性和安全性。

在本发明的另外一个实施例中，远程运行管理平台400还可以用于实时播放视频流，并自动保存音视频数据。同时可以远程登录无人机数据中心300，查看箱号识别任务的相关图片、结果数据等记录。具体来说，远程运行管理平台400基于浏览器/服务器的交互形式，提供网页图形界面。多画面独立窗口实时播放视频流，在视频播放图层上叠加基础飞行状态数据。同时可以设置无人机100飞行遥控操作控件，模拟遥控器手柄和按键操作，从而低延时控制无人机100飞行姿态参数，调整云台姿态和设置相机参数。由此，可以通过远程运行管理平台400进行远程作业，有效提高了作业效率。

如图1所示，在本发明的一个实施例中，无人机100设置有定位模组，系统还包括：定位装置(未图示)、港口作业管理平台500以及岸桥管理平台600。其中，定位装置用于向定位模组提供定位信息以使无人机100进行自身定位；港口作业管理平台500用于生成作业任务并进行下发，作业任务包括船舶60的船图信息、船型信息、集装箱50信息和岸桥70信息；岸桥管理平台600用于向无人机数据中心300提供岸桥70运行信息。

具体来说，港口作业管理平台500(Terminal Operating System，TOS)通过路由器510与岸桥管理平台600和无人机数据中心300连接，用于生成作业任务并进行下发，作业任务包括船舶60的船图信息、船型信息、集装箱50信息和岸桥70信息，更具体来说，如图2所示，船图信息包含岸桥70的作业贝位信息，集装箱50信息包含集装箱50位置、箱号、箱型等信息，无人机数据中心300从港口作业管理平台500获取作业任务后可以进行自动航迹规划，计算生成对整船顶层集装箱50上表面的箱号识别作业的无人机100飞行航行参数和摄像头拍摄参数，包括无人机100飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数，无人机100根据自动航迹规划以及定位模组飞行至多个指定悬停点对船舶60的当次作业区域顶层集装箱50进行图像采集和箱号识别操作，并根据悬停点的位置坐标和初步箱号识别结果拼接弯折的顶层箱号识别视图，并将对初步箱号识别结果与船图信息不一致的异常信息发送至港口作业管理平台500，港口作业管理平台500可以将异常信息和原始图像提交给操作人员并对船图进行更新。由此，有效避免了错箱数据，提高了数据准确性和装卸效率，同时，无人机100仅需在数个指定悬停点悬停即可完成全船所有顶层集装箱的图像采集，无人机100无需进行大量机动，有效提升了续航时间。此外，如图3所示，在岸桥70将顶层集装箱50吊出后，港口作业管理平台500可以生成作业任务下发至岸桥管理平台600(Quay crane management system，QCMS)和无人机数据中心300，该作业任务中包括岸桥70的作业贝位、集装箱50位置、箱号、箱型信息，无人机数据中心300可以根据上述信息计算悬停位置，该悬停位置为被吊出的顶层集装箱50下层的集装箱50的上方，并遥控无人机100飞行到该悬停位置进行集装箱50箱号识别，港口作业管理平台500可以将箱号识别结果与数据库中的集装箱50信息进行确认绑定，避免了门架固定位置OCR系统事后处理错箱影响装卸作业效率的情况，进一步提升了装卸效率。

在本发明的一个实时例中，定位模组可以是实时动态定位(Real-timekinematic，RTK)模组，可提供定位(BLH)、定向(真北角)、定速(对地速度)、航向、速度、航迹角、磁偏角、卫星数量、世界协调时间等数据。定位装置可以是与实时动态定位模组匹配的实时动态定位基站，在本发明的一个实施例中，以岸桥70为例，实时动态定位基站设置在岸桥70电气房顶并根据岸桥70设计参数，设置初始的精确三维坐标信息(通常坐标原点为陆侧轨道中心点，面向海侧位X轴正向，竖直向上为Y轴，坐标系满足右手定则)，实时动态定位基站的接收机可以锁定视野中的所有卫星，并计算出每颗卫星的定位误差，然后按标准格式编制成电码，由通讯链路发送给无人机100内置的实时动态定位模组接收计算。无人机100解算内置实时动态定位模组捕捉到的卫星信号，与实时动态定位基站已知坐标进行对比，求出误差值，然后根据坐标误差反求出每颗卫星的定位误差，实现高精度自身定位。由此，可以精确悬停在航迹中的每一处集装箱50上方进行箱号识别，有效提高了箱号识别的准确性。

在本发明的一个实施例中，飞控系统200通过与无人机100之间的通信链路进行飞行控制和数据传输，飞控系统200可以对包括无人机100飞行参数和地理信息监控、云台角度控制、调整相机参数、飞行航迹规划。由此，有效提高了无人机100作业的灵活性和安全性。同时，也可以实现实时记录飞行数据并实时显示高清画面和远程遥控拍照与录像、媒体库管理功能、实时消息传输直播推流。其中，图像采集功能可以按照航迹规划的检测点和采集规则进行图像采集。由此，有效节省了储存空间和带宽。在实际操作中，无人机100可以将所采集图像由无人机100无线图传链路先回传到飞控系统200，并由飞控系统200转发实时消息传输推流。由此，有效提高了数据传输的稳定性。

在实施例中，飞控系统200可设置触控屏幕，或通过数据线来连接电子产品，并通过用户界面遥控无人机100和操作上述功能。由此，有效提高了适用性和使用灵活性。

如图4所示，本发明还提供一种无人机集装箱箱号识别作业的方法，包括：

S100、无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹。

在本发明的一个实施例中，第一作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息；无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹，包括：

无人机数据中心根据港口作业管理平台下发的第一作业任务对无人机飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数进行规划。

具体来说，以岸桥为例，无人机数据中心与港口作业管理平台和岸桥管理平台以Restful API的方式交互数据，Restful API是一种规范多种形式和同一后台进行交互的交互方式，可以有效降低部署港口作业管理平台的服务器压力。由此，可以有效节省平台资源，提高数据交互速度，第一作业任务中的飞行航迹包括至少一个悬停点。

S200、无人机根据无人机数据中心的规划航迹，定位飞行作业至第一作业任务中各悬停点对作业全域表面集装箱分别进行图像扫描并传送实时数据至无人机数据中心。

具体来说，无人机可以按照航迹规划的检测点和采集规则，飞行至第一作业任务中各悬停点对作业全域表面，即船舶顶层所有可见的集装箱分别进行图像扫描，并将多个悬停点进行连线以形成航线，即对船舶的顶层所有可见的集装箱上表面的箱号信息进行箱号识别。同时，无人机搭载的边缘图像识别分析处理器可以使用部署的简化算法深度学习OCR算法模型进行初步箱号识别，同时将采集的图像、航线、悬停点、飞行参数、云台角度、拍照参数以及初步箱号识别结果输出至数据存储器并通过飞控系统转发至无人机数据中心。

S300、无人机数据中心对实时数据进行箱号箱位识别并与船图对比，并将异常识别结果发送至港口作业管理平台。

具体来说，无人机数据中心部署有复杂深度学习神经网络OCR算法模型，可以对无人机上传的图像数据并结合初步箱号识别结果，进行精确箱号识别，并将箱号以及箱位识别结果与船图信息不一致的异常信息发送至港口作业管理平台。更具体来说，顶层箱号识别视图的每个集装箱位置信息在船图中由贝位号(Bay No.)和行号(Row No.)定义。可以将作业区域内按位置进行二进制代码编码，在吊具执行操作生成操作记录时，生成对应的字段代码和位置代码。位置代码用多位二进制代表具体位置的代号，例如，船上位置可以是0-30，代表船上30个不同位置。在本发明的一个实施例中，为了顶层箱号识别整体视图与岸桥作业更好匹配，可以用此位置代码对顶层箱号识别结果进行关联。

S400、港口作业管理平台将异常识别结果和图像发送至工作人员，并更新船图信息。

具体来说，若有一项或多项数据项未被OCR识别或识别失败，港口作业管理平台会根据异常识别结果更新船图信息并生成异常处理事件，将异常识别事件和图像发送至工作人员以通知工作人员进行处理。由此，可以在岸桥装卸前更新船图信息，并将错箱进行提前处理，从而有效提高了装卸效率。

S500、港口作业管理平台将第二作业任务下发至无人机数据中心，以使无人机数据中心根据岸桥管理平台的岸桥信息控制无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱上方进行箱号识别。

在本发明的一个实施例中，第二作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息。

具体来说，以双小车岸桥为例，无人机数据中心根据岸桥管理平台提供的岸桥运行信息获取当前岸桥作业情况信息以生成第二作业任务，并结合实时动态定位模组设置无人机与岸桥以及岸桥吊具之间的安全距离，确定无人机在岸桥下方的悬停点位置，岸桥信息包括但不限于以下信息：小车位置，速度信息(主小车起升高度、主小车位置；门架小车起升高度、门架小车位置)；吊具高度、吊具尺寸、单双箱状态信息；吊具海侧/陆侧开闭锁信息；大车位置。此时，无人机可以在岸桥吊具吊运顶层集装箱后飞行至被吊运的集装箱下层的集装箱上方，对被吊运的集装箱下层的集装箱进行箱号识别并将箱号识别结果通过无人机数据中心转发至港口作业管理平台；港口作业管理平台将箱号识别结果与数据库中的集装箱信息进行确认绑定。

在本发明的一个实施例中，方法还包括：

S600、无人机数据中心比对箱号识别结果与第二作业任务是否一致。

具体来说，在无人机飞行至被吊运的集装箱下层的集装箱上方进行箱号扫描，并发送至无人数据中心后，无人机数据中心会将扫描的箱号与第二作业任务中包含的箱号进行比对。若一致，则执行步骤S700，步骤S700、港口作业管理平台将箱号识别结果与数据库中的集装箱信息进行确认绑定。若不一致，则执行步骤S800，步骤S800、港口作业管理平台通知理货人员确认，确认后生成新的第二作业任务。

显而易见的是，顶层集装箱为船舶最外层的集装箱，在岸桥吊运最外层集装箱后，该集装箱下层的集装箱即成为顶层集装箱，无人机可以重复对顶层集装箱进行图像采集和箱号识别直至岸桥将所有集装箱吊运，此处不做赘述。

在本发明的一个实施例中，边缘图像识别分析处理器可以将无人机的位置与当前作业的集装箱进行对象同步，以在协作任务中进行更精确的位置跟踪，实时同步对象的动态位置。由此，进一步提高了无人机作业的精确度。

如图5所示，本发明还提供一种无人机集装箱箱号识别作业的装置，包括：航迹规划模块310、视频处理模块320以及箱号识别模块330。其中，航迹规划模块310用于根据港口作业管理模块520下发的第一作业任务为无人机自动规划航迹；视频处理模块320用于接收边缘图像识别分析处理模块110发送的实时数据以进行解码和储存，并将实时数据转发至港口作业管理平台；箱号识别模块330用于根据无人机定位信息和实时视频信息进行箱号识别，并将箱号识别结果转发至港口作业管理平台。

具体来说，航迹规划模块310可以与飞控模块210连接，从而使得用户可对自动生成的航迹进行编辑(增删改查)。同时，航迹规划模块310通过港口管理交互接口340与港口作业管理模块520进行数据交互以获取第一作业任务，从而可以根据第一作业任务的船图、计划等数据规划作业全域表面集装箱箱号整图扫描的无人机航迹规划。此外，远程运行管理模块410可以与飞控模块210连接从而通过飞控模块210，对无人机进行远程操控。航迹规划模块310配有组件诊断和监控工具，用于显示服务和现场设备通信状态及其他相关信息。如果任何设备或服务出现故障，系统将发送通知。

在本发明的一个实施例中，航迹规划模块310还用于根据港口作业管理平台下发的第二作业任务，同时可以通过岸桥管理交互接口350与岸桥管理模块610进行数据交互以获取大车和小车的作业位置，并结合第二作业任务生成航迹，以使无人机在岸桥吊具吊运顶层集装箱后飞行至岸桥下方被吊运的集装箱下层的集装箱的上方进行箱号识别。

在本发明的一个实施例中，箱号识别模块330搭建了基于Pytorch或Tensorflow深度学习框架的模型训练和分析推理运行环境，部署模型为CNN、RNN和CTC，其中CNN用于提取图像特征，RNN在CNN提取特征的基础上，通过双向LSTM提取相邻下像素之间的特征，CTC用于计算损失函数。通过多个模型对箱号进行识别，有效提高了识别的准确性。

在本发明的一个实施例中，箱号识别模块330可以部署不同厂商的OCR产品，也可以对应不同的应用任务，部署不同的目标检测模型，将识别任务从箱号识别扩展到箱型、集卡号、车牌、箱门朝向、危险品标志、箱体限重、集装箱残损、铅封等应用，此处不做限制。

本发明的无人机集装箱箱号识别作业的方法、系统及装置，通过无人机对顶层集装箱进行箱号识别生成航线并上报异常，有效避免了错箱情况；此外，本发明实施例的无人机集装箱箱号识别作业的方法、系统及装置，通过无人机在岸桥吊具吊运顶层集装箱后对指定集装箱进行箱号识别，有效提高了装卸效率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种无人机集装箱箱号识别作业的方法，其特征在于，包括：

S100、无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹；

S200、无人机根据所述无人机数据中心的规划航迹，定位飞行作业至所述第一作业任务中各悬停点对作业全域表面集装箱进行图像扫描并传送实时数据至无人机数据中心；

S300、所述无人机数据中心对实时数据进行箱号箱位识别并与船图比对，并将异常识别结果发送至所述港口作业管理平台；

S400、所述港口作业管理平台将异常识别结果和图像发送至工作人员，并更新船图信息；

S500、所述港口作业管理平台将第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱上方进行箱号识别。

2.根据权利要求1所述的方法，其特征在于，所述第一作业任务还包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心根据港口作业管理平台下发的第一作业任务自动规划航迹，包括：

所述无人机数据中心根据港口作业管理平台下发的第一作业任务对无人机飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数进行规划，以使所述无人机采集的图像完整覆盖船舶顶层集装箱。

3.根据权利要求2所述的方法，其特征在于，所述定位飞行作业至所述第一作业任务中各悬停点对作业全域表面集装箱进行图像扫描并传送实时数据至无人机数据中心，包括：

所述无人机使用边缘图像识别分析处理器对采集的图像进行初步箱号识别和箱位记录；

所述无人机将采集的视频流数据和初步箱号识别结果通过飞控系统实时传送至无人机数据中心。

4.根据权利要求3所述的方法，其特征在于，所述无人机数据中心对实时数据进行箱号识别和比对，并将异常识别结果发送至所述港口作业管理平台，包括：

所述无人机数据中心根据所述无人机的定位信息和实时数据进行精确箱号识别。

5.根据权利要求4所述的方法，其特征在于，所述第二作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述港口作业管理平台将所述第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱上方进行箱号识别，包括：

所述无人机数据中心根据岸桥管理平台提供的岸桥运行信息和所述第二作业任务进行自动航迹规划以使所述无人机在岸桥吊具吊运顶层集装箱后飞行至该顶层集装箱下层的集装箱上方；

所述无人机在岸桥吊具装卸前对指定集装箱进行箱号识别并将箱号识别结果通过所述无人机数据中心转发至所述港口作业管理平台；

所述港口作业管理平台将箱号识别结果与数据库中的集装箱信息进行确认绑定。

6.一种无人机集装箱箱号识别作业的系统，其特征在于，包括：

无人机数据中心，用于根据港口作业管理平台下发的第一作业任务自动规划航迹；

无人机，用于根据所述无人机数据中心的规划航迹，定位飞行作业至所述第一作业任务中各悬停点对作业全域表面集装箱分别进行图像采集，并传送实时数据至无人机数据中心；

所述无人机数据中心用于对实时数据进行箱号识别，并标定出异常识别结果；

港口作业管理平台，用于从所述无人机数据中心获取所述异常识别结果，以推送所述异常识别结果和图像，并更新船图信息，调整作业计划，同时生成第二作业任务；

所述港口作业管理平台将所述第二作业任务下发至所述无人机数据中心，以使所述无人机数据中心根据岸桥管理平台的岸桥信息控制所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱的上方进行箱号识别。

7.根据权利要求6所述的系统，其特征在于，所述第一作业任务还包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心用于根据港口作业管理平台下发的第一作业任务对无人机飞行航迹、高度、速度、图像采集悬停点、云台的姿态和相机的参数进行规划，以使无人机采集的图像完整覆盖集装箱装卸作业区域。

8.根据权利要求7所述的系统，其特征在于，所述无人机用于使用边缘图像识别分析处理器对采集的图像进行初步箱号识别和定位，以及将采集的视频流数据和初步箱号识别结果通过飞控系统实时传送至无人机数据中心。

9.根据权利要求8所述的系统，其特征在于，所述第二作业任务包括：船图信息、船型信息、集装箱信息和岸桥信息；

所述无人机数据中心用于根据所述无人机的定位信息和实时数据进行精确箱号识别，以及根据岸桥管理平台提供的岸桥运行信息和所述第二作业任务进行自动航迹规划以使所述无人机在岸桥吊具吊运顶层集装箱后飞行至指定集装箱的作业悬停位置；

所述无人机用于在指定集装箱的作业悬停位置对集装箱进行箱号识别并将箱号识别结果通过所述无人机数据中心转发至所述港口作业管理平台；

所述港口作业管理平台用于将箱号识别结果与数据库中的集装箱信息进行确认绑定。

10.一种无人机集装箱箱号识别作业的装置，其特征在于，包括：

航迹规划模块，用于根据港口作业管理平台下发的第一作业任务为无人机自动规划航迹；

视频处理模块，用于接收所述无人机发送的实时数据以进行解码和储存，并将实时数据转发至港口作业管理平台；

箱号识别模块，用于根据无人机定位信息和实时视频信息进行箱号识别，并将箱号识别结果转发至港口作业管理平台；

所述航迹规划模块还用于根据所述港口作业管理平台下发的第二作业任务以及岸桥管理平台提供的岸桥运行信息为无人机自动规划航迹，以使所述无人机飞行至指定集装箱的作业悬停位置进行箱号识别。

Images