CN113408512A - 利用机器人进行集装箱查验的方法、系统、装置及介质 - Google Patents

Abstract

本发明涉及图像识别技术领域，具体涉及一种利用机器人进行集装箱查验的方法、系统、装置及介质。本申请旨在解决现有的依靠人力进行集装箱查验的方法存在的效率低的问题。为此目的，本申请的方法包括：当机器人到达当前待检集装箱的查验位置后，获取通过机器人上的图像采集部拍摄的含有当前待检集装箱的第一图像；基于第一图像，确定当前待检集装箱的集装箱号和实际封识号；根据集装箱号，查询当前待检集装箱的上报封识号；基于查询结果，对实际封识号与上报封识号进行匹配验证。通过借助机器人实现对待检集装箱的查验，实现了查验过程的自动化，不仅节省了人力物力，也提高了查验的效率。

Description

利用机器人进行集装箱查验的方法、系统、装置及介质

技术领域

本发明涉及图像识别技术领域，具体涉及一种利用机器人进行集装箱查验的方法、系统、装置及介质。

背景技术

随着我国经济贸易的急速发展，进出港口的集装箱数量成几何级数增长。为保证货物的真实性、防止走私等情况出现，需要海关人员对每件集装箱进行开箱查验。当前海关的查验流程如下：查验人员在查四系统查看当天需要查验的集装箱位置信息，并前往查验现场人工录入集装箱号和封识号，与后台数据进行核对，核对通过后再人工开箱，通过摄像装置进行开箱拍照，并根据查四系统的要求进行掏箱查验。

可以看出，由于主要依靠人力完成查验流程，因此传统的海关查验手段已经难以适应成几何级数增长的集装箱查验要求。在此背景下，查验人员查验压力大，强度高，不仅浪费人力物力，而且影响了整体的信息处理效率和水平。

相应地，本领域需要一种新的查验方法来解决上述问题。

发明内容

为了解决现有技术中的上述至少一个问题，即为了解决现有的依靠人力进行集装箱查验的方法存在的效率低的问题，本申请提供了一种利用机器人进行集装箱查验的方法，所述方法包括：

当机器人到达当前待检集装箱的查验位置后，获取通过所述机器人上的图像采集部拍摄的含有所述当前待检集装箱的第一图像；

基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号；

根据所述集装箱号，查询所述当前待检集装箱的上报封识号；

基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证。

在上述利用机器人进行集装箱查验的方法的优选技术方案中，“基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号”的步骤进一步包括：

利用集装箱号识别模型对所述第一图像进行识别，以获得所述集装箱号；

利用位置检测模型对所述第一图像进行检测，以获得封识在所述第一图像中的位置信息；

基于所述位置信息，控制所述机器人上的云台调整方向、控制所述图像采集部调整焦距并对焦，以使所述封识位于所述图像采集部的取景框中心；

获取通过所述图像采集部拍摄的含有所述封识的第二图像；

利用封识号识别模型对所述第二图像进行识别，以获得所述实际封识号。

在上述利用机器人进行集装箱查验的方法的优选技术方案中，“基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证”的步骤进一步包括：

如果所述实际封识号与所述上报封识号匹配成功，则控制所述机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则控制所述机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。

在上述利用机器人进行集装箱查验的方法的优选技术方案中，在“对所述实际封识号与所述上报封识号进行匹配验证”的步骤之后，所述方法还包括：

如果所述实际封识号与所述上报封识号匹配成功，则接收并存储所述机器人上传的所述第一图像、所述第二图像和所述开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则接收并存储所述机器人上传的所述第一图像和所述第二图像。

在上述利用机器人进行集装箱查验的方法的优选技术方案中，所述方法还包括：

向所述机器人下发包括待查验集装箱的位置编号和查验顺序的查验指令；以使得

所述机器人基于所述位置编号和所述查验顺序建立导航图，并基于所述导航图进行集装箱查验。

本申请还提供了一种集装箱查验系统，所述系统包括：

获取模块，所述获取模块被配置成当机器人到达当前待检集装箱的查验位置后，获取通过所述机器人上的图像采集部拍摄的含有所述当前待检集装箱的第一图像；

确定模块，所述确定模块被配置成基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号；

查询模块，所述查询模块被配置成根据所述集装箱号，查询所述当前待检集装箱的上报封识号；

验证模块，所述验证模块被配置成基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证。

在上述集装箱查验系统的优选技术方案中，所述确定模块进一步被配置成通过如下方式来基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号：

利用集装箱号识别模型对所述第一图像进行识别，以获得所述集装箱号；

利用位置检测模型对所述第一图像进行检测，以获得封识在所述第一图像中的位置信息；

基于所述位置信息，控制所述机器人上的云台调整方向、控制所述图像采集部调整焦距并对焦，以使所述封识位于所述图像采集部的取景框中心；

获取通过所述图像采集部拍摄的含有所述封识的第二图像；

利用封识号识别模型对所述第二图像进行识别，以获得所述实际封识号。

在上述集装箱查验系统的优选技术方案中，所述验证模块进一步被配置成通过如下方式来基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证：

如果所述实际封识号与所述上报封识号匹配成功，则控制所述机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则控制所述机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。

在上述集装箱查验系统的优选技术方案中，所述系统还包括接收存储模块，所述接收存储模块被配置成：

如果所述实际封识号与所述上报封识号匹配成功，则接收并存储所述机器人上传的所述第一图像、所述第二图像和所述开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则接收并存储所述机器人上传的所述第一图像和所述第二图像。

在上述集装箱查验系统的优选技术方案中，所述系统还包括下发模块，所述下发模块被配置成：

向所述机器人下发包括待查验集装箱的位置编号和查验顺序的查验指令；以使得

所述机器人基于所述位置编号和所述查验顺序建立导航图，并基于所述导航图进行集装箱查验。

本申请还提供了一种计算机装置，包括：处理器；存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述优选实施方式中任一项所述的方法。

本申请还提供了一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行上述优选技术方案中任一项所述的方法。

需要说明的是，在本申请的优选技术方案中，利用机器人进行集装箱查验的方法包括：当机器人到达当前待检集装箱的查验位置后，获取通过机器人的图像采集部拍摄的含有当前待检集装箱的第一图像；基于第一图像，确定当前待检集装箱的集装箱号和实际封识号；根据集装箱号，查询当前待检集装箱的上报封识号；基于查询结果，对实际封识号与上报封识号进行匹配验证。

通过借助机器人实现对待检集装箱的查验，实现了查验过程的自动化，不仅节省了人力物力，也提高了查验的效率，使得作业方式更加符合现代化、科技化、智能化的海关查验要求。经发明人反复试验、计算、分析和比较，本申请的查验方法在实际应用时，单个集装箱的查验时间约为1分钟(包含30秒的等待开箱时间)，大大提高了查验的效率。

进一步地，通过先对第一图像进行检测获取封识在第一图像中的位置，再进调整云台的方向和图像采集部的焦距并对焦以获取含有封识的第二图像，最后基于第二图像识别实际封识号，通过精确定位并进一步获取实际封识号的图像的方式，能够提高封识号的识别精度，从而提高集装箱的查验成功率和效率。

进一步地，通过在实际封识号与上报封识号匹配成功时控制机器人发出开箱信息并在预设时间后拍摄开箱图像，能够在匹配成功时及时提示工作人员进行开箱操作，并在开箱后自动拍摄开箱照。另一方面，在实际封识号与上报封识号匹配失败时控制机器人发出报警信息并移动到下一个待检集装箱的查验位置，能够在匹配失败时及时上报，并运动到下一查验位置，提高查验效率。

进一步地，通过向机器人下发位置编号和查验顺序，使得机器人能够自动建立导航图，并基于导航图实现自动查验，实现机器人自动巡航作业。

附图说明

下面参照附图来描述本申请的利用机器人进行集装箱查验的方法、系统、装置及介质。附图中：

图1为本申请的一种可能的实施方式中的机器人的结构图；

图2为本申请的利用机器人进行集装箱查验的方法的流程图；

图3为本申请的一种可能的实施方式中集装箱号的识别结果图；

图4为本申请的一种可能的实施方式中的封识定位结果图；

图5为本申请的一种可能的实施方式中的封识号的识别结果图；

图6为本申请的集装箱查验系统的结构框图；

图7为本申请的一种具体实施方式的逻辑图。

附图标记列表

1、主体；2、移动部；21、主动轮；22、万向轮；3、图像采集部；31、红外摄像头；32、高清摄像头；33、行车摄像头；4、云台；41、本体；42、第二转轴；5、音响；61、多线激光雷达；62、超声雷达；7、连接部；8、集装箱查验的系统；81、获取模块；82、确定模块；83、查询模块；84、验证模块；85、接收存储模块；86、下发模块。

具体实施方式

下面参照附图来描述本申请的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

需要说明的是，在本申请的描述中，术语“中”、“上”、“下”、“竖直”、“水平”、“内”、等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、仅用于描述目的，而不能理解为指示或暗示相对重要性。

此外，还需要说明的是，在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本申请中的具体含义。

首先，对下述实施方式中的部分术语进行解释：

集装箱号：是集装箱运输过程中最为主要的识别依据，其采用ISO6346(1995)标准的集装箱，箱号是由11位编码组成，包括三个部分：第一部分由4位英文字母组成，第二部分由6位数字组成，第三部分为校验码，由前4位字母和后6位数字经过校验规则运算得到。

集装箱的封识：是货物装入集装箱并正确地关闭箱门后，由特定人员施加的类似于锁扣的设备。封识根据施加人员不同可分为海关封识、商检封识和商业封识。封识一经正确锁上，除非暴力破坏，否则无法打开，同时破坏后的封识也无法再次使用。

封识号：每个封识上都有唯一的编号标识，即为封识号。封识号至少由数字组成，有的封识号还包括字母和数字的组合。

OCR：即Optical Character Recognition，光学字符识别，是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

Docker：Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

如背景技术中所述，现有技术中心主要依靠人力来完成对集装箱的查验工作，这种查验方式难以适应成倍增长的集装箱查验要求，导致查验效率低、消耗人力物力。为了解决上述问题，本申请通过借助机器人实现对待检集装箱的查验，实现了查验过程的自动化，不仅节省了人力物力，也提高了查验的效率，使得作业方式更加符合现代化、科技化、智能化的海关查验要求。

接下来对本申请的利用机器人进行集装箱查验的方法进行描述。

首先参照图1，对本申请中的机器人进行简单介绍，其中，图1为本申请的一种可能的实施方式中的机器人的结构图。

如图1所示，一种可能的实施方式中，本申请中的机器人主要包括主体1、移动部2、图像采集部3和云台4，移动部2设置于主体1的底部，其主要用于实现主体1的移动；云台4设置于主体1上，其主要用于支撑图像采集部3并调整图像采集部3的朝向，图像采集部3设置于云台4上，其主要用于采集图像。此外，机器人还包括控制器，控制器与上述个部件连接，以控制各部件的逻辑动作。

具体地，主体1成蜗壳形，蜗壳底部大致成矩形，主体1内部形成有安装腔，安装腔内安装有控制器。主体1的底部安装有移动部2，移动部2包括主动轮21和万向轮22，主动轮21设有两个，分别设置在主体1的相对两侧，万向轮22设有四个，分别位于主体1的四角。机器人主要依靠主动轮21行驶，万向轮2相对于主动轮更加灵活，能够辅助主动轮21驱动机器人朝更多方向行驶，有助于提高机器人行驶过程中的灵活性和精确性。

云台4通过连接部7与主体1连接，连接部7成柱状，其一端与主体1连接，另一端与云台4连接。云台4包括本体41、第一转轴(图中未示出)以及第二转轴42，本体41的下端与连接部7连接，第二转轴42的下端连接于本体41，第二转轴42的上端连接于第一转轴，且第二转轴42沿竖直方向延伸，其旋转轴为竖直方向；第一转轴沿水平方向延伸，其旋转轴为水平方向。图像采集部3包括一个红外摄像头31、一个高清摄像头32及四个行车摄像头33，红外摄像头31和高清摄像头32分别连接在第一转轴的两端，如此，红外摄像头31和高清摄像头32能通过第一转轴绕水平方向旋转，并通过第二转轴42绕竖直方向转动，本申请中，红外摄像头31和高清摄像头32能绕竖直方向在0°至360°范围内旋转，绕水平方向在0°至180°范围内旋转，从而获取更多角度范围的图像信息。四个行车摄像头33设于本体41上，以使得机器人在移动时能获取更多方位的信息。本实施例中采用像素为300w-600w的高清摄像头32，高清摄像头32可以对准目标场景并放大、捕捉或存储画面。另外，红外摄像头31使得机器人在夜间或者黑暗环境下也可以获得周围环境信息，确保提高机器人的效率及质量。

为实现精准的定位，机器人还包括与控制器连接的GPS模块(图中未示出)，GPS模块包括GPS天线，本申请中，GPS天线设置在云台4内部，具体地，设置在第一转轴的上方，以有效地保证GPS天线良好和稳定地接收无线信号。

为实现与海关系统的服务器(以下或简称海关系统或服务器)之间的通信连接，机器人还包括无线通信模块，无线通信模块与控制器连接，机器人通过无线通信模块与服务器通信连接，无线通信模块可以是WiFi模块、3G/4G/5G模块、蓝牙模块、Zigbee模块等。服务器可以是云端服务器，也可以是后天服务器。

机器人还包括与控制器连接的单线激光雷达(图中未示出)、多线激光雷达61及超声雷达62，本实施例中的单线雷达和超声雷达62设于主体1上，优选地，单线激光雷达与多线激光雷达61设置在机器人向前移动方向的一侧，其中单线激光雷达设置在主体1上，通过释放的激光线扫描周围环境，以获取环境信息。多线激光雷达61位于主体与连接部7之间的结合处，多线激光雷达61通过释放多根激光线扫描周围环境，以获取周围的环境信息，从而建立与周围环境相关的三维点云地图。单线激光雷达在角频率及灵敏度上反应更快捷，其扫描速度快、分辨率强、可靠性高，多线激光雷达61具有非常大的检测范围和很高的检测精度，可以有效扩大扫描范围，减少扫描盲区。本实施例中的机器人设有十二路超声雷达62，十二路超声雷达62依次设置在主体1的四周，以扩大巡检的范围。如此，通过单线激光雷达、多线激光雷达61及超声雷达62可以建立海关场地的扫描图，并且扫描图更加全面，使得机器人行驶的方向、距离等更加精确，从而提高机器人的自主导航能力。

此外，机器人还包括音响5，音响5设置在主体1的侧面，并与控制器连接，音响5主要用于播放音频，以完成与工作人员的互动。

需要说明的是，上述机器人的具体实施方式仅仅用于阐述本申请的原理，并非旨在于限制本申请的保护范围，在不偏离本申请的原理的前提下，本领域技术人员可以对上述机器人的具体形式和组成进行调整，只要调整后的机器人至少包括上述主体1、移动部2、图像采集部3和云台4等必要的功能部件即可。

接下来参照图2至图5，对本申请的利用机器人进行集装箱查验的方法进行介绍。其中，图2为本申请的利用机器人进行集装箱查验的方法的流程图；图3为本申请的一种可能的实施方式中集装箱号的识别结果图；图4为本申请的一种可能的实施方式中的封识定位结果图；

图5为本申请的一种可能的实施方式中的封识号的识别结果图。

如图2所示，本申请的利用机器人进行集装箱查验的方法主要包括如下步骤：

S101、当机器人到达当前待检集装箱的查验位置后，获取通过机器人的图像采集部拍摄的含有当前待检集装箱的第一图像。

一种可能的实施方式中，对于每一个查验场，可以提前通过机器人对该场地建立相应的扫描图，并对每个集装箱位置进行编号。在执行查验任务前，海关系统将待查验集装箱的位置编号和查验顺序作为任务指令下发至机器人，机器人收到任务指令后，根据位置编号和查验顺序建立自动导航图，该自动导航图包括巡航路线和查验位置，查验位置即机器人距离集装箱的距离，该距离可以基于GPS天线进行定位确定。在准备好后，机器人开始执行自动巡航任务，从第一个查验位置开始，直至最后一个查验位置结束。

当机器人到达当前待检集装箱的查验位置后，通过高清摄像头拍摄含有当前待检集装箱的第一图像。一种可能的实施方式中，机器人通过高清摄像头拍摄的第一图像如图3所示。

通过向机器人下发位置编号和查验顺序，使得机器人能够自动建立导航图，并基于导航图实现自动查验，实现机器人自动巡航作业。

S103、基于第一图像，确定当前待检集装箱的集装箱号和实际封识号。

一种可能的实施方式中，上述步骤S103具体包括：利用集装箱号识别模型对第一图像进行识别，以获得集装箱号；利用位置检测模型对第一图像进行检测，以获得封识在第一图像中的位置信息；基于位置信息，控制机器人上的云台调整方向、控制图像采集部调整焦距并对焦，以使封识位于图像采集部的取景框中心；获取通过图像采集部拍摄的含有封识的第二图像；利用封识号识别模型对第二图像进行识别，以获得实际封识号。

在机器人获取到第一图像后，可以将第一图像上传至海关系统的服务器，由海关系统对第一图像进行识别分析。其中，在海关系统的服务器内依托Docker部署集装箱号识别模型、位置检测模型和封识号识别模型、上报封识号查询、封识号比对服务等。

较为优选地，本申请中上述各模型均采用深度学习算法训练而成。深度学习算法在目标检测/文本检测和文本内容识别领域均已经取得很大的进展，本发明可以采用多种深度学习算法进行OCR区域检测和OCR内容识别。例如：可以采用EAST，CTPN，YOLO，Fast-RCNN，Faster-RCNN，TextBoxes++，SSD等算法进行目标检测/文本检测，可以采用CRNN，FOTS，CTC等进行文本内容识别。

具体到本实施方式，集装箱号识别模型包括集装箱检测、集装箱文本检测和集装箱号文本识别三大主要功能，其中，集装箱检测采用SSD算法训练、集装箱文本检测采用TextBoxes++算法训练，集装箱号文本识别采用CRNN+CTC算法训练。在服务器接收到第一图像后输入集装箱号识别模型，该模型通过集装箱检测功能确定集装箱的位置，通过集装箱文本检测功能确定集装箱号的位置，通过集装箱号识别模型识别出集装箱号。具体识别结果可参见图3。

位置检测模型采用SSD算法进行训练，并且由于封识相对于集装箱来说目标较小，本申请针对这种小目标对anchor-size进行了适配，使得适配后的检测精度更高。

在对集装箱号进行识别的同时，服务器通过位置检测模型确定封识在第一图像中的位置信息，如三维坐标信息等。获得三维坐标信息后，将该信息发送至机器人，机器人基于三维坐标信息调用3D定位调整云台的方向、并控制高清摄像头调整焦距并对焦，以使封识位于取景框中心。然后，通过高清摄像头拍摄含有封识的第二图像。其中，封识位置检测结果和第二图像可参见图4和图5。

封识号识别模型包括封识号文本检测、封识文本方向识别和封识文本识别三大主要功能，其中，封识号文本检测采用TextBoxes++训练、封识文本方向识别采用resnet50训练，封识文本识别采用CRNN+CTC算法训练。在服务器接收到第二图像后将其输入到封识号识别模型，该模型通过封识号文本检测功能确定封识号的位置，通过封识文本方向功能确定封识号的文本方向，通过封识号识别功能识别出待检集装箱的实际封识号。具体识别结果可参见图5。由于封识摆放方向不一致，因此本申请中增加了封识文本方向的识别，使得每次识别时先将文本旋转到正方向再调用后续的文本识别功能进行识别，以提高识别的精准度。

需要说明的是，上述深度学习算法的原理和训练过程在本申请中较为常用，因此不再赘述。

通过先对第一图像进行检测获取封识在第一图像中的位置，再进调整云台的方向和图像采集部的焦距并对焦以获取含有封识的第二图像，最后基于第二图像识别实际封识号，通过精确定位并进一步获取实际封识号的图像的方式，能够提高封识号的识别精度，从而提高集装箱的查验成功率和效率。通过基于深度学习算法训练集装箱号识别模型、位置检测模型和封识号识别模型，使得本申请在对集装箱号和实际封识号进行识别时能够提高识别效率和精度，尤其是对实际封识号的识别精度，有很大的提高。

经申请人反复试验、观测、比对和分析，在采用上述方法对封识进行识别是，对于常见的一些封识锁，整体流程的准确率(包括机器人的定位、导航点的精准性、集装箱号识别、封识位置识别、封识号识别等)可以达到90％以上。而对于一些不太常见的锁，在收集一定数量的样本后，也可以通过继续训练的方式持续更新模型。

当然，上述识别集装箱号和封识号的具体方式并非唯一，在不改变本申请原理的前提下，本领域技术人员可以对上述方式进行调整。例如，上述各模型所采用的算法可以进行替换，算法的个数可以基于实际情况进行增减；再如，在高清摄像头的像素足够高的时候，可以不拍摄第二图像，只通过对第一图像进行放大即可实现对封识号的识别。

S105、根据集装箱号，查询当前待检集装箱的上报封识号。

一种可能的实施方式中，在服务器识别出集装箱号和实际封识号后，可以基于集装箱号查询海关系统中与该集装箱号对应的报关单，并基于报关单信息获得上报封识号。

S107、基于查询结果，对实际封识号与上报封识号进行匹配验证。

一种可能的实施方式中，在获取上报封识号后，将实际封识号与上报封识号进行匹配验证，以确认实际封识号与上报封识号是否相同。如果实际封识号与上报封识号匹配成功，则控制机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；如果实际封识号与上报封识号匹配失败，则控制机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。

举例而言，如果实际封识号与上报封识号相同，则下发查验通过指令给机器人，机器人接收到指令后通过音响发出“集装箱号封识匹配，请执行开箱操作，30秒后拍摄开箱照”的提示音，以提示工作人员进行开箱操作，然后在等待30秒后，通过高清摄像头拍摄开箱照。如果实际封识号与上报封识号不同，则下发查验失败指令给机器人，机器人接收到指令后通过音响发出“集装箱号封识号不匹配，拒绝开箱”的提示音，然后机器人跳过当前集装箱到下一个待检集装箱的查验位置继续进行查验作业。与此同时，服务器也会将开箱失败的信息通过短信、邮件、微信等形式告知相关人员，以提示相关人员进行二次查验。

通过在实际封识号与上报封识号匹配成功时控制机器人发出开箱信息并在预设时间后拍摄开箱图像，能够在匹配成功时及时提示工作人员进行开箱操作，并在开箱后自动拍摄开箱照。另一方面，在实际封识号与上报封识号匹配失败时控制机器人发出报警信息并移动到下一个待检集装箱的查验位置，能够在匹配失败时及时上报，并运动到下一查验位置，提高查验效率。

在一种可能的实施方式中，步骤S107之后，方法还包括：如果实际封识号与上报封识号匹配成功，则接收并存储机器人上传的第一图像、第二图像和开箱图像；如果实际封识号与上报封识号匹配失败，则接收并存储机器人上传的第一图像和第二图像。

具体而言，如果匹配成功，那么此时机器人共拍摄三张图像，分别为第一图像、第二图像和开箱图像，机器人将三张图像上传至海关系统，海关系统接收并存储三张图像作为查验过程的图像证据存档。如果匹配失败，那么此时机器人共拍摄两张图像，分别为第一图像和第二图像，机器人将两张图像上传海关系统，海关系统接收并存储两张图像作为查验过程的图像证据存档。

通过在匹配成功和失败时对机器人获取的图像进行存档，可以为查验过程留档，方便后续的证据提供和读查验方法的升级改进。

下面参照图6，对本申请的集装箱查验系统进行介绍。其中，图6为本申请的集装箱查验系统的结构框图。

如图6所示，本申请的集装箱查验系统8主要包括获取模块81、确定模块82、查询模块83、验证模块84、接收存储模块85和下发模块86。获取模块81被配置成当机器人到达当前待检集装箱的查验位置后，获取通过机器人上的图像采集部拍摄的含有当前待检集装箱的第一图像；确定模块82被配置成基于第一图像，确定当前待检集装箱的集装箱号和实际封识号；查询模块83被配置成根据集装箱号，查询当前待检集装箱的上报封识号；验证模块84被配置成基于查询结果，对实际封识号与上报封识号进行匹配验证；接收存储模块85被配置成：如果实际封识号与上报封识号匹配成功，则接收并存储机器人上传的第一图像、第二图像和开箱图像；如果实际封识号与上报封识号匹配失败，则接收并存储机器人上传的第一图像和第二图像；下发模块86被配置成：向机器人下发包括待查验集装箱的位置编号和查验顺序的查验指令，以使得机器人基于位置编号和查验顺序建立导航图，并基于导航图进行集装箱查验。在一种实施方式中，具体实现功能的描述可以参见步骤S101-步骤S107。

在一种可能的实施方式中，确定模块82进一步被配置成通过如下方式来基于第一图像，确定当前待检集装箱的集装箱号和实际封识号：利用集装箱号识别模型对第一图像进行识别，以获得集装箱号；利用位置检测模型对第一图像进行检测，以获得封识在第一图像中的位置信息；基于位置信息，控制机器人上的云台调整方向、控制图像采集部调整焦距并对焦，以使封识位于图像采集部的取景框中心；获取通过图像采集部拍摄的含有封识的第二图像；利用封识号识别模型对第二图像进行识别，以获得实际封识号。具体实现功能的描述可参见上述步骤S103。

在一种可能的实施方式中，集装箱号识别模型、位置检测模型和封识号识别模型中的一种或多种基于深度学习算法训练而成。具体实现功能的描述可参见上述步骤S103。

在一种可能的实施方式中，验证模块84进一步被配置成通过如下方式来基于查询结果，对实际封识号与上报封识号进行匹配验证：如果实际封识号与上报封识号匹配成功，则控制机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；如果实际封识号与上报封识号匹配失败，则控制机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。具体实现功能的描述可参见上述步骤S107。

上述利用机器人进行集装箱查验的系统以用于执行上述利用机器人进行集装箱查验的方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，利用机器人进行集装箱查验的系统的具体工作过程及有关说明，可以参考利用机器人进行集装箱查验的方法的实施例所描述的内容，此处不再赘述。

应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

下面参照图7，对本申请的一种可能的实施方式中利用机器人进行集装箱查验的过程进行介绍。

如图7所示，在一种可能的实施过程中：

(1)当准备就绪时，工作人员按下机器人开始作业的按钮，机器人自动前往初始化位置，待一切调整完毕后，播报：“机器人开始开箱查验作业，请留出通道”，然后开始进行开箱查验作业。

(2)机器人停到第一个待检集装箱的查验位置，开始拍摄集装箱照片上传服务器，服务器调用集装箱号识别模型、封识位置检测模型和封识号识别模型识别得到该集装箱对应的集装箱号和实际封识号，然后查询系统报关单中与集装箱号对应的上报封识号，并将实际封识号与之比对。如果二者匹配则机器人播报：“集装箱号封识匹配，请执行开箱操作，30s后拍摄开箱照”，工作人员此时可以进行开箱操作；如果二者不匹配则机器人播报：“集装箱号封识号不匹配，拒绝开箱”，此时机器人跳过该集装箱到下一个待检集装箱的查验位置继续进行作业，并且服务器将开箱失败的信息发送给相关人员。

(3)当机器人播报完可以开箱时，会等待30s时间，待工作人员开箱完成之后则会拍摄一张集装箱的开箱照，然后再去下一个点继续进行作业。

(4)开箱成功后机器人会上传三张图片至海关服务器用作留存，分别是：待检集装箱照片、聚焦后的封识照片和开箱照片；开箱失败的话机器人只需上传两张照片，即待检集装箱照片和聚焦后的封识照片。

(5)当机器人完成全部集装箱的查验之后，会自动返航至初始位置，如果电量低于设置的阈值则会自动充电。

需要指出的是，上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户机中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的利用机器人进行集装箱查验的方法，该程序可以由处理器加载并运行以实现上述利用机器人进行集装箱查验的方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种计算机装置。在根据本发明的一个计算机装置实施例中，计算机装置包括处理器和存储器，存储器可以被配置成存储执行上述方法实施例的利用机器人进行集装箱查验的方法的程序，处理器可以被配置成用于执行存储器中的程序，该程序包括但不限于执行上述方法实施例的利用机器人进行集装箱查验的方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机装置可以是包括各种电子设备形成的装置设备。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (12)

1.一种利用机器人进行集装箱查验的方法，其特征在于，所述方法包括：

当机器人到达当前待检集装箱的查验位置后，获取通过所述机器人上的图像采集部拍摄的含有所述当前待检集装箱的第一图像；

基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号；

根据所述集装箱号，查询所述当前待检集装箱的上报封识号；

基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证。

2.根据权利要求1所述的利用机器人进行集装箱查验的方法，其特征在于，“基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号”的步骤进一步包括：

利用集装箱号识别模型对所述第一图像进行识别，以获得所述集装箱号；

利用位置检测模型对所述第一图像进行检测，以获得封识在所述第一图像中的位置信息；

基于所述位置信息，控制所述机器人上的云台调整方向、控制所述图像采集部调整焦距并对焦，以使所述封识位于所述图像采集部的取景框中心；

获取通过所述图像采集部拍摄的含有所述封识的第二图像；

利用封识号识别模型对所述第二图像进行识别，以获得所述实际封识号。

3.根据权利要求2所述的利用机器人进行集装箱查验的方法，其特征在于，“基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证”的步骤进一步包括：

如果所述实际封识号与所述上报封识号匹配成功，则控制所述机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则控制所述机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。

4.根据权利要求3所述的利用机器人进行集装箱查验的方法，其特征在于，在“对所述实际封识号与所述上报封识号进行匹配验证”的步骤之后，所述方法还包括：

如果所述实际封识号与所述上报封识号匹配成功，则接收并存储所述机器人上传的所述第一图像、所述第二图像和所述开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则接收并存储所述机器人上传的所述第一图像和所述第二图像。

5.根据权利要求1所述的利用机器人进行集装箱查验的方法，其特征在于，所述方法还包括：

向所述机器人下发包括待查验集装箱的位置编号和查验顺序的查验指令，以使得

所述机器人基于所述位置编号和所述查验顺序建立导航图，并基于所述导航图进行集装箱查验。

6.一种集装箱查验系统，其特征在于，所述系统包括：

获取模块，所述获取模块被配置成当机器人到达当前待检集装箱的查验位置后，获取通过所述机器人上的图像采集部拍摄的含有所述当前待检集装箱的第一图像；

确定模块，所述确定模块被配置成基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号；

查询模块，所述查询模块被配置成根据所述集装箱号，查询所述当前待检集装箱的上报封识号；

验证模块，所述验证模块被配置成基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证。

7.根据权利要求6所述的集装箱查验系统，其特征在于，所述确定模块进一步被配置成通过如下方式来基于所述第一图像，确定所述当前待检集装箱的集装箱号和实际封识号：

利用集装箱号识别模型对所述第一图像进行识别，以获得所述集装箱号；

利用位置检测模型对所述第一图像进行检测，以获得封识在所述第一图像中的位置信息；

基于所述位置信息，控制所述机器人上的云台调整方向、控制所述图像采集部调整焦距并对焦，以使所述封识位于所述图像采集部的取景框中心；

获取通过所述图像采集部拍摄的含有所述封识的第二图像；

利用封识号识别模型对所述第二图像进行识别，以获得所述实际封识号。

8.根据权利要求6所述的集装箱查验系统，其特征在于，所述验证模块进一步被配置成通过如下方式来基于查询结果，对所述实际封识号与所述上报封识号进行匹配验证：

如果所述实际封识号与所述上报封识号匹配成功，则控制所述机器人发出开箱提示信息，并在预设时间后拍摄开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则控制所述机器人发出报警提示信息，并运动至下一个待检集装箱的查验位置。

9.根据权利要求8所述的集装箱查验系统，其特征在于，所述系统还包括接收存储模块，所述接收存储模块被配置成：

如果所述实际封识号与所述上报封识号匹配成功，则接收并存储所述机器人上传的所述第一图像、所述第二图像和所述开箱图像；

如果所述实际封识号与所述上报封识号匹配失败，则接收并存储所述机器人上传的所述第一图像和所述第二图像。

10.根据权利要求6所述的集装箱查验系统，其特征在于，所述系统还包括下发模块，所述下发模块被配置成：

向所述机器人下发包括待查验集装箱的位置编号和查验顺序的查验指令，以使得

所述机器人基于所述位置编号和所述查验顺序建立导航图，并基于所述导航图进行集装箱查验。

11.一种计算机装置，其特征在于，包括：

处理器；

存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的方法。

Images