CN113361953A - 海关口岸货管现场机器人巡查方法及系统 - Google Patents

Abstract

本发明公开了一种海关口岸货管现场机器人巡查方法及系统，其包括方法，方法包括：获取待巡查集装箱堆场的场地信息、巡检线路和货管出入记录；根据场地信息发送巡查激活指令至对应堆场的预设的海关机器人，并发送巡检线路；获取海关机器人拍摄的实时影像；以及，根据实时影像进行识别分析；所述识别分析包括：对实时影像中集装箱的图像识别，得到各个集装箱的堆集参数；检索已有的堆集记录，判断是否已经存在某一位置的集装箱的堆集参数，如果是，则识别是否移动，并筛选出异动集装箱进行风险评估处理；如果否，则更新堆集记录。本申请具有辅助海关工作人员对口岸的货物做监管，为缉私等打击违规行为提供便利的效果。

Description

海关口岸货管现场机器人巡查方法及系统

技术领域

本申请涉及口岸货检技术领域，尤其是涉及一种海关口岸货管现场机器人巡查方法及系统。

背景技术

对于海关货检，以往在接到查验通知后，企业要在查验中心等待海关派单、海关关员到场逐票核集装箱号、封志和码头完成卸货作业等流程。整个流程下来需要耗费较长的时间，通关效率相对较低。

为此，当前有应用海关机器人来进行查验，例如：在船边分流后，对需查验的货物，在应用单兵设备辅助关员执法基础上，开发查验辅助机器人，通过图像识别技术+AI算法，提前开展查验准备，进行数据采集和比对等基础性工作，机器人作业和海关派单并联进行，压缩查验时间。

针对上述现有技术，发明人认为其存在以下不足：上述海关口岸机器人主要应用于辅助通关，对于打击走私等违规行为无辅助，因此本申请提出一种新的技术方案。

发明内容

为了辅助海关工作人员对口岸的货物做监管，为缉私等打击违规行为提供便利，本申请提供一种海关口岸货管现场机器人巡查方法及系统。

第一方面，本申请提供一种海关口岸货管现场机器人巡查方法，采用如下的技术方案：

一种海关口岸货管现场机器人巡查方法，包括：

获取待巡查集装箱堆场的场地信息、巡检线路和货管出入记录；

根据场地信息发送巡查激活指令至对应堆场的预设的海关机器人，并发送巡检线路；其中，巡查激活指令包括摄像指令和移动指令；

获取海关机器人拍摄的实时影像；以及，

根据实时影像进行识别分析；

所述识别分析包括：

对实时影像中集装箱的图像识别，得到各个集装箱的堆集参数；

检索已有的堆集记录，判断是否已经存在某一位置的集装箱的堆集参数，如果是，则识别是否移动，并筛选出异动集装箱进行风险评估处理；如果否，则更新堆集记录。

可选的，所述识别是否移动包括：

对比某一位置的集装箱新、旧两个堆集参数，判断集装箱是否发生位移，如果是，则根据货管出入记录判断是否有移动登记，如果存在移动登记，则更新堆集记录；如果不存在移动登记，则标记为异动集装箱，进行二次识别；

所述二次识别包括：

基于实时影像识别得到异动集装箱的表层信息；其中，表层信息包括集装箱的箱号和封识号。

可选的，所述风险评估处理包括：

根据异常集装箱的表层信息，从海关系统获取对应的备案信息；

结合货管出入记录和堆集记录产生违规记录；以及，

获取异动集装箱的表层信息，生成违规提示发送至预设的监管终端，并等待加入风险模型进行分析。

可选的，所述识别分析还包括完整度分析，所述完整度分析包括：

对实时影像中集装箱的识别；

判断集装箱的封条是否损坏，如果是，则标记为封条损坏集装箱；

判断集装箱的封条是否发生移动，如果是，则标记为封条异动集装箱；以及，

对封条损坏和异动的集装箱进行二次识别，并获取表层信息，生成封条异常提示发送至预设的监管终端。

可选的，还包括：

汇总封条异常的时间、当日封条异常的集装箱数量和当日的天气，结合时间轴，生成封条异常曲线；以及，

汇总集装箱异动的时间和数量，结合时间轴生成集装箱异动曲线。

可选的，还包括：

在识别是否移动时，如果某一集装箱未发生位移，且货管出入记录中没有新的入场信息，则标记该集装箱完成一次巡检，并记入堆集记录；以及，

获取海关机器人的实时位置，结合巡检线路判断是否完成一次巡检，如果是，则进行异入异出识别；

所述异入异出识别包括：

查找堆集记录，筛选出许巡检标记次数的不正确的集中箱，并标记为异动集装箱。

可选的，还包括：

获取待巡查集装箱堆场的3D模型，并根据实时影像和集装箱的堆集参数更新3D模型；

获取海关机器人的实时位置；以及，

换算实际坐标与模型坐标，得到海关机器人相对3D模型的位置，并于3D模型中示意。

可选的，还包括：

当接收和获取有路线重新规划指令，则获取基于3D模型的路线规划方案，并换算为实际的新巡检线路；以及，

更新巡检线路。

可选的，还包括：

从海关系统获取异动集装箱、封条损坏和异动的集装箱的透视扫描记录，作为疑点扫描记录；

发送疑点扫描记录至监管终端；

获取异动集装箱、封条损坏和异动的集装箱的再查验反馈信息；以及，

对比新的疑点扫描记录、过往的疑点记录和两者对应的集装箱备案信息，等待关联分析，产生关联分析记录，并发送记录至监管终端。

第二方面，本申请提供一种海关口岸货管现场机器人巡查系统，采用如下的技术方案：

一种海关口岸货管现场机器人巡查系统，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上所述方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

1、可依靠预设的海关机器人巡查集装箱堆场，根据机器人采集的实时影像，粗略识别判断集装箱是否移动，对移动的集装箱二次识别其集装箱号、封识号，发送提示并等待加入风险模型分析，为相关人员对口岸的货物做监管，为缉私等打击违规行为提供便利；同时因为上述识别方式，所以可减少算了浪费，减小设备压力；

2、还可识别集装箱的封条是否异常，应对更多场景，并统计形成规律曲线；

3、结合3D模型显示巡查进度，便于工作人员直观了解各个事件的发生地点等；同时，还方便工作人员重新规划巡查线路。

附图说明

图1是本申请的方法的流程示意图。

图2是本申请的方法的逻辑示意框图。

具体实施方式

以下结合附图1-2对本申请作进一步详细说明。

本申请实施例公开一种海关口岸货管现场机器人巡查方法，其可通过处理器加载并执行相应的计算机程序实现。

海关口岸货管现场面积很大，海关投入巡查机器人实现巡查自动化，通过摄像头对比发现各个集装箱或物品没有移位则简单扫描，有位移则仔细扫描各项数据集装箱号等信息，对接海关系统建模分析风险情况。对于集装箱号和封识号的智能识别，根据现场情形发出动态指令。建立适用于多场景下的模型，提升海关辅助机器人的处理效率。

具体参照图1和图2，海关口岸货管现场机器人巡查方法包括：

获取待巡查集装箱堆场的场地信息、巡检线路和货管出入记录；

根据场地信息发送巡查激活指令至对应堆场的预设的海关机器人，并发送巡检线路；

获取海关机器人拍摄的实时影像；以及，根据实时影像进行识别分析。

其中，场地信息包括名称、编号、位置、有效面积、容量、管理单位和人员；场地信息用做基础数据。海关机器人参考当前时空国内各海关的辅助机器人，至少具备移动、高清摄像、无线通讯、卫星定位以及分析处理功能，以用作前端的硬件基础。

巡检线路由相关工作人员确定，本方法为改善机器人巡查的效果，方便工作人员对巡查进度、事件发生地点及附近状态做直观了解，同时方便其规划巡检线路，做以下设置：

获取待巡查集装箱堆场的3D模型，并根据实时影像和集装箱的堆集参数更新3D模型；3D 模型可由相关人员在本方法引入日，采集集装箱堆场的基础数据和图像构建初始模型得到，模型存储于对应的云平台等待调用；

后续，获取海关机器人的实时位置；以及，换算实际坐标与模型坐标，得到海关机器人相对3D模型的位置，并于3D模型中示意。

具体的坐标划算例如：机器人选择一坐标，同步于3D模型中确认一点为坐标原点，结合根据模型比例尺，换算实际坐标的移动量为相对模型的移动量。当通过UI界面展示3D模型时，机器人可简易用一红球代表；巡查线路可在模型中以区别颜色突出显示，因此工作人员通过观察红球的相对模型的位置，即可判断巡查进度。

本方法还包括：当接收和获取有路线重新规划指令，则获取基于3D模型的路线规划方案，并换算为实际的新巡检线路；以及，更新巡检线路；具体的如：

在接收对应的触发指令后，获取人工干预的红球相对3D模型的移动记录，该记录在人工确认后即为新的路线规划方案，之后等待比例换算为新巡检线路发送给机器人使用。

上述机器人在非工作时间，其于场地内的待机区域低功耗待机（如仅保留通信和通信响应）；当接收到巡查激活指令，则进入正常运行状态，并发送激活反馈，获取巡检线路；巡检线路还可存储于机器人的存储单元，在巡查激活后做更新判别，如果没有更新指令，则依旧原设定巡查线路移动；如果有更新指令，则更新原有线路。

机器人巡查开始后，即通过摄像头采集实时影像；本方法基于实时影像的识别分析包括：

对实时影像中集装箱的图像识别（如取各帧图像做图像识别），得到各个集装箱的堆集参数；堆集参数包括颜色、位置、高度和轮廓信息（如红色、A23、第二层、X轮廓）；

检索已有的堆集记录，判断是否已经存在某一位置的集装箱的堆集参数；具体的如：基于上述位置得到堆集参数，则此时判断过往记录中A23、第二层是否识别有集装箱；

如果是，则识别是否移动，并筛选出异动集装箱进行风险评估处理；如果否，则更新堆集记录。

对于识别是否移动包括：

对比某一位置的集装箱新、旧两个堆集参数，判断集装箱是否发生位移；具体如：

A23、第二层的集装箱是否为红色，且X轮廓与当前沿图像描出的集装箱的轮廓相同，轮廓相对图像中其他固定参照物的位置不变；

如果是，则根据货管出入记录判断是否有移动登记，如果存在移动登记，则更新堆集记录；如果不存在移动登记，则标记为异动集装箱，进行二次识别。

二次识别包括：

基于实时影像识别得到异动集装箱的表层信息；其中，表层信息包括集装箱的箱号和封识号。

根据上述可知，本方法一般情况下对图像仅做粗略识别，只有当判别为集装箱出现异常时，才会做更为细致的二次识别，所以可以减小算力浪费、减小设备压力。

当判别出集装箱异常时，所执行风险评估包括：

根据异常集装箱的表层信息，从海关系统获取对应的备案信息（报关单）；

结合货管出入记录和堆集记录产生违规记录，违规记录包括两者中对应集装箱的所有信息及违规标签；以及，获取异动集装箱的表层信息，生成违规提示发送至预设的监管终端，并等待加入风险模型进行分析。

其中，违规提示包括集装箱的表层信息、异动说明、巡检机器人的编号和判别时间，以便工作人员的及时调取相应的信息作出响应。

对于风险模型，其可由工作人员根据过往案例做关联性分析构建，主要为分析当前集装箱的相关信息与过往案件信息的特征重合集中区域和程度。

关联分析的应用本方法还包括：

从海关系统获取异常集装箱（包括上述异动及下面封条异常的集装箱）的透视扫描记录（如海关H986机器扫描记录），作为疑点扫描记录；

发送疑点扫描记录至监管终端；

获取异常集装箱的再查验反馈信息；以及，对比新的疑点扫描记录、过往的疑点记录和两者对应的集装箱备案信息，等待关联分析，产生关联分析记录，并发送至监管终端。

其中，再查验反馈信息为相关人员得到提示后，对相应集装箱现场查验后所反馈的结论。

根据内容，本方法在辅助通关的海关机器人基础上，做更深入的应用，可辅助相关人员对集装箱监管，做风险评估，方便缉私等工作。

上述集装箱的移动识别的基础是，当前识别有某一集装箱，然后再和过往记录比对，此存在巡查遗漏的情况，为此本方法还包括：

在识别是否移动时，如果某一集装箱未发生位移，且货管出入记录中没有新的入场信息，则标记该集装箱完成一次巡检，并记入堆集记录；以及，获取海关机器人的实时位置，结合巡检线路判断是否完成一次巡检，如果是，则进行异入异出识别；异入异出识别包括：

查找堆集记录，筛选出许巡检标记次数的不正确的集中箱，并标记为异动集装箱。

上述不正确，具体如：

1号集装箱5月23日进入堆场，并在当日接收一次巡检；5-27日，机器人再次完成一次巡检，且在此期间1号集装箱未更新出现出场信息，则1号集装箱的理论巡检次数为23、24、25、26、27共5次，但实际完成巡检的标记次数为4次，则为巡检标记次数不正确；反之，亦然。

根据上述内容，还可找出未在货管出入记录中出现的集装箱，使本方面监管更为全面；同时，因为上述为根据机器人的位置判别其是否完成一次巡检，而非完成后的反馈信号来判别，所以出错几率相对更小。

又因为仅识别集装箱是否移动，应用场景相对单一，为此识别分析还包括完整度分析，完整度分析包括：

对实时影像中的集装箱识别；

判断集装箱的封条是否损坏，如果是，则标记为封条损坏集装箱；

判断集装箱的封条是否发生移动（类似上述轮廓比对），如果是，则标记为封条异动集装箱；以及，对封条损坏和异动的集装箱进行二次识别，并获取表层信息，生成封条异常提示发送至预设的监管终端。

进一步的，还包括：汇总封条异常的时间、当日封条异常的集装箱数量和当日的天气，结合时间轴，生成封条异常曲线；

以及汇总集装箱异动的时间和数量，结合时间轴生成集装箱异动曲线。

此时，不仅可识别封条异常的集装箱及时提醒相关人员，还可提供相关曲线，方便工作人员寻找异常规律，为风险评估提供参考。

本技术方案可依靠预设的海关机器人巡查集装箱堆场，根据机器人采集的实时影像，粗略识别判断集装箱是否移动，对移动的集装箱二次识别其集装箱号、封识号，发送提示并等待加入风险模型分析，为相关人员对口岸的货物做监管，为缉私等打击违规行为提供便利；还可识别集装箱的封条是否异常，应对更多场景，并统计形成规律曲线；结合3D模型显示巡查进度，便于工作人员直观了解各个事件的发生地点等；同时，还方便工作人员重新规划巡查线路。

本申请实施例还公开一种海关口岸货管现场机器人巡查系统。海关口岸货管现场机器人巡查系统包括存储器和处理器，其中，存储器上存储有能够被处理器加载并执行如上述任一方法的计算机程序。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种海关口岸货管现场机器人巡查方法，其特征在于，包括：

获取待巡查集装箱堆场的场地信息、巡检线路和货管出入记录；

根据场地信息发送巡查激活指令至对应堆场的预设的海关机器人，并发送巡检线路；其中，巡查激活指令包括摄像指令和移动指令；

获取海关机器人拍摄的实时影像；以及，

根据实时影像进行识别分析；

所述识别分析包括：

对实时影像中集装箱的图像识别，得到各个集装箱的堆集参数；

检索已有的堆集记录，判断是否已经存在某一位置的集装箱的堆集参数，如果是，则识别是否移动，并筛选出异动集装箱进行风险评估处理；如果否，则更新堆集记录。

2.根据权利要求1所述的海关口岸货管现场机器人巡查方法，其特征在于，所述识别是否移动包括：

对比某一位置的集装箱新、旧两个堆集参数，判断集装箱是否发生位移，如果是，则根据货管出入记录判断是否有移动登记，如果存在移动登记，则更新堆集记录；如果不存在移动登记，则标记为异动集装箱，进行二次识别；

所述二次识别包括：

基于实时影像识别得到异动集装箱的表层信息；其中，表层信息包括集装箱的箱号和封识号。

3.根据权利要求2所述的海关口岸货管现场机器人巡查方法，其特征在于，所述风险评估处理包括：

根据异常集装箱的表层信息，从海关系统获取对应的备案信息；

结合货管出入记录和堆集记录产生违规记录；以及，

获取异动集装箱的表层信息，生成违规提示发送至预设的监管终端，并等待加入风险模型进行分析。

4.根据权利要求1所述的海关口岸货管现场机器人巡查方法，其特征在于：所述识别分析还包括完整度分析，所述完整度分析包括：

对实时影像中集装箱的识别；

判断集装箱的封条是否损坏，如果是，则标记为封条损坏集装箱；

判断集装箱的封条是否发生移动，如果是，则标记为封条异动集装箱；以及，

对封条损坏和异动的集装箱进行二次识别，并获取表层信息，生成封条异常提示发送至预设的监管终端。

5.根据权利要求4所述的海关口岸货管现场机器人巡查方法，其特征在于，还包括：

汇总封条异常的时间、当日封条异常的集装箱数量和当日的天气，结合时间轴，生成封条异常曲线；以及，

汇总集装箱异动的时间和数量，结合时间轴生成集装箱异动曲线。

6.根据权利要求1所述的海关口岸货管现场机器人巡查方法，其特征在于，还包括：

在识别是否移动时，如果某一集装箱未发生位移，且货管出入记录中没有新的入场信息，则标记该集装箱完成一次巡检，并记入堆集记录；以及，

获取海关机器人的实时位置，结合巡检线路判断是否完成一次巡检，如果是，则进行异入异出识别；

所述异入异出识别包括：

查找堆集记录，筛选出许巡检标记次数的不正确的集中箱，并标记为异动集装箱。

7.根据权利要求1所述的海关口岸货管现场机器人巡查方法，其特征在于，还包括：

获取待巡查集装箱堆场的3D模型，并根据实时影像和集装箱的堆集参数更新3D模型；

获取海关机器人的实时位置；以及，

换算实际坐标与模型坐标，得到海关机器人相对3D模型的位置，并于3D模型中示意。

8.根据权利要求7所述的海关口岸货管现场机器人巡查方法，其特征在于，还包括：

当接收和获取有路线重新规划指令，则获取基于3D模型的路线规划方案，并换算为实际的新巡检线路；以及，

更新巡检线路。

9.根据权利要求4所述的海关口岸货管现场机器人巡查方法，其特征在于，还包括：

从海关系统获取异动集装箱、封条损坏和异动的集装箱的透视扫描记录，作为疑点扫描记录；

发送疑点扫描记录至监管终端；

获取异动集装箱、封条损坏和异动的集装箱的再查验反馈信息；以及，

对比新的疑点扫描记录、过往的疑点记录和两者对应的集装箱备案信息，等待关联分析，产生关联分析记录，并发送记录至监管终端。

10.一种海关口岸货管现场机器人巡查系统，其特征在于：包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至9中任一种方法的计算机程序。

Images