CN114814973A - 一种人机混合决策的智能安检系统及方法 - Google Patents

Abstract

本发明公开了一种人机混合决策的智能安检系统及方法。该智能安检系统包括：安检设备，包括安检机、边缘计算装置和分拣传送机构；安检机设置于安检场所，以获取行李图像；边缘计算装置与安检机连接，以接收行李图像并进行机器识别；分拣传送机构与边缘计算装置连接，以接收边缘计算装置发送的第一分拣指令；人工判图设备，与边缘计算装置连接，以接收边缘计算装置发送的行李图像，用于人工识别；人工判图设备还与分拣传送机构连接，以向分拣传送机构发送第二分拣指令；分拣传送机构能够接收第一分拣指令，以执行开检操作；还能够接收第一分拣指令和第二分拣指令，以执行开检或放行操作。

Description

一种人机混合决策的智能安检系统及方法

技术领域

本发明涉及一种人机混合决策的智能安检系统，同时还涉及相应的智能安检方法，属于安全检查技术领域。

背景技术

安检系统作为涉及公共安全的关键任务系统，是一种人机协作系统，一直是以人的决策作为系统执行的唯一标准，机器仅扮演执行机构的角色。出于安全责任，复杂的检查确认规程使安检通道的通行效率一直备受旅客诟病，受限于X射线成像技术的能力，开箱复检是安检系统中人力耗费最大的环节，而且系统运行的效率与效果难以平衡。

随着人工智能方法及技术逐步在安检领域渗透落地，安检设备智能化程度大幅提升，主要体现在降低人的劳动负荷与提升劳动效率两方面。如：自动分拣技术，解决了安检员人工搬运行李托盘的强体力劳动问题，使人的精力可以更加集中在开包检查上；智能探测技术，实现了部分违禁物品的自动识别，并可以可视化的方式给与安检员识图的辅助，提升识别效率。

目前，安检的智能化仅体现在设备层面上，突出解放人力、处理效率高的特点，但缺乏系统层面的智能化方法，因为安全决策是一个复杂的、系统化的决策过程，人、机双方对系统的整体效能均存在影响因素。人工智能要赋能以人为核心的关键任务系统，除了考虑机器能力的提升外，更应关注人机共同能力的提升，即“人在回路”的混合增强智能、人机智能共生的行为增强，以此实现安检系统整体的效能增长。

在申请号为202010469336.8的中国发明申请中，公开了一种基于云边协同的人机混合增强智能系统。该智能安检系统包括：设置于云端的算法库、设置于边缘端的输入模块、算法选择模块、决策模块；所述算法库，用于储存算法文件；所述算法文件包括基于统计模型的机器学习算法文件、神经网络模型算法文件；所述输入模块，用于获取输入信息；所述输入信息包括系统待处理数据、边缘设备静态参数、边缘设备动态参数、预设的实时性要求参数及精度要求参数；所述算法选择模块，配置为基于边缘设备静态参数、边缘设备动态参数，获取边缘设备的性能评价指标，并结合所述实时性要求参数、所述精度要求参数，通过预设的算法选取规则从所述算法库中选取相应的算法，作为第一算法；所述决策模块，配置为通过所述第一算法获取所述系统待处理数据的处理结果及其对应的置信度，若该置信度大于预设的阈值，则将所述处理结果作为目标决策结果，否则获取录入的人工决策信息作为目标决策结果。

然而，在上述智能系统中，机器决策占主力，在决策结果置信度低于阈值时才会人工介入，机器与人的协作关系为有条件的分支串行，无法做到人机并行，同时在线工作。

发明内容

本发明所要解决的首要技术问题在于提供一种人机混合决策的智能安检系统，以采用的人-机混判的策略，提高安检效率和安检效果。

本发明所要解决的另一技术问题在于提供一种人机混合决策的智能安检方法。

为了实现上述目的，本发明采用以下的技术方案：

根据本发明实施例的第一方面，提供一种人机混合决策的智能安检系统，包括：

安检设备，所述安检设备包括安检机、边缘计算装置和分拣传送机构；所述安检机设置于安检场所，用于获取旅客的行李图像；所述边缘计算装置设置于所述安检场所并与所述安检机连接，以接收所述行李图像，并进行机器识别；所述分拣传送机构设置于所述安检场所并与所述边缘计算装置连接，以接收所述边缘计算装置基于机器识别结果发送的第一分拣指令；

人工判图设备，设置于人工判图场所，所述人工判图设备与所述边缘计算装置连接，以接收所述边缘计算装置发送的所述行李图像，用于人工识别；所述人工判图设备还与所述分拣传送机构连接，以基于人工识别结果，向所述分拣传送机构发送第二分拣指令；

所述分拣传送机构能够接收所述第一分拣指令，以执行开检操作；所述分拣传送机构还能够接收所述第一分拣指令和所述第二分拣指令，以执行开检或放行操作。

其中较优地，还包括：

图像存储服务器，设置于数据处理场所，所述图像存储服务器与所述安检机连接，以接收并存储所述行李图像；所述图像存储服务器还与所述人工判图设备连接，以接收并存储带有人工判图痕迹的行李图像；

云计算服务器，设置于所述数据处理场所，所述云计算服务器与所述人工判图设备连接，以接收带有人工判图痕迹的行李图像，进行自主增量训练、更新机器识别模型；所述云计算服务器还与所述边缘计算装置连接，以将更新后的机器识别模型传输至所述边缘计算装置。

其中较优地，还包括：

云计算服务器，所述云计算服务器设置于数据处理场所，并与所述边缘计算装置连接；

所述边缘计算装置还与所述人工判图设备连接，以接收带有人工判图痕迹的行李图像并进行自主增量训练，基于所述自主增量训练获取更新后的模型局部参数；

所述云计算服务器接收所述更新后的模型局部参数，并基于所述更新后的模型局部参数更新全局参数，以对机器识别模型进行更新，并将更新后的机器识别模型传输至所述边缘计算装置。

其中较优地，所述安检设备为多个，多个所述安检设备相互独立，各所述安检设备的边缘计算装置分别与所述人工判图设备连接，以分别向所述人工判断设备传输识别为非开检的行李图像；

所述边缘计算装置包括：

图像获取单元，所述图像获取单元与所述安检机连接，以用于获取所述安检机发送的行李图像；

边缘计算装置，所述边缘计算装置与所述图像获取单元连接，以接收所述行李图像，并利用机器识别模型进行机器识别；所述边缘计算装置还与所述分拣传送机构连接，以基于机器识别结果向所述分拣传送机构发送第一分拣指令；所述边缘计算装置还与所述人工判图设备连接，以在机器识别结果为非开检时，向人工判图设备发送识别为非开检的行李图像；所述边缘计算装置还与所述云计算服务器连接，以接收更新后的机器识别模型。

其中较优地，人工判图设备包括：

协作调度模块，所述协作调度模块分别与多个所述边缘计算装置连接，以分别接收各所述边缘计算装置向所述协作调度模块发送的行李图像；所述协作调度模块还分别与多个所述分拣传送机构连接，以基于人工识别结果向各所述分拣传送机构发送第二分拣指令；

多个人工识别模块，均与所述协作调度模块连接，以接收所述协作调度模块分配的所述行李图像，并将第二分拣指令反馈至所述协作调度模块；

案例选取模块，分别与多个所述人工识别模块连接，以接收多个所述人工识别模块的安检员决策数据，从中选取典型案例数据传送至所述云计算服务器。

其中较优地，云计算服务器包括：

知识收集模块，与所述案例选取模块连接，以接收所述典型案例数据；

知识存贮模块，与所述知识收集模块连接，以接收所述知识收集模块向所述知识存贮模块发送的所述典型案例数据，并对所述典型案例数据进行分类存储，以用于分类查询；

增量训练模块，与所述知识收集模块连接，以接收所述知识收集模块向所述增量训练模块发送的所述典型案例数据，并进行增量训练，获取优化参数，并基于所述优化参数对既有的机器识别模型进行更新升级；

模型更新模块，与所述增量训练模块连接，以接收所述经过增量训练获得的优化参数，以对机器识别模型进行更新；所述模型更新模块还与所述边缘计算装置连接，以将所述经过更新的机器识别模型传输至所述边缘计算装置。

其中较优地，所述安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所；或者，所述安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。

根据本发明实施例的第二方面，提供一种人机混合决策的智能安检方法，包括如下步骤：

通过边缘计算装置获取行李图像，并进行机器识别；

基于机器识别结果，所述边缘计算装置向分拣传送机构发送第一分拣指令；

所述分拣传送机构接收所述第一分拣指令，以执行开检操作操作；

若所述边缘计算装置识别为非开检结果，则所述边缘计算装置将行李图像发送至人工判图设备，以进行人工识别；

基于人工识别结果，所述人工判图设备向所述分拣传送机构发送第二分拣指令；

所述分拣传送机构接收所述第二分拣指令，以执行开检操作或放行操作。

其中较优地，还包括如下步骤：

通过图像存储服务器接收所述行李图像以及带有人工判图痕迹的行李图像，并进行分类存储；

通过云计算服务器接收带有人工判图痕迹的行李图像，并进行自主增量训练，更新机器识别模型；

通过所述云计算服务器将所述更新后的机器识别模型传输至所述边缘计算装置。

其中较优地，还包括如下步骤：

通过边缘计算装置接收人工判图设备传输的带有人工判图痕迹的行李图像，并进行自主增量训练；

基于所述自主增量训练获取更新后的模型局部参数；

通过云计算服务器获取所述更新后的模型局部参数，并基于所述更新后的模型局部参数更新全局参数，以对机器识别模型进行更新；

通过所述云计算服务器将更新后的机器识别模型传输至所述边缘计算装置。

与现有技术相比较，本发明所提供的人机混合决策的智能安检系统及方法，通过采用的人-机混判的策略，实现简单、确定、频繁出现情况的快速自动决策，节省人力，把更高水平的能力用于识别复杂、模糊、偶尔出现的情况，机器负责快速，人工负责准确，达到人、机共同决策过程更快更准的效果。此外，整个智能安检系统中，人、机分工各有侧重，机器负责高频低危、常见易辨识物品的识别与决策；人工负责低频高危、罕见难辨识物品的识别与决策。为提升作业效率，机器决策开检的，人工不再重复决策；为守住安全底线，机器只决策是否开检，人工决策是否放行。

附图说明

图1为本发明实施例提供的一种人机混合决策的智能安检系统的整体结构示意图；

图2为图1所示的智能安检系统的工作流程图；

图3为图1所示的智能安检系统中，协作调度模型的示意图；

图4为本发明实施例提供的另一种人机混合决策的智能安检系统的整体结构示意图；

图5为图4所示的智能安检系统的工作流程图；

图6为本发明实施例提供的一种人机混合决策的智能安检方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体地说明。

<第一实施例>

图1所示为本发明实施例提供的一种人机混合决策的智能安检系统，包括：安检设备10、人工判图设备20、数据处理设备30。

其中，安检设备10设置于安检场所，以通过机器识别模型对行李图像进行机器识别，并根据机器识别结果(开检或非开检)输出第一分拣指令。人工判图设备20设置于人工判图场所，以在机器识别为非开检的情况下，通过判图人员对行李图像进行人工识别，以根据人工识别结果输出第二分拣指令(开检或放行)，从而结合第一分拣指令或第二分拣指令共同决定行李执行开检操作或放行操作。数据处理设备30设置于数据处理场所，用于根据人工识别的判断结果进行自主增量训练，以更新安检设备10的机器识别模型，不断提升安检设备10的识别能力。

在本发明的实施例中，安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所。可以理解的是，在另一实施例中，安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。例如：所有设备均处于安检现场，安检设备10、人工判图设备20、数据处理设备30仅做角色区分。又例如：安检设备10、人工判图设备20同处于安检现场，数据处理设备30处于后台数据中心。还例如：安检设备10处于安检现场，人工判图设备20、数据处理设备同处后台数据中心。

具体地，在本发明的实施例中，安检设备10包括安检机11、边缘计算装置12、分拣传送机构13。其中，安检机11用于获取旅客的行李图像；边缘计算装置12与安检机11连接，以接收该行李图像，并利用机器识别模型对该行李图像进行机器识别，若识别结果为开检，则边缘计算装置12将分拣指令发送至分拣机构13，若识别结果为非开检，则边缘计算装置12将该行李图像发送至人工判图设备20处进行人工识别；分拣传送机构13与边缘计算装置12连接，以接收边缘计算装置12基于机器识别结果发送的第一分拣指令以执行开检操作，同时也与人工判图设备20连接，以接收人工判图设备20基于人工识别结果发送的第二分拣指令，以执行开检或放行操作。

如图2所示，在上述实施例中，图像获取模块对应的载体为图1中的安检机11，机器识别模块对应的载体为图1中的边缘计算装置12，决策执行模块对应的载体为图1中的分拣传送机构13。本发明的实施例中，安检设备10为多个，多个安检设备10同时独立工作，且互不干涉，从而能够同时对多个行李图像进行机器识别。同时，各所述安检设备的边缘计算装置12分别与所述人工判图设备20连接，以分别向所述人工判断设备20传输识别为非开检的行李图像，从而利用人工判图设备20的协作调度模块21进行居中调度，使得多个人工识别模块22协作工作(下文进行详细说明)。此外，各所述安检设备10的边缘计算装置12还分别与数据处理设备30连接，以接收更新后的机器识别模型。

如图2所示，在本发明的实施例中，人工判图设备20包括协作调度模块21、多个人工识别模块22以及案例选取模块23。具体地，协作调度模块21分别与多个边缘计算装置12(即图2中的机器识别模块)连接，以分别接收各机器识别模块向协作调度模块21发送的行李图像。其中，该行李图像为边缘计算装置12识别为无需开检的图像。

而且，该协作调度模块21还与多个人工识别模块22连接，当该协作调度模块21接收到各边缘计算装置12发送的行李图像后，采用任务分配优化算法(工作效率与人力成本的平衡)将图像分配给不同人工识别模块22，并接收来自不同人工识别模块22的第二分拣指令。然后，将第二分拣指令与传入图像的边缘计算装置12进行对应，配准与其一一对应的决策执行模块(即对应的分拣传送机构13)，将第二分拣指令准确送达。其中，人工识别模块22用于辅助专业安检员进行图像观察，并记录安检员通过观察图像做出的决策数据(例如：重点关注图像区域、疑似危险违禁物品区域标注等)。

此外，多个人工识别模块22均与案例选取模块23连接，当人工识别模块22记录安检员通过观察图像做出的决策数据后，将该决策数据传送至案例选取模块23；案例选取模块23接收所有人工识别模块22传入的安检员决策数据，并从中选取典型案例数据(例如：复杂疑难危险违禁品识别过程数据)，以将该典型案例数据传送至数据处理设备30，从而用于对机器识别模型进行优化。

如图3所示，为人工判图设备20中的协作调度模型。安检场所的边缘计算装置12分别按各自节奏向协作调度模块21发送“判图请求”，协作调度模块21将请求存入任务池，形成任务集合T＝{T₁，T₂，…T_m}。人工判图设备20的人工识别模块22从任务池认领唯一任务，完成后将“决策指令”发给指令池，形成服务集合S＝{S₁，S₂，…S_n}，其中，每条“决策指令”按“判图请求”发来的路径反向传送至相应的决策执行单元(即每个安检设备10的分拣传送机构13)。

协作调度模块21采用多任务协作调度模型，模型的抽象优化目标为：时效与成本的平衡，“时效”可具象为安检现场对任务完成的满意度，“成本”可具象为集中判读占用的人工成本。其中，安检现场对任务完成的满意指数(Customer Satisfaction Degree，简写为CSD)主要体现在对任务响应时长的满意指数，与任务响应时长负相关。集中判读占用的人工成本主要体现在判图工作站的劳动资源利用率，亦可反向表达为资源闲置率(IdleResource Proportion，简写为IRP)。

为统一优化目标，以对任务响应时长不满意指数(Customer DissatisfactionDegree，简写为CDD)与资源闲置率最小为优化目标函数，由公式(1)表示。

minZ＝w₁·CDD+w₂·IRP (1)

其中，公式(1)中w₁，w₂满足：

同时，公式(1)中CDD表达式为：

公式(2)中μ_j为每个任务的重要程度，满足：

其中，公式(2)中

为安检现场通道j对响应时间的不满意度，具体表示为：

其中，公式(3)中FT_j表示任务j实际完成时间；ET_j表示任务j期望完成时间(由安检通道通行效率最高目标确定)；DL_j表示任务j可以容忍的完成最后期限(由安检通道通行效率相关管理标准确定)。

公式(1)中IRP表达式为：

其中，公式(4)中FTmax＝max{FT_j}，FT_j表示任务j实际完成时间；

为决策变量表示任务约束，即每个任务只能分配给一个判图人员，并且任务分配后，执行该任务不中断直到任务完成返回判图结果，如果判图员S_i被选择用于完成任务T_j，那么

否则

为判图员S_i完成任务T_j需要的时间；

约束条件如下：

(1)时间约束。任务T_j的完成时间FT_j由两部分组成：判图时间ST_j、等待时间WT_j，任务结束时间等于开始时间加上任务执行时间，即

对于每个判图员来说，后一个任务的开始时间大于前一个任务的结束时间，即满足要求每一个任务完成时间小于有求得最后期限：FT_j<DL_j

(2)任务约束。每一个任务只能分配给一个判图员，且任务分配后，执行该任务不中断，直到任务完成，如果判图员S_i被选择用于完成任务T_j，那么

否则

如图2所示，在本发明的实施例中，数据处理设备30包括图像存储服务器31和云计算服务器32。其中，图像存储服务器31与图像获取模块(即安检机11)连接，以接收并存储行李图像。而且，图像存储服务器31还与人工判图设备20连接，以接收带有人工判图痕迹的行李图像，并进行分类存储，以便于后续进行查询。云计算服务器32与人工判图设备20连接，以接收带有人工判图痕迹的行李图像，进行自主增量训练、更新机器识别模型。而且，云计算服务器32还与机器识别模块(即边缘计算装置12)连接，以将更新后的机器识别模型传输至边缘计算装置12，从而提高边缘计算装置12的识图能力。

如图2所示，在上述实施例中，云计算服务器32包括知识收集模块321、知识存贮模块322、增量训练模块323以及模型更新模块324。具体地，知识收集模块321与案例选取模块23连接，以接收典型案例数据。知识存贮模块322与知识收集模块321连接，以接收知识收集模块321向知识存贮模块322发送的典型案例数据，并对典型案例数据进行分类存储，以用于分类查询。增量训练模块323与知识收集模块321连接，以接收知识收集模块321向增量训练模块323发送的典型案例数据，并进行增量训练(例如：利用源源不断的小批量数据对既有机器识别模型的参数进行持续优化，并将阶段性优化训练模型传送至模型更新模块)，以获取优化参数，并利用该优化参数对既有的机器识别模型进行更新升级。模型更新模块324与增量训练模块323连接，以接收所述经过增量训练获得的优化参数，以对机器识别模型进行更新；所述模型更新模块324还与所述自主决策单元连接，以将所述经过更新的机器识别模型传输至所述自主决策单元。

云计算服务器32中的增量训练模块323采用时间间隔或增量数据量作为触发条件，当距离上一次增量训练的时间差或增量数据数量满足触发阈值时，增量训练模块323启动增量模型的训练过程。增量训练过程分为训练数据选择、模型训练、模型评估三个阶段。在训练数据选择阶段，增量训练模块根据既有训练集的类别分布情况，按需选择增量数据，尽量平衡训练数据集中各个类别的数量比例。在模型训练阶段，将既有机器识别模型作为训练的基础模型开始增量训练过程，训练过程即为对模型参数的更新过程，增量数据引起的模型参数的更新将具有更大的权重，突出增量数据对模型的贡献。训练过程结束后，将进入模型评估阶段，评估增量模型的性能指标与既有模型的性能差异，当增量模型的相关指标优于既有模型且增加的性能达到设定阈值时，使用增量模型替换既有模型下发到模型更新模块324，然后再传送至边缘计算装置12。

具体使用时，可以包括如下步骤：第一步，旅客将行李放置于分拣传送机构13上，随着分拣传送机构13的移动，行李经过安检机11，从而利用安检机11获取行李图像，同时将该行李图像发送给边缘计算装置12。第二步，通过边缘计算装置12接收该行李图像，并对该行李图像进行机器识别。第三步，根据边缘计算装置12的识别结果，若为开检，则向分拣传送机构13发送的第一分拣指令，进入第四步；若为非开检则将识别为无需开检的行李图像发送给人工判图设备20的协作调度模块21，进入第五步。若为非开检，则进入第五步。第四步，该分拣传送机构13根据该第一分拣指令执行开检操作。第五步，通过协作调度模块21将该行李图像分配给相应的人工识别模块22，以进行人工识别。第六步，经过人工识别后，人工识别模块22将人工识别结果反馈给协作调度模块21，以使得协作调度模块21根据人工识别结果将第二分拣指令与传入图像的边缘计算装置12进行对应，配准与其一一对应的决策执行模块(即分拣传送机构13)，将第二分拣指令准确送达。第七步，如果第二分拣指令为无需开检，则分拣传送机构13执行放行操作；如果第二分拣指令为需要开检，则分拣传送机构13执行开检操作。由此，通过机器结合人工的方式完成整个行李的安检过程。

此外，在第六步时，经过人工识别后，人工识别模块22不仅将人工识别结果反馈给协作调度模块21，还记录安检员通过观察图像做出的决策数据，并将该决策数据传送至案例选取模块23。以通过该案例选取模块23将该典型案例数据传送至数据处理设备30的云计算服务器32，从而用于对边缘计算装置12的机器识别模型进行优化升级。

综上所述，本发明所提供的人机混合决策的智能安检系统，通过人机协同混合决策的方式对安检工作进行“提质”和“增效”。其中，“提质”表现在：通过采用边云结合的系统架构，实现机器在实际工作中不断积累数据、进化模型，并快速部署，实现现场边缘测机器识图能力的持续提升、向人逼近，达到协作中人、机能力差异逐渐消减，人、机共同决策的水平逐步提升的效果。“增效”表现在：通过采用的人-机混判的策略，实现简单、确定、频繁出现情况的快速自动决策，节省人力，把更高水平的能力用于识别复杂、模糊、偶尔出现的情况，机器负责快速，人工负责准确，达到人、机共同决策过程更快更准的效果。此外，整个智能安检系统中，人、机分工各有侧重，机器负责高频低危、常见易辨识物品的识别与决策；人工负责低频高危、罕见难辨识物品的识别与决策。为提升作业效率，机器决策开检的，人工不再重复决策；为守住安全底线，机器只决策是否开检，人工决策是否放行。

<第二实施例>

如图4和图5所示，为本发明实施例提供的另一种人机混合决策的智能安检系统，包括：安检设备10、人工判图设备20、数据处理设备30。本实施例与第一实施例的区别之处在于，对边缘计算装置12的优化升级方式不同。

在本发明的实施例中，数据处理设备30包括：云计算服务器33，该云计算服务器33与安检机11和边缘计算装置12连接，以用于与安检机11和边缘计算装置12进行数据交互。其中，边缘计算装置12还与人工判图设备20连接，以接收带有人工判图痕迹的行李图像并进行自主增量训练，并基于自主增量训练获取更新后的模型局部参数。云计算服务器33接收更新后的模型局部参数，并基于所述更新后的模型局部参数更新全局参数，以对机器识别模型进行更新，并将更新后的机器识别模型传输至所述边缘计算装置12。所述云计算服务器33还接收安检机11传入的所述行李图像进行存储。

具体地，在本发明的实施例中，云计算服务器33包括模型更新模块331和知识存贮模块332。相应的，安检设备10还包括知识收集模块14和增量训练模块15。其中，知识收集模块14与人工判图设备20的协作调度模块21连接，以接收人工判图设备20传入的案例，从中提取增量知识。增量训练模块15与该知识收集模块14连接，以接收知识收集模块14传送的增量知识，并利用该增量知识自主进行模型局部参数的更新。模型更新模块331与该增量训练模块15连接，以接收经过更新后的模型局部参数，并基于更新后的模型局部参数更新全局参数，以对机器识别模型进行更新，并将更新后的机器识别模型传输至边缘计算装置12。

而且，该模型更新模块331与知识存贮模块332连接，从而将新的机器识别模型传送至知识存贮模块332，用于存贮所有模型迭代进化过程的数据，以便于后续进行查询或调用。此外，本发明实施例中的云计算服务器33还包括图像存储模块333，该图像存储模块333与安检机11连接，以接收安检机11传入的行李图像进行存储。

本发明实施例除上述结构之外，其余结构与第一实施例均相同，在此不再赘述。

<第三实施例>

如图6所示，本发明实施例还提供一种人机混合决策的智能安检方法，具体包括步骤S1～S6：

S1：行李图像获取。

通过安检机11获取行李图像，发送至边缘计算装置12，同时发送至存储设备进行集中存储，转至步骤S6。

S2：机器自动识别。

利用边缘计算装置12上部署的深度神经网络模型完成机器识别，基于机器识别结果，若为开检，则向分拣传送机构13发送第一分拣指令，并进入步骤S4进行决策执行。若为非开检，则将行李图像传送至人工识别的协作调度模块21，以进入步骤S3进行人工识别。

S3：人工协作识别。

首先，基于“协作调度模型”，将接收到的行李图像择优分配给具体地人工识别岗位对图像进行人工识别；

其次，基于人工识别结果，向所述分拣传送机构13发送第二分拣指令，以使得分拣传送机构13根据该第二分拣指令进入步骤S4执行开检或放行。

同时，将人工识别结果传送至步骤S5，已进行系统的自主进化。

S4：决策结果执行。

根据所述第一分拣指令或所述第二分拣指令，控制所述分拣传送机构执行开检操作或放行操作。

S5：系统自主进化。

首先，基于人工识别结果中包含的人工判图痕迹，提取增量知识，同时将知识发送至存储设备进行集中存储，转至步骤S6；

其次，根据增量知识进行自主增量训练；

最后，利用训练得出的最新参数更新自动识别模型参数，按照时间间隔要求或样本增量要求，定期或不定期下发新模型至边缘计算装置12，反馈转至步骤S2。

S6：集中存储。

将步骤S1发来的行李图像与步骤S5发来的增量知识进行分类存储，用于数据储存，以用于后续分类查询。

在本发明的一个优选实施例中，步骤S5具体包括S5A₁～S5A₃：

S5A₁：通过图像存储服务器31接收行李图像以及带有人工判图痕迹的行李图像，并进行分类存储；

S5A₂：通过云计算服务器32接收带有人工判图痕迹的行李图像，并进行自主增量训练，更新机器识别模型；

S5A₃：通过云计算服务器32将更新后的机器识别模型传输至边缘计算装置12。

由此，通过对边缘计算装置12的机器识别模型进行优化更新，从而提高边缘计算装置12的识图能力，实现机器在实际工作中不断积累数据、进化模型，并快速部署，实现现场边缘测机器识图能力的持续提升、向人逼近，达到协作中人、机能力差异逐渐消减，人、机共同决策的水平逐步提升的效果。

在本发明的另一实施例中，步骤S5具体包括S5B₁～S5B₄：

S5B₁：通过边缘计算装置12接收人工判图设备20传输的带有人工判图痕迹的行李图像，并进行自主增量训练；

S5B₂：基于自主增量训练获取更新后的模型局部参数；

S5B₃：通过云计算服务器33获取更新后的模型局部参数，并基于更新后的模型局部参数更新全局参数，以对机器识别模型进行更新；

S5B₄：通过云计算服务器33将更新后的机器识别模型传输至边缘计算装置12的边缘计算装置12。

综上所述，本发明所提供的人机混合决策的智能安检系统及方法，以安全可靠为底线，既节省人力又提升效率，更可以完成数据与知识的不断积累，人、机能力互促共进，使系统中人的智能与机器智能在实践中自主成长。本智能安检系统在公共安全领域与其他竞争产品有本质差异，在信息化程度与从业人员技能水平均较高的市场，如：民航，本智能安检系统及方法的竞争优势在于既保障安全又提高效率；在信息化水平低、人力资源紧缺的市场，如：货运、快递、轨交、重大安保等，本智能安检系统及方法的竞争优势在于节省人力，且能够辅助提升人员技能水平。

上面对本发明所提供的人机混合决策的智能安检系统及方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种人机混合决策的智能安检系统，其特征在于包括：

安检设备，所述安检设备包括安检机、边缘计算装置和分拣传送机构；所述安检机设置于安检场所，用于获取旅客的行李图像；所述边缘计算装置设置于所述安检场所并与所述安检机连接，以接收所述行李图像，并进行机器识别；所述分拣传送机构设置于所述安检场所并与所述边缘计算装置连接，以接收所述边缘计算装置基于机器识别结果发送的第一分拣指令；

人工判图设备，设置于人工判图场所，所述人工判图设备与所述边缘计算装置连接，以接收所述边缘计算装置发送的所述行李图像，用于人工识别；所述人工判图设备还与所述分拣传送机构连接，以基于人工识别结果，向所述分拣传送机构发送第二分拣指令；

所述分拣传送机构能够接收所述第一分拣指令，以执行开检操作；所述分拣传送机构还能够接收所述第二分拣指令，以执行开检或放行操作。

2.如权利要求1所述的智能安检系统，其特征在于还包括：

图像存储服务器，设置于数据处理场所，所述图像存储服务器与所述安检机连接，以接收并存储所述行李图像；所述图像存储服务器还与所述人工判图设备连接，以接收并存储带有人工判图痕迹的行李图像；

云计算服务器，设置于所述数据处理场所，所述云计算服务器与所述人工判图设备连接，以接收带有人工判图痕迹的行李图像，进行自主增量训练、更新机器识别模型；所述云计算服务器还与所述边缘计算装置连接，以将更新后的机器识别模型传输至所述边缘计算装置。

3.如权利要求1所述的智能安检系统，其特征在于还包括：

云计算服务器，所述云计算服务器设置于数据处理场所，并与所述边缘计算装置连接；

所述边缘计算装置还与所述人工判图设备连接，以接收带有人工判图痕迹的行李图像并进行自主增量训练，基于所述自主增量训练获取更新后的模型局部参数；

所述云计算服务器接收所述更新后的模型局部参数，并基于所述更新后的模型局部参数更新全局参数，以对机器识别模型进行更新，并将更新后的机器识别模型传输至所述边缘计算装置。

4.如权利要求2所述的智能安检系统，其特征在于，所述安检设备为多个且相互独立，各所述安检设备的边缘计算装置分别与所述人工判图设备连接，以分别向所述人工判断设备传输识别为非开检的行李图像；各所述安检设备的边缘计算装置还分别与所述云计算服务器连接，以分别接收更新后的机器识别模型。

5.如权利要求4所述的智能安检系统，其特征在于，所述人工判图设备包括：

协作调度模块，所述协作调度模块分别与多个所述边缘计算装置连接，以分别接收各所述边缘计算装置向所述协作调度模块发送的行李图像；所述协作调度模块还分别与多个所述分拣传送机构连接，以基于人工识别结果向各所述分拣传送机构发送第二分拣指令；

多个人工识别模块，均与所述协作调度模块连接，以接收所述协作调度模块分配的所述行李图像，并将第二分拣指令反馈至所述协作调度模块；

案例选取模块，分别与多个所述人工识别模块连接，以接收多个所述人工识别模块的安检员决策数据，从中选取典型案例数据传送至所述云计算服务器。

6.如权利要求5所述的智能安检系统，其特征在于，所述云计算服务器包括：

知识收集模块，与所述案例选取模块连接，以接收所述典型案例数据；

知识存贮模块，与所述知识收集模块连接，以接收所述知识收集模块向所述知识存贮模块发送的所述典型案例数据，并对所述典型案例数据进行分类存储，以用于分类查询；

增量训练模块，与所述知识收集模块连接，以接收所述知识收集模块向所述增量训练模块发送的所述典型案例数据，并进行增量训练，获取优化参数；

模型更新模块，与所述增量训练模块连接，以接收所述经过增量训练获得的优化参数，并基于所述优化参数对既有的机器识别模型进行更新升级；所述模型更新模块还与所述边缘计算装置连接，以将所述经过更新的机器识别模型传输至所述边缘计算装置。

7.如权利要求2所述的智能安检系统，其特征在于，所述安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所；或者，所述安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。

8.一种人机混合决策的智能安检方法，其特征在于包括如下步骤：

通过边缘计算装置获取行李图像，并进行机器识别；

基于机器识别结果，若为开检，则所述边缘计算装置向分拣传送机构发送第一分拣指令；

所述分拣传送机构接收所述第一分拣指令，以执行开检操作；

若机器识别结果为非开检，则所述边缘计算装置将行李图像发送至人工判图设备，以进行人工识别；

基于人工识别结果，所述人工判图设备向所述分拣传送机构发送第二分拣指令；

所述分拣传送机构接收所述第二分拣指令，以执行开检操作或放行操作。

9.如权利要求8所述的智能安检方法，其特征在于还包括如下步骤：

通过图像存储服务器接收所述行李图像以及带有人工判图痕迹的行李图像，并进行分类存储；

通过云计算服务器接收带有人工判图痕迹的行李图像，并进行自主增量训练，更新机器识别模型；

通过所述云计算服务器将所述更新后的机器识别模型传输至所述边缘计算装置。

10.如权利要求8所述的智能安检方法，其特征在于还包括如下步骤：

通过边缘计算装置接收人工判图设备传输的带有人工判图痕迹的行李图像，并进行自主增量训练；

基于所述自主增量训练获取更新后的模型局部参数；

通过云计算服务器获取所述更新后的模型局部参数，并基于所述更新后的模型局部参数更新全局参数，以对机器识别模型进行更新；

通过所述云计算服务器将更新后的机器识别模型传输至所述边缘计算装置。

Images