CN112712093A - 安检图像识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种安检图像识别方法、装置、电子设备及存储介质，该方法包括：获取行李的X光图像；将行李的X光图像输入预先训练的第一安检图像识别模型，得到第一识别结果；其中，第一安检图像识别模型用于判定行李的危险等级；将行李的X光图像输入预先训练的第二安检图像识别模型，得到第二识别结果；其中，第二安检图像识别模型用于标注行李携带的物品的类别；级联第一识别结果和第二识别结果，生成行李的最终安检结果。本发明通过综合判断得出行李的安监结果，避免漏报误报新型违禁品，减小了漏报误报的概率。此外，将行李的危险等级划分为危险行李、安全行李和待核实行李，工作人员仅需对待核实行李进行详细审核，提升了工作效率。

Description

安检图像识别方法、装置、电子设备及存储介质

技术领域

本发明涉及安检技术领域，具体涉及一种安检图像识别方法、装 置、电子设备及存储介质。

背景技术

随着经济快速发展，高铁，飞机等已经成为了人们日常出行必不 可少的交通工具，然而乘客有意或者无意地携带危险品乘坐交通工具 却成了交通运输安全的最大威胁。X光安检机对于危险品安全检测和 保障交通运输工具运行安全方面有着重要的作用。

传统的安检模式是工作人员根据自身工作经验基于行李的X光 图像对其进行危险等级界定，高强度的工作量和人为的主观性，极易 造成工作人员的检测盲区。为此，许多厂家开始致力于智能安检识别 算法的研究，通过机器识别行李X光图像中的关键物品，若出现违禁 品，自动警报提醒工作人员，以提升工作效率。

然而，这些厂家是完全通过目标检测进行智能识别，存在两个主 要问题。第一，目标检测模型需要对目标类别进行学习，然而行李物 品的形状多种多样，违禁品的形状也在不断变化，使得智能安检识别 的误报漏报概率过高，因此工作人员不能完全依赖于智能识别的结果。 第二，不同厂家对关键物品的标注类别不一致，使得工作人员需要适 应各种产品，在一定程度上反而增加了工作复杂性。

发明内容

本发明实施例提供一种安检图像识别方法、装置、电子设备及存 储介质，用以解决现有技术中误报率和漏报率过高的缺陷，实现更高 效、更准确地对行李X光图像的识别。

本发明第一方面实施例提供一种安检图像识别方法，包括：

获取行李的X光图像；

将所述行李的X光图像输入预先训练的第一安检图像识别模型， 得到第一识别结果；其中，所述第一安检图像识别模型用于划分所述 行李的危险等级；

将所述行李的X光图像输入预先训练的第二安检图像识别模型， 得到第二识别结果；其中，所述第二安检图像识别模型用于标注所述 行李中物品的类别；

根据所述第一识别结果和所述第二识别结果，确定对所述行李的 安检结果。

上述技术方案中，根据所述第一识别结果和所述第二识别结果， 确定对所述行李的安检结果，包括：

当所述第一识别结果显示所述行李的危险等级为危险，且所述第 二识别结果显示所述行李中物品的类别包含违禁品，判定安检结果为 危险行李；

或，当所述第一识别结果显示所述行李的危险等级为安全，且所 述第二识别结果显示所述行李中物品的类别均为生活用品，判定安检 结果为安全行李；

或，当所述第一识别结果与所述第二识别结果的显示内容存在冲 突，判定安检结果为待核实。

上述技术方案中，所述第一识别结果与所述第二识别结果的显示 内容存在冲突包括：

当所述第一识别结果显示所述行李的危险等级为危险，但所述第 二识别结果显示所述行李中物品的类别均为生活用品；

或，当所述第一识别结果显示所述行李的危险等级为安全，但所 述第二识别结果显示所述行李中物品的类别包含违禁品。

工作人员针对待核实行李需要进行详细的检查和标注核对，针对 其他两类行李，直接采取相应的处理方式，即针对危险行李直接进行 开箱检查；针对安全行李直接通过。

上述技术方案中，所述第一安检图像识别模型是基于多示例学习 模型训练得到的；

所述第二安检图像识别模型是基于目标检测网络模型训练得到 的。

上述技术方案中，方法还包括：

获取训练图像；

当所述训练图像中的物品包含违禁品时，将所述训练图像划分为 负样本；以及，当所述训练图像中的物品均为生活用品时，将所述训 练图像划分为正样本；

基于所述正样本和所述负样本，训练多示例学习模型，得到所述 第一安检图像识别模型；

对所述训练图像中的物品进行标注；

基于所述训练图像和所述训练图像中物品的标注，对所述目标检 测网络模型进行训练，得到所述第二安检图像识别模型。

上述技术方案中，对所述训练图像中的物品进行标注，包括：

标注出所述正样本中的生活用品；以及

标注出所述负样本中的违禁品，其中，所述违禁品的类别包括： 枪支、刀具、打火机、管制器具、工具、易燃易爆物、液体、电子设 备、充电宝、雨伞。

本发明第二方面实施例提供一种安检图像识别装置，包括：

图像获取模块，用于获取行李的X光图像；

第一图像识别模块，用于将所述行李的X光图像输入预先训练的 第一安检图像识别模型，得到第一识别结果；其中，所述第一安检图 像识别模型用于划分所述行李的危险等级；

第二图像识别模块，用于将所述行李的X光图像输入预先训练的 第二安检图像识别模型，得到第二识别结果；其中，所述第二安检图 像识别模型用于标注所述行李中物品的类别；

处理结果确定模块，根据所述第一识别结果和第二识别结果，确 定对所述行李的安检结果。

本发明第三方面实施例提供一种电子设备，包括存储器、处理器 及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执 行所述程序时实现如本发明第一方面实施例所述安检图像识别方法 的步骤。

本发明第四方面实施例提供一种非暂态计算机可读存储介质，其 上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第 一方面实施例所述安检图像识别方法的步骤。

本发明实施例提供的安检图像识别方法、装置、电子设备及存储 介质，通过使用所述第一安检图像识别模型和所述第二安检图像识别 模型，综合判断行李的危险等级和行李中包含的物品类别，提醒待核 实行李物品，从而避免漏报误报没有学习过的违禁品，减小漏报误报 的概率。

附图说明

图1是本发明实施例提供的一种安检图像识别方法的流程图；

图2是本发明另一实施例提供的一种安检图像识别方法的流程图；

图3是本发明实施例提供的一种安检图像识别装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发 明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。

现有的智能安检识别完全是依赖于目标检测算法完成的，目标检 测的性能是根据训练样本体现的，如果新的目标类别，在没有学习的 情况下，是无法识别的，会出现较高的漏报率；此外样本的类内差异 性和类间多样性，造成不可避免的误报情况。为此现有的智能安检识 别算法误报漏报的概率过高，不能适应更多的智能安检需求。为至少 解决上述部分问题，本发明提供了一种安检图像识别方法、装置、电 子设备及存储介质，下面将通过具体实施例对本发明提供的内容进行 详细解释和说明。

图1示出了本发明实施例提供的安检图像识别方法的流程图。如 图1所示，本发明实施例提供的安检图像识别方法包括如下步骤：

步骤101：获取行李的X光图像；

在本实施例中，可以使用各种形状、各种尺寸的安检X光机获得 行李的X光图像，该安检X光机包括多个探测器，可以自由组合成直 线型、L型或圆形弧形，可以是机场的用于大尺寸货物的大型安检设 备，也可以是地铁站等的用于小尺寸随身行李的小型安检设备。获取 的X光图像可以是未经处理的灰度图像，也可以是处理过的彩色图像。

步骤102：将行李的X光图像输入预先训练的第一安检图像识别 模型，得到第一识别结果；其中，第一安检图像识别模型用于划分所 述行李的危险等级；

在本实施例中，需要说明的是，所述第一安检图像识别模型是基 于多示例学习模型训练得到的。第一安检图像识别模型可以识别行李 的X光图像来判断整个行李的危险等级，而无需表示出行李中违禁品 的具体位置，是对整个行李的危险情况的概率判断，当判断行李的危 险概率大于预设阈值时，将行李的危险等级划分为危险，当判断行李 的危险概率小于预设阈值时，将行李的危险等级划分为安全。

步骤103：将所述行李的X光图像输入预先训练的第二安检图像 识别模型，得到第二识别结果；其中，所述第二安检图像识别模型用 于标注所述行李中物品的类别；

在本实施例中，需要说明的是，所述第二安检图像识别模型是基 于目标检测模型训练得到的。第二安检图像识别模型可以对行李中的 物品进行识别，标注出物品的类别及其在行李箱中的位置，包括违禁 品，所述违禁品的类别包括：枪支、刀具、打火机、管制器具、工具、 易燃易爆物、液体、电子设备、充电宝、雨伞，以及生活用品，如衣 物、鞋帽等。存在第二安检图像识别模型未学习过、不能识别的物品， 如当某件物品的识别概率不足以判定为违禁品，也不足以判定为生活 用品时，可以将该物品标注为待核实，提醒安检人员查看安检图像。 存在第二安检图像识别模型漏报误报的物品，如当某件物品没有学习 过，或分类错误，则还可依赖于第一安检图像识别模型的危险等级评 价，提醒安检人员。

步骤104：根据所述第一识别结果和所述第二识别结果，确定对 所述行李的安检结果。

在本实施例中，需要说明的是，根据所述第一识别结果和所述第 二识别结果，确定对所述行李的安检结果，包括：当所述第一识别结 果显示所述行李的危险等级为危险，且所述第二识别结果显示所述行 李中物品的类别包含违禁品，判定安检结果为危险行李；或，当所述 第一识别结果显示所述行李的危险等级为安全，且所述第二识别结果 显示所述行李中物品的类别均为生活用品，判定安检结果为安全行李； 或，当所述第一识别结果与所述第二识别结果的显示内容存在冲突， 判定安检结果为待核实。

在本实施例中，需要进一步说明的是，所述第一识别结果与所述 第二识别结果的显示内容存在冲突包括：当所述第一识别结果显示所 述行李的危险等级为危险，但所述第二识别结果显示所述行李中物品 的类别均为生活用品；或，当所述第一识别结果显示所述行李的危险 等级为安全，但所述第二识别结果显示所述行李中物品的类别包含违 禁品。这可能是由于第一安检图像识别模型和/或第二安检图像识别 模型的误差，使得判断结果不一致，可以通过提醒安检人员查看安检 图像来排除，安检人员可以通过核实图像和已标注的区域，并将核实 结果反馈给安检图像识别算法。也可能是出现了新的物品，如新型违禁品，需要通过进一步判断，如开箱检查等来避免发生重大失误。

在本发明实施例中，所述核实结果的反馈可以用于第一安检图像 识别模型和第二安检图像识别模型的更新，使得上述安检图像识别方 法在使用中更新完善，提高识别效率和准确度。上述算法可以部署在 云上，接收多个安检设备的反馈，同步或分别更新安检设备上的算法。

图2示出了本发明另一实施例提供的一种安检图像识别方法的另 一流程图；如图2所示，上述方法中应用的第一安检图像识别模型和 第二安检图像识别模型可以通过该方法训练得到，该方法包括：

步骤201：获取训练图像；

在本发明实施例中，训练图像可以从已有的图像集中获取，也可 以根据具体场景所需，采集较新的图像，不同应用场景可以适配不同 的训练图像集。

步骤202：将所述训练图像划分为正样本和负样本，以及对所述 训练图像中的物品进行标注；

在本发明实施例中，需要说明的是，将所述训练图像划分为正样 本和负样本，包括：当所述训练图像中的物品包含违禁品时，将所述 训练图像划分为负样本；以及当所述训练图像中的物品均为生活用品 时，将所述训练图像划分为正样本。对所述训练图像中的物品进行标 注，包括：标注出所述正样本中的生活用品；以及标注出所述负样本 中的违禁品，其中，所述违禁品的类别包括：枪支、刀具、打火机、 管制器具、工具、易燃易爆物、液体、电子设备、充电宝、雨伞。

步骤203：基于所述正样本和所述负样本，训练多示例学习模型， 得到所述第一安检图像识别模型；

步骤204：基于所述训练图像和所述训练图像中物品的标注，对 所述目标检测网络模型进行训练，得到所述第二安检图像识别模型。

在本发明实施例中，目标检测网络模型可以包括特征提取网络、 特征融合网络以及对应物体位置和类别的特征映射层，最终输出 X-ray图像当中待识别物体的位置和类别。

本发明实施例采用DenseNet-121作为目标检测算法的特征提取 网络，并去除原始网络中的全连接层，使其仅完成特征提取的功能。 包括初始卷积层、四层Dense Block(DB1-DB4)以及相应的过渡层， 用于提取物体的多尺度特征。

本发明实施例采用特征金字塔网络作为特征融合网络，使网络对 像素尺度差异较大的物体均有较高的识别精度。特征融合网络包括了 三层特征的融合，其中P4由DB4的输出经过横向链接(1×1卷积)获 得，P3由P4和经横向连接的DB3获得，P2由P3和经横向连接的DB2 获得。其中P4为深层特征，具有突出的语义信息，但对像素尺度较小 物体的定位不准。P2为较浅层的特征，具有突出的空间特征，包含丰 富的物体位置信息，此外，P2接收了来自P3和P4的语义信息，因此 P2具有较强的小尺度物体检测能力。

将P2-P4生成的多尺度特征进行特征映射，与本发明所需识别 X-ray图像当中物体的种类进行关联，最终由特征映射层分别输出物 体的位置和类别。

本发明实施例的目标检测算法分为训练和测试两个步骤。

在训练阶段，首先构建X-ray目标检测数据集，包括收集X-ray图 像以及与每一张图像相对应的标注文件。所有标注工作由安检员手工 标定，即标出X-ray图像当中所有感兴趣类别物体的坐标以及该物体 所属的类别。其次，将训练图像输入所构建的目标检测网络，以生成 网络对应图像上物体的位置与类别，并将其与真实标注数据进行比对， 形成损失值，通过反向传播来更新网络当中的参数。最终经过大量的 训练迭代，网络当中参数逐渐收敛，完成训练。

测试阶段即针对行李X-ray图像，通过所训练的目标检测网络， 提取其多尺度特征并进行融合，形成特征映射，输出图像中物体的位 置和类别。

下面对本发明提供的安检图像识别装置进行描述，下文描述的安 检图像识别装置与上文描述的安检图像识别方法可相互对应参照。

图3为本发明实施例提供的安检图像识别装置的示意图，如图3 所示，本发明实施例提供的安检图像识别装置包括：

图像获取模块301，用于获取行李的X光图像；

第一图像识别模块302，用于将所述行李的X光图像输入预先训 练的第一安检图像识别模型，得到第一识别结果；其中，所述第一安 检图像识别模型用于划分所述行李的危险等级；

第二图像识别模块303，用于将所述行李的X光图像输入预先训 练的第二安检图像识别模型，得到第二识别结果；其中，所述第二安 检图像识别模型用于标注所述行李中物品的类别；

处理结果确定模块304，根据所述第一识别结果和第二识别结果， 确定对所述行李的安检结果。

本发明实施例提供的安检图像识别装置通过使用所述第一安检 图像识别模型和所述第二安检图像识别模型，综合判断行李的危险等 级和行李中包含的物品类别，提醒待核实行李物品，从而避免漏报误 报没有学习过的违禁品，减小漏报误报的概率。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子 设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410， 通信接口420，存储器430通过通信总线440完成相互间的通信。处理 器410可以调用存储器430中的逻辑指令，以执行如下方法：获取行李 的X光图像；将所述行李的X光图像输入预先训练的第一安检图像识 别模型，得到第一识别结果；其中，第一安检图像识别模型用于划分 所述行李的危险等级；将所述行李的X光图像输入预先训练的第二安 检图像识别模型，得到第二识别结果；其中，第二安检图像识别模型 用于标注所述行李中物品的类别；根据第一识别结果和第二识别结果， 确定对所述行李的安检结果。

需要说明的是，本实施例中的电子设备在具体实现时可以为服务 器，也可以为PC机，还可以为其他设备，只要其结构中包括如图4所 示的处理器410、通信接口420、存储器430和通信总线440，其中处理 器410，通信接口420，存储器430通过通信总线440完成相互间的通信， 且处理器410可以调用存储器430中的逻辑指令以执行上述方法即可。 本实施例不对电子设备的具体实现形式进行限定。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可 读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者 网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而 前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟 或者光盘等各种可以存储程序代码的介质。

进一步地，本发明实施例公开一种计算机程序产品，所述计算机 程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所 述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算 机能够执行上述各方法实施例所提供的方法，例如包括：获取行李的 X光图像；将所述行李的X光图像输入预先训练的第一安检图像识别 模型，得到第一识别结果；其中，第一安检图像识别模型用于划分所 述行李的危险等级；将所述行李的X光图像输入预先训练的第二安检 图像识别模型，得到第二识别结果；其中，第二安检图像识别模型用 于标注所述行李中物品的类别；根据第一识别结果和第二识别结果， 确定对所述行李的安检结果。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质， 其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上 述各实施例提供的方法，例如包括：获取行李的X光图像；将所述行 李的X光图像输入预先训练的第一安检图像识别模型，得到第一识别 结果；其中，第一安检图像识别模型用于划分所述行李的危险等级； 将所述行李的X光图像输入预先训练的第二安检图像识别模型，得到 第二识别结果；其中，第二安检图像识别模型用于标注所述行李中物 品的类别；根据第一识别结果和第二识别结果，确定对所述行李的安 检结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离 部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中 的部分或者全部模块来实现本实施例方案的目的。本领域普通技术 人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了 解到各实施方式可借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者 说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该 计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、 磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个 人计算机，服务器，或者网络设备等)执行各个实施例或者实施例 的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案， 而非对其限制；尽管参照前述实施例对本发明进行了详细的说明， 本领域的普通技术人员应当理解：其依然可以对前述各实施例所记 载的技术方案进行修改，或者对其中部分技术特征进行等同替换； 而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实 施例技术方案的精神和范围。

Claims (9)

1.一种安检图像识别方法，其特征在于，包括：

获取行李的X光图像；

将所述行李的X光图像输入预先训练的第一安检图像识别模型，得到第一识别结果；其中，所述第一安检图像识别模型用于划分所述行李的危险等级；

将所述行李的X光图像输入预先训练的第二安检图像识别模型，得到第二识别结果；其中，所述第二安检图像识别模型用于标注所述行李中物品的类别；

根据所述第一识别结果和所述第二识别结果，确定对所述行李的安检结果。

2.根据权利要求1所述的安检图像识别方法，其特征在于，根据所述第一识别结果和所述第二识别结果，确定对所述行李的安检结果，包括：

当所述第一识别结果显示所述行李的危险等级为危险，且所述第二识别结果显示所述行李中物品的类别包含违禁品，判定安检结果为危险行李；

或，当所述第一识别结果显示所述行李的危险等级为安全，且所述第二识别结果显示所述行李中物品的类别均为生活用品，判定安检结果为安全行李；

或，当所述第一识别结果与所述第二识别结果的显示内容存在冲突，判定安检结果为待核实。

3.根据权利要求2所述的安检图像识别方法，其特征在于，所述第一识别结果与所述第二识别结果的显示内容存在冲突包括：

当所述第一识别结果显示所述行李的危险等级为危险，但所述第二识别结果显示所述行李中物品的类别均为生活用品；

或，当所述第一识别结果显示所述行李的危险等级为安全，但所述第二识别结果显示所述行李中物品的类别包含违禁品。

4.根据权利要求1所述的安检图像识别方法，其特征在于，

所述第一安检图像识别模型是基于多示例学习模型训练得到的；

所述第二安检图像识别模型是基于目标检测网络模型训练得到的。

5.根据权利要求1至4任一项所述的安检图像识别方法，其特征在于，方法还包括：

获取训练图像；

当所述训练图像中的物品包含违禁品时，将所述训练图像划分为负样本；以及，当所述训练图像中的物品均为生活用品时，将所述训练图像划分为正样本；

基于所述正样本和所述负样本，训练多示例学习模型，得到所述第一安检图像识别模型；

对所述训练图像中的物品进行标注；

基于所述训练图像和所述训练图像中物品的标注，对所述目标检测网络模型进行训练，得到所述第二安检图像识别模型。

6.根据权利要求5所述的安检图像识别方法，其特征在于，对所述训练图像中的物品进行标注，包括：

标注出所述正样本中的生活用品；以及

标注出所述负样本中的违禁品，其中，所述违禁品的类别包括：枪支、刀具、打火机、管制器具、工具、易燃易爆物、液体、电子设备、充电宝、雨伞。

7.一种安检图像识别装置，其特征在于，包括：

图像获取模块，用于获取行李的X光图像；

第一图像识别模块，用于将所述行李的X光图像输入预先训练的第一安检图像识别模型，得到第一识别结果；其中，所述第一安检图像识别模型用于划分所述行李的危险等级；

第二图像识别模块，用于将所述行李的X光图像输入预先训练的第二安检图像识别模型，得到第二识别结果；其中，所述第二安检图像识别模型用于标注所述行李中物品的类别；

处理结果确定模块，根据所述第一识别结果和第二识别结果，确定对所述行李的安检结果。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述安检图像识别方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述安检图像识别方法的步骤。

Images