CN113762029A

CN113762029A - 危险品识别方法、装置、设备及存储介质

Info

Publication number: CN113762029A
Application number: CN202110377922.4A
Authority: CN
Inventors: 盛捷来
Original assignee: Beijing Jingdong Zhenshi Information Technology Co Ltd
Current assignee: Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority date: 2021-04-08
Filing date: 2021-04-08
Publication date: 2021-12-07

Abstract

本申请实施例提供一种危险品识别方法、装置、设备及存储介质，应用于计算机视觉技术。此方法包括：对待识别图像进行特征提取，得到待识别图像对应的特征图，待识别图像包含多个物品；根据特征图中各特征，确定与该特征相关的上下文信息；根据各特征对应的上下文信息，识别多个物品是否包含危险品。通过本申请可以提高危险品的检出率。

Description

危险品识别方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术，尤其涉及一种危险品识别方法、装置、设备及存储介质。

背景技术

为安防考虑，在机场、火车站、地铁站、仓库分拣地等地点，需要对物品进行安全检查，以识别其中的危险品。通常情况下，在一定的时间段内会有大量的物品通过安检机，这就需要使用计算机视觉技术自主辅助安检人员对危险品进行识别，确定危险品的类型和包裹。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：当危险品体积较小、特征不明显或形状差异较大时，存在难以识别的问题，进而导致危险品检出率较低。

发明内容

本申请实施例提供一种危险品识别方法、装置、设备及存储介质，用以提高危险品的检出率。

第一方面，本申请实施例提供一种危险品识别方法，包括：

对待识别图像进行特征提取，得到待识别图像对应的特征图，待识别图像包含多个物品；

根据特征图中各特征，确定与特征相关的上下文信息；

根据各特征对应的上下文信息，识别多个物品是否包含危险品。

一种可能的实施方式中，上述根据特征图中各特征，确定与特征相关的上下文信息，可以包括：根据特征图及特征关系模型，确定与特征图中各特征相关的上下文信息，特征关系模型用于反映特征之间的相关信息。

一种可能的实施方式中，上述根据各特征对应的上下文信息，识别多个物品是否包含危险品，可以包括：根据各特征对应的上下文信息及基于注意力机制得到的权重信息，识别多个物品是否包含危险品。

一种可能的实施方式中，上述权重信息是通过以下过程训练得到的：

基于训练数据迭代训练初始物品识别模型，得到物品识别模型，直至物品识别模型对应的损失函数满足预设收敛条件，其中，初始物品识别模型是基于注意力机制设置的模型结构，训练数据包括已标记是否包含危险品信息的图像。

一种可能的实施方式中，上述对待识别图像进行特征提取之前，还包括：

获取安检设备采集的包含至少一个包裹的原始图像；

检测原始图像，得到待识别图像，待识别图像的个数等于包裹的个数。

一种可能的实施方式中，上述检测原始图像，得到待识别图像，可以包括：将原始图像输入包裹检测模型，得到待识别图像，包裹检测模型用于检测原始图像中包含的包裹并生成包含单个包裹的待识别图像。

一种可能的实施方式中，上述根据各特征对应的上下文信息，识别多个物品是否包含危险品之后，还可以包括：若多个物品包含危险品，则反馈用于指示包含危险品的提示信息给客户端，提示信息包含危险品的位置信息。

第二方面，本申请实施例提供一种危险品识别装置，包括：

特征提取模块，用于对待识别图像进行特征提取，得到待识别图像对应的特征图，待识别图像包含多个物品；

信息确定模块，用于根据特征图中各特征，确定与特征相关的上下文信息；

危险品识别模块，用于根据各特征对应的上下文信息，识别多个物品是否包含危险品。

一种可能的实施方式中，信息确定模块具体用于：根据特征图及特征关系模型，确定与特征图中各特征相关的上下文信息，特征关系模型用于反映特征之间的相关信息。

一种可能的实施方式中，危险品识别模块具体用于：根据各特征对应的上下文信息及基于注意力机制得到的权重信息，识别多个物品是否包含危险品。

一种可能的实施方式中，还包括：获取模块和检测模块，其中：

获取模块，用于获取安检设备采集的包含至少一个包裹的原始图像；

检测模块，用于检测原始图像，得到待识别图像，待识别图像的个数等于包裹的个数。

一种可能的实施方式中，检测模块具体用于：将原始图像输入包裹检测模型，得到待识别图像，包裹检测模型用于检测原始图像中包含的包裹并生成包含单个包裹的待识别图像。

一种可能的实施方式中，还可以包括：反馈模块，用于在多个物品包含危险品时，反馈用于指示包含危险品的提示信息给客户端，提示信息包含危险品的位置信息。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面中任一项所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的方法。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序在电子设备上运行时，使得电子设备执行如第一方面中任一项所述的方法。

本申请实施例提供的危险品识别方法、装置、设备及存储介质，其中，危险品识别方法包括：对待识别图像进行特征提取，得到待识别图像对应的特征图，待识别图像包含多个物品；根据特征图中各特征，确定与该特征相关的上下文信息；根据各特征对应的上下文信息，识别多个物品是否包含危险品。通过结合各特征对应的上下文信息来识别多个物品是否包含危险品，充分利用物品间的相关信息，从而可以提高危险品的检出率。

本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请提供的危险品识别方法的应用场景示意图；

图2为本申请一实施例提供的危险品识别方法的流程示意图；

图3a示出一待识别图像的示例图；

图3b示出另一待识别图像的示例图；

图4示出一特征图的示例图；

图5为本申请一实施例提供的物品识别模型的结构示意图；

图6为本申请另一实施例提供的危险品识别方法的流程示意图；

图7为本申请一实施例提供的危险品识别装置的结构示意图；

图8为本申请一实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

危险品识别是用于安防的重要计算机视觉技术，例如，通过安检机x光对包裹进行不开箱的安全检查。现有的安检机图像识别的技术已经比较成熟，板块目标检测、图像分割等，都是直接在图像中寻找有无危险品。但是实际上有些危险品体积较小、特征不明显，难以被检出；有些危险品则会因为形状差异较大难以被检出。

另外，对于大量包裹的通过，识别时效性要求也很高，对于使用多阶段目标检测等方法，很难保证包裹在短时间内快速通过安全检测。

考虑到一个包裹中出现多个物品的情况较为常见，而这些物品对于包裹中是否包含有危险品都提供了一定的信息量，因此，针对上述问题，本申请提供一种危险品识别方法、装置、设备及存储介质，充分利用包裹内物品间的相关信息进行危险品识别，提高危险品的检出率。

示例性地，图1为本申请提供的危险品识别方法的应用场景示意图。如图1所示，该应用场景可以包括：安检机11、服务器12、客户端13。其中，安检机11和客户端13均可以通过网络与服务器12进行通信。

示例地，在实际应用中，当包含有多个物品的包裹进入安检机11时，安检机11通过x光等技术采集包含该包裹中物品的图像作为待识别图像，并将该待识别图像通过网络发送给服务器12。相应地，服务器12接收该待识别图像，对其进行特征提取，得到该待识别图像对应的特征图；根据特征图中各特征，确定与该特征相关的上下文信息；根据各特征对应的上下文信息，识别多个物品是否包含危险品。若包含危险品，则服务器12通过网络反馈用于指示包含危险品的提示信息给客户端13，通过客户端13将提示信息输出给安检人员，以使安检人员基于提示信息进行所检出的危险品的后续处理，例如人工复查检出的危险品，等等。

需要说明的是，附图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备及设备个数进行限定，也不对图1中设备之间的位置关系进行限定，例如，在图1所示的应用场景中，还可以包括数据存储设备，该数据存储设备相对服务器12可以是外部存储器，也可以是集成在服务器12中的内部存储器。另外，服务器12可以是独立的服务器，或者，也可以是服务集群等。

示例地，本申请所提供的危险品识别方案的应用场所可以包括但不限于：机场、火车站、地铁站等交通枢纽，或者仓库分拣地等地点。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请一实施例提供的危险品识别方法的流程示意图。本申请实施例提供一种危险品识别方法，应用于危险品识别装置，该装置可以通过软件和/或硬件的方式实现。可选地，在图1所示场景中，该危险品识别装置可以集成于服务器中，例如危险品识别装置为服务器中的芯片或电路；或者，该危险品识别装置为服务器。接下来，以服务器作为执行主体进行示例说明。

如图2所示，该危险品识别方法包括如下步骤：

S201、对待识别图像进行特征提取，得到待识别图像对应的特征图。

其中，待识别图像包含多个物品。该步骤可以使用多种方式实现，例如，通过深度神经网络结构对待识别图像进行特征提取得到对应的特征图。示例地，深度神经网络结构可以具体为残差网络(Residual Network，简称ResNet)，inceptionV3等分类模型，或者，深度神经网络结构可以为快速区域卷积神经网络(Faster Region-based ConvolutionalNeural Network，简称Faster RCNN)等目标检测模型。

示例地，本申请实施例使用Resnet这一分类模型作为主干网络(backbone)举例说明，通过将待识别图像输入到Resnet中进行处理，得到特征图(feature map)，供后面步骤使用，而不再进行通常分类模型最后的全连接及预测部分。

S202、根据特征图中各特征，确定与特征相关的上下文信息。

其中，特征图上的像素点在原始图像(即本文中待识别图像)中映射的区域大小，也就相当于特征图中的像素点受原始图像多大区域的影响。也就是说，特征图上的各像素点对应的像素值反映的是原始图像上固定区域的特征。

考虑到不同的物品可能具有相同特征，例如，金属纽扣和纽扣电池的特征类似，这样具有该特征的物品可能在一个包裹内反映为一颗金属纽扣，而在另一个包裹中反映为纽扣电池，纽扣电池属于危险品。此时，包裹中其他物品对于判断整个包裹是否包含危险品具有很大的参考作用，不同的物品对于最后的判断提供的信息量也不一样。类似于对句子进行正向或者负向情感分类判断，现有两个不同的句子，都包含有pleased这样一个单词，但一个句子中pleased的前面有not的否定限定，则两个句子的分类判断肯定是不一样的。特征也是一样，如果外部包含有一个皮包，那么基本可以判断上述特征反映为皮包上的纽扣，但是如果旁边出现一个电子板，那么是纽扣电池概率就很大了，如图3a和图3b所示。

因此，不同于目前基于单个物品的特征进行识别，本申请实施例是结合特征之间的相关信息进行识别，其中特征之间的相关信息可以反映多个物品之间的相关信息。通过该步骤，可以得到各特征之间的相关信息，也即上下文信息。

至于上下文信息的具体获取方式，可参考后续实施例。

S203、根据各特征对应的上下文信息，识别多个物品是否包含危险品。

结合上下文信息识别多个物品是否包含危险品，不仅利用了单个物品的特征，还利用了物品周边其他物品的相关信息，例如物品之间的从属关系等等，因此，可提高危险品的检出率。

本申请实施例提供的危险品识别方法，首先对待识别图像进行特征提取，得到待识别图像对应的特征图，待识别图像包含多个物品；之后，根据特征图中各特征，确定与该特征相关的上下文信息，并根据各特征对应的上下文信息，识别多个物品是否包含危险品。本申请实施例通过结合各特征对应的上下文信息来识别多个物品是否包含危险品，充分利用物品间的相关信息，从而可以提高危险品的检出率。

在上述实施例的基础上，进一步地，S202、根据特征图中各特征，确定与特征相关的上下文信息，可以包括：根据特征图及特征关系模型，确定与特征图中各特征相关的上下文信息，该特征关系模型用于反映特征之间的相关信息。可选地，特征关系模型可以为双向长短期记忆网络(Bi-directional Long Short-Term Memory，简称BiLSTM)，双向门控循环单元(Bi-directional Gated Recurrent Unit，BiGRU)，循环神经网络(Recurrent NeuralNetwork，简称RNN)等模型。可以理解，BiLSTM包括前向的LSTM与后向的LSTM；同理，BiGRU包括正向的GRU与反向的GRU。

由于特征图的大小是固定的，可以将特征图直接作为输入参数输入到特征关系模型。以特征关系模型为BiGRU为例，如图4所示，假设特征图的长度是L，宽度是T，下文简写为T维度和L维度。

示例地，考虑宽度上的特征，获得T维度上的特征x_it，t∈[1，T]，i∈[1，L]，通过BiGRU正向和反向地将T维度的上下文信息结合起来，获得隐藏层的输出：

现在对于特征图上每一个特征x_it经过BiGRU之后获得了一个新的表示：

h_it包含了特征x_it左右两个方向上的上下文信息。

或者，考虑长度上的特征，先对特征那图进行转置处理，再如上述处理流程进行计算即可。

需要说明的是，上述示例是以三维的特征图为例进行说明的，为便于描述，仅体现两个维度。

一些实施例中，S203、根据各特征对应的上下文信息，识别多个物品是否包含危险品，可以包括：根据各特征对应的上下文信息及基于注意力(attention)机制得到的权重信息，识别多个物品是否包含危险品。通过引入注意力机制，使用加权向量的思想对危险品识别进行准确率的提升。

作为一种可能的实施方式，权重信息是通过以下过程训练得到的：基于训练数据迭代训练初始物品识别模型，得到物品识别模型，直至物品识别模型对应的损失函数满足预设收敛条件，其中，初始物品识别模型是基于注意力机制设置的模型结构，训练数据包括已标记是否包含危险品信息的图像。

仍参考前述示例，如图5所示，在得到h_it后，将h_it输入到一个全连接层(dense)中得到u_it＝tanh(W_wh_it+b_w)作为h_it的隐含表示，其中，b_w和W_w均为随机向量，再针对u_it使用一个随机初始化的上下文向量u_w，通过softmax操作得到一个归一化的权重矩阵α_it，用以代表特征图上特征x_it在T维度上的权重：

在得到特征x_it在T维度上的权重之后，就可以考虑整体行向量的加权表示s_i：

由于特征图是三维特征图，假设第三维的维度为M，则s_i为1×M的向量。

然后，考虑L维度上的权重。类似于上述的处理方式，首先获得隐藏层表示：

从而L维度上的特征向量表示为

这样h_i就包含了L维度的上下文信息，同样的可以得到u_i＝tanh(W_sh_i+b_s)作为h_i的隐含表示，其中，b_s和W_s均为随机向量，再针对u_i使用一个随机初始化的上下文向量u_s，通过softmax操作得到一个归一化的权重矩阵α_i，用以代表特征图上特征x_it在L维度上的权重：

进一步地，获得整个特征图的层次化权重向量v＝∑_iα_ih_i。最后，通过全连接层和softmax就可以得到危险品识别结果。

另外，通常情况下，安检机等安检设备采集的原始图像是包含多个包裹的图像。若对整个原始图像进行危险品检测，有很多无效信息和噪音干扰，并且多个包裹混合会对于后续的危险品识别产生干扰。所以，可以先对原始图像进行包裹检测，再针对检测出的包裹作为一个待识别图像。因此，如图6所示，危险品识别方法可以包括：

S601、获取安检设备采集的包含至少一个包裹的原始图像。

示例地，服务器接收安检设备实时发送的原始图像。

S602、检测原始图像，得到待识别图像。

其中，待识别图像的个数等于包裹的个数。包裹检测技术较为成熟，可以通过多种实现方式进行包裹检测。可选地，该步骤可以包括：将原始图像输入包裹检测模型，得到待识别图像。其中，包裹检测模型用于检测原始图像中包含的包裹并生成包含单个包裹的待识别图像。示例地，包裹检测模型可以具体为Faster RCNN等目标检测模型。

S603、对待识别图像进行特征提取，得到待识别图像对应的特征图。

该步骤与步骤S201类似，此处不再赘述。

S604、根据特征图中各特征，确定与特征相关的上下文信息。

S605、根据各特征对应的上下文信息，识别多个物品是否包含危险品。

其中，S603至S605的相关描述，可对应参考S201至S203，此处不再赘述。

该实施例首先对原始图像进行包裹检测，使得待识别图像仅包含单个包裹，从而降低包裹之间的干扰，进一步提升危险品的检出率(识别率)。

可选地，服务器在对原始图像进行包裹检测之前，还可以对原始图像进行预处理，例如图像放大/压缩、裁剪，等等。

上述实施例主要从应用角度说明如何进行危险品，其中用到了多个神经网络模型，例如，在特征提取部分的结构选择上，选用ResNet，Faster RCNN等；在危险品识别部分，可以使用GRU、LSTM，RNN等作为结构单元，多个结构单元拼接成为双向结构使用。在应用之前，需预先训练得到上述神经网络模型。

首先是打标，标记一定量的安检机原始检测图片通过包裹检测得到的单个包裹图片，标记的内容为：该单个包裹图是否包含危险品/包裹内危险品种类。

示例地，训练流程如下：

S1、采集历史安检机采集的图像，并挑选出其中有多个包裹，包裹中包含多个物品的图像，即原始图像。

S2、对原始图像使用Faster RCNN做包裹检测，抽出其中的包裹子图。

S3、对每个包裹子图进行标记，标记包裹是否包含危险品、危险品种类等危险品信息，即训练数据。

S4、基于训练数据迭代训练初始物品识别模型，直至得到的物品识别模型对应的损失函数满足预设收敛条件。

由于本申请方案采取的是特征图输入到基于注意力机制的结构中，从而实现了端到端的一阶段模型，因此，只需要在最后以负最大似然为损失函数，使用随机梯度下降进行训练，通过反向传播特征提取部分的参数和基于注意力机制的结构部分的参数均可以被迭代训练，最终训练得到的模型用于对危险品的识别。

可选地，在训练完成后，将训练得到的物品识别模型部署在服务器。其中，服务器可以具体为云端服务器或边缘服务器等。

在后续应用过程中，安检机等安检设备将实时采集的原始图像通过网络传输至服务器，由服务器对原始图像进行包裹检测，抽出其中的包裹子图作为待识别图像，并将待识别图像作为物品识别模型的输入，得到物品识别模型的输出为识别结果。

更进一步地，参考图6，危险品识别方法还可以包括：

S606、若多个物品包含危险品，则反馈用于指示包含危险品的提示信息给客户端。

客户端在接收到提示信息之后，可以将该提示信息通过扬声器等音频设备进行播放，以提示安检人员有危险品被检出。

可选地，若多个物品中不包含危险品，则不反馈信息给客户端，这样可降低信息传输量，从而减轻网络压力。

可选地，提示信息包含危险品的位置信息，以帮助安检人员针对性地对危险品进行后续处理。该情况下，位置信息可以通过客户端的屏幕进行显示，和/或，位置信息也可以通过音频设备进行播放，本申请实施例不限制安检人员得知有危险品被检出的实现方式。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7为本申请一实施例提供的危险品识别装置的结构示意图。本申请实施例提供一种危险品识别装置，该危险品识别装置可以集成在例如服务器等电子设备上。如图7所示，危险品识别装置70包括：特征提取模块71、信息确定模块72和危险品识别模块73。其中：

特征提取模块71，用于对待识别图像进行特征提取，得到待识别图像对应的特征图。其中，待识别图像包含多个物品。

信息确定模块72，用于根据特征图中各特征，确定与特征相关的上下文信息。

危险品识别模块73，用于根据各特征对应的上下文信息，识别多个物品是否包含危险品。

本申请实施例提供的装置，可用于执行图2所示实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

一些实施例中，信息确定模块72可以具体用于：根据特征图及特征关系模型，确定与特征图中各特征相关的上下文信息，特征关系模型用于反映特征之间的相关信息。

可选地，危险品识别模块73具体用于：根据各特征对应的上下文信息及基于注意力机制得到的权重信息，识别多个物品是否包含危险品。

进一步地，权重信息是通过以下过程训练得到的：基于训练数据迭代训练初始物品识别模型，得到物品识别模型，直至物品识别模型对应的损失函数满足预设收敛条件，其中，初始物品识别模型是基于注意力机制设置的模型结构，训练数据包括已标记是否包含危险品信息的图像。

一些实施例中，危险品识别装置70还可以包括：获取模块74和检测模块75。其中：

获取模块74，用于获取安检设备采集的包含至少一个包裹的原始图像；

检测模块75，用于检测原始图像，得到待识别图像，待识别图像的个数等于包裹的个数。

可选地，检测模块75具体用于：将原始图像输入包裹检测模型，得到待识别图像，包裹检测模型用于检测原始图像中包含的包裹并生成包含单个包裹的待识别图像。

更进一步地，危险品识别装置70还可以包括：反馈模块76，用于在多个物品包含危险品时，反馈用于指示包含危险品的提示信息给客户端，提示信息包含危险品的位置信息。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-On-a-Chip，简称SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图8为本申请一实施例提供的电子设备的结构示意图。如图8所示，该电子设备80可以包括：处理器81、存储器82、通信接口83和系统总线84。其中，存储器82和通信接口83通过系统总线84与处理器81连接并完成相互间的通信，存储器82用于存储指令，通信接口83用于和其他设备进行通信，处理器81用于调用存储器中的指令以执行如上述危险品识别方法实施例所述的方案。

该图8中提到的系统总线84可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线84可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口83用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。

存储器82可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器81可以是通用处理器，包括中央处理器、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如上任一方法实施例所述的危险品识别方法。

本申请实施例还提供一种运行指令的芯片，芯片用于执行如上任一方法实施例所述的危险品识别方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取计算机程序，该至少一个处理器执行所述计算机程序时可实现如上任一方法实施例所述的危险品识别方法。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种危险品识别方法，其特征在于，包括：

对待识别图像进行特征提取，得到所述待识别图像对应的特征图，所述待识别图像包含多个物品；

根据所述特征图中各特征，确定与所述特征相关的上下文信息；

根据各所述特征对应的上下文信息，识别所述多个物品是否包含危险品。

2.根据权利要求1所述的危险品识别方法，其特征在于，所述根据所述特征图中各特征，确定与所述特征相关的上下文信息，包括：

根据所述特征图及特征关系模型，确定与所述特征图中各特征相关的上下文信息，所述特征关系模型用于反映特征之间的相关信息。

3.根据权利要求1所述的危险品识别方法，其特征在于，所述根据各所述特征对应的上下文信息，识别所述多个物品是否包含危险品，包括：

根据各所述特征对应的上下文信息及基于注意力机制得到的权重信息，识别所述多个物品是否包含危险品。

4.根据权利要求3所述的危险品识别方法，其特征在于，所述权重信息是通过以下过程训练得到的：

基于训练数据迭代训练初始物品识别模型，得到物品识别模型，直至所述物品识别模型对应的损失函数满足预设收敛条件，其中，所述初始物品识别模型是基于注意力机制设置的模型结构，所述训练数据包括已标记是否包含危险品信息的图像。

5.根据权利要求1至4中任一项所述的危险品识别方法，其特征在于，所述对待识别图像进行特征提取之前，还包括：

获取安检设备采集的包含至少一个包裹的原始图像；

检测所述原始图像，得到所述待识别图像，所述待识别图像的个数等于所述包裹的个数。

6.根据权利要求5所述的危险品识别方法，其特征在于，所述检测所述原始图像，得到所述待识别图像，包括：

将所述原始图像输入包裹检测模型，得到所述待识别图像，所述包裹检测模型用于检测原始图像中包含的包裹并生成包含单个包裹的待识别图像。

7.根据权利要求1至4中任一项所述的危险品识别方法，其特征在于，所述根据各所述特征对应的上下文信息，识别所述多个物品是否包含危险品之后，还包括：

若所述多个物品包含危险品，则反馈用于指示包含危险品的提示信息给客户端，所述提示信息包含所述危险品的位置信息。

8.一种危险品识别装置，其特征在于，包括：

特征提取模块，用于对待识别图像进行特征提取，得到所述待识别图像对应的特征图，所述待识别图像包含多个物品；

信息确定模块，用于根据所述特征图中各特征，确定与所述特征相关的上下文信息；

危险品识别模块，用于根据各所述特征对应的上下文信息，识别所述多个物品是否包含危险品。

9.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的危险品识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至7中任一项所述的危险品识别方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至7中任一项所述的危险品识别方法。