CN113313130B - 一种基于遮挡的安检图像危险品检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于遮挡的安检图像危险品检测方法及系统，其中，所述方法包括：对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。解决了现有技术依赖个人主观判断且容易导致漏报，且现实安检场景待检目标尺度分布不均、遮挡现象严重导致漏检率较高的技术问题。

Description

一种基于遮挡的安检图像危险品检测方法及系统

技术领域

本发明涉及图像检测领域，尤其涉及一种基于遮挡的安检图像危险品检测方法及系统。

背景技术

安检在保障飞机、火车、地铁等交通工具安全运行和乘客人身安全中起到至关重要的作用，安检的目的是检查乘客及其携带物品中是否包含枪支、管制刀具、易燃易爆等危险品。目前，我国安检主要通过人工判断X光安检设备获取的图像是否存在危险品。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术危险品检测方法依赖个人主观判断且容易使人疲劳导致漏报，且现实安检场景待检目标尺度分布不均、遮挡现象严重导致漏检率较高的技术问题。

发明内容

本申请实施例通过提供一种基于遮挡的安检图像危险品检测方法及系统，解决了现有技术危险品检测方法依赖个人主观判断且容易使人疲劳导致漏报，且现实安检场景待检目标尺度分布不均、遮挡现象严重导致漏检率较高的技术问题，达到通过损失函数动态强化危险品深度学习的检测方法，以提高多尺度、高重叠危险品目标的检测精度，从而对辅助人工安检和保障安全运行具有重要借鉴价值的技术效果。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的。

第一方面，本申请实施例提供了一种基于遮挡的安检图像危险品检测方法，所述方法包括：构建安检场景危险品数据库；对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；通过所述第一图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；根据所述第一图像信息，获得所述第一危险品的第一结构信息；根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

另一方面，本申请还提供了一种基于遮挡的安检图像危险品检测系统，所述系统包括：第一构建单元，所述第一构建单元用于构建安检场景危险品数据库；第一获得单元，所述第一获得单元用于对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；第二获得单元，所述第二获得单元用于通过图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；第三获得单元，所述第三获得单元用于根据所述第一图像信息，获得所述第一危险品的第一结构信息；第一确定单元，所述第一确定单元用于根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；第四获得单元，所述第四获得单元用于获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；第五获得单元，所述第五获得单元用于根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；第六获得单元，所述第六获得单元用于对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；第七获得单元，所述第七获得单元用于将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；第八获得单元，所述第八获得单元用于根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；第九获得单元，所述第九获得单元用于根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；第十获得单元，所述第十获得单元用于根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；第一生成单元，所述第一生成单元用于根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；根据所述第一图像信息，获得所述第一危险品的第一结构信息；根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。进而达到通过损失函数动态强化危险品深度学习的检测方法，以提高多尺度、高重叠危险品目标的检测精度，从而对辅助人工安检和保障安全运行具有重要借鉴价值的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种基于遮挡的安检图像危险品检测方法的流程示意图；

图2为本申请实施例一种基于遮挡的安检图像危险品检测方法中危险品评估结果聚类修正的流程示意图；

图3为本申请实施例一种基于遮挡的安检图像危险品检测方法中安检场景危险品数据库数据扩充的流程示意图；

图4为本申请实施例一种基于遮挡的安检图像危险品检测方法中获得第二危险品评估模型的流程示意图；

图5为本申请实施例一种基于遮挡的安检图像危险品检测方法中获得第一结构特征结果的流程示意图；

图6为本申请实施例一种基于遮挡的安检图像危险品检测方法中危险品评估模型标签平滑的流程示意图；

图7为本申请实施例一种基于遮挡的安检图像危险品检测方法中获得目标间遮挡次数指标的流程示意图；

图8为本申请实施例一种基于遮挡的安检图像危险品检测系统的结构示意图；

图9为本申请实施例所提供的一种用于执行控制输出数据的方法的电子设备的结构示意图。

附图标记说明：第一构建单元11，第一获得单元12，第二获得单元13，第三获得单元14，第一确定单元15，第四获得单元16，第五获得单元17，第六获得单元18，第七获得单元19，第八获得单元20，第九获得单元21，第十获得单元22，第一生成单元23，总线1110，处理器1120，收发器1130，总线接口1140，存储器1150和用户接口1160。

具体实施方式

在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。

上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。

申请概述

本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。

应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。

也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。

下面结合本发明实施例中的附图对本发明实施例进行描述。

实施例一

如图1所示，本申请实施例提供了一种基于遮挡的安检图像危险品检测方法，其中，所述方法包括：

步骤S100：构建安检场景危险品数据库；

如图3所示，进一步而言，其中，所述构建安检场景危险品数据库之后，本申请实施例步骤S100还包括：

步骤S110：根据所述安检场景危险品数据库，获得危险品图像数据集；

步骤S120：根据目标应用场景，确定第一图像变化系数；

步骤S130：基于图像处理算法对所述危险品图像数据集进行数据扩增，所述数据扩增按照所述第一图像变化系数进行变化输出，获得扩增危险品图像数据集；

步骤S140：根据所述扩增危险品图像数据集，对所述安检场景危险品数据库进行数据扩充处理。

具体而言，所述安检场景危险品数据库为根据安检危险品标准所规定的场景危险品名录，包括危险品的图像、危险品所在位置坐标和危险品标签等。根据所述安检场景危险品数据库，获得各类危险品的图像数据集，所述目标应用场景为对危险品检测的应用场景，需对危险品图像进行不同角度、尺度、亮度目标的泛化转换。按照所述第一图像变化系数如尺度缩放、长宽扭曲、亮度转换、图像翻转等进行图像转换，并通过图像处理算法对所述危险品图像数据集进行数据扩增，获得扩增后的危险品图像数据集。根据所述扩增危险品图像数据集，对所述安检场景危险品数据库进行数据扩充处理，达到对危险品数据库进行数据扩增，进而提高对不同角度、尺度、亮度目标检测的泛化能力，降低外界因素和目标多样性对评估模型精度的影响的技术效果。

步骤S200：对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；

步骤S300：通过所述图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；

步骤S400：根据所述第一图像信息，获得所述第一危险品的第一结构信息；

具体而言，对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息即不同类别的危险品名录，如枪支、刀具、扳手、钳子、剪刀等各类危险品目标。过所述图像采集装置获得所述第一危险品的图像信息，即需要进行安检的包括危险品的物品图像，包括物品结构、形状、长度等。根据所述第一图像信息，获得所述第一危险品的第一结构信息，包括物品的结构与结构分布位置信息。

步骤S500：根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；

具体而言，对所述各类别危险品目标信息和所述第一结构信息进行分析，所述危险品尺度指标为危险品的尺寸大小和宽高比例，尺度的宽高大小需进行归一化处理。所述目标间遮挡次数指标为因安检图像背景复杂，存在物品间相互遮挡的问题，需对各危险品之间的遮挡次数进行计算。所述遮挡程度指标为危险品遮挡重叠面积占物体面积的比例程度。

如图7所示，进一步而言，其中，所述目标间遮挡次数指标，本申请实施例步骤S500还包括：

步骤S510：根据所述第一危险品的第一结构信息，获得目标物体个数；

步骤S520：构建目标间遮挡次数计算公式：

其中，n为所述第一图像信息中目标物体的个数；

步骤S530：将所述目标物体个数输入所述目标间遮挡次数计算公式中，获得目标间遮挡次数指标。

具体而言，计算所述图像中不同物体之间发生的遮挡次数，当两个物体存在交集时，计为发生遮挡，当一张图像包含多个目标时，依次计算遮挡次数。图像遮挡次数P的计算公式为

n为根据被检测的所述危险品的结构信息，获得其中包含目标物体即危险物品的个数。将所述目标物体个数输入所述目标间遮挡次数计算公式中，获得最终所述目标间遮挡次数指标，如所述图像中共包含7个危险目标，即n＝7，通过计算可知，目标间遮挡次数P＝21。达到分析检测图像中不同危险目标的遮挡次数，为后续评估模型的性能优化方向提供参考的技术效果。

步骤S600：获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；

具体而言，卷积神经网络是一种具有局部连接、权值共享等特点的深层前馈神经网络，在图像和视频分析领域，比如图像分类、目标检测、图像分割等各种视觉任务上取得了显著的效果，是目前应用最广泛的模型之一。卷积神经网络，从字面上包括两个部分：卷积+神经网络。其中，卷积就是特征提取器，而神经网络，可以看作分类器。训练一个卷积神经网络，就是同时训练了特征提取器(卷积)和后面的分类器(神经网络)。通过卷积神经网络分别对各指标特征进行提取分类，获得所对应的所述危险品尺度指标的结构卷积特征、所述目标间遮挡次数指标的结构卷积特征和所述遮挡程度指标的结构卷积特征。

步骤S700：根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；

如图5所示，进一步而言，其中，所述根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果，本申请实施例步骤S700还包括：

步骤S710：将所述危险品尺度指标作为第一结构特征、所述目标间遮挡次数指标作为第二结构特征和所述遮挡程度指标作为第三结构特征；

步骤S720：分别对所述第一结构卷积特征和所述第一结构特征、所述第二结构卷积特征和所述第二结构特征、所述第三结构卷积特征和所述第三结构特征进行遍历的卷积运算，获得对应的第一卷积结果、第二卷积结果和第三卷积结果；

步骤S730：对所述第一卷积结果、所述第二卷积结果和所述第三卷积结果进行结果融合分析，获得第一结构特征结果。

具体而言，将所述危险品尺度指标、所述目标间遮挡次数指标和所述遮挡程度指标分别作为所述危险品的结构特征，并分别对所述第一结构卷积特征和所述第一结构特征、所述第二结构卷积特征和所述第二结构特征、所述第三结构卷积特征和所述第三结构特征进行遍历的卷积运算，可获得对应的第一卷积结果、第二卷积结果和第三卷积结果，对所述第一卷积结果、所述第二卷积结果、所述第三卷积结果进行融合分析，生成第一结构特征结果，所述第一结构特征结果是经过卷积神经网络进行特征训练后的结果。达到通过卷积神经网络的方式对危险品的结构特征进行分析，以用于后续对危险品的评估结果更加准确的技术效果。

步骤S800：对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；

具体而言，检测危险品目标尺度分布不均匀且存在大高宽比的现象，以此对所述危险品的所述第一结构特征结果进行外观尺度进行分析，获得目标危险品的尺度大小分布结果，为后续模型对危险品的评估提供基础。

步骤S900：将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；

如图6所示，进一步而言，其中，所述将所述第一外观特征结果和所述第一目标尺度分布结果输入第一危险品评估模型之前，本申请实施例步骤S900还包括：

步骤S910：根据所述安检场景危险品数据库，获得第一类别标签集；

步骤S920：根据所述第一类别标签集，设置第一标签错误率；

步骤S930：按照所述第一类别标签集中的各标签特性，将所述第一标签错误率和各标签输入标签平滑表达式中，获得第一标签平滑结果；

步骤S940：将所述第一标签平滑结果输入所述第一危险品评估模型进行训练，获得训练后的所述第一危险品评估模型。

具体而言，将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，所述第一危险品评估模型选择YOLO v3作为安检危险品检测的基础模型。YOLOv3是一个目标检测算法项目，而目标检测的本质，就是识别与回归，而处理图像用的最多的就是卷积神经网络CNN，所以，YOLO v3本质上就是一个实现了回归功能的深度卷积神经网络，它的准确度非常高，在尺寸中等偏小的物体上有非常高的准确率。获得所述第一危险品评估模型的输出结果即所述第一危险品评估结果，用于评估检测危险物品。

通过所述安检场景危险品数据库，获得危险品样本的类别标签集合，在模型训练前对输入到模型的训练集标签设置错误率ε，用于限制模型的局部参数。机器学习的样本中通常会存在少量错误标签，这些错误标签会影响到预测的效果。标签平滑采用如下思路解决这个问题：在训练时即假设标签可能存在错误，避免“过分”相信训练样本的标签，是一种损失函数的修正，标签平滑提高了图像分类、翻译甚至语音识别的准确性。按照所述第一类别标签集中的各标签特性，将所述第一标签错误率和各标签输入标签平滑表达式中，获得第一标签平滑结果。即当标签为正例时，用1-ε代替1输入到网络中进行训练，当标签为负例时，用系数ε代替0输入到网络中进行训练。达到引入标签平滑的正则化方法，降低预测正负样本的输出值的差异性，从而降低错误标签对模型精度的影响的技术效果。

步骤S1000：根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；

具体而言，所述第一类别损失权重系数为针对评估模型预测产生的类别误检问题，引入类别损失权重系数，不同的权重系数对模型检测精度的影响程度不同，选择一定范围内检测精度最高的系数值以提高类别预测的准确性。所述第一动态遮挡系数为针对危险品目标间存在遮挡的问题，根据不同图像遮挡程度动态修正置信度损失和边界回归损失，使存在遮挡现象的图像样本在训练过程中得到强化。所述第一安检影响因素根据所述第一类别损失权重系数和所述第一动态遮挡系数综合确定，使模型的评估准确性更加精确。

步骤S1100：根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；

如图4所示，进一步而言，其中，所述根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型，本申请实施例步骤S1100还包括：

步骤S1110：将所述第一安检影响因素输入所述第一危险品评估模型中，获得第一预测危险品评估结果；

步骤S1120：通过对所述第一预测危险品评估结果进行数据损失分析，获得第一损失数据；

步骤S1130：将所述第一损失数据输入到所述第一危险品评估模型中进行训练，获得所述第二危险品评估模型。

具体而言，所述第一预测危险品评估结果基于所述第一安检影响因素在所述第一危险品评估模型中进行危险品评估获得的对应预测评估结果，由于所述第一危险品评估是基于所述第一结构特征结果和所述第一目标尺度分布结果进行数据训练获得的。因此，通过引入损失函数完成数据损失的分析进而获得所述第一损失数据，根据边界回归损失函数的定位准确程度、模型校验过程真正例真反例数目、模型精度等指标的综合分析，所述损失函数可采用DIOU模型作为损失函数。其中，所述第一损失数据是代表所述第一危险品评估模型对于所述第一安检影响因素的相关数据知识损失数据，再基于所述第一损失数据完成对所述第一危险品评估模型的增量学习，由于所述第一危险品评估模型是多个神经元相互连接组成构成神经网络获得的，因此，通过损失数据的训练使得所述第二危险品评估模型保留了所述第一危险品评估模型的基本功能，并维持模型不断更新的性能，从而提高了危险品评估的更新性能，保证更新危险品评估结果准确性的技术效果。

步骤S1200：根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；

步骤S1300：根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

具体而言，基于所述第二危险品评估模型，获得对应的输出信息即所述第一危险品的第二危险品评估结果，其中，所述第二危险品评估模型为增量学习后的更新后的模型。所述第一危险品检测结果是基于所述第一危险品评估结果和所述第二危险品评估结果进行具体化结果分析的危险品检测结果，应用于安检场景中的危险品检测更加准确。从而达到了对于延时特征进行增量学习，以提高危险品评估结果更新性能的技术效果。

如图2所示，进一步而言，本申请实施例还包括：

步骤S1410：根据所述第一目标尺度分布结果，获得预设先验框数量K，其中，K为大于2的自然数；

步骤S1420：根据所述预设先验框数量，获得第一执行指令，所述第一执行指令用于计算K个所述预设先验框和危险品目标边界框的交并比；

步骤S1430：根据各所述交并比，计算获得第一交并比均值；

步骤S1440：根据所述第一交并比均值，选取第一先验框，所述第一先验框为距离最小的先验框；

步骤S1450：根据所述预设先验框数量和所述第一先验框，基于K-means算法重复执行所述第一执行指令，确定最终第一聚类结果；

步骤S1460：根据所述第一聚类结果，对所述第一危险品评估结果进行修正。

具体而言，在评估模型训练前，为避免模型盲目寻找目标，会预先设定k个不同大小、不同长宽比的先验框。根据所述第一目标尺度分布结果，对危险品评估进行聚类分析，首先选取k个先验框，计算每个目标边界框与先验框的交并比，得到目标边界框与k个先验框交并比的均值，选取距离最小的先验框，不断更新目标边界框与先验框的距离直到达到相同距离聚类结束，确定最终的第一聚类结果，并根据所述第一聚类结果，对所述第一危险品评估结果进行修正。达到通过使用K-means聚类算法对目标尺度进行聚类分析，据此确定的危险品目标初始边界框在宽高比和尺度上的匹配程度高，降低了评估模型回归难度的技术效果。

综上所述，本申请实施例所提供的一种基于遮挡的安检图像危险品检测方法及系统具有如下技术效果：

由于采用了对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；根据所述第一图像信息，获得所述第一危险品的第一结构信息；根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。进而达到通过损失函数动态强化危险品深度学习的检测方法，以提高多尺度、高重叠危险品目标的检测精度，从而对辅助人工安检和保障安全运行具有重要借鉴价值的技术效果。

实施例二

基于与前述实施例中一种基于遮挡的安检图像危险品检测方法同样发明构思，本发明还提供了一种基于遮挡的安检图像危险品检测系统，如图8所示，所述系统包括：

第一构建单元11，所述第一构建单元11用于构建安检场景危险品数据库；

第一获得单元12，所述第一获得单元12用于对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；

第二获得单元13，所述第二获得单元13用于通过图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；

第三获得单元14，所述第三获得单元14用于根据所述第一图像信息，获得所述第一危险品的第一结构信息；

第一确定单元15，所述第一确定单元15用于根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；

第四获得单元16，所述第四获得单元16用于获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；

第五获得单元17，所述第五获得单元17用于根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；

第六获得单元18，所述第六获得单元18用于对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；

第七获得单元19，所述第七获得单元19用于将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；

第八获得单元20，所述第八获得单元20用于根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；

第九获得单元21，所述第九获得单元21用于根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；

第十获得单元22，所述第十获得单元22用于根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；

第一生成单元23，所述第一生成单元23用于根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

进一步的，所述系统还包括：

第十一获得单元，所述第十一获得单元用于根据所述第一目标尺度分布结果，获得预设先验框数量K，其中，K为大于2的自然数；

第十二获得单元，所述第十二获得单元用于根据所述预设先验框数量，获得第一执行指令，所述第一执行指令用于计算K个所述预设先验框和危险品目标边界框的交并比；

第十三获得单元，所述第十三获得单元用于根据各所述交并比，计算获得第一交并比均值；

第一选取单元，所述第一选取单元用于根据所述第一交并比均值，选取第一先验框，所述第一先验框为距离最小的先验框；

第二确定单元，所述第二确定单元用于根据所述预设先验框数量和所述第一先验框，基于K-means算法重复执行所述第一执行指令，确定最终第一聚类结果；

第一修正单元，所述第一修正单元用于根据所述第一聚类结果，对所述第一危险品评估结果进行修正。

进一步的，所述系统还包括：

第十四获得单元，所述第十四获得单元用于根据所述安检场景危险品数据库，获得危险品图像数据集；

第三确定单元，所述第三确定单元用于根据目标应用场景，确定第一图像变化系数；

第十五获得单元，所述第十五获得单元用于基于图像处理算法对所述危险品图像数据集进行数据扩增，所述数据扩增按照所述第一图像变化系数进行变化输出，获得扩增危险品图像数据集；

第一处理单元，所述第一处理单元用于根据所述扩增危险品图像数据集，对所述安检场景危险品数据库进行数据扩充处理。

进一步的，所述系统还包括：

第十六获得单元，所述第十六获得单元用于将所述第一安检影响因素输入所述第一危险品评估模型中，获得第一预测危险品评估结果；

第十七获得单元，所述第十七获得单元用于通过对所述第一预测危险品评估结果进行数据损失分析，获得第一损失数据；

第十八获得单元，所述第十八获得单元用于将所述第一损失数据输入到所述第一危险品评估模型中进行训练，获得所述第二危险品评估模型。

进一步的，所述系统还包括：

第一特征单元，所述第一特征单元用于将所述危险品尺度指标作为第一结构特征、所述目标间遮挡次数指标作为第二结构特征和所述遮挡程度指标作为第三结构特征；

第十九获得单元，所述第十九获得单元用于分别对所述第一结构卷积特征和所述第一结构特征、所述第二结构卷积特征和所述第二结构特征、所述第三结构卷积特征和所述第三结构特征进行遍历的卷积运算，获得对应的第一卷积结果、第二卷积结果和第三卷积结果；

第二十获得单元，所述第二十获得单元用于对所述第一卷积结果、所述第二卷积结果和所述第三卷积结果进行结果融合分析，获得第一结构特征结果。

进一步的，所述系统还包括：

第二十一获得单元，所述第二十一获得单元用于根据所述安检场景危险品数据库，获得第一类别标签集；

第一设置单元，所述第一设置单元用于根据所述第一类别标签集，设置第一标签错误率；；

第二十二获得单元，所述第二十二获得单元用于按照所述第一类别标签集中的各标签特性，将所述第一标签错误率和各标签输入标签平滑表达式中，获得第一标签平滑结果；

第二十三获得单元，所述第二十三获得单元用于将所述第一标签平滑结果输入所述第一危险品评估模型进行训练，获得训练后的所述第一危险品评估模型。

进一步的，所述系统还包括：

第二十四获得单元，所述第二十四获得单元用于根据所述第一危险品的第一结构信息，获得目标物体个数；

第二构建单元，所述第二构建单元用于构建目标间遮挡次数计算公式：

其中，n为所述第一图像信息中目标物体的个数；

第二十五获得单元，所述第二十五获得单元用于将所述目标物体个数输入所述目标间遮挡次数计算公式中，获得目标间遮挡次数指标。

前述图1实施例一中的一种基于遮挡的安检图像危险品检测方法的各种变化方式和具体实例同样适用于本实施例的一种基于遮挡的安检图像危险品检测系统，通过前述对一种基于遮挡的安检图像危险品检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于遮挡的安检图像危险品检测系统的实施方法，所以为了说明书的简洁，在此不再详述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

示例性电子设备

具体的，参见图9所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。

在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述控制输出数据的方法实施例的各个过程。

收发器1130，用于在处理器1120的控制下接收和发送数据。

本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。

总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构总线、微通道体系结构总线、扩展总线、视频电子标准协会、外围部件互连总线。

处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器、网络处理器、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、可编程逻辑阵列、微控制单元或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网、局域网、无线局域网、广域网、无线广域网、城域网、互联网、公共交换电话网、普通老式电话业务网、蜂窝电话网、无线网络、无线保真网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信系统、码分多址系统、全球微波互联接入系统、通用分组无线业务系统、宽带码分多址系统、长期演进系统、LTE频分双工系统、LTE时分双工系统、先进长期演进系统、通用移动通信系统、增强移动宽带系统、海量机器类通信系统、超可靠低时延通信系统等。

应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器，或闪存。

易失性存储器包括：随机存取存储器，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器、动态随机存取存储器、同步动态随机存取存储器、双倍数据速率同步动态随机存取存储器、增强型同步动态随机存取存储器、同步连接动态随机存取存储器和直接内存总线随机存取存储器。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器、浏览器，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于遮挡的安检图像危险品检测方法，其中，所述方法应用于一种基于遮挡的安检图像危险品检测系统，所述系统包括一图像采集装置，所述方法包括：

构建安检场景危险品数据库；

对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；

通过所述图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；

根据所述第一图像信息，获得所述第一危险品的第一结构信息；

根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；

获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；

根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；

对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；

将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；

根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；

根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；

根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；

根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

2.如权利要求1所述的方法，其中，所述方法包括：

根据所述第一目标尺度分布结果，获得预设先验框数量K，其中，K为大于2的自然数；

根据所述预设先验框数量，获得第一执行指令，所述第一执行指令用于计算K个所述预设先验框和危险品目标边界框的交并比；

根据各所述交并比，计算获得第一交并比均值；

根据所述第一交并比均值，选取第一先验框，所述第一先验框为距离最小的先验框；

根据所述预设先验框数量和所述第一先验框，基于K-means算法重复执行所述第一执行指令，确定最终第一聚类结果；

根据所述第一聚类结果，对所述第一危险品评估结果进行修正。

3.如权利要求2所述的方法，其中，所述构建安检场景危险品数据库之后，包括：

根据所述安检场景危险品数据库，获得危险品图像数据集；

根据目标应用场景，确定第一图像变化系数；

基于图像处理算法对所述危险品图像数据集进行数据扩增，所述数据扩增按照所述第一图像变化系数进行变化输出，获得扩增危险品图像数据集；

根据所述扩增危险品图像数据集，对所述安检场景危险品数据库进行数据扩充处理。

4.如权利要求1所述的方法，其中，所述根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型，包括：

将所述第一安检影响因素输入所述第一危险品评估模型中，获得第一预测危险品评估结果；

通过对所述第一预测危险品评估结果进行数据损失分析，获得第一损失数据；

将所述第一损失数据输入到所述第一危险品评估模型中进行训练，获得所述第二危险品评估模型。

5.如权利要求1所述的方法，其中，所述根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果，包括：

将所述危险品尺度指标作为第一结构特征、所述目标间遮挡次数指标作为第二结构特征和所述遮挡程度指标作为第三结构特征；

分别对所述第一结构卷积特征和所述第一结构特征、所述第二结构卷积特征和所述第二结构特征、所述第三结构卷积特征和所述第三结构特征进行遍历的卷积运算，获得对应的第一卷积结果、第二卷积结果和第三卷积结果；

对所述第一卷积结果、所述第二卷积结果和所述第三卷积结果进行结果融合分析，获得第一结构特征结果。

6.如权利要求1所述的方法，其中，所述将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型之前，包括：

根据所述安检场景危险品数据库，获得第一类别标签集；

根据所述第一类别标签集，设置第一标签错误率；

按照所述第一类别标签集中的各标签特性，将所述第一标签错误率和各标签输入标签平滑表达式中，获得第一标签平滑结果；

将所述第一标签平滑结果输入所述第一危险品评估模型进行训练，获得训练后的所述第一危险品评估模型。

7.如权利要求1所述的方法，其中，所述目标间遮挡次数指标，包括：

根据所述第一危险品的第一结构信息，获得目标物体个数；

构建目标间遮挡次数计算公式：

其中，n为所述第一图像信息中目标物体的个数；

将所述目标物体个数输入所述目标间遮挡次数计算公式中，获得目标间遮挡次数指标。

8.一种基于遮挡的安检图像危险品检测系统，其中，所述系统包括：

第一构建单元，所述第一构建单元用于构建安检场景危险品数据库；

第一获得单元，所述第一获得单元用于对所述安检场景危险品数据库进行分类，获得各类别危险品目标信息；

第二获得单元，所述第二获得单元用于通过图像采集装置获得第一图像信息，所述第一图像信息为第一危险品的图像信息；

第三获得单元，所述第三获得单元用于根据所述第一图像信息，获得所述第一危险品的第一结构信息；

第一确定单元，所述第一确定单元用于根据所述各类别危险品目标信息和所述第一结构信息进行分析，确定危险品尺度指标、目标间遮挡次数指标和遮挡程度指标；

第四获得单元，所述第四获得单元用于获得所述危险品尺度指标的第一结构卷积特征、所述目标间遮挡次数指标的第二结构卷积特征，所述遮挡程度指标的第三结构卷积特征；

第五获得单元，所述第五获得单元用于根据所述第一结构卷积特征、所述第二结构卷积特征和所述第三结构卷积特征，获得第一结构特征结果；

第六获得单元，所述第六获得单元用于对所述第一结构特征结果进行外观尺度进行分析，获得第一目标尺度分布结果；

第七获得单元，所述第七获得单元用于将所述第一结构特征结果和所述第一目标尺度分布结果输入第一危险品评估模型，获得第一危险品评估结果；

第八获得单元，所述第八获得单元用于根据第一类别损失权重系数和第一动态遮挡系数，获得第一安检影响因素；

第九获得单元，所述第九获得单元用于根据所述第一安检影响因素对所述第一危险品评估模型进行增量学习，获得第二危险品评估模型；

第十获得单元，所述第十获得单元用于根据所述第二危险品评估模型，获得所述第一危险品的第二危险品评估结果；

第一生成单元，所述第一生成单元用于根据所述第一危险品评估结果和所述第二危险品评估结果，生成第一危险品检测结果。

9.一种基于遮挡的安检图像危险品检测系统，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的基于遮挡的安检图像危险品检测方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于遮挡的安检图像危险品检测方法中的步骤。

Images