CN111860510B - 一种x光图像目标检测方法及装置 - Google Patents

一种x光图像目标检测方法及装置 Download PDF

Info

Publication number
CN111860510B
CN111860510B CN202010745943.2A CN202010745943A CN111860510B CN 111860510 B CN111860510 B CN 111860510B CN 202010745943 A CN202010745943 A CN 202010745943A CN 111860510 B CN111860510 B CN 111860510B
Authority
CN
China
Prior art keywords
class
target detection
contraband
confidence
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010745943.2A
Other languages
English (en)
Other versions
CN111860510A (zh
Inventor
马梦园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010745943.2A priority Critical patent/CN111860510B/zh
Publication of CN111860510A publication Critical patent/CN111860510A/zh
Application granted granted Critical
Publication of CN111860510B publication Critical patent/CN111860510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本申请提供了一种X光图像目标检测方法及装置，其中，该方法包括：对采集的X光图像进行特征提取，得到多尺度特征；将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；根据所述第一类别置信度与所述目标检测框对违禁品进行定位，可以解决相关技术中仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高的问题，通过同时输入独立的多个类别检测网络，对违禁品进行多类别识别，实现X光安检图像物品交融透视场景下的违禁品检测，提高了实际应用场景中违禁品检测的精度。

Description

一种X光图像目标检测方法及装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种X光图像目标检测方法及装置。
背景技术
各自场所关卡的违禁物品检测是维护公共安全的关键防线之一，主要通过安检人员肉眼查审X光机成像下的行李包裹图片实现。随着人工智能的不断发展与技术落地，以计算机智能审图技术辅助传统X光安检危险物品检测的方案越来越普及。相关技术广泛应用于机场、火车站、地铁、客运站、法院、货运、海关等场所，辅助安检员进行各种危禁物品的检测，降低传统纯人工查看带来的漏检与误检率，提高工作效率。准确高效的技术的关键目标，目前智能审图技术主要通过有监督的深度学习实现，物品成像角度、相互遮挡、种类形状繁多、人工标注复杂低效一直是该项技术的困难点。
相关技术中设计多分类多标签检测网络，对传统检测网络的候选框类别预测分支进行多标签预测改造，提升目标检测精度。仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高。
针对相关技术中仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种X光图像目标检测方法及装置，以至少解决相关技术中仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高的问题。
根据本发明的一个实施例，提供了一种X光图像目标检测方法，包括：
对采集的X光图像进行特征提取，得到多尺度特征；
将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地，根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括：
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框，执行以下步骤：
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值；
在判断结果为是的情况下，根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地，根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括：
分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，和/或将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度；
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率；
根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地，分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率包括：
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多类违禁品的类别预测概率；
分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率包括：
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多类违禁品的类别预测概率。
可选地，分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度包括：
将所述目标检测框输入到预先训练好的特征提取网络中，得到所述目标检测框的预定尺寸的特征；
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中，得到所述目标检测框的热点图；
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地，将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度包括：
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中，得到所述目标检测框的特征信息；
分别将所述目标检测框的特征信息输入到多个全连接分类分支中，得到所述目标检测框对应多任务分类的第三类别置信度。
可选地，将所述多尺度特征输入预先训练好的独立的多类别检测网络中，得到所述多尺度特征对应多个类别的第一类别置信度和目标位置包括：
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层，得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
根据本发明的另一个实施例，还提供了一种X光图像目标检测装置，包括：
特征提取模块，用于对采集的X光图像进行特征提取，得到多尺度特征；
输入模块，用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
定位模块，用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地，所述定位模块包括：
执行子模块，用于对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框，执行以下步骤：
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值；
在判断结果为是的情况下，根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地，所述定位模块包括：
关键点检测子模块，用于分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，和/或
输入子模块，用于将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度；
确定子模块，用于分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率；
定位模块，用于根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地，所述确定子模块，还用于
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多类违禁品的类别预测概率；或者
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多类违禁品的类别预测概率。
可选地，所述关键点检测子模块，还用于
将所述目标检测框输入到预先训练好的特征提取网络中，得到所述目标检测框的预定尺寸的特征；
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中，得到所述目标检测框的热点图；
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地，所述输入子模块，还用于
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中，得到所述目标检测框的特征信息；
分别将所述目标检测框的特征信息输入到多个全连接分类分支中，得到所述目标检测框对应多任务分类的第三类别置信度。
可选地，所述输入模块，还用于
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层，得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明实施例，对采集的X光图像进行特征提取，得到多尺度特征；将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；根据所述第一类别置信度与所述目标检测框对违禁品进行定位，可以解决相关技术中仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高的问题，通过同时输入独立的多个类别检测网络，对违禁品进行多类别识别，实现X光安检图像物品交融透视场景下的违禁品检测，提高了实际应用场景中违禁品检测的精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的X光图像目标检测方法的移动终端的硬件结构框图；
图2是根据本发明实施例的X光图像目标检测方法的流程图；
图3是根据本发明实施例的基于多任务联合学习及关键点检测的X光图像违禁品检测的示意图；
图4是根据本发明实施例的多任务分类的示意图；
图5是根据本发明实施例的关键点检测的示意图；
图6是根据本发明实施例的X光图像目标检测装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的X光图像目标检测方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的X光图像目标检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的X光图像目标检测方法，图2是根据本发明实施例的X光图像目标检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，对采集的X光图像进行特征提取，得到多尺度特征；
步骤S204，将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框，进一步的，将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层，得到对应所述多个类别的所述第一类别置信度和所述目标检测框；
步骤S206，根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
通过上述步骤S202至S206，可以解决相关技术中仅对传统检测网络的分类分支进行改造，候选框的位置目标还是被唯一指定为某一类别的位置框，导致违禁品检测精度不高的问题，通过同时输入独立的多个类别检测网络，对违禁品进行多类别识别，实现X光安检图像物品交融透视场景下的违禁品检测，提高了实际应用场景中违禁品检测的精度。
在一可选的实施例中，上述步骤S206具体可以包括：
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框，执行以下步骤：判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值；在判断结果为是的情况下，根据对应所述每类违禁品的目标检测框对违禁品进行定位。
在另一可选的实施例中，上述步骤S206还可以包括：
分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，进一步的，将所述目标检测框输入到预先训练好的特征提取网络中，得到所述目标检测框的预定尺寸的特征；将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中，得到所述目标检测框的热点图；根据所述热点图确定所述目标检测框对应关键点的第二类别置信度，和/或，将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度，进一步的，将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中，得到所述目标检测框的特征信息，分别将所述目标检测框的特征信息输入到多个全连接分类分支中，得到所述目标检测框对应多任务分类的第三类别置信度；分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，进一步的，分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多类违禁品的类别预测概率；或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率，进一步的，分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多类违禁品的类别预测概率；根据所述类别预测概率与所述目标检测框对违禁品进行定位。通过进一步对目标检测框进行关键点检测，违禁品往往有其特征明显的部件，通过关键点的识别可以提高违禁品检测的精度和效率，如打火机的黑丁、喷罐的头尾等；若违禁品低危项铁罐与高危项金属喷罐同样是圆柱状金属容器，其x光成像相似，单纯的检测方案存在严重的混检现象，通过多任务分类，可以进一步区分细类别，即通过包括多任务分类和/或关键点检测的二次辅助判断，可以进一步提高违禁品的检测精度。
本实施例采用共享基础特征提取层的方法，建立多个类别的独立检测模块，即将之前的多类检测问题调整为多个单类检测问题，每个类别的检测部分都是独立的。在扩展新的类别时，无需重训整个网络，只要对新类别检测分支进行微调训练，这种方式降低了扩展新类的时间与成本，为检测器的在线学习提供可能。采用多任务分类的方式及关键点检测的方式进行二次辅助判断，提升检测的精度。其中多任务分类器的实现方式，通过基础网络提取特征，后连接多个softmax分类分支预测多个不同的任务，通过不同属性任务的学习提升分类精度。关键点检测的实现方式，采用的基础网络框架与多任务分类相同，通过热点图预测分支，最终得到关键热点图，通过关键部位的粗定位来提升违禁品检测的精度。
本发明实施例主要实现对采集到x光渲染图进行特定违禁物品的检测定位，图3是根据本发明实施例的基于多任务联合学习及关键点检测的X光图像违禁品检测的示意图，如图3所示，包括：
步骤1，共享的X光包裹图像特征提取模块。首先对安检机渲染的得到X光包裹图像进行尺度归一化，再经过基础网络提取各尺度的特征。本方案选用VGG-19作为基础网络框架。该共享特征提取模块基础网络的初始权重为较成熟的神经网络模型（可以选用VGG-19）在大规模数据集上训练好的特征提取权重，而其最终权重通过步骤2所述的多任务反馈学习得到。
步骤2，多种危险品的分支检测模块。将图像经过步骤1后得到的多尺度特征，分别连接到各类别独立的类别预测层和位置回归层，得到各类别的初步检测框。本技术方案中的多任务学习涵盖两部分，一是多危险物品类别的独立分支检测网络的学习，二是该类别目标的多属性学习，步骤2中分支检测模块主要涉及第一种学习。
在X光图像下的违禁品检测任务中，最突出的难点就是物品之间的遮挡关系，这直接导致图像中物品相互交融透视。在一般基于深度学习的图像检测网络方案中，首先要基于特征尺度及长宽比设定先验框，相当于锚点。然后根据预设先验框与实际标注框的重合度设定先验框的对应类别与位置偏移目标，图像经过网络正向执行得到的结果与目标之间计算损失，利用梯度下降法不断反馈学习得到检测网络的权重。X光物品的透视关系导致前述先验框与多个物品实际标注框对应的重合度都很高。这种情况下，传统以最高重合度物品作为先验框的正学习目标的方法，其它类别被作为抑制学习目标，不利于其它类别的特征学习。本实施例中的各类别的预测是独立并行的，采用基础网络共享，分开预测各类别及其位置的方法，即多违禁物品类别的分支检测网络，来解决其透视关系影响。步骤1中基础网络的权重学习尤为关键，其要具备所有检测物品的特征提取能力。简单将各类别损失相加，往往会使得网络偏重于样本规模较大的类别预测分支。为了改善样本均衡问题，本方案在训练阶段以该批次样本的类别数量进行加权融合。第
Figure 495220DEST_PATH_IMAGE002
类预测分支的损失函数计算公式如下：
Figure 832267DEST_PATH_IMAGE004
，
由第
Figure DEST_PATH_IMAGE005
类的位置误差
Figure DEST_PATH_IMAGE007
(采用Smooth L1 Loss) 和置信度误差为
Figure DEST_PATH_IMAGE009
（采用Softmax Loss）组成，其中
Figure DEST_PATH_IMAGE011
为示性函数(先验框与该类目标框匹配时，其值为1，否则为0)，
Figure DEST_PATH_IMAGE013
为
Figure 585241DEST_PATH_IMAGE014
类别置信度预测值，
Figure 901821DEST_PATH_IMAGE016
为
Figure 653877DEST_PATH_IMAGE014
类先验框所对应边界框的位置预测值，
Figure 899176DEST_PATH_IMAGE018
代表其目标位置框，
Figure 353159DEST_PATH_IMAGE020
为其先验框正样本个数。
最终的损失
Figure 755322DEST_PATH_IMAGE022
由以下融合公式计算：
Figure 844107DEST_PATH_IMAGE024
；
Figure 775154DEST_PATH_IMAGE026
，
其中，
Figure 732746DEST_PATH_IMAGE028
为第
Figure 922288DEST_PATH_IMAGE005
类的样本数目。
步骤3，二次辅助判断模块，步骤3的输入为根据步骤2输出的预测结果获得的目标小图。首先将目标小图归一化到同一尺度
Figure 117777DEST_PATH_IMAGE030
，再输入到各类别对应的二次辅助判断网络中。本方案中二次辅助判断有两种不同的实现方式，一是多任务分类，二是关键点检测，针对不同的物品类别采用不同的辅助判断方式。
多任务分类，图4是根据本发明实施例的多任务分类的示意图，如图4所示，在步骤2得到检测结果小图后，连接一个分类器做二次过滤，本实施例采用多任务分类器实现。正负样本的分类器是常见的二次辅助精度提升方式。而由于很多违禁品的成像相似物非常多，导致步骤2的检测中有些违禁品结果区分精度并不高，如违禁品低危项铁罐与高危项金属喷罐同样是圆柱状金属容器，其x光成像相似，单纯的检测方案存在严重的混检现象。本方案在步骤2中只检测容器大类，在二级分类器的设计中除了做正负样本的二分类任务外，添加一个细分类分支，相辅相成，如步骤3容器多任务分类器实现两个任务，一是区分是否为容器，二是区分具体细类。多任务分类器的实现方式，以Alex-net作为基础特征提取网络，网络结构如图。在获得fc6特征后连接两个全连接分类分支预测两个不同的任务，在Softmax激活后得到各个任务的置信度结果。反向传播中根据经验对两个任务的损失加权融合，以融合后的损失来进行网络的微调。
最终的损失
Figure 236037DEST_PATH_IMAGE022
由以下融合各项任务损失得到，计算公式如下：
Figure 680924DEST_PATH_IMAGE032
，
其中，
Figure 877419DEST_PATH_IMAGE034
表示任务个数，
Figure 458574DEST_PATH_IMAGE036
表示任务
Figure 473366DEST_PATH_IMAGE014
的置信度损失（采用Softmax Loss）。
关键点检测，违禁物品往往有其特征明显的部件，安检人员也常通过关键部位的识别来提高违禁品审查的精度和效率，如打火机的黑丁、喷罐的头尾等。本实施例中的关键部位检测模块对检测到的该类物品目标做辅助判断。由于关键部位的标注极大增加了样本标注的难度和工作量，本方案选择了标注关键部位的大致中心点，训练关键点检测模型。关键点检测的实现方式，采用的基础网络框架与多任务分类相同，图5是根据本发明实施例的关键点检测的示意图，如图5所示，通过基础网络得到尺度为
Figure 405550DEST_PATH_IMAGE038
的特征。然后连接到一个热点图预测网络（卷积层），最终得到
Figure 671315DEST_PATH_IMAGE040
的热点图，其中
Figure DEST_PATH_IMAGE041
表示关键点的种类数，即每一种关键点最终对应一张
Figure 795391DEST_PATH_IMAGE043
的热点图。任意热点图中响应最高点大于阈值
Figure 239142DEST_PATH_IMAGE045
，则认为步骤2得到的目标小图有该类别关键点存在，关键部位检测的类别概率
Figure 376731DEST_PATH_IMAGE047
为1，否则为0。虽然关键点检测得到的关键点位置粗糙的得分图，本实施例关键点的位置精准度不影响步骤4中的最终检测结果。
在训练阶段，网络学习的目标为预设的大小为
Figure 147985DEST_PATH_IMAGE040
的Ground Truth图，
Figure 438152DEST_PATH_IMAGE041
种关键点将获得
Figure 833230DEST_PATH_IMAGE041
张
Figure 208848DEST_PATH_IMAGE043
的Ground Truth图，计算其与网络正向预测的热点图之间的
Figure DEST_PATH_IMAGE049
范数损失，通过梯度下降法不断反馈学习得到关键点预测网络权重。具体实施阶段，将步骤2抠取得到的目标图划分为
Figure 724405DEST_PATH_IMAGE043
的网格，第
Figure 383925DEST_PATH_IMAGE051
类关键点的第
Figure 391982DEST_PATH_IMAGE014
行
Figure DEST_PATH_IMAGE053
列网格对应的标签
Figure DEST_PATH_IMAGE055
，根据标注关键点到网格中心的距离
Figure 67946DEST_PATH_IMAGE057
决定，赋值公式如下：
Figure 964357DEST_PATH_IMAGE059
。
输入目标图
Figure 212805DEST_PATH_IMAGE061
经过关键点检测网络
Figure 651483DEST_PATH_IMAGE063
正向传播，得到第
Figure 470535DEST_PATH_IMAGE051
类关键点的预测图
Figure 154326DEST_PATH_IMAGE065
，损失采用
Figure 24324DEST_PATH_IMAGE049
范数的平方，计算公式如下：
Figure 620521DEST_PATH_IMAGE067
。
步骤4，联合决策模块，对步骤2的目标检测获得的类别置信度
Figure 707295DEST_PATH_IMAGE069
，及其步骤3获得的分类和/或关键部位检测的类别置信度
Figure 710890DEST_PATH_IMAGE047
，通过以下公式进行融合，得到最终的类别预测概率
Figure 419083DEST_PATH_IMAGE071
：
Figure 435450DEST_PATH_IMAGE073
。
当概率值大于阈值0.5时，认为目标定位正确，输出步骤2得到的目标位置，完成违禁物品定位。
本实施例采用共享特征提取基础层，建立多个独立的类别检测任务来适应X光机物品成像的交融透视关系，即将传统的多类检测问题调整为多个单类检测问题，每个类别的检测部分都是独立的。在扩展新的类别时，其共享基础特征提取层无需重新训练，只要对新类别检测分支进行微调训练。在训练时以批次样本的类别数量进行各类别检测的损失进行加权融合。引入二级多任务分类器和二级关键点检测器来实现不同违禁品类别的二次过滤，辅助提高多违禁品检测模块的准确性，最终通过融合类别检测概率与关键点检测概率的方式进行最终的类别得分计算，完成违禁物品定位。
实施例2
根据本发明的另一个实施例，还提供了一种X光图像目标检测装置，图6是根据本发明实施例的X光图像目标检测装置的框图，如图6所示，包括：
特征提取模块62，用于对采集的X光图像进行特征提取，得到多尺度特征；
输入模块64，用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
定位模块66，用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地，所述定位模块66包括：
执行子模块，用于对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框，执行以下步骤：
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值；
在判断结果为是的情况下，根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地，所述定位模块66包括：
关键点检测子模块，用于分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，和/或
输入子模块，用于将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度；
确定子模块，用于分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率；
定位模块，用于根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地，所述确定子模块，还用于
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多类违禁品的类别预测概率；或者
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多类违禁品的类别预测概率。
可选地，所述关键点检测子模块，还用于
将所述目标检测框输入到预先训练好的特征提取网络中，得到所述目标检测框的预定尺寸的特征；
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中，得到所述目标检测框的热点图；
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地，所述输入子模块，还用于
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中，得到所述目标检测框的特征信息；
分别将所述目标检测框的特征信息输入到多个全连接分类分支中，得到所述目标检测框对应多任务分类的第三类别置信度。
可选地，所述输入模块64，还用于
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层，得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对采集的X光图像进行特征提取，得到多尺度特征；
S2，将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
S3，根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对采集的X光图像进行特征提取，得到多尺度特征；
S2，将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
S3，根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种X光图像目标检测方法，其特征在于，包括：
对采集的X光图像进行特征提取，得到多尺度特征；
将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
根据所述第一类别置信度与所述目标检测框对违禁品进行定位，包括：
分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，和/或将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度；
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率；
根据所述类别预测概率与所述目标检测框对违禁品进行定位。
2.根据权利要求1所述的方法，其特征在于，根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括：
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框，执行以下步骤：
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值；
在判断结果为是的情况下，根据对应所述每类违禁品的目标检测框对违禁品进行定位。
3.根据权利要求1所述的方法，其特征在于，
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率包括：
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多类违禁品的类别预测概率；
分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率包括：
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多类违禁品的类别预测概率。
4.根据权利要求1所述的方法，其特征在于，分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度包括：
将所述目标检测框输入到预先训练好的特征提取网络中，得到所述目标检测框的预定尺寸的特征；
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中，得到所述目标检测框的热点图；
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
5.根据权利要求1所述的方法，其特征在于，将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度包括：
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中，得到所述目标检测框的特征信息；
分别将所述目标检测框的特征信息输入到多个全连接分类分支中，得到所述目标检测框对应多任务分类的第三类别置信度。
6.根据权利要求1至5中任一项所述的方法，其特征在于，将所述多尺度特征输入预先训练好的独立的多类别检测网络中，得到所述多尺度特征对应多个类别的第一类别置信度和目标位置包括：
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层，得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
7.一种X光图像目标检测装置，其特征在于，包括：
特征提取模块，用于对采集的X光图像进行特征提取，得到多尺度特征；
输入模块，用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中，得到对应多类违禁品的第一类别置信度和目标检测框；
定位模块，用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位，包括：
分别对所述目标检测框进行关键点检测，得到所述目标检测框对应关键点的第二类别置信度，和/或将所述目标检测框输入到预先训练好的多任务分类网络模型中，得到所述目标检测框对应多任务分类的第三类别置信度；
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率，或者，分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率；
根据所述类别预测概率与所述目标检测框对违禁品进行定位。
8.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6中任一项所述的方法。
CN202010745943.2A 2020-07-29 2020-07-29 一种x光图像目标检测方法及装置 Active CN111860510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010745943.2A CN111860510B (zh) 2020-07-29 2020-07-29 一种x光图像目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010745943.2A CN111860510B (zh) 2020-07-29 2020-07-29 一种x光图像目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN111860510A CN111860510A (zh) 2020-10-30
CN111860510B true CN111860510B (zh) 2021-06-18

Family

ID=72944930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010745943.2A Active CN111860510B (zh) 2020-07-29 2020-07-29 一种x光图像目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN111860510B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418278A (zh) * 2020-11-05 2021-02-26 中保车服科技服务股份有限公司 一种多类物体检测方法、终端设备及存储介质
CN112884085A (zh) * 2021-04-02 2021-06-01 中国科学院自动化研究所 基于x光图像的违禁物品检测识别方法、系统及设备
CN113313130B (zh) * 2021-07-02 2022-02-18 昆明理工大学 一种基于遮挡的安检图像危险品检测方法及系统
WO2023159527A1 (zh) * 2022-02-25 2023-08-31 京东方科技集团股份有限公司 检测器训练方法、装置及存储介质
CN114626443B (zh) * 2022-02-25 2024-05-03 华南理工大学 基于条件分支和专家系统的对象快速检测方法
CN115512188A (zh) * 2022-11-24 2022-12-23 苏州挚途科技有限公司 一种多目标检测方法、装置、设备及介质
CN116958646B (zh) * 2023-06-12 2024-01-30 北京声迅电子股份有限公司 基于x光图像的违禁物品检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909107A (zh) * 2017-11-14 2018-04-13 深圳码隆科技有限公司 纤维检测方法、装置及电子设备
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111241924A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 基于尺度估计的人脸检测及对齐方法、装置、存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572963B1 (en) * 2017-07-14 2020-02-25 Synapse Technology Corporation Detection of items
CN108875805A (zh) * 2018-05-31 2018-11-23 北京迈格斯智能科技有限公司 基于深度学习的利用检测识别一体化提高检测精度的方法
CN109583517A (zh) * 2018-12-26 2019-04-05 华东交通大学 一种适用于小目标检测的增强的全卷积实例语义分割算法
CN110321851A (zh) * 2019-07-05 2019-10-11 广东工业大学 一种违禁物品检测方法、装置及设备
CN110428007B (zh) * 2019-08-01 2020-11-24 科大讯飞(苏州)科技有限公司 X光图像目标检测方法、装置及设备
CN110738096A (zh) * 2019-08-23 2020-01-31 银河水滴科技（北京）有限公司 一种智能安检方法、设备和计算机可读存储介质
CN110543857A (zh) * 2019-09-05 2019-12-06 安徽启新明智科技有限公司 基于图像分析的违禁物识别方法、装置、系统和存储介质
CN111126238B (zh) * 2019-12-19 2023-06-20 华南理工大学 一种基于卷积神经网络的x光安检系统及方法
CN111353440A (zh) * 2019-12-30 2020-06-30 广西财经学院 一种目标检测方法
CN111291785A (zh) * 2020-01-16 2020-06-16 中国平安人寿保险股份有限公司 目标检测的方法、装置、设备及存储介质
CN110956225B (zh) * 2020-02-25 2020-05-29 浙江啄云智能科技有限公司 一种违禁品检测方法及系统、一种计算设备及存储介质
CN111611947B (zh) * 2020-05-25 2024-04-09 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909107A (zh) * 2017-11-14 2018-04-13 深圳码隆科技有限公司 纤维检测方法、装置及电子设备
CN110321853A (zh) * 2019-07-05 2019-10-11 杭州巨骐信息科技股份有限公司 基于视频智能检测的分布式电缆防外破系统
CN110929774A (zh) * 2019-11-18 2020-03-27 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111241924A (zh) * 2019-12-30 2020-06-05 新大陆数字技术股份有限公司 基于尺度估计的人脸检测及对齐方法、装置、存储介质

Also Published As

Publication number Publication date
CN111860510A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860510B (zh) 一种x光图像目标检测方法及装置
Zhang et al. Scale adaptive proposal network for object detection in remote sensing images
Bendale et al. Towards open set deep networks
CN110717553B (zh) 一种基于自衰减权重和多局部约束的交通违禁品识别方法
CN107451614B (zh) 基于空间坐标与空谱特征融合的高光谱分类方法
CN108985360A (zh) 基于扩展形态学与主动学习的高光谱分类方法
CN112149538A (zh) 一种基于多任务学习的行人重识别方法
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN111985325A (zh) 特高压环境评价中的航拍小目标快速识别方法
Steno et al. A novel enhanced region proposal network and modified loss function: threat object detection in secure screening using deep learning
Tan Automatic insulator detection for power line using aerial images powered by convolutional neural networks
Zhang et al. Finding nonrigid tiny person with densely cropped and local attention object detector networks in low-altitude aerial images
Gupta et al. RadioGalaxyNET: Dataset and novel computer vision algorithms for the detection of extended radio galaxies and infrared hosts
CN104598898A (zh) 一种基于多任务拓扑学习的航拍图像快速识别系统及其快速识别方法
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
Kowkabi et al. Hybrid preprocessing algorithm for endmember extraction using clustering, over-segmentation, and local entropy criterion
Li et al. Zero-shot object detection based on dynamic semantic vectors
Xu et al. Solar panel recognition of non-cooperative spacecraft based on deep learnin
CN110175708A (zh) 一种用于在线增量预测食材的模型及方法
Li et al. GADet: A Geometry-Aware X-ray Prohibited Items Detector
Margaje et al. A review on smart retail shop using Artificial Intelligence (AI) and Internet of Things (IOT)
EP3948665A1 (en) Item classification system, device and method therefor
Li et al. UAV Aerial Photography Target Detection and Tracking Based on Deep Learning
Namdev et al. Object Detection Techniques based on Deep Learning: A Review
Korobov et al. Parameters optimization method of the information-extreme object recognition system on the terrain

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant