CN112070079A - 基于特征图重赋权的x光违禁品包裹检测方法及装置 - Google Patents

基于特征图重赋权的x光违禁品包裹检测方法及装置 Download PDF

Info

Publication number
CN112070079A
CN112070079A CN202010725421.6A CN202010725421A CN112070079A CN 112070079 A CN112070079 A CN 112070079A CN 202010725421 A CN202010725421 A CN 202010725421A CN 112070079 A CN112070079 A CN 112070079A
Authority
CN
China
Prior art keywords
contraband
feature
feature map
ray
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010725421.6A
Other languages
English (en)
Other versions
CN112070079B (zh
Inventor
高红霞
廖宏宇
林国远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010725421.6A priority Critical patent/CN112070079B/zh
Publication of CN112070079A publication Critical patent/CN112070079A/zh
Application granted granted Critical
Publication of CN112070079B publication Critical patent/CN112070079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征图重赋权的X光违禁品包裹检测方法和装置，通过构建X光违禁品训练集，依次获取图像特征图、感兴趣区域特征图、类注意特征图，采用类注意特征图对感兴趣区域特征图做重赋权操作，得到单维特征向量，确定各类违禁品的预测类别，调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络，返回执行依次获取图像特征图、感兴趣区域特征图、类注意特征图的过程，重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，确定违禁品检测器，将待检测包裹输入违禁品检测器，以获取违禁品检测器输出的违禁品位置及违禁品类别，达到节省人力物力，降低检测成本的目的。

Description

基于特征图重赋权的X光违禁品包裹检测方法及装置
技术领域
本发明涉及智能检测技术领域，尤其涉及一种基于特征图重赋权的X光违禁品包裹检测方法、装置、计算机设备和存储介质。
背景技术
X光图像是由X射线穿透待检测物体、根据物体的不同密度渲染出不同颜色所得到的图像，常用于安检识别违禁品。相比于普通图像，X光图像只有颜色和形状信息，物体的检测识别更为困难，所以X光违禁品检测一直是丞待解决的难题。
特别是近几年交通行业和快速行业的发展造成了行李/快递安检方面的巨大压力。为了保障公共区域的安全，在乘坐大型交通工具前，要对所携带物品进行检查，禁止违禁品上车；快递包裹在投递前，需要预先检测包裹内是否有违禁品。安全起见，传统上，需要专业安检人员在X-光机旁边人工观察每一件包裹的X光图像，确认包裹是否含违禁品，这需要耗费极大的人力物力，且工作效率随着安检人员的疲劳度增加而降低，出现漏检和错检的情况也会相应的增多。
目前判别包裹中的违禁品的主要方法主要是靠人力进行安检，通常需要几组工作人员轮流工作，每组包括至少一名专业安检人员和两名分拣人员，这样使传统的包裹检测方案存在效率低、成本高的问题。
发明内容
针对以上问题，本发明提出一种基于特征图重赋权的X光违禁品包裹检测方法、装置、计算机设备和存储介质。
为实现本发明的目的，提供一种基于特征图重赋权的X光违禁品包裹检测方法，包括如下步骤：
S10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
S20，将X光违禁品训练集输入特征提取网络，获得图像特征图；
S30，将图像特征图输入区域建议网络，获得感兴趣区域特征图；
S40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
S50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
S60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
S70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
S80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
在一个实施例中，所述特征提取网络包括卷积层、池化层与非线性映射层；
所述卷积层执行的卷积操作包括：
f2[x,y]＝f1[x,y]*w[x,y]，
式中，f1[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f2[x,y]表示卷积后所得特征；
所述非线性映射层执行的非线性映射操作包括：
f3[x,y]＝max(0,f2[x,y])，
其中，max()表示取较大值，f3[x,y]表示做非线性映射后得到的图像特征图。
在一个实施例中，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图包括：
将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中题取置信度最高的前n个锚框，作为感兴趣区域特征图。
具体地，所述识别有效锚框中表征违禁品的目标锚框包括：
获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。
在一个实施例中，所述采用类注意特征图对感兴趣区域特征图做重赋权操作包括：
在感兴趣区域特征图中获取类注意特征图中各个元素的对应位，将类注意特征图中各个元素分别与感兴趣区域特征图中对应的元素相乘，以实现做重赋权操作。
具体地，所述采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量包括：
Vk＝mean(f5[x,y]×zk[x,y])，
式中，Vk表示单维特征向量中的第k个元素，f5[x,y]表示感兴趣区域特征图，zk[x,y]表示类注意特征图中的第k个元素，mean()表示求平均值。
在一个实施例中，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：
若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。
一种基于特征图重赋权的X光违禁品包裹检测装置，包括：
采集模块，用于采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
第一输入模块，用于将X光违禁品训练集输入特征提取网络，获得图像特征图；
第二输入模块，用于将图像特征图输入区域建议网络，获得感兴趣区域特征图；
第三输入模块，用于将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
降维处理模块，用于采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
第四输入模块，用于将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
返回模块，用于采用调节后的特征提取网络、元特征提取器及分类回归网络返回第一输入模块重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
检测模块，用于将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例的基于特征图重赋权的X光违禁品包裹检测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例的基于特征图重赋权的X光违禁品包裹检测方法的步骤。
上述基于特征图重赋权的X光违禁品包裹检测方法、装置、计算机设备和存储介质，通过采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集，将X光违禁品训练集输入特征提取网络，获得图像特征图，将图像特征图输入区域建议网络，获得感兴趣区域特征图，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络，采用调节后的特征提取网络、元特征提取器及分类回归网络返回执行将X光违禁品训练集输入特征提取网络的过程，重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器，将待检测包裹输入违禁品检测器，以获取违禁品检测器输出的违禁品位置及违禁品类别，相对于传统人工检测，可以节省人力物力，有效降低了检测成本，提高了检测效率，且传统方案中检测人员长时间接触X光安检设备，安检人员的健康也受到损害，本实施例提高的基于特征图重赋权的X光违禁品包裹检测方法还可以有效保证相关检测人员的工作安全性。
附图说明
图1是一个实施例的基于特征图重赋权的X光违禁品包裹检测方法流程图；
图2是另一个实施例的基于特征图重赋权的X光违禁品包裹检测方法流程图；
图3是一个实施例的基于特征图重赋权的X光违禁品包裹检测装置结构示意图；
图4是一个实施例的计算机设备示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请提供的基于特征图重赋权的X光违禁品包裹检测方法，可以应用于相关包裹检测系统。上述包裹检测系统可以采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集，将X光违禁品训练集输入特征提取网络，获得图像特征图，将图像特征图输入区域建议网络，获得感兴趣区域特征图，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络，采用调节后的特征提取网络、元特征提取器及分类回归网络返回执行将X光违禁品训练集输入特征提取网络的过程，重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器，将待检测包裹输入违禁品检测器，以获取违禁品检测器输出的违禁品位置及违禁品类别，以提高对待检测包裹进行违禁品检测的效果，降低相应的检测成本。其中，包裹检测系统可以但不限于是各种个人计算机和笔记本电脑等智能处理设备。
在一个实施例中，如图1所示，提供了一种基于特征图重赋权的X光违禁品包裹检测方法，以该方法应用于包裹检测系统为例进行说明，包括以下步骤：
S10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集。
上述步骤可以采集大量的X光图像数据，在各个X光图像数据中分别标注相应违禁品的真实类别和真实位置，以构建X光违禁品训练集，保证所构建的X光违禁品训练集的完整性与准确性。
S20，将X光违禁品训练集输入特征提取网络，获得图像特征图。
上述特征提取网络采用的是深度卷积网络，如Imagenet等网络，比如可以在Imagenet上训练得到的预训练模型，通过最小化整个模型的损失函数反向传播微调训练得到，训练次数预先设定，具体取值针对具体任务而言。
在一个实施例中，上述特征提取网络包括卷积层、池化层与非线性映射层；
所述卷积层执行的卷积操作包括：
f2[x,y]＝f1[x,y]*w[x,y]，
式中，f1[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f2[x,y]表示卷积后所得特征；
所述非线性映射层执行的非线性映射操作包括：
f3[x,y]＝max(0,f2[x,y])，
其中，max()表示取较大值，f3[x,y]表示做非线性映射后得到的图像特征图。
本实施例中，输入特征提取网络的X光图像数据(X光违禁品训练集中的图像数据)可以依次经过卷积层、池化层与非线性映射层处理，得到图像特征图。
具体地，卷积层执行的卷积过程包括：
Figure BDA0002601499450000071
其中，n1表示卷积核的长度，n2表示卷积核的宽度，f[x+ni,y+nj]表示正在卷积的图像像素点位置，w[ni,nj]表示卷积核的参数。
S30，将图像特征图输入区域建议网络，获得感兴趣区域特征图。
上述区域建议网络可以包括RPN(区域生成网络)等专有网络。
在一个实施例中，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图包括：
将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框(如9个)，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中题取置信度最高的前n个锚框，作为感兴趣区域特征图。
上述n的取值可以依据感兴趣区域特征图的确定精度设置，比如可以设置为目标锚框总数的设定比例(如60％)等等。
作为一个实施例，所述识别有效锚框中表征违禁品的目标锚框包括：
获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。
上述设定阈值可以设为0.7等值。
具体地，本实施例可以通过分类的方式去除超图像特征图区域的锚框，得到有效锚框，其中采用的分类函数包括：y＝f(f4[x,y])，其中f()表示二分类器，f4[x,y]表示图像特征图中各锚框对应的特征图，y表示分类得到的有效锚框。在二分类器对应的训练过程中，当锚框与真实标记框之间的交并比大于0.7时，将其判断为对象类(即有效锚框)，小于0.3则判断为背景类(即超图像特征图区域的锚框)。在实际检测过程中，输出y小于设定置信度阈值时表示锚框为背景或非违禁品，不进入后续步骤，否则，表示锚框为违禁品，对其做边框回归操作，以得到感兴趣区域特征图。
具体地，上述识别有效锚框中表征违禁品的目标锚框的过程中可以采用边框回归的方式识别相应目标锚框，边框回归的操作过程可以包括：[Δx,Δy,Δh,Δw]＝g(f4[x,y])，其中g()表示线性回归函数，输出[Δx,Δy,Δh,Δw]表示锚框中心点坐标的偏移量和宽高的偏移量。在边框回归的训练过程中，可以计算有效锚框和真实标记框之间的偏移量，用得到的差异来学习调整锚框的大小，使其更好的框住对象。对违禁品锚框(目标锚框)使用非极大值抑制进行筛选，剔除重叠的锚框，再取置信度最高的前n个锚框，作为感兴趣区域特征图f5[x,y]，进入后续步骤处理。
进一步地，区域建议网络可以使用它独有的一个损失函数反向传播进行训练，最小化以下损失函数：
Figure BDA0002601499450000081
Figure BDA0002601499450000082
Figure BDA0002601499450000083
其中pi为锚框的预测概率，
Figure BDA0002601499450000084
为锚框的真实类别，如果锚框为违禁品类，则
Figure BDA0002601499450000085
为1，否则为0，λ为损失权重，ti是一个向量，表示锚框的预测坐标，
Figure BDA0002601499450000086
为真实标记框的坐标。当锚框为背景或者非违禁品时，无回归损失。Ncls表示参与二分类的样本总数，Nreg表示参与边框回归的样本总数。
S40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图。
上述元特征提取器可以为一个深度卷积网络，元特征提取器中第一层卷积网络的输入通道数通常设为4，它得到的元损失为整个模型损失函数的一部分，可以通过最小化整个模型的损失函数训练得到。
具体地，上述步骤可以将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，取中间输出得到各类违禁品的类注意特征图，用元特征提取器的最终输出向量计算元损失，元损失可以由交叉熵损失函数计算得到。其中元特征提取器与特征提取网络共享如下参数和结构：
zk[x,y]＝T(fk[x,y])k＝1,2,……，
zk＝mean(zk[x,y])k＝1,2,……，
Figure BDA0002601499450000087
其中xk[x,y]为违禁品类注意特征图，T为元特征提取器，fk[x,y]为违禁品X光图像，k为违禁品类别数，zk为违禁品类注意向量，Lmeta为元特征提取器的损失函数。
S50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量。
上述步骤对于每一个感兴趣区域特征图，需要和所有类注意特征图做计算，分别得到相应的单维特征向量。上述重赋权操作可以将类注意特征图与感兴趣区域特征图做对应位相乘操作，以得到与前感兴趣区域特征图大小相同，数值不同的特征图；重赋权操作得到的结果是三维的，需要对其进行降维，降至单维特征向量。
在一个实施例中，所述采用类注意特征图对感兴趣区域特征图做重赋权操作包括：
在感兴趣区域特征图中获取类注意特征图中各个元素的对应位，将类注意特征图中各个元素分别与感兴趣区域特征图中对应的元素相乘，以实现做重赋权操作。
作为一个实施例，所述采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量包括：
Vk＝mean(f5[x,y]×zk[x,y])，
式中，Vk表示同一感兴趣区域特征图和第k个类注意特征图做重赋权操作的到的第k个单维特征向量，k＝1,2……，f5[x,y]表示感兴趣区域特征图，zk[x,y]表示第k个类注意特征图，mean()表示求平均值。
S60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络。具体地，该步骤可以通过梯度下降来进行反向传播，在实现时使用一个成熟的封装函数train实现整个调节过程。
上述分类回归网络通常与通用的目标检测架构中的分类回归网络相同，可以包括两个全连接层，最后一个全连接层分两部分输出，一部分为各类别得分，一部分为边框调整参数。其可以通过整个模型的损失函数反向传播训练得到。
在一个实施例中，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：
若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。
上述类阈值可以依据相应的预测精度设置。
具体地，本实施例将单维特征向量输入分类回归网络，得到违禁品类别和位置的过程可以包括：
分类：yk＝h(Vk)
h()表示违禁品多分类器，输出yk为第k类的置信度，Vk表示步骤S50得到的单维特征向量。
对每一个感兴趣区域特征图经过重赋权得到的所有特征向量(单维特征向量)进行分类，取置信度最高的分类结果作为感兴趣区域特征图的分类结果，取置信度最高的前m个结果进入下一步骤。
回归：[Δx,Δy,Δh,Δw]＝g(Vk)
输出为边框的偏移量，g为线性回归函数。
与真实标记做运算，计算整个模型的损失函数，用反向传播微调特征提取网络以及训练元特征提取器和分类回归网络。其中整个模型的损失函数可以包括：
L＝Lcls+Lreg+Lmeta，
Figure BDA0002601499450000101
Figure BDA0002601499450000102
Figure BDA0002601499450000103
其中，Lmulti-cls表示分类损失，Lreg表示边框回归损失，Lmeta表示元损失，L表示总损失，yk表示分类网络的分类结果，Pj表示真实类别，T表示违禁品类别数，ti表示回归网络输出的标记框参数，
Figure BDA0002601499450000104
表示真实的标记框参数，zk表示S40步得到的违禁品类注意向量。此处损失函数可以用于训练除区域建议网络的其他整个网络，包括分类回归网络、元特征提取器以及特征提取网络。
S70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器。
上述步骤依据设定好的训练次数，按步骤S20-S60重复训练，最后得到训练好的违禁品检测器，以快速准确地对待检测包裹进行违禁品检测。
S80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
具体地，上述步骤将待检测包裹输入违禁品检测器，可以获得表征各类违禁品类别得分及边框调整参数的输出特征向量，若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。
上述基于特征图重赋权的X光违禁品包裹检测方法，通过采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集，将X光违禁品训练集输入特征提取网络，获得图像特征图，将图像特征图输入区域建议网络，获得感兴趣区域特征图，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络，采用调节后的特征提取网络、元特征提取器及分类回归网络返回执行将X光违禁品训练集输入特征提取网络的过程，重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器，将待检测包裹输入违禁品检测器，以获取违禁品检测器输出的违禁品位置及违禁品类别，相对于传统人工检测，可以节省人力物力，有效降低了检测成本，提高了检测效率，且传统方案中检测人员长时间接触X光安检设备，安检人员的健康也受到损害，本实施例提高的基于特征图重赋权的X光违禁品包裹检测方法还可以有效保证相关检测人员的工作安全性。
在一个实施例中，上述基于特征图重赋权的X光违禁品包裹检测方法也可以参考图2所示，包括如下过程：
A、将包裹通过X光射线仪，得到包裹的X光包裹图像。
B、X光包裹图像经过特征提取网络运算后得到图像特征图：
特征提取网络为深层网络，包括卷积层、池化层与非线性映射层。
卷积过程：
Figure BDA0002601499450000121
其中f1[x,y]为图像，w[x,y]为卷积核，f2[x,y]为卷积后所得特征。
非线性映射过程：
f3[x,y]＝max(0,f2[x,y])，
其中，f3[x,y]为做非线性映射后的到的特征图。
C、将图像特征图输入区域建议网络，获得感兴趣区域特征图。
图像特征图中的每一个点定义为锚点anchor，每个锚点以自身为中心定义9个锚框，除去超出图像区域的锚框，对剩下的锚框进行二分类和边框回归：
(1)分类：y＝f(f4[x,y])
其中f4[x,y]为锚框特征图，f()为二分类器，输出y小于设定置信度阈值时表示锚框为背景或非违禁品，不进入后续步骤，否则，表示锚框为违禁品，对其做边框回归操作。
(2)边框回归：[Δx,Δy,Δh,Δw]＝g(f4[x,y])
其中g()为线性回归函数，输出为锚框中心点坐标的偏移量和宽高的偏移量。
对违禁品锚框使用非极大值抑制进行筛选，剔除重叠的锚框。再取置信度最高的前n个锚框，作为感兴趣区域特征图，进入后续步骤处理。
D、将各类违禁品图像及标记掩模输入元特征提取器，取中间输出得到各类违禁品的类注意特征图：
元特征提取器与特征提取网络共享参数和结构，
zk[x,y]＝T(fk[x,y])k＝1,2,……
其中zk[x,y]为违禁品类注意特征图，T为元特征提取器，fk[x,y]为违禁品X光图像，k为违禁品类别数。
E、用类注意特征图对感兴趣区域特征图做重赋权操作，再降维得到类注意特征向量：
Vk＝mean(f4[x,y]×zk[x,y])k＝1,2……
其中Vk为重赋权后进行降维得到的特征向量，每一个感兴趣区域特征图，要和所有类注意特征图做计算，得到不同的特征向量。
F、将重赋权后的感兴趣区域特征图输入分类回归网络，得到违禁品类别和位置：
分类：y＝h(Vk)
h为违禁品多分类器，输出y为每类的置信度。
对每一个感兴趣区域特征图经过重赋权得到的所有特征向量进行分类，取置信度最高的分类结果作为感兴趣区域特征图的分类结果，取置信度最高的前m个结果进入下一步骤。
回归：[Δx,Δy,Δh,Δw]＝g(Vk)
输出为边框的偏移量，g为线性回归函数。
G、识别出包裹图中的违禁品并标注：
根据上一步输出的违禁品类别及位置，将其标注在X光包裹中，得到最终的违禁品检测结果。
本实施例提供的基于特征图重赋权的X光违禁品包裹检测方法具有如下技术效果：
1、节省人力物力。传统的人工检测方法需要安检员时刻观察X光图像，耗时且耗费大量人力资源，同时长时间接触X光安检设备，安检人员的健康也受到损害。
2、提高了违禁品的检测精度和效率，安检人员长时间工作形成的疲劳问题会导致检测精度下降，但本实施例能保持稳定的精度。
3、保证了安检人员的健康问题，长时间接触X光安检设备，安检人员的健康会受到损害。本实施例无需安检人员接触X光设备。
参考图3所示，图3为一个实施例的基于特征图重赋权的X光违禁品包裹检测装置结构示意图，包括：
采集模块10，用于采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
第一输入模块20，用于将X光违禁品训练集输入特征提取网络，获得图像特征图；
第二输入模块30，用于将图像特征图输入区域建议网络，获得感兴趣区域特征图；
第三输入模块40，用于将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
降维处理模块50，用于采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
第四输入模块60，用于将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
返回模块70，用于采用调节后的特征提取网络、元特征提取器及分类回归网络返回第一输入模块重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
检测模块80，用于将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
关于基于特征图重赋权的X光违禁品包裹检测装置的具体限定可以参见上文中对于基于特征图重赋权的X光违禁品包裹检测方法的限定，在此不再赘述。上述基于特征图重赋权的X光违禁品包裹检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于特征图重赋权的X光违禁品包裹检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
基于如上所述的示例，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如上述各实施例中的任意一种基于特征图重赋权的X光违禁品包裹检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述基于特征图重赋权的X光违禁品包裹检测方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
据此，在一个实施例中还提供一种计算机存储介质计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如上述各实施例中的任意一种基于特征图重赋权的X光违禁品包裹检测方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，包括如下步骤：
S10，采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
S20，将X光违禁品训练集输入特征提取网络，获得图像特征图；
S30，将图像特征图输入区域建议网络，获得感兴趣区域特征图；
S40，将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
S50，采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
S60，将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
S70，采用调节后的特征提取网络、元特征提取器及分类回归网络返回步骤S20重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
S80，将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
2.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述特征提取网络包括卷积层、池化层与非线性映射层；
所述卷积层执行的卷积操作包括：
f2[x,y]＝f1[x,y]*w[x,y]，
式中，f1[x,y]表示输入特征提取网络的图像，w[x,y]表示卷积核，f2[x,y]表示卷积后所得特征；
所述非线性映射层执行的非线性映射操作包括：
f3[x,y]＝max(0,f2[x,y])，
其中，max()表示取较大值，f3[x,y]表示做非线性映射后得到的图像特征图。
3.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述将图像特征图输入区域建议网络，获得感兴趣区域特征图包括：
将图像特征图的各个点定义为锚点，以每个锚点为中心定义多个锚框，去除超图像特征图区域的锚框，得到有效锚框，识别有效锚框中表征违禁品的目标锚框，剔除所述目标锚框中重叠的锚框，在剩下的目标锚框中题取置信度最高的前n个锚框，作为感兴趣区域特征图。
4.根据权利要求3所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述识别有效锚框中表征违禁品的目标锚框包括：
获取有效锚框与真实标记框之间的交并比，将交并比大于设定阈值的有效锚框确定为目标锚框。
5.根据权利要求1所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述采用类注意特征图对感兴趣区域特征图做重赋权操作包括：
在感兴趣区域特征图中获取类注意特征图中各个元素的对应位，将类注意特征图中各个元素分别与感兴趣区域特征图中对应的元素相乘，以实现做重赋权操作。
6.根据权利要求5所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量包括：
Vk＝mean(f5[x,y]×zk[x,y])，
式中，Vk表示单维特征向量中的第k个元素，f5[x,y]表示感兴趣区域特征图，zk[x,y]表示类注意特征图中的第k个元素，mean()表示求平均值。
7.根据权利要求1至6任一项所述的基于特征图重赋权的X光违禁品包裹检测方法，其特征在于，所述将输出特征向量中得分最高的类别确定为各类违禁品的预测类别包括：
若输出特征向量中得分最高的类别小于或等于预设的类阈值，则判定单维特征向量中不存在表征违禁品的特征，若输出特征向量中得分最高的类别大于预设的类阈值，则将输出特征向量中得分最高的类别确定为各类违禁品的预测类别。
8.一种基于特征图重赋权的X光违禁品包裹检测装置，其特征在于，包括：
采集模块，用于采集各类违禁品包裹的X光图像数据，在各类违禁品包裹的X光图像数据中标注违禁品的真实类别和真实位置，根据各个X光图像数据，以及各个X光图像数据对应的违禁品类别和违禁品位置构建X光违禁品训练集；
第一输入模块，用于将X光违禁品训练集输入特征提取网络，获得图像特征图；
第二输入模块，用于将图像特征图输入区域建议网络，获得感兴趣区域特征图；
第三输入模块，用于将各类违禁品包裹的X光图像数据及各个X光图像数据携带的标注输入元特征提取器，获取元特征提取器中深层网络输出的特征图作为各类违禁品的类注意特征图；
降维处理模块，用于采用类注意特征图对感兴趣区域特征图做重赋权操作，对重赋权操作得到的结果进行降维处理，得到单维特征向量；
第四输入模块，用于将单维特征向量输入分类回归网络，得到表征各类违禁品类别得分及边框调整参数的输出特征向量，将输出特征向量中得分最高的类别确定为各类违禁品的预测类别，根据边框调整参数确定各类违禁品在相应X光图像数据中的预测位置，根据各类违禁品的预测类别、预测位置、真实类别与真实位置做运算，计算损失函数，通过损失函数反向传播，以调节下一次训练过程中采用的特征提取网络、元特征提取器及分类回归网络；
返回模块，用于采用调节后的特征提取网络、元特征提取器及分类回归网络返回第一输入模块重新将X光违禁品训练集输入调节后的特征提取网络进行迭代训练，直至训练次数大于或等于预设的迭代次数，依据当前的分类回归网络确定违禁品检测器；
检测模块，用于将待检测包裹输入违禁品检测器，获取违禁品检测器输出的违禁品位置及违禁品类别。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN202010725421.6A 2020-07-24 2020-07-24 基于特征图重赋权的x光违禁品包裹检测方法及装置 Active CN112070079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725421.6A CN112070079B (zh) 2020-07-24 2020-07-24 基于特征图重赋权的x光违禁品包裹检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725421.6A CN112070079B (zh) 2020-07-24 2020-07-24 基于特征图重赋权的x光违禁品包裹检测方法及装置

Publications (2)

Publication Number Publication Date
CN112070079A true CN112070079A (zh) 2020-12-11
CN112070079B CN112070079B (zh) 2022-07-05

Family

ID=73656562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725421.6A Active CN112070079B (zh) 2020-07-24 2020-07-24 基于特征图重赋权的x光违禁品包裹检测方法及装置

Country Status (1)

Country Link
CN (1) CN112070079B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095288A (zh) * 2021-04-30 2021-07-09 浙江吉利控股集团有限公司 障碍物漏检修复方法、装置、设备及存储介质
CN113657493A (zh) * 2021-08-17 2021-11-16 北京理工大学 基于风格特征通道注意力的x光安检图像违禁品检测方法
CN114626443A (zh) * 2022-02-25 2022-06-14 华南理工大学 基于条件分支和专家系统的对象快速检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315465B1 (en) * 2009-01-12 2012-11-20 Google Inc. Effective feature classification in images
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110097019A (zh) * 2019-05-10 2019-08-06 腾讯科技（深圳）有限公司 字符识别方法、装置、计算机设备以及存储介质
CN110162749A (zh) * 2018-10-22 2019-08-23 哈尔滨工业大学（深圳） 信息提取方法、装置、计算机设备及计算机可读存储介质
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN110711718A (zh) * 2019-07-26 2020-01-21 广东邮政邮件快件服务有限公司 基于x光图像的快递包裹智能分拣系统、方法及存储介质
CN111310518A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 图片特征提取方法、目标重识别方法、装置及电子设备
CN111325226A (zh) * 2018-12-14 2020-06-23 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN111382725A (zh) * 2020-04-01 2020-07-07 上海东普信息科技有限公司 违禁快递包裹的处理方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8315465B1 (en) * 2009-01-12 2012-11-20 Google Inc. Effective feature classification in images
CN109344725A (zh) * 2018-09-04 2019-02-15 上海交通大学 一种基于时空关注度机制的多行人在线跟踪方法
CN110162749A (zh) * 2018-10-22 2019-08-23 哈尔滨工业大学（深圳） 信息提取方法、装置、计算机设备及计算机可读存储介质
CN111310518A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 图片特征提取方法、目标重识别方法、装置及电子设备
CN111325226A (zh) * 2018-12-14 2020-06-23 北京京东尚科信息技术有限公司 信息呈现方法和装置
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备
CN110097019A (zh) * 2019-05-10 2019-08-06 腾讯科技（深圳）有限公司 字符识别方法、装置、计算机设备以及存储介质
CN110711718A (zh) * 2019-07-26 2020-01-21 广东邮政邮件快件服务有限公司 基于x光图像的快递包裹智能分拣系统、方法及存储介质
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN111382725A (zh) * 2020-04-01 2020-07-07 上海东普信息科技有限公司 违禁快递包裹的处理方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095288A (zh) * 2021-04-30 2021-07-09 浙江吉利控股集团有限公司 障碍物漏检修复方法、装置、设备及存储介质
CN113657493A (zh) * 2021-08-17 2021-11-16 北京理工大学 基于风格特征通道注意力的x光安检图像违禁品检测方法
CN114626443A (zh) * 2022-02-25 2022-06-14 华南理工大学 基于条件分支和专家系统的对象快速检测方法
CN114626443B (zh) * 2022-02-25 2024-05-03 华南理工大学 基于条件分支和专家系统的对象快速检测方法

Also Published As

Publication number Publication date
CN112070079B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN112070079B (zh) 基于特征图重赋权的x光违禁品包裹检测方法及装置
US10860879B2 (en) Deep convolutional neural networks for crack detection from image data
US7136524B1 (en) Robust perceptual color identification
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN109165645A (zh) 一种图像处理方法、装置以及相关设备
CN108932724B (zh) 一种基于多人协同图像标注的系统自动审核方法
CN111461101B (zh) 工服标志的识别方法、装置、设备及存储介质
CN111429482A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN108985161B (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
CN110533632A (zh) 图像模糊篡改检测方法、装置、计算机设备和存储介质
JP2009068946A (ja) 欠陥分類装置および方法並びにプログラム
CN111222530A (zh) 一种细粒度图像分类方法、系统、装置和存储介质
CN116258956A (zh) 无人机树木识别方法、设备、存储介质及装置
CN108038491A (zh) 一种图像分类方法及装置
Margapuri et al. Seed phenotyping on neural networks using domain randomization and transfer learning
CN111598033B (zh) 货物的定位方法、装置、系统及计算机可读存储介质
CN113095404A (zh) 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN113096080A (zh) 图像分析方法及系统
CN112651315A (zh) 折线图的信息提取方法、装置、计算机设备和存储介质
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN113486879B (zh) 图像区域建议框检测方法、装置、设备及存储介质
Tao et al. Combining SURF with MSER for image matching
CN113096079B (zh) 图像分析系统及其构建方法
CN106204621B (zh) 一种自适应分治的高分辨率图像对象精准提取方法
CN114897797A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant