CN110427898B - 包裹安检识别方法、系统、装置及计算机可读存储介质 - Google Patents

包裹安检识别方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110427898B
CN110427898B CN201910726092.4A CN201910726092A CN110427898B CN 110427898 B CN110427898 B CN 110427898B CN 201910726092 A CN201910726092 A CN 201910726092A CN 110427898 B CN110427898 B CN 110427898B
Authority
CN
China
Prior art keywords
feature map
parcel
feature
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910726092.4A
Other languages
English (en)
Other versions
CN110427898A (zh
Inventor
苏渝校
何昭水
谈季
陈镇元
白玉磊
谭北海
谢胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910726092.4A priority Critical patent/CN110427898B/zh
Publication of CN110427898A publication Critical patent/CN110427898A/zh
Application granted granted Critical
Publication of CN110427898B publication Critical patent/CN110427898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种包裹安检识别方法、系统、装置及计算机可读存储介质，本申请在单条判断路线的基础上，增加新的分支判断路线，分别采用全局视野和局部注意视野两种视角对包裹图像进行分析和判断，得到全局包裹识别结果和局部包裹识别结果，确保了从多角度分析包裹图像，使最后的结论所参考的内容更为全面，同时，并行使用两条线路进行分析判断，对线性计算要求降低，提升了整体运算速度，减少了判断时间，最后只有当两种结果均判定正常时才认为包裹安全，避免对包括违禁物品的包裹的误判，综合提升了对包裹的判断的准确度。

Description

包裹安检识别方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及安检技术领域，特别涉及一种包裹安检识别方法、系统、装置及计算机可读存储介质。
背景技术
近年来，随着国内各种交通设施的逐步发展，安保问题成为城市的轨道交通、机场、物流快递中心、大型活动现场等人员密集的区域的核心问题。如果刀具、打火机、易燃易爆等违禁品进入了人员密集的公共交通设施区域，那就可能引发不敢设想的后果。
安检技术正是有效防止突发安保问题的手段，有效地识别出带有危险违禁品的行李包裹，排除危险违禁品进入人员密集的区域，可以很大程度上避免安保问题的发生。
目前，最为普遍的安检技术是X光检查，其利用X光的穿透能力得到包裹货物的伪彩色图像，实现对包裹的快速不开箱检查。
人工检测的缺点：人工对X光图像进行检查的方式需要培训安检员，耗费大量人力，而且在安检点较多的场所以及人流量大的时段，第一，安检员需要经过严格培训，可能发生人手紧张的情况；第二，安检员需要识别大量包裹，可能由于长时间肉眼检查的疲劳而注意力下降导致漏检。
为此，本发明为针对上述现有方法存在的问题，本发明提出一种新的包裹安检识别方法，降低人力消耗，提高识别准确度，减少运算时间。
发明内容
有鉴于此，本发明的目的在于提供一种包裹安检识别方法、系统、装置及计算机可读存储介质。其具体方案如下：
一种包裹安检识别方法，包括：
从安检机中获取包裹图像；
利用多层卷积特征提取器从所述包裹图像中提取特征，得到所述多层卷积特征提取器中最后一层卷积层输出的第一特征图；
对所述第一特征图进行全局平均池化，得到第一特征向量；
利用第一全连接层分类网络对所述第一特征向量进行分类，得到全局视野下的全局包裹识别结果；
对第二特征图进行特征提取和归一化，得到第三特征图，其中，所述第二特征图为所述多层卷积特征提取器中第一层卷积层输出的特征图；
融合所述第一特征图和所述第三特征图，得到第四特征图，其中，所述第四特征图为利用所述第三特征图对所述第一特征图中的特征进行突出得到的特征图；
对所述第四特征图进行全局最大池化，得到第二特征向量；
利用第二全连接层分类网络对所述第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；
当所述全局包裹识别结果和所述局部包裹识别结果均判定正常，则所述包裹图像中包裹安全，若任一结果判定不正常，则所述包裹图像中包裹存在违禁品；
其中，所述多层卷积特征提取器、所述第一全连接层分类网络和所述第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，所述第二全连接层分类网络的梯度更新独立于所述多层卷积特征提取器和所述第一全连接层分类网络。
可选的，所述多层卷积特征提取器为基于Resnet神经网络的卷积特征提取器。
可选的，所述第一全连接层分类网络和所述第二全连接层分类网络均采用焦点损失函数进行分类。
可选的，所述对第二特征图进行特征提取和归一化，得到第三特征图的过程，包括：
对所述第二特征图进行卷积、池化和Sigmoid归一化操作，得到所述第三特征图。
可选的，所述融合所述第一特征图和所述第三特征图，得到第四特征图的过程，包括：
对所述第一特征图进行双线性插值上采样，得到与所述第三特征图相同尺寸的第五特征图；
采用叉乘将所述第五特征图和所述第三特征图进行融合，得到所述第四特征图。
可选的，所述从安检机中获取包裹图像的过程，包括：
从所述安检机中获取初始包裹图像；
对所述初始包裹图像进行缩小，得到尺寸为64X64的所述包裹图像。
本发明还公开了一种包裹安检识别系统，包括：
图像获取模块，用于从安检机中获取包裹图像；
特征提取模块，用于利用多层卷积特征提取器从所述包裹图像中提取特征，得到所述多层卷积特征提取器中最后一层卷积层输出的第一特征图；
平均池化模块，用于对所述第一特征图进行全局平均池化，得到第一特征向量；
全局识别模块，用于利用第一全连接层分类网络对所述第一特征向量进行分类，得到全局视野下的全局包裹识别结果；
局部注意力提取模块，用于对第二特征图进行特征提取和归一化，得到第三特征图，其中，所述第二特征图为所述多层卷积特征提取器中第一层卷积层输出的特征图；
图像融合模块，用于融合所述第一特征图和所述第三特征图，得到第四特征图，其中，所述第四特征图为利用所述第三特征图对所述第一特征图中的特征进行突出得到的特征图；
最大池化模块，用于对所述第四特征图进行全局最大池化，得到第二特征向量；
局部识别模块，用于利用第二全连接层分类网络对所述第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；
结果判断模块，用于当所述全局包裹识别结果和所述局部包裹识别结果均判定正常，则所述包裹图像中包裹安全，若任一结果判定不正常，则所述包裹图像中包裹存在违禁品；
其中，所述多层卷积特征提取器、所述第一全连接层分类网络和所述第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，所述第二全连接层分类网络的梯度更新独立于所述多层卷积特征提取器和所述第一全连接层分类网络。
可选的，所述局部提取模块，具体用于对所述第二特征图进行卷积、池化和Sigmoid归一化操作，得到所述第三特征图。
本发明还公开了一种包裹安检识别装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如前述的包裹安检识别方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的包裹安检识别方法。
本发明中，包裹安检识别方法，包括：从安检机中获取包裹图像；利用多层卷积特征提取器从包裹图像中提取特征，得到多层卷积特征提取器中最后一层卷积层输出的第一特征图；对第一特征图进行全局平均池化，得到第一特征向量；利用第一全连接层分类网络对第一特征向量进行分类，得到全局视野下的全局包裹识别结果；对第二特征图进行特征提取和归一化，得到第三特征图，其中，第二特征图为多层卷积特征提取器中第一层卷积层输出的特征图；融合第一特征图和第三特征图，得到第四特征图，其中，第四特征图为利用第三特征图对第一特征图中的特征进行突出得到的特征图；对第四特征图进行全局最大池化，得到第二特征向量；利用第二全连接层分类网络对第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；当全局包裹识别结果和局部包裹识别结果均判定正常，则包裹图像中包裹安全，若任一结果判定不正常，则包裹图像中包裹存在违禁品；其中，多层卷积特征提取器、第一全连接层分类网络和第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，第二全连接层分类网络的梯度更新独立于多层卷积特征提取器和第一全连接层分类网络。
本发明在单条判断路线的基础上，增加新的分支判断路线，分别采用全局视野和局部注意视野两种视角对包裹图像进行分析和判断，得到全局包裹识别结果和局部包裹识别结果，确保了从多角度分析包裹图像，使最后的结论所参考的内容更为全面，同时，并行使用两条线路进行分析判断，对线性计算要求降低，提升了整体运算速度，减少了判断时间，最后只有当两种结果均判定正常时才认为包裹安全，避免对包括违禁物品的包裹的误判，综合提升了对包裹的判断的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种包裹安检识别方法流程示意图；
图2为本发明实施例公开的一种包裹安检识别系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种包裹安检识别方法，参见图1所示，该方法包括：
S11：从安检机中获取包裹图像。
可以理解的是，安检机可以为X光安检机，包裹进入安检机后，安检机可以得到包裹的透视图像，包裹图像中违禁品与非违禁品在图像中显示方式存在明显区别，因此，可以通过图像特征提取的方法进行区别。
具体的，为获取完整的安检机的图像，可以由用户手动操作，输入截图指令，截取包括完整的包裹的包裹图像，从而获取到包裹图像，当然，也可以自动每间隔预设的时间获取安检机的图像，预设的时间可以根据安检机传送带的移动速度设定。
S12：利用多层卷积特征提取器从包裹图像中提取特征，得到多层卷积特征提取器中最后一层卷积层输出的第一特征图。
具体的，利用多层卷积特征提取器从包裹图像中提取图像特征，得到最后输出的第一特征图。
可以理解的是，多层卷积特征提取器可以预先利用大量的不包括违禁品和包括违禁品的历史包裹图像进行训练，从而得到一个特征提取更为准确的多层卷积特征提取器。
S13：对第一特征图进行全局平均池化，得到第一特征向量。
具体的，为后续能够通过全连接层分类网络进行分类得到判断结果，同时，为了以全局视野得到判断结果，采用全局平均池化对第一特征图进行池化操作，利用全局平均池化确保得到的第一特征向量，综合整个第一特征图的特征，确保全局性。
S14：利用第一全连接层分类网络对第一特征向量进行分类，得到全局视野下的全局包裹识别结果。
具体的，利用第一全连接层分类网络对第一特征向量进行分类，判断第一特征向量对应的是否为包括违禁品的包裹图像，因第一特征向量为经过全局平均池化后的全局视野下的特征向量，所以得到全局视野下的全局包裹识别结果。
具体的，第一全连接层分类网络也是与多层卷积特征提取器一同预先利用大量的不包括违禁品和包括违禁品的历史包裹图像进行训练得到的。
S15：对第二特征图进行特征提取和归一化，得到第三特征图，其中，第二特征图为多层卷积特征提取器中第一层卷积层输出的特征图。
具体的，对第二特征图继续通过卷积和池化提取第二特征图的特征，再进行归一化，得到归一化的第三特征图，因进行了归一化操作，第三特征图中的特征被突出显示。
具体的，多层卷积特征提取器在完成第一层卷积后，便输出第二特征图，S15与S12可以同时进行，在得到第二特征图后，对第二特征图的特征提取和归一化可以与多层卷积特征提取器同时工作，一边对第二特征图进行特征提取和归一化，另一边多层卷积特征提取器则继续对第二特征图进行下一层的卷积，直至输出第一特征图。
S16：融合第一特征图和第三特征图，得到第四特征图，其中，第四特征图为利用第三特征图对第一特征图中的特征进行突出得到的特征图。
具体的，包括违禁品的图像特征明显，为突出这一局部特征以第一特征图为基础，利用第三特征图与第一特征图进行融合，进而突出第一特征图中与第三特征图相重合的特征，得到第四特征图，可见，第四特征图相较于第一特征图更加突出局部特征，聚焦于局部视野。
可以理解的是，第一特征图与第三特征图融合时，需要使第一特征图与第三特征图尺寸一致，为此需要对特征图进行尺寸转换，例如，第一特征图小于第三特征图，则需对第一特征图进行放大。
S17：对第四特征图进行全局最大池化，得到第二特征向量。
具体的，为获得采用局部注意视野下的识别结果，对第四特征图进行全局最大池化，进一步的突出局部的特征，减少其它特征度不够的特征，得到聚焦于部分特征的第二特征向量。
S18：利用第二全连接层分类网络对第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果。
具体的，利用第二全连接层分类网络对第二特征向量进行分类，判断第一二特征向量对应的是否为包括违禁品的包裹图像，因第二特征向量为经过全局最大池化后的局部注意视野下的特征向量，所以得到局部注意视野下的局部包裹识别结果。
具体的，第二全连接层分类网络也是与多层卷积特征提取器和第一全连接层分类网络一同预先利用大量的不包括违禁品和包括违禁品的历史包裹图像进行训练得到的，第二全连接层分类网络的梯度更新独立于多层卷积特征提取器和第一全连接层分类网络。
S19：当全局包裹识别结果和局部包裹识别结果均判定正常，则包裹图像中包裹安全，若任一结果判定不正常，则包裹图像中包裹存在违禁品。
可以理解的是，为确保判断结果的准确度，只有在全局包裹识别结果和局部包裹识别结果均判定正常时，认为相应的包裹图像中的包裹安全不存在违禁品，若任一结果判定不正常，则包裹图像中包裹存在违禁品；当然，也可以进一步细化判断条件，例如，只有两种结果均判定存在违禁品时，才判定包裹中包括违禁品，当两种结果不同时，则提示安检人员人工判断。
可见，本发明实施例在单条判断路线的基础上，增加新的分支判断路线，分别采用全局视野和局部注意视野两种视角对包裹图像进行分析和判断，得到全局包裹识别结果和局部包裹识别结果，确保了从多角度分析包裹图像，使最后的结论所参考的内容更为全面，同时，并行使用两条线路进行分析判断，对线性计算要求降低，提升了整体运算速度，减少了判断时间，最后只有当两种结果均判定正常时才认为包裹安全，避免对包括违禁物品的包裹的误判，综合提升了对包裹的判断的准确度。
本发明实施例公开了一种具体的包裹安检识别方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
具体的，为保证通过速度，避免因安检导致的拥堵，为缩短安检时间，需要尽可能的减少计算量，提高计算速度，所以包裹图像可以尽可能的使用小尺寸图像，为此，上述S11从安检机中获取包裹图像的过程，可以具体包括S111和S112；其中，
S111：从安检机中获取初始包裹图像；
S112：对初始包裹图像进行缩小，得到尺寸为64X64的包裹图像。
具体的，选取64X64像素的包裹图像在能够满足分辨率的情况下，相较于现有的512X512图像，尽可能缩小了图像尺寸，减少了计算量。
进一步的，为减少计算量，多层卷积特征提取器还可以为基于Resnet神经网络的卷积特征提取器，具体可以选择50层的Resnet神经网络，当然也可以根据安检级别选择更高的101层的Resnet神经网络。
其中，可以利用pytorch框架构件Resnet神经网络。
具体的，第一全连接层分类网络和第二全连接层分类网络可以均采用焦点损失函数函数进行分类，同时，第一全连接层分类网络和第二全连接层分类网络还可以包括softmax函数，在完成初次分类后，可以利用softmax函数完善分类概率，确保不包括违禁品与包括违禁品的概率总和为1，例如，第一全连接层分类网络利用焦点损失函数函数分类，得到违禁与非违禁两个维度概率和不为1的初始全局包裹识别结果，再利用softmax函数进行分类，得到违禁与非违禁两个维度概率和为1的全局包裹识别结果，第二全连接层分类网络同理。
其中，再利用softmax函数进行分类后，可以将判定为正常包括概率阈值设定为60％，当判定为正常包裹的概率超过60％，则输出的包裹识别结果为正常包裹。
进一步的，上述S15对第二特征图进行特征提取和归一化，得到第三特征图的过程，可以具体为对第二特征图进行卷积、池化和Sigmoid归一化操作，得到第三特征图。
其中，可以利用一层卷积层提取第二特征图的特征，利用一层池化层缩减数据，同时在保留图像原始的空间信息基础上进一步深化特征，最后进行归一化，得到进一步突出局部特征的第三特征图。
具体的，上述S16融合第一特征图和第三特征图，得到第四特征图的过程，可以具体包括S161和S162；其中，
S161：对第一特征图进行双线性插值上采样，得到与第三特征图相同尺寸的第五特征图:。
具体的，利用双线性插值上采样放大第一特征图，使第一特征图的尺寸与第三特征图的尺寸保持一致，得到放大后的第五特征图。
S162：采用叉乘将第五特征图和第三特征图进行融合，得到第四特征图。
相应的，本发明实施例还公开了一种包裹安检识别系统，参见图2所示，该系统包括：
图像获取模块1，用于从安检机中获取包裹图像；
特征提取模块2，用于利用多层卷积特征提取器从包裹图像中提取特征，得到多层卷积特征提取器中最后一层卷积层输出的第一特征图；
平均池化模块3，用于对第一特征图进行全局平均池化，得到第一特征向量；
全局识别模块4，用于利用第一全连接层分类网络对第一特征向量进行分类，得到全局视野下的全局包裹识别结果；
局部注意力提取模块5，用于对第二特征图进行特征提取和归一化，得到第三特征图，其中，第二特征图为多层卷积特征提取器中第一层卷积层输出的特征图；
图像融合模块6，用于融合第一特征图和第三特征图，得到第四特征图，其中，第四特征图为利用第三特征图对第一特征图中的特征进行突出得到的特征图；
最大池化模块7，用于对第四特征图进行全局最大池化，得到第二特征向量；
局部识别模块8，用于利用第二全连接层分类网络对第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；
结果判断模块9，用于当全局包裹识别结果和局部包裹识别结果均判定正常，则包裹图像中包裹安全，若任一结果判定不正常，则包裹图像中包裹存在违禁品；
其中，多层卷积特征提取器、第一全连接层分类网络和第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，所述第二全连接层分类网络的梯度更新独立于所述多层卷积特征提取器和所述第一全连接层分类网络。
其中，多层卷积特征提取器为基于Resnet神经网络的卷积特征提取器。
其中，第一全连接层分类网络和第二全连接层分类网络均采用焦点损失函数进行分类。
具体的，上述局部提取模块5，具体用于对第二特征图进行卷积、池化和Sigmoid归一化操作，得到第三特征图。
具体的，图像融合模块6，可以包括上采样单元和融合单元；其中，
上采样单元，用于对第一特征图进行双线性插值上采样，得到与第三特征图相同尺寸的第五特征图；
融合单元，用于采用叉乘将第五特征图和第三特征图进行融合，得到第四特征图。
具体的，上述图像获取模块1，可以具体包括图像获取单元和图像缩小单元；其中，
图像获取单元，用于从安检机中获取初始包裹图像；
图像缩小单元，用于对初始包裹图像进行缩小，得到尺寸为64X64的包裹图像。
此外，本发明实施例还公开了一种包裹安检识别装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如前述的包裹安检识别方法。
另外，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述的包裹安检识别方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的技术内容进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种包裹安检识别方法，其特征在于，包括：
从安检机中获取包裹图像；
利用多层卷积特征提取器从所述包裹图像中提取特征，得到所述多层卷积特征提取器中最后一层卷积层输出的第一特征图；
对所述第一特征图进行全局平均池化，得到第一特征向量；
利用第一全连接层分类网络对所述第一特征向量进行分类，得到全局视野下的全局包裹识别结果；
对第二特征图进行特征提取和归一化，得到第三特征图，其中，所述第二特征图为所述多层卷积特征提取器中第一层卷积层输出的特征图；
对所述第一特征图进行双线性插值上采样，得到与所述第三特征图相同尺寸的第五特征图；
采用叉乘将所述第五特征图和所述第三特征图进行融合，得到第四特征图，其中，所述第四特征图为利用所述第三特征图对所述第一特征图中的特征进行突出得到的特征图；
对所述第四特征图进行全局最大池化，得到第二特征向量；
利用第二全连接层分类网络对所述第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；
当所述全局包裹识别结果和所述局部包裹识别结果均判定正常，则所述包裹图像中包裹安全，若任一结果判定不正常，则所述包裹图像中包裹存在违禁品；
其中，所述多层卷积特征提取器、所述第一全连接层分类网络和所述第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，所述第二全连接层分类网络的梯度更新独立于所述多层卷积特征提取器和所述第一全连接层分类网络。
2.根据权利要求1所述的包裹安检识别方法，其特征在于，所述多层卷积特征提取器为基于Resnet神经网络的卷积特征提取器。
3.根据权利要求1所述的包裹安检识别方法，其特征在于，所述第一全连接层分类网络和所述第二全连接层分类网络均采用焦点损失函数进行分类。
4.根据权利要求1至3任一项所述的包裹安检识别方法，其特征在于，所述对第二特征图进行特征提取和归一化，得到第三特征图的过程，包括：
对所述第二特征图进行卷积、池化和Sigmoid归一化操作，得到所述第三特征图。
5.根据权利要求4所述的包裹安检识别方法，其特征在于，所述从安检机中获取包裹图像的过程，包括：
从所述安检机中获取初始包裹图像；
对所述初始包裹图像进行缩小，得到尺寸为64X64的所述包裹图像。
6.一种包裹安检识别系统，其特征在于，包括：
图像获取模块，用于从安检机中获取包裹图像；
特征提取模块，用于利用多层卷积特征提取器从所述包裹图像中提取特征，得到所述多层卷积特征提取器中最后一层卷积层输出的第一特征图；
平均池化模块，用于对所述第一特征图进行全局平均池化，得到第一特征向量；
全局识别模块，用于利用第一全连接层分类网络对所述第一特征向量进行分类，得到全局视野下的全局包裹识别结果；
局部注意力提取模块，用于对第二特征图进行特征提取和归一化，得到第三特征图，其中，所述第二特征图为所述多层卷积特征提取器中第一层卷积层输出的特征图；
图像融合模块，用于融合所述第一特征图和所述第三特征图，得到第四特征图，其中，所述第四特征图为利用所述第三特征图对所述第一特征图中的特征进行突出得到的特征图；
最大池化模块，用于对所述第四特征图进行全局最大池化，得到第二特征向量；
局部识别模块，用于利用第二全连接层分类网络对所述第二特征向量进行分类，得到局部注意视野下的局部包裹识别结果；
结果判断模块，用于当所述全局包裹识别结果和所述局部包裹识别结果均判定正常，则所述包裹图像中包裹安全，若任一结果判定不正常，则所述包裹图像中包裹存在违禁品；
其中，所述多层卷积特征提取器、所述第一全连接层分类网络和所述第二全连接层分类网络为预先利用历史包裹图像进行训练得到的，所述第二全连接层分类网络的梯度更新独立于所述多层卷积特征提取器和所述第一全连接层分类网络；
其中，所述图像融合模块，包括：
上采样单元，用于对所述第一特征图进行双线性插值上采样，得到与所述第三特征图相同尺寸的第五特征图；
融合单元，用于采用叉乘将所述第五特征图和所述第三特征图进行融合，得到第四特征图。
7.根据权利要求6所述的包裹安检识别系统，其特征在于，局部提取模块，具体用于对所述第二特征图进行卷积、池化和Sigmoid归一化操作，得到所述第三特征图。
8.一种包裹安检识别装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至5任一项所述的包裹安检识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的包裹安检识别方法。
CN201910726092.4A 2019-08-07 2019-08-07 包裹安检识别方法、系统、装置及计算机可读存储介质 Active CN110427898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726092.4A CN110427898B (zh) 2019-08-07 2019-08-07 包裹安检识别方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726092.4A CN110427898B (zh) 2019-08-07 2019-08-07 包裹安检识别方法、系统、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110427898A CN110427898A (zh) 2019-11-08
CN110427898B true CN110427898B (zh) 2022-07-29

Family

ID=68414635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726092.4A Active CN110427898B (zh) 2019-08-07 2019-08-07 包裹安检识别方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110427898B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767902A (zh) * 2020-07-31 2020-10-13 上海中通吉网络技术有限公司 安检机危险品的识别方法、装置、设备及存储介质
CN114693957A (zh) * 2020-12-30 2022-07-01 顺丰科技有限公司 包裹分类方法、装置、电子设备及存储介质
CN113436151A (zh) * 2021-06-07 2021-09-24 中国铁道科学研究院集团有限公司电子计算技术研究所 安检方法、装置、电子设备及存储介质
CN114693700A (zh) * 2022-03-23 2022-07-01 成都智元汇信息技术股份有限公司 一种基于多源列数据的调度分配方法、智能识图盒子

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458822A (zh) * 2008-12-30 2009-06-17 暨南大学 一种3d模型的计算全息图快速生成方法
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN109961401A (zh) * 2017-12-14 2019-07-02 西安全志科技有限公司 一种双目相机的图像校正方法和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049751A (zh) * 2013-01-24 2013-04-17 苏州大学 一种改进的加权区域匹配高空视频行人识别方法
CN107170051A (zh) * 2017-05-23 2017-09-15 广东工业大学 一种智能安全检票系统
CN108960140B (zh) * 2018-07-04 2021-04-27 国家新闻出版广电总局广播科学研究院 基于多区域特征提取和融合的行人再识别方法
CN109255352B (zh) * 2018-09-07 2021-06-22 北京旷视科技有限公司 目标检测方法、装置及系统
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101458822A (zh) * 2008-12-30 2009-06-17 暨南大学 一种3d模型的计算全息图快速生成方法
CN109961401A (zh) * 2017-12-14 2019-07-02 西安全志科技有限公司 一种双目相机的图像校正方法和存储介质
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法

Also Published As

Publication number Publication date
CN110427898A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110427898B (zh) 包裹安检识别方法、系统、装置及计算机可读存储介质
JP7476194B2 (ja) 画像処理のためのシステムおよび方法
US20220084186A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
US10366293B1 (en) Computer system and method for improving security screening
US11308714B1 (en) Artificial intelligence system for identifying and assessing attributes of a property shown in aerial imagery
US11106930B2 (en) Classifying compartments at security checkpoints by detecting a shape of an object
CN106250838A (zh) 车辆识别方法及系统
CN111382762A (zh) 空箱识别方法及系统
CN114821282B (zh) 一种基于域对抗神经网络的图像检测装置及方法
CN108171162A (zh) 人群拥挤度检测方法、装置及系统
US20200394417A1 (en) Classifying a material inside a compartment at security checkpoints
CN111523558A (zh) 一种基于电子围网的船只遮挡检测方法、装置及电子设备
CN116092096A (zh) 用于检验申报信息真实性的方法、系统、设备及介质
CN112967289A (zh) 安检包裹匹配方法、系统、设备及存储介质
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN111553184A (zh) 一种基于电子围网的小目标检测方法、装置及电子设备
US20240070721A1 (en) Information processing apparatus, information processing method, and computer readable recording medium
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
US20230169619A1 (en) Two-stage screening technique for prohibited objects at security checkpoints using image segmentation
CN112465149A (zh) 同城件识别方法、装置、电子设备以及存储介质
Chen et al. Atomic number prior guided network for prohibited items detection from heavily cluttered X-ray imagery
CN117036670B (zh) 质量检测模型的训练方法、装置、设备、介质及程序产品
CN112036312A (zh) 质检场景识别方法、装置、计算机设备及可读存储介质
Maligalig et al. Machine Vision System of Emergency Vehicle Detection System Using Deep Transfer Learning
CN112424804A (zh) 用于检查物品的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant