CN111539251A - 一种基于深度学习的安检物品识别方法和系统 - Google Patents

一种基于深度学习的安检物品识别方法和系统 Download PDF

Info

Publication number
CN111539251A
CN111539251A CN202010182897.XA CN202010182897A CN111539251A CN 111539251 A CN111539251 A CN 111539251A CN 202010182897 A CN202010182897 A CN 202010182897A CN 111539251 A CN111539251 A CN 111539251A
Authority
CN
China
Prior art keywords
security inspection
inspection image
area
target article
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010182897.XA
Other languages
English (en)
Other versions
CN111539251B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Terminus Technology Co Ltd
Original Assignee
Chongqing Terminus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Terminus Technology Co Ltd filed Critical Chongqing Terminus Technology Co Ltd
Priority to CN202010182897.XA priority Critical patent/CN111539251B/zh
Publication of CN111539251A publication Critical patent/CN111539251A/zh
Application granted granted Critical
Publication of CN111539251B publication Critical patent/CN111539251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的安检物品识别方法，包括如下步骤：S1，采集多角度安检图像，并进行分割，获取目标物品区域；S2，采集并统计目标物品区域及其周围环境区域的像素值，生成对应的像素分布特征直方图，并计算对应的像素分布特征直方图的方差；S3，利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；S4，逐一对各幅安检图像中独立物品的目标物品区域进行特征提取，获取特征，并对特征与权重进行处理，生成融合特征；S5，利用融合特征，进行独立物品的物品类别的识别。有利于获取物品内部结构信息，避免依据物体的外部轮廓进行判断而产生的误差，提高了违禁物品识别的准确度和识别效率。

Description

一种基于深度学习的安检物品识别方法和系统
技术领域
本发明涉及安检技术领域，更具体地说是涉及一种基于深度学习的安检物品识别方法和系统。
背景技术
目前，利用X光透射包裹物品的安检方式广泛应用于机场、车站、博物馆、办公楼等场所的安检过程中，该技术以X射线照射被检测物体，根据探测器接收到的信号，再经过计算机的处理得到被检测物体的射线图像，安检员通过观察X光图像，根据常见的违禁品的形状以及色带辨别图像中是否有可以违禁物品，这种人工判读的方式效率低、漏检率高，并且会产生较高的人工成本。
针对上述情况，现有技术采用了基于机器识别实现对违禁品的自动识别检测，提高了安检效率、准确度，也极大地降低了安检的人工成本；但是，机器识别在实际安检检测应用中，需要对安检图像中的物品进行分割，获得独立的物品，进而提取物品的特征，并与物品类型模板进行特征匹配，才能最终确定物品的类型；由于安检图像中各类物品混杂结合，空间关系交错，导致分割独立物品错误率高，且物品的细节在安检图像上展现不充分，部分物品由于自身形变或者在包裹中的摆放方式，导致形态多样，不易提取物品的特征，影响与模板的特征匹配。
因此，如何避免现有技术的缺陷，提升独立物品分割的准确度，进而依据深度学习模型提取物品特征，进行违禁品识别，是本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于深度学习的安检物品识别方法和系统，通过统计安检图像中目标物品区域及其周围一定范围的环境区域的像素分布特征直方图并计算对应的方差，确定安检图像中目标物品区域的独立物品，依据独立物品的目标物品区域与环境区域的像素分布特征直方图的方差为独立物品的目标物品区域设定权重，利用深度学习模型获取独立物品的目标物品区域的特征，并与权重进行特征融合，最终将融合后的特征输入SVM分类机，以期准确、高效的识别违禁物品。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的安检物品识别方法，包括如下步骤：
S1，采集X光透射的多角度安检图像，并逐一对安检图像进行分割，获取目标物品区域；
S2，逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
S3，利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；
S4，逐一对各幅安检图像中独立物品的目标物品区域进行特征提取，获取特征，并对特征与权重进行处理，生成融合特征；
S5，利用融合特征，进行独立物品的物品类别的识别。
具体的，针对同一个待检测包裹，需要采集至少6个角度的安检图像，以便后续进行独立物品的确认。
具体的，对采集的各个角度的安检图像，采用边缘分割的方式进行安检图像的分割，即利用边缘检测算子提取出待分割的包裹安检图像中不同目标物品的边界，然后对分割边界内的像素进行连通和标注，从而构成目标物品区域。
优选的，由于X射线穿过物品时，不同物品内部结构能够不同程度地吸收X射线，所以从物品透射出来的X射线强度决定了成像的像素值，因此像素值分布的特征直方图能够反映出物品内部结构信息；针对每幅安检图像，对目标物品区域以及其周围一定范围的环境区域，进行像素值分布的统计，获得各幅安检图像中的目标物品区域的像素分布特征直方图，同时，逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，进一步根据上述像素分布特征直方图计算出对应的各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差，有利于依据安检图像中的目标物品区域的像素分布特征直方图的方差的离散程度判断每幅安检图像中对应的目标物品区域的物品是否属于同一种物品，便于准确的进行独立物品的确认。
具体的，所述确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品。
优选的，设定的独立物品的目标物品区域的权重的大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比，所述方差越小，设定的权重值越小，所述方差越大，设定的权重值越大。
优选的，所述S4利用深度学习模型进行目标物品区域的特征提取；其中，所述深度学习模型为卷积神经网络的特征提取模型，卷积神经网络具有自学习能力，进行特征提取时具有较高的准确度和效率。
优选的，所述融合特征的具体生成方式为：将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重逐一进行乘法运算，获得运算结果，再将所述运算结果进行合并，获得融合特征；其中，所述融合特征用于所述独立物品的目标物品类别的识别；融合特征有利于表征所述独立物品多角度特征，提高了物品识别的准确度。
基于上述方法，设计如下系统：
一种基于深度学习的安检物品识别系统，包括采集模块、分割模块、统计计算模块、独立物品确定模块、融合模块以及识别模块；其中，
所述采集模块用于采集X光透射的多角度安检图像；
所述分割模块用于对安检图像进行分割，获取目标物品区域；
所述统计计算模块用于逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
所述独立物品确定模块用于利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域逐一设定权重；
所述融合模块用于逐一对各幅安检图像中独立物品的目标物品区域进行特征提取，获取特征，并对特征与权重进行处理，生成融合特征；
所述识别模块用于利用融合特征，进行独立物品的物品类别的识别。
具体的，针对同一个待检测包裹，需要采集至少6个角度的安检图像，以便后续进行独立物品的确认。
具体的，对采集的各个角度的安检图像，采用边缘分割的方式进行安检图像的分割，即利用边缘检测算子提取出待分割的包裹安检图像中不同目标物品的边界，然后对分割边界内的像素进行连通和标注，从而构成目标物品区域。
优选的，由于X射线穿过物品时，不同物品内部结构能够不同程度地吸收X射线，所以从物品透射出来的X射线强度决定了成像的像素值，因此像素值分布的特征直方图能够反映出物品内部结构信息；针对每幅安检图像，对目标物品区域以及其周围一定范围的环境区域，进行像素值分布的统计，获得各幅安检图像中的目标物品区域的像素分布特征直方图，同时，逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，进一步根据上述像素分布特征直方图计算出对应的各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差，有利于依据安检图像中的目标物品区域的像素分布特征直方图的方差的离散程度判断每幅安检图像中对应的目标物品区域的物品是否属于同一种物品，便于准确的进行独立物品的确认。
优选的，所述确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值进行比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品。
优选的，设定的独立物品的目标物品区域的权重大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比，所述方差越小，设定的权重值越小，所述方差越大，设定的权重值越大。
优选的，所述融合模块利用深度学习模型进行目标物品区域的特征提取；其中，所述深度学习模型为卷积神经网络的特征提取模型，卷积神经网络具有自学习能力，进行特征提取时具有较高的准确度和效率。
优选的，所述融合特征的具体生成方式为：将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重逐一进行乘法运算，获得运算结果，再将所述运算结果进行合并，获得融合特征；其中，所述融合特征用于所述独立物品的目标物品类别的识别，融合特征有利于表征所述独立物品多角度特征，提高了物品识别的准确度。
本发明具有以下有益效果：
经由上述的技术方案可知，基于现有技术，本发明提出了一种基于深度学习的安检物品识别方法和系统，有利于获取物品内部结构信息，避免依据物体的外部轮廓进行判断而产生的误差，提高了违禁物品识别的准确度和识别效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为基于深度学习的安检物品识别方法流程图；
图2为基于深度学习的安检物品识别系统框图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
作为优选，所述包裹包括但不限于有填充物的箱体、包、袋类。
如图1所示，本发明提供了如下方法：
一种基于深度学习的安检物品识别方法，包括如下步骤：
S1，采集X光透射的多角度安检图像，并逐一对安检图像进行分割，获取目标物品区域；
具体的，当对一个包裹进行安检时，利用X光对该包裹进行透射，并采集X光透射的至少六个角度的安检图像；通过边缘分割的方式对采集的至少六个角度的安检图像进行分割处理，即利用边缘检测算子提取出待分割的至少六个角度的安检图像中不同目标物品的边界，然后对分割边界内的像素进行连通和标注，从而构成目标物品区域，同一个角度的安检图像可以分割至少一个目标物品区域。
S2，逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
具体的，X光是比可见光波长还要短的一种电磁辐射，具有比可见光更强的固体、液体穿透能力，甚至能够穿透一定厚度的钢板。当X光穿过包裹时，包裹内不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X光射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息，进而对目标物品区域和周围环境区域的像素值进行统计，并生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图；进一步的，依据各幅安检图像中的目标物品区域的像素分布特征直方图可以计算对应的方差，由于方差的大小能够表征各个角度的安检图像中所述目标物品区域的像素值的整体离散程度，即，当各幅安检图像中的目标物品区域的像素分布特征直方图的方差小于或者等于设定的对应的方差阈值时，则证明各个角度的安检图像中显示的所述目标物品区域的像素值相差较小，该目标物品区域中的物品是同一个或者同一种物品，因此通过物品方差可以准确的进行独立物品的确认。
S3，利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；
具体的，确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，通过上述过程的迭代，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品；当包裹的安检图像分割的目标物品区域个数超过一个时，每个目标物品区域均需要进行独立物品的确定，每个目标物品区域的独立物品的确定过程同时进行。
具体的，当目标物品区域进行独立物品的确定后，为各幅安检图像的对应的同一目标物品区域设定权重，设定的独立物品的目标物品区域的权重的大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比，所述方差越小，设定的权重值越小，所述方差越大，设定的权重值越大。
S4，逐一对独立物品的目标物品区域进行特征提取，获取特征，并将特征与权重融合，生成融合特征；
利用深度学习模型进行特征提取，该深度学习模型选取卷积神经网络的特征提取模型，即，将大量的目标物品区域图片样本输入至该卷积神经网络的特征提取模型的输入层，输入层各神经元接收到目标物品区域图片样本，并传输至中间层，由中间层各神经元对目标物品区域图片样本进行处理，并通过输出层输出该目标物品区域图片样本的内部结构特征，将输出的目标物品区域图片样本的内部结构特征与预期内部结构特征进行比对，若误差超出可以接受的范围，则将误差反向传播，不断修正卷积神经网络的各层权值，直至输出的内部结构特征与预期输出结果的误差在可以接受的范围，则获得一个训练完成的卷积神经网络的特征提取模型；进而将待提取的目标物品区域图片输入至该卷积神经网络的特征提取模型中，经过中间层各神经元的处理，输出该目标样本区域中独立物品的内部结构特征。
具体的，将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重进行逐一乘法运算，获得运算结果，再将所述运算结果进行合并，获得融合特征，所述融合特征能够表征该独立物品基于不同角度的总体特征，用于所述独立物品的目标物品类别的识别。
S5，利用融合特征，进行物品类别的识别。
具体的，可以利用SVM分类机进行物品类别识别，即将融合特征输入至SVM分类机，以识别该目标物品区域中的独立物品是否属于违禁物品。
如图2所示，
一种基于深度学习的安检物品识别系统，包括采集模块1、分割模块2、统计计算模块3、独立物品确定模块4、融合模块5以及识别模块6；其中，
采集模块1采集X光透射的至少六个角度的安检图像，并通过分割模块2对安检图像进行分割，即，利用边缘检测算子提取出待分割的至少六个角度的安检图像中不同目标物品的边界，然后对分割边界内的像素进行连通和标注，从而构成目标物品区域，同一个角度的安检图像可以分割至少一个目标物品区域；
利用统计计算模块3逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
具体的，X光是比可见光波长还要短的一种电磁辐射，具有比可见光更强的固体、液体穿透能力，甚至能够穿透一定厚度的钢板。当X光穿过包裹时，包裹内不同物质组成、不同密度和不同厚度的物品内部结构能够不同程度地吸收X光射线，密度、厚度越大，吸收射线越多；密度、厚度越小，吸收射线越少，生成图像的像素值代表物体实物的密度值，所以从物品透射出来的射线强度就能够反映出物品内部结构信息，进而对目标物品区域和周围环境区域的像素值进行统计，并生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图；进一步的，依据各幅安检图像中的目标物品区域的像素分布特征直方图可以计算对应的方差，由于方差的大小能够表征各个角度的安检图像中所述目标物品区域的像素值的整体离散程度，即，当各幅安检图像中的目标物品区域的像素分布特征直方图的方差小于或者等于设定的对应的方差阈值时，则证明各个角度的安检图像中显示的所述目标物品区域的像素值相差较小，该目标物品区域中的物品是同一个或者同一种物品，因此通过物品方差可以准确的进行独立物品的确认。
独立物品确定模块4利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；
具体的，独立物品确定模块4确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，通过上述过程的迭代，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品；当包裹的安检图像分割的目标物品区域个数超过一个时，每个目标物品区域均需要进行独立物品的确定，每个目标物品区域的独立物品的确定过程同时进行。
具体的，当目标物品区域进行独立物品的确定后，为各幅安检图像的对应的同一目标物品区域设定权重，设定的独立物品的目标物品区域的权重的大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比，所述方差越小，设定的权重值越小，所述方差越大，设定的权重值越大。
融合模块5利用深度学习模型进行特征提取逐一对独立物品的目标物品区域进行特征提取，该深度学习模型选取卷积神经网络的特征提取模型，即，将大量的目标物品区域图片样本输入至该卷积神经网络的特征提取模型的输入层，输入层各神经元接收到目标物品区域图片样本，并传输至中间层，由中间层各神经元对目标物品区域图片样本进行处理，并通过输出层输出该目标物品区域图片样本的内部结构特征，将输出的目标物品区域图片样本的内部结构特征与预期内部结构特征进行比对，若误差超出可以接受的范围，则将误差反向传播，不断修正卷积神经网络的各层权值，直至输出的内部结构特征与预期输出结果的误差在可以接受的范围，则获得一个训练完成的卷积神经网络的特征提取模型；进而将待提取的目标物品区域图片输入至该卷积神经网络的特征提取模型中，经过中间层各神经元的处理，输出该目标样本区域中独立物品的内部结构特征，进而获取特征，再将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重进行逐一乘法运算，获得运算结果，最后将所述运算结果进行合并，获得融合特征，所述融合特征能够表征该独立物品基于不同角度的总体特征，用于所述独立物品的目标物品类别的识别。
识别模块6可以采用SVM分类机，依据融合特征，进行物品类别的识别，即，即将融合特征输入至SVM分类机，以识别该目标物品区域中的独立物品是否属于违禁物品。
为了进一步优化上述技术特征，确定独立物品的目标物品区域的方式为：将目标物品区域的像素分布特征直方图的方差与物品方差阈值进行比较，筛选小于或者等于物品方差阈值的目标物品区域，确定为独立物品；当目标物品区域的像素分布特征直方图的方差大于物品方差阈值时，排除目标物品区域与环境区域的像素分布直方图中方差最小的安检图片，并对其余安检图片的目标物品区域的像素分布特征直方图的方差与物品方差阈值进行比对，直至筛选出满足目标物品区域的像素分布特征直方图的方差小于或等于与物品方差阈值的目标物品区域，确定为独立物品。
为了进一步优化上述技术特征，设定的独立物品的目标物品区域的权重的大小与其像素分布特征直方图的方差成正比。
为了进一步优化上述技术特征，融合模块5利用深度学习模型进行目标物品区域的特征提取；其中，深度学习模型为卷积神经网络的特征提取模型。
为了进一步优化上述技术特征，融合特征的生成方式为：将获取的独立物品的目标物品区域的特征与其设定的权重进行乘法运算，获得运算结果，再将多角度安检图片中的独立物品的运算结果进行合并，获得融合特征；其中，融合特征用于独立物品的目标物品类别的识别。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于深度学习的安检物品识别方法，其特征在于，包括如下步骤：
S1，采集X光透射的多角度安检图像，并逐一对安检图像进行分割，获取目标物品区域；
S2，逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
S3，利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；
S4，逐一对各幅安检图像中独立物品的目标物品区域进行特征提取，获取特征，并对特征与权重进行处理，生成融合特征；
S5，利用融合特征，进行独立物品的物品类别的识别。
2.根据权利要求1所述的基于深度学习的安检物品识别方法，其特征在于，所述确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品。
3.根据权利要求2所述的基于深度学习的安检物品识别方法，其特征在于，设定的独立物品的目标物品区域的权重大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比。
4.根据权利要求1所述的基于深度学习的安检物品识别方法，其特征在于，所述S4利用深度学习模型进行目标物品区域的特征提取；其中，所述深度学习模型为卷积神经网络的特征提取模型。
5.根据权利要求1所述的基于深度学习的安检物品识别方法，其特征在于，所述融合特征的具体生成方式为：将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重逐一进行乘法运算，获得运算结果，再将所述运算结果进行合并，获得融合特征；其中，所述融合特征用于所述独立物品的目标物品类别的识别。
6.一种基于深度学习的安检物品识别系统，其特征在于，包括采集模块(1)、分割模块(2)、统计计算模块(3)、独立物品确定模块(4)、融合模块(5)以及识别模块(6)；其中，
所述采集模块(1)用于采集X光透射的多角度安检图像；
所述分割模块(2)用于对安检图像进行分割，获取目标物品区域；
所述统计计算模块(3)用于逐一采集并统计各幅安检图像中的目标物品区域以及其周围环境区域的像素值，生成各幅安检图像中的目标物品区域的像素分布特征直方图，同时逐一生成各幅安检图像的目标物品区域与环境区域的像素分布特征直方图，并计算各幅安检图像中的目标物品区域的像素分布特征直方图的方差以及各幅安检图像中目标物品区域与环境区域的像素分布特征直方图的方差；
所述独立物品确定模块(4)用于利用方差确定独立物品，并逐一为各幅安检图像中独立物品的目标物品区域设定权重；
所述融合模块(5)用于逐一对各幅安检图像中独立物品的目标物品区域进行特征提取，获取特征，并对特征与权重进行处理，生成融合特征；
所述识别模块(6)用于利用融合特征，进行独立物品的物品类别的识别。
7.根据权利要求6所述的一种基于深度学习的安检物品识别系统，其特征在于，所述确定独立物品的方式为：当各幅安检图像中的目标物品区域的像素分布特征直方图的方差与对应的方差阈值进行比较时，将小于或者等于对应的方差阈值的目标物品区域中的物品确定为独立物品；当各幅安检图像中的目标物品区域的像素分布特征直方图的方差大于对应的方差阈值时，排除各幅安检图像中目标物品区域与环境区域的像素分布直方图中方差最小的安检图像，重新计算剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差，并将所述方差与对应的方差阈值进行比对，直至满足剩余各幅安检图像的目标物品区域的像素分布特征直方图的方差小于或等于对应的方差阈值的目标物品区域，则确定所述目标物品区域中的物品为独立物品。
8.根据权利要求7所述的一种基于深度学习的安检物品识别系统，其特征在于，设定的独立物品的目标物品区域的权重大小与其目标物品区域与环境区域的像素分布特征直方图的方差成正比。
9.根据权利要求6所述的一种基于深度学习的安检物品识别系统，其特征在于，所述融合模块(5)利用深度学习模型进行目标物品区域的特征提取；其中，所述深度学习模型为卷积神经网络的特征提取模型。
10.根据权利要求6所述的一种基于深度学习的安检物品识别系统，其特征在于，所述融合特征的具体生成方式为：将各幅安检图像中获取的同一独立物品的目标物品区域的特征与其对应设定的权重逐一进行乘法运算，获得运算结果，再将所述运算结果进行合并，获得融合特征；其中，所述融合特征用于所述独立物品的目标物品类别的识别。
CN202010182897.XA 2020-03-16 2020-03-16 一种基于深度学习的安检物品识别方法和系统 Active CN111539251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010182897.XA CN111539251B (zh) 2020-03-16 2020-03-16 一种基于深度学习的安检物品识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010182897.XA CN111539251B (zh) 2020-03-16 2020-03-16 一种基于深度学习的安检物品识别方法和系统

Publications (2)

Publication Number Publication Date
CN111539251A true CN111539251A (zh) 2020-08-14
CN111539251B CN111539251B (zh) 2021-03-19

Family

ID=71952092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182897.XA Active CN111539251B (zh) 2020-03-16 2020-03-16 一种基于深度学习的安检物品识别方法和系统

Country Status (1)

Country Link
CN (1) CN111539251B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781426A (zh) * 2021-09-07 2021-12-10 海深智能科技(上海)有限公司 一种识别液体成分的智能安检方法
CN114550074A (zh) * 2022-04-25 2022-05-27 成都信息工程大学 一种基于计算机视觉的图像识别方法及系统
CN116630725A (zh) * 2023-07-24 2023-08-22 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544492A (zh) * 2013-08-06 2014-01-29 Tcl集团股份有限公司 基于深度图像三维曲面几何特征的目标识别方法和装置
CN104680149A (zh) * 2015-03-10 2015-06-03 苏州科达科技股份有限公司 一种物体类型识别方法及系统
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
US20180165845A1 (en) * 2016-12-09 2018-06-14 Free Construction Sp. Z o.o. Method of Analysis of Visualised Data
CN108182454A (zh) * 2018-01-18 2018-06-19 苏州大学 安检识别系统及其控制方法
CN108681752A (zh) * 2018-05-28 2018-10-19 电子科技大学 一种基于深度学习的图像场景标注方法
CN108802840A (zh) * 2018-05-31 2018-11-13 北京迈格斯智能科技有限公司 基于人工智能深度学习的自动识别物体的方法及其装置
EP3428849A1 (en) * 2017-07-14 2019-01-16 Synapse Technology Corporation Detection of items
CN109543996A (zh) * 2018-11-20 2019-03-29 广东机场白云信息科技有限公司 一种基于轨迹行为分析的机场人员工作评估方法
CN109784203A (zh) * 2018-12-24 2019-05-21 中国科学院大学 基于分层传播和激活的弱监督x光图像违禁品检查方法
US20190156157A1 (en) * 2017-11-21 2019-05-23 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备
CN109948562A (zh) * 2019-03-25 2019-06-28 浙江啄云智能科技有限公司 一种基于x射线图像的安检系统深度学习样本生成方法
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法
CN110599578A (zh) * 2019-07-29 2019-12-20 深圳市易尚展示股份有限公司 一种真实感三维彩色纹理重建方法
CN110706328A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和系统
CN110711718A (zh) * 2019-07-26 2020-01-21 广东邮政邮件快件服务有限公司 基于x光图像的快递包裹智能分拣系统、方法及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544492A (zh) * 2013-08-06 2014-01-29 Tcl集团股份有限公司 基于深度图像三维曲面几何特征的目标识别方法和装置
CN104680149A (zh) * 2015-03-10 2015-06-03 苏州科达科技股份有限公司 一种物体类型识别方法及系统
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
US20180165845A1 (en) * 2016-12-09 2018-06-14 Free Construction Sp. Z o.o. Method of Analysis of Visualised Data
EP3428849A1 (en) * 2017-07-14 2019-01-16 Synapse Technology Corporation Detection of items
US20190156157A1 (en) * 2017-11-21 2019-05-23 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
CN108182454A (zh) * 2018-01-18 2018-06-19 苏州大学 安检识别系统及其控制方法
CN108681752A (zh) * 2018-05-28 2018-10-19 电子科技大学 一种基于深度学习的图像场景标注方法
CN108802840A (zh) * 2018-05-31 2018-11-13 北京迈格斯智能科技有限公司 基于人工智能深度学习的自动识别物体的方法及其装置
CN109543996A (zh) * 2018-11-20 2019-03-29 广东机场白云信息科技有限公司 一种基于轨迹行为分析的机场人员工作评估方法
CN109784203A (zh) * 2018-12-24 2019-05-21 中国科学院大学 基于分层传播和激活的弱监督x光图像违禁品检查方法
CN109902643A (zh) * 2019-03-07 2019-06-18 浙江啄云智能科技有限公司 基于深度学习的智能安检方法、装置、系统及其电子设备
CN109948562A (zh) * 2019-03-25 2019-06-28 浙江啄云智能科技有限公司 一种基于x射线图像的安检系统深度学习样本生成方法
CN110031909A (zh) * 2019-04-18 2019-07-19 西安天和防务技术股份有限公司 安检系统及安检方法
CN110711718A (zh) * 2019-07-26 2020-01-21 广东邮政邮件快件服务有限公司 基于x光图像的快递包裹智能分拣系统、方法及存储介质
CN110599578A (zh) * 2019-07-29 2019-12-20 深圳市易尚展示股份有限公司 一种真实感三维彩色纹理重建方法
CN110706328A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A.J.SCHOFIELD ET AL: "A system for counting people in video images using neural networks to identify the background scene", 《PATTERN RECOGNITION》 *
任陈俊: "基于机器视觉的场景目标检测与分类研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
余道洋: "利用能量色散X射线探测复杂背景下毒品/危险品的新方法研究与应用", 《中国博士学位论文全文数据库 信息科技辑》 *
戴维迪等: "CBS安检图像中人体携带物特征提取与形状识别", 《核电子学与探测技术》 *
支洪平等: "基于深度学习的X光安检图像智能识别设备的设计与实现", 《电子测试》 *
涂兵等: "区域协方差与中值校正融合的天际线检测算法研究", 《计算机科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781426A (zh) * 2021-09-07 2021-12-10 海深智能科技(上海)有限公司 一种识别液体成分的智能安检方法
CN113781426B (zh) * 2021-09-07 2024-02-13 海深智能科技(上海)有限公司 一种识别液体成分的智能安检方法
CN114550074A (zh) * 2022-04-25 2022-05-27 成都信息工程大学 一种基于计算机视觉的图像识别方法及系统
CN116630725A (zh) * 2023-07-24 2023-08-22 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质
CN116630725B (zh) * 2023-07-24 2023-10-31 广东北斗翔晨科技有限公司 基于多维筛选的垃圾分类处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111539251B (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN111145177B (zh) 图像样本生成方法、特定场景目标检测方法及其系统
CN111539251B (zh) 一种基于深度学习的安检物品识别方法和系统
CN109902643B (zh) 基于深度学习的智能安检方法、装置、系统及其电子设备
US10013615B2 (en) Inspection methods and devices
CN109948565B (zh) 一种用于邮政业的违禁品不开箱检测方法
EP3349048B1 (en) Inspection devices and methods for detecting a firearm in a luggage
CN106485268B (zh) 一种图像识别方法及装置
US10042079B2 (en) Image-based object detection and feature extraction from a reconstructed charged particle image of a volume of interest
Malarvel et al. An improved version of Otsu's method for segmentation of weld defects on X-radiography images
CN102288613B (zh) 一种灰度和深度信息融合的表面缺陷检测方法
CN110929756B (zh) 基于深度学习的钢材尺寸和数量的识别方法、智能设备和存储介质
CN110020647B (zh) 一种违禁品目标检测方法、装置及计算机设备
US8131107B2 (en) Method and system for identifying defects in NDT image data
US20090052622A1 (en) Nuclear material detection system
CN111881909A (zh) 煤矸识别方法、装置、电子设备及存储介质
US9342483B2 (en) Sensor data processing
CN110910467B (zh) 一种x射线图像样本生成方法、系统及用途
CN113781415B (zh) 一种x射线图像的缺陷检测方法、装置、设备及介质
Pieringer et al. Flaw detection in aluminium die castings using simultaneous combination of multiple views
CN110189375A (zh) 一种基于单目视觉测量的图像目标识别方法
CN114548230B (zh) 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法
CN104168462B (zh) 基于图像角点集特征的摄像头场景变换检测方法
CN105809092A (zh) 人群目标检测方法及其装置
CN110992324B (zh) 一种基于x射线图像的智能危险品检测方法及系统
CN117274623A (zh) 用于智能检索识别违禁物品的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant