CN113706497B - 一种违禁品智能识别装置和系统 - Google Patents
一种违禁品智能识别装置和系统 Download PDFInfo
- Publication number
- CN113706497B CN113706497B CN202110975257.9A CN202110975257A CN113706497B CN 113706497 B CN113706497 B CN 113706497B CN 202110975257 A CN202110975257 A CN 202110975257A CN 113706497 B CN113706497 B CN 113706497B
- Authority
- CN
- China
- Prior art keywords
- package
- layer
- over
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 230000003068 static effect Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 7
- 239000006002 Pepper Substances 0.000 claims abstract description 7
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 7
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 7
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 7
- 150000003839 salts Chemical class 0.000 claims abstract description 7
- 238000007689 inspection Methods 0.000 claims description 52
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 241000722363 Piper Species 0.000 claims description 6
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000011049 filling Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000002955 isolation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 3
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- GJWAPAVRQYYSTK-UHFFFAOYSA-N [(dimethyl-$l^{3}-silanyl)amino]-dimethylsilicon Chemical group C[Si](C)N[Si](C)C GJWAPAVRQYYSTK-UHFFFAOYSA-N 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Abstract
本发明公开了一种违禁品智能识别装置，包括过包图片静态帧采集模块、包裹检测模型、包裹标识模型和显示模块；包裹检测模型包括图像预处理单元和物品检测单元；图像预处理单元用于去除过包图片中的椒盐噪声；物品检测单元采用改进后的SSD网络模型，对导入的过包图片进行多次卷积后提取得到图像边缘轮廓特征，再经多次全连接层提取得到多次图像特征；物品检测单元融合所有提取到的图像特征和图像边缘轮廓特征，判断过包图片中是否包含物品，如果包含物品，将过包图片和对应的特征图发送至包裹标识模型，否则，将过包图片发送至显示模块。本发明可显著提升X光图像违禁品智能识别系统稳定性，检测效率和识别精度。
Description
技术领域
本发明涉及违禁品识别技术领域，具体而言涉及一种违禁品智能识别装置和系统。
背景技术
目前，各地铁站、高铁站、汽车客运站、物流、快递安检中转站、港口、大型活动和重要场所等检查站点的物品安检存在以下不足：第一，单一物检的方法已不能快速、有效的满足高速发展的各检查站点高人流通量、快速过检的需求；第二，安检员工作强度大，离职率较高，新安检员上岗到熟悉业务，需要较长时间，导致整体行业安检水平整体下降；第三，安检员难以识别违禁品(易制枪)、危险品零配件形态，对现场组装违禁品、危险品零配件作案的风险无法预防；第四，无法全天候执行安检的监督任务；第五，各站物品安检数据无法上报或上报延时点。
发明内容
本发明针对现有技术中的不足，提供一种违禁品智能识别装置和系统，从违禁品智能识别系统整体网络架构、违禁品识别流程、识别算法、数据上报机制4各方法进行优化，可显著提升X光图像违禁品智能识别系统稳定性，检测效率和识别精度。
为实现上述目的，本发明采用以下技术方案：
第一方面，本发明实施例提出了一种违禁品智能识别装置，所述违禁品智能识别装置包括过包图片静态帧采集模块、包裹检测模型、包裹标识模型和显示模块；
所述过包图片静态帧采集模块用于对安检机的X光视频源信号进行采集，输出连续的图像帧队列，逐帧抽取得到过包图片；
所述包裹检测模型包括图像预处理单元和物品检测单元；图像预处理单元用于对导入的过包图片进行缩放和中值滤波处理，以去除过包图片中的椒盐噪声，将去除噪声后的过包图片导入物品检测单元；物品检测单元采用改进后的SSD网络模型，对导入的过包图片进行多次卷积后提取得到图像边缘轮廓特征，再经多次全连接层提取得到多次图像特征；
在每一层特征提取后，同时采用归一化处理以避免梯度消失和采用残差块以提升对小目标物体的检测能力；其中，在图像边缘轮廓特征提取时，归一化处理后采用Sobel算子增强对过包图片中的物品边缘特征的提取；在改进后的SSD网络模型的中部，在一次卷积至二次图像特征提取之间，采用特征融合的方式，引入75*75*256图片特征；
所述物品检测单元融合所有提取到的图像特征和图像边缘轮廓特征，判断过包图片中是否包含物品，如果包含物品，将过包图片和对应的特征图发送至包裹标识模型，否则，将过包图片发送至显示模块；
所述包裹标识模型对接收到的特征图进行NMS处理及物品分类、标注处理，识别其中包含的违禁品类型，将标注后的过包图片发送至显示模块；
所述显示模块用于对接收到的过包图片进行输出显示分辨率适配处理，将处理后的过包图片交由显示线程，经显示线程推送至显示器以显示。
可选地，所述预处理包括：
对过包图片的输入尺寸进行裁剪、填充和缩放操作，使其与包裹标识模型相适配；
对输入的过包图片静态帧进行噪声处理，去除过包图片静态帧中的椒盐噪声。
可选地，所述物品检测单元包括卷积层(conv3_3)、卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)、卷积层(con11_2)、最大池化层(Max_pool)、卷积层(conv1#)，以及7个归一化层、7个残差块层和7个检测器；
所述卷积层(conv3_3)、卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)依次连接，用于对导入的过包图片依次卷积，提取其中包含的图像特征，其中，卷积层(conv4_3)用于提取过包图片对应的图像边缘轮廓特征；
所述最大池化层(Max_pool)和卷积层(conv1#)连接在卷积层(conv3_3)和卷积层(con8_2) 之间，卷积层(conv3_3)的输出特征经最大池化层(Max_pool)处理后输出至卷积层(conv1#)，卷积层(conv1#)的输出特征与全连接层(FC7)的输出特征融合后导入卷积层(con8_2)；
所述卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)的输出端分别与其中一个归一化层和残差块层的输入端连接，归一化层和残差块层的输出端与检测器的输入端连接；所述卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)的输出结果分别经相应的归一化层和残差块层处理后导入检测器；其中，卷积层(conv4_3)输出的图像边缘轮廓特征在归一化层和检测器之间还连接有用于对图像的轮廓进行增强处理的sobel算子层。
可选地，所述包裹检测模型和包裹标识模型的训练过程包括：
采集一定量包含X光违禁品图片的轨道交通X光安检机图像，使用LabelMe对X光违禁品图片进行标注，标注内容包含违禁品矩形框和类别及包裹的矩形框信息，生成一定量的训练样本；
将训练样本划分为训练集和测试集；
采用训练集对包裹检测模型和包裹标识模型进行训练，采用测试集对训练完成的包裹检测模型的检测准确率和包裹标识模型的标识准确率进行验证。
可选地，所述包裹检测模型和包裹标识模型运行在两个不同的线程中，两个线程通过消息队列进行数据交互。
第二方面，本发明实施例提出了一种违禁品智能识别系统，所述识别系统包括：
摄像机，用于拍摄过检人员和过检包裹的视频信息；
硬盘录像机，与摄像机连接，用于存储摄像机拍摄到的过检人员和过检包裹的视频信息；
安检机，用于传送过检包裹，并在传送过程中对过检包裹进行X光成像处理；
如权利要求1-5任一项中所述的违禁品智能识别装置，用于对安检机发送的X光视频源信号进行处理，定位包裹在视频帧中的位置，识别包裹中包含的违禁品的类型；
违禁品智能识别系统平台，用于存储过检包裹的X光图像，对违禁品智能识别装置的定位和识别结果进行实时跟踪和实时展示；
手持机，用于对例行开包检查的物品进行拍照取证，记录相关用户的基本信息，将取证信息和记录信息实时上传至违禁品智能识别系统平台。
可选地，所述识别系统还包括：
数据交换平台，用于处于视频网的智能安检系统平台和处于地铁专网的违禁品智能识别系统平台之间的物理隔离和数据交换。
可选地，所述识别系统还包括：
车站级监管系统，用于对车站区域范围内的过检包裹数据进行查看和分析统计；
中心级监管系统，用于对指定地域范围的所有车站的过检包裹数据进行查看和分析统计。
本发明的有益效果是：
(1)本发明从违禁品智能识别系统整体网络架构、违禁品识别流程、识别算法、数据上报机制4各方法进行优化，可显著提升X光图像违禁品智能识别系统稳定性，检测效率和识别精度。
(2)本发明将两个分别侧重检测和分类SSD模型运行在两个不同的线程中，一个线程用于检测，一个线程用于分类，两个线程之间通过消息队列进行数据交互，相比单SSD模型直接对原X光安检机图像进行违禁品检测，采用双SSD模型后的AP50指标得到明显提升。
(3)本发明增加对小目标物体的检出能力，能够有效提高对打火机、口红、电池等检出准确度。
附图说明
图1是本发明实施例的违禁品智能识别装置的结构示意图。
图2是本发明实施例的违禁品智能识别装置的识别流程示意图。
图3是本发明实施例的违禁品智能识别装置的识别效果示意图。
图4为本发明实施例的违禁品智能识别系统的结构示意图。
图5为本发明实施例的包裹检测模型和包裹识别模型的结构示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例一
图1是本发明实施例的违禁品智能识别装置的结构示意图。参见图1，该违禁品智能识别装置包括过包图片静态帧采集模块、包裹检测模型、包裹标识模型和显示模块。
(一)过包图片静态帧采集模块
过包图片静态帧采集模块用于对安检机的X光视频源信号进行采集，输出连续的图像阵列，逐帧抽取得到过包图片。
本实施例的违禁品智能识别装置为软件，通常内置在如PC机等智能终端设备里，其能够适配市面上绝大部分安检机。在实际应用中，智能终端设备上电后，从固态硬盘自动启动违禁品智能识别装置到内存中，配置对应安检机图像的分辨率等参数，通过TMDS信号检测安检机视频源是否接入智能终端设备，若未接入，智能终端设备定时检测安检机视频源接入信号，若安检机视频源信号接入成功，设备以30-60pfs帧速率对安检机过包的X光视频进行采集，输出连续的图像阵列。
(二)包裹检测模型
包裹检测模型采用基于中值滤波和Sobel算子的改进型SSD模型，用于对过包图片进行预处理，提取包含轮廓特征和语义信息特征的特征图，根据提取结果以识别图片中是否包含包裹，如果包含包裹，将过包图片和对应的特征图发送至包裹标识模型，否则，将过包图片发送至显示模块。
逐帧抽取过包图片静态帧，首先通过调整过包图片输入尺寸，假设包裹检测模型对原图片输入尺寸要求为300×300pixel,因安检机过包X光视频图片大小不超过800×800pixel,需将安检机过包X光静态帧图片通过裁剪、填充、缩放等操作，转换成300×300pixel图片尺寸，输入包裹检测模型。再采用基于中值滤波和Sobel算子的包裹检测模型，对静态帧进行噪声处理、增强包裹边缘等预处理并识别包裹是否存在，若图片中不包含包裹信息，对该帧图片帧做输出显示的分辨率适配，交由显示线程，经显示线程再推送至显示器显示；若图片中包含包裹信息，则将过包图片和对应的特征图发送至包裹标识模型做进一步的包裹定位和类型识别。
在本实施例中，包裹检测模型采用改进型SSD模型。当前，主流的目标检测算法分为一阶段算法和二阶段算法，其中一阶段算法主要包含YoLo系列和SSD，二阶段算法主要是以 R-CNN为基础，不断演进。由于二阶段算法需要对图片进行区域选取和分类两步操作，不如一阶段算法直接产生候选同时进行回归分类来的速度快；与YoLo相比，SSD采用特征金字塔的多尺度、少全连接层的结构。因此，综合识别精度、流程步骤、识别速率等原因，本实施例在边缘侧更倾向于选择一阶段SSD算法模型作为目标识别的首选，即包裹检测模型和包裹标识模型均基于一阶段SSD算法模型构建。另外，根据安检业务目标检测及识别的实时性要求，本实施例对第一个用于目标检测的SSD模型(包裹检测模型)进行改进和裁剪，去掉分类器，专门用于对过包图像进行检测，若特征信息中不包含包裹信息，则直接重绘图像，节约执行分类器的时间。
参见图5，物品检测单元包括卷积层conv3_3、卷积层conv4_3、全连接层FC6、全连接层FC7、卷积层con8_2、卷积层con9_2、卷积层con10_2、卷积层con11_2、最大池化层Max_pool、卷积层conv1#，以及7个归一化层、7个残差块层和7个检测器。
卷积层conv3_3、卷积层conv4_3、全连接层FC6、全连接层FC7、卷积层con8_2、卷积层con9_2、卷积层con10_2和卷积层con11_2依次连接，用于对导入的过包图片依次卷积，提取其中包含的图像特征，其中，卷积层conv4_3用于提取过包图片对应的图像边缘轮廓特征。
最大池化层Max_pool和卷积层conv1#连接在卷积层conv3_3和卷积层con8_2之间，卷积层conv3_3的输出特征经最大池化层Max_pool处理后输出至卷积层conv1#，卷积层conv1#的输出特征与全连接层FC7的输出特征融合后导入卷积层con8_2。
卷积层conv4_3、全连接层FC6、全连接层FC7、卷积层con8_2、卷积层con9_2、卷积层con10_2和卷积层con11_2的输出端分别与其中一个归一化层和残差块层的输入端连接，归一化层和残差块层的输出端与检测器的输入端连接；卷积层conv4_3、全连接层FC6、全连接层FC7、卷积层con8_2、卷积层con9_2、卷积层con10_2和卷积层con11_2的输出结果分别经相应的归一化层和残差块层处理后导入检测器；其中，卷积层conv4_3输出的图像边缘轮廓特征在归一化层和检测器之间还连接有用于对图像的轮廓进行增强处理的sobel算子层。
X光安检图片经缩放及中值滤波处理，除去原始X光安检图片中的椒盐噪声，并转变成尺寸为800*800*3图片，输入网络模型，经VGG-16网络4轮卷积后，提取一次图像边缘轮廓特征，再经FC6全连接层提取一次图像特征，再经FC7全连接层提取一次图像特征，再经con8_2提取一次图像特征，再经con9_2提取一次图像特征，再经con10_2提取一次图像特征，再经con11_2提取一次图像特征，随着网络深度加深，每次提取图像的特征内容越来越细化。为保证特征的完整性，在网络结构的中部，即在con7与con4_3之间，采用特征融合的方式，引入75*75*256图片特征。在每一层特征提取后，采用归一化处理，来避免梯度消失，加快模型收敛；采用残差块，提升对小目标物体的检测能力；特别的，在第一次图像特征提取时，采用sobel算子，对图像的轮廓进行增强，提升包裹的检出率，这是考虑到一些X光安检机的老化，X光机视频流中的包裹边缘看不清楚，从而提高了本实施例的包裹检测模型的适配性。
(三)包裹标识模型
包裹标识模型采用基于残差块的改进型SSD模型，对接收到的特征图进行处理，对包裹进行定位，识别并标注其中包含的违禁品类型，将标注后的过包图片发送至显示模块。
包裹检测模型的检测结果如果是图片中包含包裹信息，则采用基于残差块的改进型SSD 模型构建的包裹标识模型，对改图片的包裹信息进行定位及类型识别，做出标注，然后再将该图片帧做输出显示的分辨率适配，交由显示线程，经显示线程推送至显示器显示。
包裹标识模型也采用一阶段SSD算法模型，根据安检业务目标检测及识别的实时性要求，包裹标识模型为经过裁剪的只用于识别功能SSD模型。包裹检测模型检测出有包裹信息，将自身提取的特征信息直接传给包裹标识模型，进行目标分类识别，避免包裹标识模型再次进行特征提取，降低标识效率。
本实施例的SSD模型的改进还体现在：现有的SSD模型，容易造成特征提取深度不够，检测目标丢失等问题。本实施例通过增加残差块、边缘优化、特征融合、检测识别分离操作，对SSD模型进行改进，可有效预测细长、及小目标物体。具体的：
(1)中值滤波操作：对安检机输入的视频帧进行中值滤波操作，去除静态帧中的椒盐噪声。
(2)边缘优化操作：针对安检过包的违禁品识别而言，因VGG16网络经过多层卷积后，过包图像特征弱化，有时不能够检测到包的轮廓和包中物体的轮廓，再者，VGG16conv4_3 特征提取不丰富，故需在SSD模型中融合梯度下降Sobel算子，增强包的轮廓和包中小目标物体轮廓边缘检测准确性。
(3)残差块操作：因原SSD模型主要是使用VGG16的Conv4_3进行小目标检测，但因包中物体的语义信息表征不丰富，故无法有效区分物体，可通过在SSD模型中加入残差块操作，提升对安检中小违禁品的识别效率。
(4)检测、识别分离操作：将两个分别侧重检测和分类SSD模型运行在两个不同的线程中，一个线程用于检测，一个线程用于分类，两个线程之间通过消息队列进行数据交互。
(5)特征融合操作：由VGG16网络特性知，Conv3卷积层细节特征表达丰富，Conv7卷积层细节特征表达缺失，不易检测出小目标和细长目标，故采用特征融合方法，通过对Conv3进行max_pool(4,4)及conv1*1_1024卷积操作，再与Conv7进行特性融合，可有效提升对细长目标和小目标的检测能力。
(6)在每个特征图上分别采用3×3、1×5、5×1的卷积核，去预测长宽比例为1:1、1:2、 2:1、1:4、4:1不同长宽比例的违禁品，并输出坐标，然后将所有预测输出组合在一起进行非极大值抑制(NMS)操作，得到最终预测输出。改进型SSD算法增加对小目标物体的检出能力，能够有效提高对打火机、口红、电池等检出准确度。
示例性地，在本实施例的两个SSD模型的训练过程中，由于没有大规模公开的X光安检机图像，因此现场采集了50000张真实、有效的轨道交通X光安检机图像，使用LabelMe对 X光违禁品图片进行标注，包含违禁品矩形框和类别及包裹的矩形框信息。随机使用40000 张X光安检机图像作为训练集，10000张X光安检机图像作为测试集，训练时使用了4个 GTX 1080Ti GPU进行训练，VGG16网络预先在ImageNet进行了预训练，包裹检测模型使用 300×300的输入分辨率，包裹标识模型使用336×336的输入分辨率。
(四)显示模块
显示模块用于对接收到的过包图片进行输出显示分辨率适配处理，将处理后的过包图片交由显示线程，经显示线程推送至显示器以显示。
图2是本发明实施例的违禁品智能识别装置的识别流程示意图。
(五)实验验证结果
实例1，分别采取使用包裹截取(包裹检测)和不使用包裹截取(包裹检测)的方式进行实验，结果如表1所示：
表1 SSD算法检测结果评估表
从表1中得出，本实施例将违禁品检测步骤分为两步，第一步，使用第一个SSD模型进行包裹检测，判断图像中是否包含包裹，第二步，使用第二个SSD模型对含有包裹的图片进行违禁品检测，采用双SSD模型相比单SSD模型直接对原X光安检机图像进行违禁品检测，AP50指标得到明显提升。此处的SSD模型为原SSD模型，并未做任何处理。
实例2，使用改进型SSD模型(即增加残差块、边缘优化、特征融合、检测识别分离操作后的SSD模型)与原SSD模型，进行了3组实验，实验结果如表2所示：
表2 SSD算法和改进型SSD算法检测结果对比
从表2可知，在不预先截取包裹图像的情况下，直接通过整幅安检机图像进行违禁品检测，与改进型SSD模型截取的算法相比，AP50指标由分别由原来的41.3，57.6提高到62.1。
图3是本发明实施例的违禁品智能识别装置的识别效果示意图。
实施例二
图4为本发明实施例的违禁品智能识别系统的结构示意图。该识别系统包括摄像机、硬盘录像机、安检机、违禁品智能识别装置、违禁品智能识别系统平台和手持机。
摄像机用于拍摄过检人员和过检包裹的视频信息。
硬盘录像机与摄像机连接，用于存储摄像机拍摄到的过检人员和过检包裹的视频信息。
安检机用于传送过检包裹，并在传送过程中对过检包裹进行X光成像处理。
如实施例一中的违禁品智能识别装置用于对安检机发送的X光视频源信号进行处理，定位包裹在视频帧中的位置，识别包裹中包含的违禁品的类型。
违禁品智能识别系统平台用于存储过检包裹的X光图像，对违禁品智能识别装置的定位和识别结果进行实时跟踪和实时展示。
手持机用于对例行开包检查的物品进行拍照取证，记录相关用户的基本信息，将取证信息和记录信息实时上传至违禁品智能识别系统平台。
可选地，该识别系统还包括数据交换平台，用于处于视频网的智能安检系统平台和处于地铁专网的违禁品智能识别系统平台之间的物理隔离和数据交换。
可选的，识别系统还包括车站级监管系统和中心级监管系统。车站级监管系统用于对车站区域范围内的过检包裹数据进行查看和分析统计；中心级监管系统用于对指定地域范围的所有车站的过检包裹数据进行查看和分析统计。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (8)
1.一种违禁品智能识别装置，其特征在于，所述违禁品智能识别装置包括过包图片静态帧采集模块、包裹检测模型、包裹标识模型和显示模块；
所述过包图片静态帧采集模块用于对安检机的X光视频源信号进行采集，输出连续的图像帧队列，逐帧抽取得到过包图片；
所述包裹检测模型包括图像预处理单元和物品检测单元；图像预处理单元用于对导入的过包图片进行缩放和中值滤波处理，以去除过包图片中的椒盐噪声，将去除噪声后的过包图片导入物品检测单元；物品检测单元采用改进后的SSD网络模型，对导入的过包图片进行多次卷积后提取得到图像边缘轮廓特征，再经多次全连接层提取得到多次图像特征；
在每一层特征提取后，同时采用归一化处理以避免梯度消失和采用残差块以提升对小目标物体的检测能力；其中，在图像边缘轮廓特征提取时，归一化处理后采用Sobel算子增强对过包图片中的物品边缘特征的提取；在改进后的SSD网络模型的中部，在一次卷积至二次图像特征提取之间，采用特征融合的方式，引入75*75*256图片特征；
所述物品检测单元融合所有提取到的图像特征和图像边缘轮廓特征，判断过包图片中是否包含物品，如果包含物品，将过包图片和对应的特征图发送至包裹标识模型，否则，将过包图片发送至显示模块；
所述包裹标识模型对接收到的特征图进行NMS处理及物品分类、标注处理，识别其中包含的违禁品类型，将标注后的过包图片发送至显示模块；
所述显示模块用于对接收到的过包图片进行输出显示分辨率适配处理，将处理后的过包图片交由显示线程，经显示线程推送至显示器以显示。
2.根据权利要求1所述的违禁品智能识别装置，其特征在于，所述预处理包括：
对过包图片的输入尺寸进行裁剪、填充和缩放操作，使其与包裹标识模型相适配；
对输入的过包图片静态帧进行噪声处理，去除过包图片静态帧中的椒盐噪声。
3.根据权利要求1所述的违禁品智能识别装置，其特征在于，所述物品检测单元包括卷积层(conv3_3)、卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)、卷积层(con11_2)、最大池化层(Max_pool)、卷积层(conv1#)，以及7个归一化层、7个残差块层和7个检测器；
所述卷积层(conv3_3)、卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)依次连接，用于对导入的过包图片依次卷积，提取其中包含的图像特征，其中，卷积层(conv4_3)用于提取过包图片对应的图像边缘轮廓特征；
所述最大池化层(Max_pool)和卷积层(conv1#)连接在卷积层(conv3_3)和卷积层(con8_2)之间，卷积层(conv3_3)的输出特征经最大池化层(Max_pool)处理后输出至卷积层(conv1#)，卷积层(conv1#)的输出特征与全连接层(FC7)的输出特征融合后导入卷积层(con8_2)；
所述卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)的输出端分别与其中一个归一化层和残差块层的输入端连接，归一化层和残差块层的输出端与检测器的输入端连接；所述卷积层(conv4_3)、全连接层(FC6)、全连接层(FC7)、卷积层(con8_2)、卷积层(con9_2)、卷积层(con10_2)和卷积层(con11_2)的输出结果分别经相应的归一化层和残差块层处理后导入检测器；其中，卷积层(conv4_3)输出的图像边缘轮廓特征在归一化层和检测器之间还连接有用于对图像的轮廓进行增强处理的sobel算子层。
4.根据权利要求1所述的违禁品智能识别装置，其特征在于，所述包裹检测模型和包裹标识模型的训练过程包括：
采集一定量包含X光违禁品图片的轨道交通X光安检机图像，使用LabelMe对X光违禁品图片进行标注，标注内容包含违禁品矩形框和类别及包裹的矩形框信息，生成一定量的训练样本；
将训练样本划分为训练集和测试集；
采用训练集对包裹检测模型和包裹标识模型进行训练，采用测试集对训练完成的包裹检测模型的检测准确率和包裹标识模型的标识准确率进行验证。
5.根据权利要求1所述的违禁品智能识别装置，其特征在于，所述包裹检测模型和包裹标识模型运行在两个不同的线程中，两个线程通过消息队列进行数据交互。
6.一种违禁品智能识别系统，其特征在于，所述识别系统包括：
摄像机，用于拍摄过检人员和过检包裹的视频信息；
硬盘录像机，与摄像机连接，用于存储摄像机拍摄到的过检人员和过检包裹的视频信息；
安检机，用于传送过检包裹，并在传送过程中对过检包裹进行X光成像处理；
如权利要求1-5任一项中所述的违禁品智能识别装置，用于对安检机发送的X光视频源信号进行处理，定位包裹在视频帧中的位置，识别包裹中包含的违禁品的类型；
违禁品智能识别系统平台，用于存储过检包裹的X光图像，对违禁品智能识别装置的定位和识别结果进行实时跟踪和实时展示；
手持机，用于对例行开包检查的物品进行拍照取证，记录相关用户的基本信息，将取证信息和记录信息实时上传至违禁品智能识别系统平台。
7.根据权利要求6所述的违禁品智能识别系统，其特征在于，所述识别系统还包括：
数据交换平台，用于处于视频网的智能安检系统平台和处于地铁专网的违禁品智能识别系统平台之间的物理隔离和数据交换。
8.根据权利要求6所述的违禁品智能识别系统，其特征在于，所述识别系统还包括：
车站级监管系统，用于对车站区域范围内的过检包裹数据进行查看和分析统计；
中心级监管系统，用于对指定地域范围的所有车站的过检包裹数据进行查看和分析统计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975257.9A CN113706497B (zh) | 2021-08-24 | 2021-08-24 | 一种违禁品智能识别装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110975257.9A CN113706497B (zh) | 2021-08-24 | 2021-08-24 | 一种违禁品智能识别装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113706497A CN113706497A (zh) | 2021-11-26 |
| CN113706497B true CN113706497B (zh) | 2024-04-09 |
Family
ID=78654406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110975257.9A Active CN113706497B (zh) | 2021-08-24 | 2021-08-24 | 一种违禁品智能识别装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113706497B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114168056A (zh) * | 2021-12-09 | 2022-03-11 | 成都轨道交通集团有限公司 | 一种地铁安检图像信息的显示方法和显示系统 |
| CN114494891B (zh) * | 2022-04-15 | 2022-07-22 | 中国科学院微电子研究所 | 一种基于多尺度并行检测的危险品识别装置和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019096181A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| CN110533051A (zh) * | 2019-08-02 | 2019-12-03 | 中国民航大学 | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 |
| CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及系统、一种计算设备及存储介质 |
| CN111951226A (zh) * | 2020-07-20 | 2020-11-17 | 深圳职业技术学院 | 一种基于x光图像的多尺度违禁品检测系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163048B (zh) * | 2018-07-10 | 2023-06-02 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
-
2021
- 2021-08-24 CN CN202110975257.9A patent/CN113706497B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019096181A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳码隆科技有限公司 | 安检检测方法、装置、系统及电子设备 |
| CN110533051A (zh) * | 2019-08-02 | 2019-12-03 | 中国民航大学 | 基于卷积神经网络的x光安检图像中违禁品自动检测方法 |
| CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及系统、一种计算设备及存储介质 |
| CN111951226A (zh) * | 2020-07-20 | 2020-11-17 | 深圳职业技术学院 | 一种基于x光图像的多尺度违禁品检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| X光安检图像多尺度违禁品检测;张友康;苏志刚;张海刚;杨金锋;;信号处理;20200612(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113706497A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113706497B (zh) | 一种违禁品智能识别装置和系统 | |
| CN111323835B (zh) | 一种基于人包关联的安检方法及其装置 | |
| WO2020173021A1 (zh) | 一种基于人工智能的违禁物识别方法、装置、设备和存储介质 | |
| US20220084186A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
| CN102275656B (zh) | 一种条烟装箱机缺条在线视觉检测装置及其检测方法 | |
| CN110751079A (zh) | 物品检测方法、装置、系统和计算机可读存储介质 | |
| CN104965235A (zh) | 一种安检系统及方法 | |
| CN108064394A (zh) | 一种安检物品的检测方法、装置及电子设备 | |
| CN107179324A (zh) | 检测产品包装的方法、装置和系统 | |
| CN109948565A (zh) | 一种用于邮政业的违禁品不开箱检测方法 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN114295649B (zh) | 一种信息关联方法、装置、电子设备及存储介质 | |
| CN111967322A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN112967289A (zh) | 安检包裹匹配方法、系统、设备及存储介质 | |
| CN114019572A (zh) | 一种基于多摄像机融合的x光安检方法及安检装置 | |
| CN107274121A (zh) | 无固定场地集装箱检验系统 | |
| CN108357517A (zh) | 动车组列车运行故障信息检测方法和系统 | |
| CN113850228A (zh) | 基于多模态融合的道路裂缝检测方法和系统 | |
| CN201820244U (zh) | 一种条烟装箱机缺条在线视觉检测装置 | |
| CN115995119A (zh) | 基于物联网的气瓶充装环节违规行为识别方法及系统 | |
| CN206292821U (zh) | 物品安检判图系统 | |
| CN114160447B (zh) | 一种先期机检系统及方法 | |
| CN114113165B (zh) | 一种用于安检设备的行包判读方法 | |
| CN211263806U (zh) | 一种旅检智能通道自动匹配远程集中判读系统 | |
| CN116563628A (zh) | 安检判图识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |