CN110992324A - 一种基于x射线图像的智能危险品检测方法及系统 - Google Patents
一种基于x射线图像的智能危险品检测方法及系统 Download PDFInfo
- Publication number
- CN110992324A CN110992324A CN201911173732.XA CN201911173732A CN110992324A CN 110992324 A CN110992324 A CN 110992324A CN 201911173732 A CN201911173732 A CN 201911173732A CN 110992324 A CN110992324 A CN 110992324A
- Authority
- CN
- China
- Prior art keywords
- frame
- ray image
- ray
- dangerous goods
- default
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000005764 inhibitory process Effects 0.000 claims abstract description 6
- 238000002834 transmittance Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 29
- 238000007689 inspection Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000007667 floating Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011111 cardboard Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000013056 hazardous product Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/10—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the material being confined in a container, e.g. in a luggage X-ray scanners
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
- G01V5/20—Detecting prohibited goods, e.g. weapons, explosives, hazardous substances, contraband or smuggled objects
- G01V5/22—Active interrogation, i.e. by irradiating objects or goods using external radiation sources, e.g. using gamma rays or cosmic rays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- High Energy & Nuclear Physics (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于X射线图像的智能危险品检测方法及系统，其中系统包括X光安检机，流媒体服务器，GPU服务器和监控报警终端；X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和流媒体服务器；流媒体服务器对X光视频流进行编码和压缩后通过网络传送至GPU服务器；GPU服务器对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；报警终端获取X光图像视频流和结果元组并显示。本发明针对X光图像特点，增加多种数据增强方法，并改进损失函数和非极大抑制函数，有效改善了模型性能，实现对X光图像危险品的实时检测。
Description
技术领域
本发明属于人工智能与计算机图形学领域，具体涉及一种基于X射线图像的智能危险品检测方法及系统。
背景技术
基于X光的安检机广泛应用于机场、火车站、地铁站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测等。在安检行业中，普遍采用X光对箱包、行李进行检测，X射线安检仪借助于输送带将被检查行李送入X射线检查通道而完成检查；安检时，X射线机发出X射线，X射线透过被检箱包后，在X射线探测箱上形成X射线透视图，人工观察透视图即可分辨出危险品。
然而，目前安检行业存在安检视频需要人工逐一查看的问题，稍有不慎就会漏掉危险品，效率不高。同时，人工检查会极大地限制包裹通过的速度，从而造成人流拥堵等情况。在物流行业中，运输安全主要依赖物流收派员的鉴别，这也导致相当多安全生产事故的发生，因此一种危险品图像检测算法非常有利于降低人工重复劳动的强度。
目前基于X光的自动检测方法，均存在如下不足之处：(1)对X光图像的针对性优化不足，对X光图像的语义利用率低下，导致模型性能较差，难以用于实际生产。(2)只能识别少数种类的物体，对于增加物品类别和数据集扩充十分繁琐，与实际生活中使用需求不符。(3)对预设的阈值和参数十分敏感，模型泛化性能差，对一些随机噪声和颜色变化存在较为明显的反应，实际性能表现不稳定。
发明内容
发明目的：本发明提供一种基于X射线图像的智能危险品检测方法及系统，针对X光图像特点，增加多种数据增强方法，并改进损失函数和非极大抑制函数，有效改善了模型性能，实现对X光图像危险品的实时检测。
发明内容：本发明所述的一种基于X射线图像的智能危险品检测方法，包括以下步骤：
(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量Tinit，并减去Tave后生成Tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)；
(2)对Tinput进行图像增强预处理，并替换原Tinput为处理后的浮点张量；
(3)将Tinput依次在神经网络十一个卷积神经网络块中进行传播，进行不同维度的特征抽取，得到一系列的特征图FM；
(4)在得到的特征图FM中抽取其中六层的特征图FMclassify，然后在特征图的每个点上生成若干默认框DB；
(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset；
(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到DBselected；
(7)对每张图像的DBselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)；
(8)对所有图像中的DBselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新；
(9)将所有的DBselected进行非极大抑制筛选，得到最终结果框DBresult。
进一步地，步骤(1)所述的Tave是数据集上全部图像的三个颜色通道的均值。
进一步地，步骤(2)所述图像增强预处理描述如下：
随机90度双向翻转，坐标变换由以下公式给出：
随机180度翻转，坐标变换公式如下：
以上的公式中xmin，ymin分别表示标注框的左下角的横坐标和纵坐标，xmax，ymax分别表示标注框右上角的横坐标和纵坐标；然后进行随机对比度变化和随机裁剪和缩放。
进一步地，步骤(7)所述的匹配规则如下：
对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；
对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。
进一步地，步骤(7)所述损失函数描述如下：
整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，Lloc是位置损失函数，Lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，N是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数；
在置信损失函数中Pos是所有的正样本，Neg是所有的负样本，
是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，
表示神经网络对类别p输出的置信度，权重项β＝0.25；
在位置损失函数中，仅计算正样本所造成的损失，
预测框的位置信息，
是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。
进一步地，所述步骤(9)通过以下公式实现：
其中，si是对每个类别的概率矩阵，σ是权重项，bi是第i个默认框，M是当前类别中置信度最高的默认框。
本发明还提供一种基于X射线图像的智能危险品检测系统，包括X光安检机，流媒体服务器，GPU服务器和监控报警终端；X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和所流媒体服务器；流媒体服务器对X光视频流进行编码和压缩后通过网络传送至GPU服务器；GPU服务器对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；报警终端获取X光图像视频流和结果元组并显示。
进一步地，检测系统还包括远程传输服务器，将视频流传到云端并从云端获取返回结果元组。
有益效果：与现有技术相比，本发明的有益效果：本发明增加了创新的数据增强方法和改进的损失函数以及改进的非极大抑制方法；在目标检测算法中充分考虑到X光图像中物体位置和形态的不确定性和重叠的情况，使用了针对性的数据增强技术，有效地提升了准确率，有效地克服了过拟合现象；为了解决正负样本的不平衡问题，我们改进了损失函数，提升了困难样本挖掘能力，提升了准确率和收敛速度；为了解决重叠目标一定程度上遗漏的问题，我们改进了非极大抑制方法，对密集目标有一定的改进效果；本发明还基于目标检测算法搭建了检测系统，系统包括拍照通信预测存储报警等模块，能实现实时拍照实时预测的功能。
附图说明
图1为基于X射线图像的智能危险品检测方法的流程图；
图2为基于X射线图像的智能危险品检测方法所使用的网络结构图；
图3为基于X射线图像的智能危险品检测系统报警终端界面示意图；
图4为基于X射线图像的智能危险品检测系统架构图；
图5为于X射线图像的智能危险品检测系统包含远程服务器的架构图；
图6为使用改进后损失函数和原损失函数的提升对比图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
X光图像和一般图像有所不同，X射线是一种可以穿透木材、纸板、皮革等不透明物体的电磁波。安检仪能根据物体对X射线的吸收程度，在荧屏上呈现不同颜色的影像。一般来说，X光成像具有以下特性：角度决定形状，距离决定形状，亮度决定密度，颜色表示成分。在颜色模式下、有机物显示为不同的橙色和黄色、无机物显示深浅不同的绿色、高密度物品显示为黑色和深红色。
实际上安检人员在检查物品时主要依靠颜色和层次分析两个方面来识别可疑物品。颜色分析即通过物品的成分组成来推断出大致的物体属性，同时再通过层次分析大致勾勒出物体的轮廓，结合实际经验即可推断出物体的类别。与一般物体最大的不同则体现在X光图像具有穿透性，而且包裹的摆放形态很大程度影响了成像效果。穿透性会导致在一个目标框中可能同时存在多个类别的物体或是多个物体交叉的情况，此时对于神经网络的特征提取将变得十分困难。这要求卷积神经网络必须能提取更高层的图像语义，对模型整体性能挑战非常大。因此在模型改进和数据预处理过程中要充分考虑X光图像的这些特点。
具体如图1，图2所示，本发明设计了一种基于X射线图像的智能危险品检测方法，用于检测X光图像中的危险品，实际应用中，具体包括如下步骤：
(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量Tinit，并减去Tave后生成Tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)。Tave是数据集上全部图像的三个颜色通道(R,G,B)的均值。
(2)对Tinput进行图像增强预处理，并替换原Tinput为处理后的浮点张量。
随机90度双向翻转，坐标变换由以下公式给出：
随机180度翻转，坐标变换公式如下：
随机对比度变化；其他常用的目标检测增强方法，包括但不限于随机镜像，随机裁剪，随机缩放。
(3)将Tinput依次在神经网络十一个卷积神经网络块(B1-B11)中进行传播，进行不同维度的特征抽取，得到一系列的特征图FM。
(4)在得到的特征图FM中抽取其中六层的特征图FMclassify，然后在特征图的每个点上生成若干默认框DB。
(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset。
(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到DBselected。
(7)对每张图像的DBselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)。
对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；
对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。
(8)对所有图像中的DBselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新。
损失函数描述如下：
整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，Lloc是位置损失函数，Lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，N是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数。
在置信损失函数中Pos是所有的正样本，Neg是所有的负样本，
是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，
表示神经网络对类别p输出的置信度，权重项β＝0.25。
在位置损失函数中，仅计算正样本所造成的损失，
预测框的位置信息，
是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。
反向传播算法为自适应矩估计算法，学习率初始值为0.001，batch_size设置为32，设定为每一万轮衰减50％。且在开始训练前使用预训练模型和迁移学习的方法，可提高模型收敛速度和准确率。
(9)将所有的DBselected进行非极大抑制筛选，得到最终结果框DBresult。。
非极大抑制方法由如下公式给出：
其中，si是对每个类别的概率矩阵，σ是权重项，这里取0.45，bi是第i个默认框，M是当前类别中置信度最高的默认框。危险品检测系统报警终端界面示意图如图3所示。
如图4所示，检测系统主要由四部分组成，第一部分是传统的X光安检机；X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和所流媒体服务器；第二部分是流媒体服务器，对X光视频流进行编码和压缩后通过网络传送至GPU服务器，负责视频采集和回传；第三部分是本地GPU计算服务器，对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；第四部分是监控报警终端，获取X光图像视频流和结果元组并显示，负责显示回传画面和报警提醒功能。该系统针对长期使用需求的场景，例如火车站、机场、地铁站的场景，我们推荐使用本地搭建服务器的方式，这种方式具有一次投资长期使用的特点，成本较低速度较快，稳定和可靠性高。如图5所示为包含云端模块的检测系统。针对短期使用需求的场景，我们推荐使用云服务器的方式，这种方式具有部署灵活开销小的特点，成本较低。但对网络依赖程度较高。此系统除了包含上述四部分外，还包括远程传输服务器，负责将视频流传到云端并从云端获取返回结果元组。
构建实验硬件软件环境如下：
·CPU:Intel(R)Xeon(R)Gold 5118CPU@2.30GHz*2
·内存:16G
·GPU:Nvidia Geforce RTX2080Ti*2
·OS:Ubuntu 16.04LTS
·Python 3.7.4
·Pytorch 1.3.0
·CUDA 10.2
使用Adam优化器，设置初始学习率为0.0001，并设置了在10000，20000,40000轮之后学习率衰减为原来的10％。最终模型在50000轮左右到达最优点。结果表明，对比原始模型，本发明在X光图像危险品检测上效果显著，如图6所示，模型的收敛速度和精度都有一定程度的提高，其中在测试集上的mAP由72.24％提升至80.11％，改进明显。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (8)
1.一种基于X射线图像的智能危险品检测方法，其特征在于，包括如下步骤：
(1)读取输入的X光图像为m*n*3的浮点张量,并将其大小重置为300*300*3的张量Tinit，并减去Tave后生成Tinput，检查是否属于训练状态，若是则转到步骤(2)，否则转到步骤(3)；
(2)对Tinput进行图像增强预处理，并替换原Tinput为处理后的浮点张量；
(3)将Tinput依次在神经网络十一个卷积神经网络块中进行传播，进行不同维度的特征抽取，得到一系列的特征图FM；
(4)在得到的特征图FM中抽取其中六层的特征图FMclassify，然后在特征图的每个点上生成若干默认框DB；
(5)对每个特征图进行卷积计算得到默认框的类别置信度box_conf和位置偏移量loc_offset；
(6)对所有默认框的box_conf进行降序排序，取大于0.5的所有默认框得到DBselected；
(7)对每张图像的DBselected与真实框按照匹配策略执行匹配，若其交并比大于0.5则认为是正样本，反之则为负样本，检查是否处于训练状态，若是则转到步骤(8)，否则转到步骤(9)；
(8)对所有图像中的DBselected根据损失函数计算损失值，并根据反向传播算法和设定学习率对网络参数进行更新；
(9)将所有的DBselected进行非极大抑制筛选，得到最终结果框DBresult。
2.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，步骤(1)所述的Tave是数据集上全部图像的三个颜色通道的均值。
3.根据权利要求1所述的一种基于X射线图像的智能危险品检测模型的训练方法，其特征在于，步骤(2)所述图像增强预处理描述如下：
随机90度双向翻转，坐标变换由以下公式给出：
随机180度翻转，坐标变换公式如下：
以上的公式中xmin，ymin分别表示标注框的左下角的横坐标和纵坐标，xmax，ymax分别表示标注框右上角的横坐标和纵坐标；然后进行随机对比度变化和随机裁剪和缩放。
4.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，步骤(7)所述的匹配规则如下：
对于图片中每个真实框，找到与其交并比最大的默认框，与其进行匹配，以保证每个真实框一定与某个先验框匹配；
对于剩余的未匹配默认框，若与某个真实框的交并比大于0.5，那么该默认框也与这个真实框进行匹配。
5.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，步骤(7)所述损失函数描述如下：
整个损失函数由两部分组成，x是匹配结果的三维矩阵，c是神经网络输出置信度的三维矩阵，Lloc是位置损失函数，Lconf是置信损失函数，其中α是位置损失与置信损失的平衡权重项，取值为1，N是在执行所述权利要求3的匹配策略后与真实框相匹配的默认框个数；
在置信损失函数中Pos是所有的正样本，Neg是所有的负样本，
是第i个默认框和第j个真实框对于危险品类别p是否匹配的指示变量，取值为1时表示匹配，取值为0表示不匹配，
表示神经网络对类别p输出的置信度，权重项β＝0.25；
在位置损失函数中，仅计算正样本所造成的损失，
预测框的位置信息，
是真实框的位置信息，cx,cy是检测框的左下角的横坐标与纵坐标，w,h分别是检测框的宽度和高度。
6.根据权利要求1所述的一种基于X射线图像的智能危险品检测方法，其特征在于，所述步骤(9)通过以下公式实现：
其中，si是对每个类别的概率矩阵，σ是权重项，bi是第i个默认框，M是当前类别中置信度最高的默认框。
7.一种如权利要求1所述的基于X射线图像的智能危险品检测系统，其特征在于，包括X光安检机，流媒体服务器，GPU服务器和监控报警终端；所述X光安检机对物体发出X射线，并根据射线透过率，生成X光图像视频流，并传输至监控报警终端和所流媒体服务器；所述流媒体服务器对X光视频流进行编码和压缩后通过网络传送至GPU服务器；所述GPU服务器对视频流进行解码后基于X射线图像的智能危险品检测方法进行预测，生成结果元组，并传输给报警终端；所述报警终端获取X光图像视频流和结果元组并显示。
8.根据权利要求7所述的一种基于X射线图像的智能危险品检测系统，其特征在于所述检测系统包括远程传输服务器，将视频流传到云端并从云端获取返回结果元组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911173732.XA CN110992324B (zh) | 2019-11-26 | 2019-11-26 | 一种基于x射线图像的智能危险品检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911173732.XA CN110992324B (zh) | 2019-11-26 | 2019-11-26 | 一种基于x射线图像的智能危险品检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110992324A true CN110992324A (zh) | 2020-04-10 |
| CN110992324B CN110992324B (zh) | 2022-08-26 |
Family
ID=70087018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911173732.XA Active CN110992324B (zh) | 2019-11-26 | 2019-11-26 | 一种基于x射线图像的智能危险品检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110992324B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069907A (zh) * | 2020-08-11 | 2020-12-11 | 盛视科技股份有限公司 | 基于实例分割的x光机图像识别方法、装置及系统 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886054A (zh) * | 2017-04-13 | 2017-06-23 | 西安邮电大学 | 基于三维x射线成像的危险品自动识别装置及方法 |
| CN110245675A (zh) * | 2019-04-03 | 2019-09-17 | 复旦大学 | 一种基于毫米波图像人体上下文信息的危险物体检测方法 |
| US20190325265A1 (en) * | 2018-04-24 | 2019-10-24 | Accenture Global Solutions Limited | Generating a machine learning model for objects based on augmenting the objects with physical properties |
-
2019
- 2019-11-26 CN CN201911173732.XA patent/CN110992324B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886054A (zh) * | 2017-04-13 | 2017-06-23 | 西安邮电大学 | 基于三维x射线成像的危险品自动识别装置及方法 |
| US20190325265A1 (en) * | 2018-04-24 | 2019-10-24 | Accenture Global Solutions Limited | Generating a machine learning model for objects based on augmenting the objects with physical properties |
| CN110245675A (zh) * | 2019-04-03 | 2019-09-17 | 复旦大学 | 一种基于毫米波图像人体上下文信息的危险物体检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069907A (zh) * | 2020-08-11 | 2020-12-11 | 盛视科技股份有限公司 | 基于实例分割的x光机图像识别方法、装置及系统 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117095158B (zh) * | 2023-08-23 | 2024-04-26 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110992324B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145177B (zh) | 图像样本生成方法、特定场景目标检测方法及其系统 | |
| EP3869459B1 (en) | Target object identification method and apparatus, storage medium and electronic apparatus | |
| Rogers et al. | Automated x-ray image analysis for cargo security: Critical review and future promise | |
| EP3699579B1 (en) | Inspection method and inspection device and computer-readable medium | |
| US10013615B2 (en) | Inspection methods and devices | |
| Jaccard et al. | Tackling the X-ray cargo inspection challenge using machine learning | |
| CN105809091B (zh) | 检查方法和系统 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| Gu et al. | Automatic and robust object detection in x-ray baggage inspection using deep convolutional neural networks | |
| CN110488368A (zh) | 一种基于双能x光安检机的违禁品识别方法及装置 | |
| CN110992324B (zh) | 一种基于x射线图像的智能危险品检测方法及系统 | |
| CN113469050A (zh) | 基于图像细分类的火焰检测方法 | |
| CN115439693A (zh) | 目标识别网络模型的训练方法、电子设备及程序产品 | |
| CN106295668A (zh) | 一种鲁棒的枪支检测方法 | |
| Steno et al. | A novel enhanced region proposal network and modified loss function: threat object detection in secure screening using deep learning | |
| Jaccard et al. | Using deep learning on X-ray images to detect threats | |
| CN114708566A (zh) | 一种基于改进YOLOv4的自动驾驶目标检测方法 | |
| CN114548230B (zh) | 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| Wang et al. | Fire situation detection method for unmanned fire-fighting vessel based on coordinate attention structure-based deep learning network | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN117173854B (zh) | 一种基于深度学习的煤矿明火预警方法及系统 | |
| Dai et al. | Multi-scale video flame detection for early fire warning based on deep learning | |
| CN112633286B (zh) | 一种基于危险品相似率和识别概率的智能安检系统 | |
| CN112581467B (zh) | 一种基于疑似危险品评价的智能安检方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |