CN109557114A - 检查方法和检查设备以及计算机可读介质 - Google Patents

检查方法和检查设备以及计算机可读介质 Download PDF

Info

Publication number
CN109557114A
CN109557114A CN201710877741.1A CN201710877741A CN109557114A CN 109557114 A CN109557114 A CN 109557114A CN 201710877741 A CN201710877741 A CN 201710877741A CN 109557114 A CN109557114 A CN 109557114A
Authority
CN
China
Prior art keywords
inspected object
classification
classification activity
activity
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710877741.1A
Other languages
English (en)
Other versions
CN109557114B (zh
Inventor
赵自然
张*
李强
刘耀红
顾建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nuctech Co Ltd
Original Assignee
Tsinghua University
Nuctech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nuctech Co Ltd filed Critical Tsinghua University
Priority to CN201710877741.1A priority Critical patent/CN109557114B/zh
Priority to PCT/CN2018/107317 priority patent/WO2019057200A1/zh
Publication of CN109557114A publication Critical patent/CN109557114A/zh
Application granted granted Critical
Publication of CN109557114B publication Critical patent/CN109557114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

公开了一种检查方法和检查设备以及计算机可读介质。在该方法中,用X射线扫描被检查物体,得到被检查物体的X射线图像。利用卷积神经网络处理被检查物体的X射线图像,得到被检查物体的类别活性图。基于类别活性图确定所述被检查物体中是否有包括可疑对象。利用上述实施例的方案,基于类别活性图来判断可疑物品的位置,能够获得更为准确的安全检查结果。

Description

检查方法和检查设备以及计算机可读介质
技术领域
本公开的实施例涉及安全检查,具体涉及一种检查物品夹带的检查方法和检查设备以及计算机可读介质。
背景技术
集装箱的出现极大程度地提高了货物运输的效率。随着全球经济的迅猛发展,集装箱运输在现代化运输产业中占有重要地位。集装箱货物运输具有易装卸、易搬运的特点,但这也导致在运输过程中常常会有不法分子趁机夹藏一些违禁品。特别是在海关进出口方面,大宗货物居多,逐一开箱检验不切合实际,需要借助辐射成像的方法来进行快速检验。
但是现有检查技术利用图像的纹理等特征在检查夹带物品。例如现有的夹带检测方法是针对被检查物体的透射图像计算局部与其周围的纹理差异。在遍历图像后,综合其他特征,对差异较大且非噪声的部分判定为夹带嫌疑物。但是由于物品种类非常多,难以准确检查出集装箱中是否有夹带物品。
发明内容
鉴于现有技术中的一个或多个问题,提出了一种检查方法和检查设备以及计算机可读介质,能够更准确地确定集装箱之类的货物中是否包含夹带物品。
在本公开的一个方面,提出了一种检查方法,包括步骤:用X射线扫描被检查物体,得到被检查物体的X射线图像;利用卷积神经网络处理所述被检查物体的X射线图像,得到所述被检查物体的类别活性图;基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
根据本公开的一些实施例,所述卷积神经网络包括与不同尺度对应的多个通路,每个通路具有至少一个卷积层、在所述至少一个卷积层后的池化层和一个全卷积层,并且所述全卷积层用于输出相应尺度下的权重矢量,所述得到被检查物体的类别活性图的步骤包括:用每个通路输出的权重矢量与该通路中最后一个池化层之前的那个卷积层的特征进行加权求和,得到该尺度下的类别活性图;融合多个尺度下的类别活性图,得到所述被检查物体的类别活性图。
根据本公开的一些实施例,得到了原始尺度的类别活性图和至少一个较小尺度的类别活性图,对所述至少一个较小尺度下的类别活性图进行上采样,得到上采样的类别活性图,并融合原始尺度的类别活性图和上采样的类别活性图,得到所述被检查物体的类别活性图。
根据本公开的一些实施例,基于所述类别活性图确定所述被检查物体中是否有包括可疑对象的步骤包括:基于所述被检查物体的类别活性图和所述X射线图像得到热力图;利用阈值划分的方法判断所述热力图中是否包括可疑对象。
根据本公开的一些实施例,对所述被检查物体的类别活性图和所述X射线图像进行加权求和来得到所述热力图。
根据本公开的一些实施例,所述卷积神经网络中的多个通路共享至少一个卷积层和至少一个池化层。
在本公开的另一方面,提出了一种检查设备,包括:扫描装置,用X射线对被检查物体进行扫描,得到X射线图像;处理器,配置为:利用卷积神经网络处理所述被检查物体的X射线图像,得到所述被检查物体的类别活性图;基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
根据本公开的一些实施例,所述卷积神经网络包括与不同尺度对应的多个通路,每个通路具有至少一个卷积层、在所述至少一个卷积层后的池化层和一个全卷积层,并且所述全卷积层用于输出相应尺度下的权重矢量,所述处理器被配置为:用每个通路输出的权重矢量与该通路中最后一个池化层之前的那个卷积层的特征进行加权求和,得到该尺度下的类别活性图;融合多个尺度下的类别活性图,得到所述被检查物体的类别活性图。
根据本公开的一些实施例,所述处理器被配置为:得到原始尺度的类别活性图和至少一个较小尺度的类别活性图,对所述至少一个较小尺度下的类别活性图进行上采样,得到上采样的类别活性图,以及融合原始尺度的类别活性图和上采样的类别活性图,得到所述被检查物体的类别活性图。
根据本公开的一些实施例,所述处理器被配置为:基于所述被检查物体的类别活性图和所述X射线图像得到热力图;利用阈值划分的方法判断所述热力图中是否包括可疑对象。
根据本公开的一些实施例,所述处理器被配置为对所述被检查物体的类别活性图和所述X射线图像进行加权求和来得到所述热力图。
根据本公开的一些实施例,所述卷积神经网络中的多个通路共享至少一个卷积层和至少一个池化层。
在本公开的再一方面,提出了一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:利用卷积神经网络处理被检查物体的X射线图像,得到所述被检查物体的类别活性图;基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
利用上述实施例的方案,基于类别活性图来判断可疑物品的位置,能够获得更为准确的安全检查结果。
附图说明
为了更好地理解本公开,将根据以下附图对本公开进行详细描述:
图1示出了根据本公开实施例的检查设备的示意图;
图2示出了在图1所示的实施例中用于图像处理的计算机的内部结构的示意图;
图3是用来说明根据本公开实施例的检查方法的示意性流程图;
图4是描述在本公开实施例的卷积神经网络的示意图;
图5示出了在本公开实施例的检查设备和检查方法中使用的卷积神经网络的示意图;
图6是描述在本公开实施例的检查方法中计算类活性图的过程的示意图;以及
图7示出了根据本公开实施例的检查方法中得到的检查结果的例子。
具体实施方式
下面将详细描述本发明的具体实施例,应当注意,这里描述的实施例只用于举例说明,并不用于限制本发明。在以下描述中,为了提供对本发明的透彻理解,阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的结构、材料或方法。
鉴于现有技术中存在的问题,本公开的实施例提出了一种检查技术,其利用卷积神经网络对被检查物体的X射线图像进行处理,得到类别活性图,然后基于类别活性图来判断被检查物体中是否包含有可疑物品。这样的检查技术能够更为准确地判断被检查物体中是否包括可疑物品。例如,早期的夹带检测方法是针对当前图片来求局部与其周围的纹理差异,在遍历图像后,综合其他特征,对差异较大且非噪声的部分判定为夹带嫌疑物。但是本公开提出的技术是利用深度学习网络的学习能力,以大量的训练样本为依托,学习辐射图像内部的特征结构并结合浅层的具体特征,进而通过类别活性图来确定异常的位置。具体来说,本公开的技术通过卷积神经网络产生的类别活性图来刻画图像中可能出现异常的位置,并通过阈值判定方法来找到可能存在夹带物品存在的位置。
图1示出了根据本公开实施例的检查设备的结构示意图。如图1所示的检查设备100包括X射线源110,探测器模块130、数据采集装置150、控制器140和计算设备160等。射线源110包括一个或多个X射线发生器,可以在控制140的控制下进行单能透射扫描,也可以进行双能透射扫描。
如图1所示,例如集装箱卡车之类的被检查物体120运动通过射线源110与探测器130之间的扫描区域。在一些实施例中,探测器130和数据采集装置150例如是具有整体模块结构的探测器及数据采集器,例如多排探测器,用于探测透射被检物体120的射线,获得模拟信号,并且将模拟信号转换成数字信号,从而输出被检查物体120针对X射线的透射图像。在双能的情况下,可以例如针对高能射线设置一排探测器,针对低能射线设置另一排探测器,或者高能射线和低能射线分时使用同一排探测器。控制器140用于控制整个系统的各个部分同步工作。诸如计算机之类的计算设备160用来处理由数据采集装置150采集的数据,对图像数据进行处理,输出结果。例如处理设备160运行图像处理程序,对扫描得到的X射线图像进行分析和学习,例如利用卷积神经网络处理被检查物体的X射线图像,得到被检查物体120的类别活性图。进而基于类别活性图确定被检查物体中是否有包括可疑对象。
根据该实施例,探测器模块130和数据采集装置150用于获取被检查物体110的透射数据。数据采集装置150中包括数据放大成形电路,它可工作于(电流)积分方式或脉冲(计数)方式。数据采集装置150的数据输出电缆与控制器140和计算设备160连接,根据触发命令将采集的数据存储在计算设备160中。
在一些实施例中,探测器130包括多个探测单元,接收穿透被检查物体120的X射线。数据采集装置150与探测器130耦接,将探测器130产生的信号转换为探测数据。控制器140通过控制线路与射线源110连接,通过另一控制线路与探测器130连接,并且进一步与数据采集装置150连接,控制射线源110中的一个或多个X射线发生器对被检查物体120进行单能扫描,或者对被检查物体120进行双能扫描,从而随着被检查物体120的移动而发出X射线穿透被检查物体120。此外,控制器140控制探测器130和数据采集装置150,获得相应的透射数据,例如单能透射数据或者双能透射数据。计算设备160基于透射数据得到被检查物体120的图像,对该图像进行处理,得到被检查物体120的类别活性图,然后基于类别活性图确定被检查物体120中是否有包括可疑对象。
图2示出了如图1所示的计算设备的结构框图。如图2所示,计算设备160包括存储设备161、只读存储器(ROM)162、随机存取存储器(RAM)163、输入装置164、处理器165、显示设备166和接口单元167以及总线168等。
数据采集装置150所采集的数据通过接口单元1677和总线168存储在存储设备161中。只读存储器(ROM)162中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)163用于在处理器165工作过程中暂存各种数据。另外,存储设备161中还存储有用于进行数据处理的计算机程序。内部总线168连接上述的存储设备161、只读存储器162、随机存取存储器163、输入装置164、处理器165、显示设备168和接口单元167。
在用户通过诸如键盘和鼠标之类的输入装置164输入的操作命令后,计算机程序的指令代码命令处理器165执行数据处理算法,在得到数据处理结果之后,将其显示在诸如LCD显示器之类的显示设备166上,或者直接以诸如打印之类硬拷贝的形式输出处理结果。
例如,射线源110可以是放射性同位素(例如钴-60),也可以是低能的X光机或高能的X射线加速器等。
例如,探测器130从材料上划分,可以是气体探测器、闪烁体探测器或固体探测器等,从阵列排布上划分,可以是单排、双排或者多排,以及单层探测器或双层高低能探测器等。
以上描述的是被检查物体120,例如集装箱卡车,移动通过检查区域,但是本领域的技术人员应该想到,也可以是被检查物体120静止而射线源和探测器移动完成扫描过程。
图3是用来说明根据本公开实施例的检查方法的示意性流程图。如图3所示,在步骤S310,用如图1所示的检查设备对被检查物体120进行X射线扫描,得到被检查物体120的X射线图像。然后,可选地,在步骤S320,对被检查物体的X射线图像进行预处理,例如去噪或者归一化等处理。在步骤S330,利用卷积神经网络对X射线图像进行处理,得到类别活性图。下面详细说明从X射线图像得到类别活性图的过程。
深度学习是机器学习领域的一个分支,它将原来浅层的神经网络插入更多隐含层来实现输入信息的分布式表达。与传统的浅层学习不同,深度学习更强调模型的深度,认为模型的隐层数目越多,学习能力越强。同时,深度学习强调了特征学习的重要性,认为不同深度上学习到的特征能使分类与预测更加准确。弱标注(弱监督定位),主要是利用弱监督卷积神经网络的标注,指在网络的训练过程中,仅给予数据以图像尺度的标注作为约束,能让网络来自动学习复杂场景中的多个事物。弱标注实现的基础是主要来自于:(1)CNNs的分层结构-对于空间位置的判别具有一定的倾向性;(2)有效的端到端的训练。
图4是描述在本公开实施例的卷积神经网络的示意图。如上所述,为了识别透射图像中的特征,本公开的实施例提出使用卷积神经网络CNN来对图像中的特征进行识别。以下结合图4来详细说明根据本公开实施例的卷积神经网络400。如图4所示卷积神经网络400通常可以包含多个卷积层420和440,这些卷积层420和440一般是由彼此部分重叠的小型神经元(其在数学的意义上也被称为卷积核,以下如无特别声明,这两个术语可以互换使用)的集合。此外,在本公开的上下文中,除非另有明确声明,否则对于卷积神经网络400中的任何两层而言,更接近输入数据(或输入层,例如图4的输入层410)的层被称为“在前”或“在下”的层,而另一个更接近输出数据(或输出层,例如图4的输出层470)的层被称为“在后”或“在上”的层。此外,在训练、验证和/或使用期间,从输入层(例如,图4的输入层410)到输出层(例如,图4的输出层470)的方向被称为前向或正向(forward),而从输出层(例如,图4的输出层470)到输入层(例如,图4的输入层410)的方向被称为后向或反向(backward)。
以图4所示的第一卷积层420为例,这些小型神经元可以对输入图像的各个局部进行处理。然后这些小型神经元的输出被合并排列为一个输出(称为特征映射,例如第一卷积层420中的方形),以获得对原始图像中某些特征进行更好表示的输出图像。同时,相邻神经元之间部分重叠的排列也使得卷积神经网络400对于原始图像中的特征具备一定程度的平移容忍度。换言之,即使原始图像中的特征在某个容忍度内以平移方式改变了其位置,该卷积神经网络400也可以正确地识别出该特征。关于卷积层的详细描述将在后文中给出,此处不再详细讨论。
接下来的一层是可选的池化(pooling)层,即第一池化层430,其主要用于在保持特征的情况下对前一卷积层420的输出数据进行下采样,减少计算量并防止过拟合。
接下来的一层同样是一个卷积层,第二卷积层440,可以对于第一卷积层420所产生的、并经由池化层430下采样的输出数据进行进一步的特征采样。从直观上看,其所学习到的特征在全局性上大于第一卷积层所学习到的特征。同样地,后续的卷积层都是对前一卷积层的特征的全局化。
卷积层(例如,第一和第二卷积层420和440)是CNN(例如,卷积神经网络400)的核心构造单元。该层的参数由可学习卷积核(或简称为卷积核)的集合来构成,每个卷积核具有很小的感受野,但是在输入数据的整个深度上延伸。在前向过程中,将每个卷积核沿输入数据的宽度和高度进行卷积,计算卷积核的元素与输入数据之间的点积,并产生该卷积核的二维激活映射。作为结果,网络能够学习到在输入的某个空间位置上看到某个具体类型的特征时才可以激活的卷积核。
将所有卷积核的激活映射沿深度方向进行堆叠,形成了卷积层的全输出数据。因此,输出数据中的每个元素可以被解释为看到输入中的小区域并与相同激活映射中的其他卷积核共享参数的卷积核的输出。
输出数据的深度控制了层中连接到输入数据的相同区域的卷积核的数量。例如,如图4所示,第一卷积层420的深度为4,第二卷积层440的深度为6。所有这些卷积核将学习到针对输入中的不同特征来激活。例如,如果第一卷积层420以原始图像为输入,则沿着深度维度的不同卷积核(即,图4中的不同方形)可以在输入数据中出现各种定向的边、或灰度块时激活。
训练过程在深度学习中是一个非常重要的部分。为了保证网络能够有效收敛,可以采用随机梯度下降法。例如,可以采用Nesterov优化算法来求解。在一些实施例中,初始的学习速率可以设置为从0.01开始,并逐渐减小,直至找到一个最优值。此外,在一些实施例中,对于权重的初始值,可以使用具有较小方差的Gaussian随机过程来初始化各卷积核的权重值。在一些实施例中,图像训练集可以采用标记的物品图像,其均标记有图像中的特征位置。虽然图4中给出了两个卷积层,两个池化层和全连接层的例子,但是本领域的技术人员应该想到,可以采用其数目的卷积层和池化层来实现卷积神经网络。
本公开的实施例中使用的类活性图(Class Activation Map)是指通过卷积神经网络得到的每类图像的可判别区域。图5示出了在本公开实施例的检查设备和检查方法中使用的卷积神经网络的示意图。
如图5所示,本公开实施例的卷积神经网络可以包括第一卷积层510、第一池化层511、第二卷积层512、第二池化层513、第三卷积层514、第三池化层515、第四卷积层516、第四池化层517、第五卷积层518、第五池化层519、第六卷积层520、第七卷积层521、全卷积层522和分类层523。如图5所示,所采用的网络主要由卷积层构成,在网络的正向传播过程中,从不同的网络深度处截取多个分支,以得到不同尺度的网络特征,这里称每一个尺度为一个通路。对于每一通路的末尾,本发明对其采取以下操作。首先,求取全局平均值,即在卷积层后连接全局平均池化层,并在池化层后连接一个全卷积层,将池化层的特征作为全卷积层的输入,最后连接到分类层一softmax层,得到相应的分类结果。如果想判别分类特征在原图像中的重要程度,只需将输出层的权重作用于最后一个池化层前的卷积层上,进行加权求和就能够得到类活动图,从而分析出夹带物品的位置。
根据本公开的实施例,卷积层对图像进行卷积操作,随着神经网络的深度的变化,得到不同尺度的特征。例如,卷积核的长、宽分别为3,步长的长、宽为1,对于图像从左到右,从上到下进行遍历。遍历中所采取的操作是,对于卷积和大小的图像和卷积和进行点乘加和,作为该位置的结果。
根据本公开的实施例,池化层在卷积层后,实现降采样处理,既能减少网络参数,又能增大感受野。例如,池化层的窗口长和宽为3,前三个池化层步长的长、宽为2,后三个前三个池化层步长的长、宽为1。
此外,根据本公开的实施例,上采样的实现可以采用加洞卷积的方式,卷积核长、宽为3,步长为1,所采用的加洞值分别为6、12、18,加洞操作就是对卷积核中每两个值补零,补零个数为加洞值,补零后卷积核继续进行卷积操作。
根据本公开的实施例,对X射线图进行网络训练,可以得到网络模型。将集装箱图片B带入到网络中,并根据附图5、6,来根据上述方法进行处理,执行步骤如下:
(1)准备数据:由于夹带物品的测试数据图片数量有限,通过数据运算的方法,来生成大量的含夹带物品的图片,用于网络的训练。
(2)数据预处理:对集装箱内货物X射线扫描图像的预处理,包括去均值和图像尺寸的剪裁。
由于辐射图像是单通道的灰度图,假定数据集为A,通过下式进行去均值处理,即
Amean=A-mean(A)
其中mean()表示求均值。对去均值后的网络进行剪裁,得到训练样本。
(3)训练网络:在训练阶段,采用一次训练的方法。如图5所示,网络采用跳跃结构,分别在池化层3和池化层4后以及卷积网络7后出现三个分支。网络借用全连接网络中综合利用浅、中、深三个层次上的特征来辅助网络进行训练预测。综合不同尺度的特征对于模型预测的正确率具有很大的改进。本领域技术人员应该意识到,可以设置更多的分支,例如4个,或者更少的分支,例如2个。
(4)测试阶段:将待测试的图片带入到网络中,通过前馈计算来在线提取卷积层的特征,记作scores。
(5)提取各阶段网络末端全连接层的值,记作矢量w1,w2,w3。
(6)提取每个阶段卷积层的特征,计算CAM_conv1,CAM_conv2,CAM_conv3。
(7)求取各个特征层的均值,即scores(i)=∑jscores(i,j),并对其进行降序排列。取得分高于阈值的特征层进行后续操作。
(8)对于每个阶段的类活性图CAM的操作为将卷积层与权重对应相乘求和,得到CAM图,如图6所示。
对于待测定的图片,让fk(x,y)表示空间位置(x,y)最后一个卷积层上的单元k活性。这样对于单元k,其全局平均池化的结果Fk表示为
Fk=∑x,yfx(x,y)
对于,某一类别c,输入到分类函数,则有
其中,是对应单元k上了别c的权重,只是Fk在类别c中的重要程度。最后,类别c的分类输出为,
由于偏置项对于分类结果没有任何影响,所以这里并不考虑偏置项,设定softmax层的输入偏置为0。将Fk=∑x,yfk(x,y)引入到中,则有
这里,Sc=∑x,y Mc(x,y),因此Mc(x,y)直接指示空间位置类c活性的重要程度。
(9)将三个阶段得到CAM图分别进行插值(例如上采样),得到原尺度的图像,然后进行相加求和,得到最终的CAM图。
(10)将CAM图转化为热度图,按相应的比例因子与原图像相加,得到的加权和作为最终的结果
Output=0.3×image+0.7×CAM
(11)利用阈值划分的方法来提取出图像中异常的区域,并用方框标示。本领域的技术人员可以理解,上述将CAM图转换成热力图的过程可以省略,或者采用其他的加权因子来得到输出结果。
此外,虽然上述实施例中采用的是在一个神经网络中设置多个分支的方式,但是本领域的技术人员可以理解,也可以对输入的图像进行下采样,得到多个尺度的图像。针对多个尺度的图像,使用各自的卷积神经网络进行处理。然后,对各个通道的处理结果进行上采样,在原始图像尺寸上融合多个通道处理的结果。
本公开利用了卷积神经网络局部特性能够定位物体的性质,同时引入卷积神经网络多尺度性征,来描述不同类别物体的位置信息。使用上采样,能够保持分类图片与原图片在尺度上的一致性,从而更准确清楚地实现物品位置信息的刻画。
以上的详细描述通过使用示意图、流程图和/或示例,已经阐述了检查方法和检查设备的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机系统上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。
虽然已参照几个典型实施例描述了本发明,但应当理解,所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质,所以应当理解,上述实施例不限于任何前述的细节,而应在随附权利要求所限定的精神和范围内广泛地解释,因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (13)

1.一种检查方法,包括步骤:
用X射线扫描被检查物体,得到被检查物体的X射线图像;
利用卷积神经网络处理所述被检查物体的X射线图像,得到所述被检查物体的类别活性图;
基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
2.如权利要求1所述的检查方法,其中,所述卷积神经网络包括与不同尺度对应的多个通路,每个通路具有至少一个卷积层、在所述至少一个卷积层后的池化层和一个全卷积层,并且所述全卷积层用于输出相应尺度下的权重矢量,所述得到被检查物体的类别活性图的步骤包括:
用每个通路输出的权重矢量与该通路中最后一个池化层之前的那个卷积层的特征进行加权求和,得到该尺度下的类别活性图;
融合多个尺度下的类别活性图,得到所述被检查物体的类别活性图。
3.如权利要求2所述的检查方法,其中得到了原始尺度的类别活性图和至少一个较小尺度的类别活性图,对所述至少一个较小尺度下的类别活性图进行上采样,得到上采样的类别活性图,并融合原始尺度的类别活性图和上采样的类别活性图,得到所述被检查物体的类别活性图。
4.如权利要求1所述的检查方法,其中基于所述类别活性图确定所述被检查物体中是否有包括可疑对象的步骤包括:
基于所述被检查物体的类别活性图和所述X射线图像得到热力图;
利用阈值划分的方法判断所述热力图中是否包括可疑对象。
5.如权利要求4所述的检查方法,其中对所述被检查物体的类别活性图和所述X射线图像进行加权求和来得到所述热力图。
6.如权利要求2所述的检查方法,其中,所述卷积神经网络中的多个通路共享至少一个卷积层和至少一个池化层。
7.一种检查设备,包括:
扫描装置,用X射线对被检查物体进行扫描,得到X射线图像;
处理器,配置为:
利用卷积神经网络处理所述被检查物体的X射线图像,得到所述被检查物体的类别活性图;
基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
8.如权利要求7所述的检查设备,其中,所述卷积神经网络包括与不同尺度对应的多个通路,每个通路具有至少一个卷积层、在所述至少一个卷积层后的池化层和一个全卷积层,并且所述全卷积层用于输出相应尺度下的权重矢量,所述处理器被配置为:
用每个通路输出的权重矢量与该通路中最后一个池化层之前的那个卷积层的特征进行加权求和,得到该尺度下的类别活性图;
融合多个尺度下的类别活性图,得到所述被检查物体的类别活性图。
9.如权利要求8所述的检查设备,其中所述处理器被配置为:
得到原始尺度的类别活性图和至少一个较小尺度的类别活性图,
对所述至少一个较小尺度下的类别活性图进行上采样,得到上采样的类别活性图,以及
融合原始尺度的类别活性图和上采样的类别活性图,得到所述被检查物体的类别活性图。
10.如权利要求7所述的检查设备,其中所述处理器被配置为:
基于所述被检查物体的类别活性图和所述X射线图像得到热力图;
利用阈值划分的方法判断所述热力图中是否包括可疑对象。
11.如权利要求10所述的检查设备,其中所述处理器被配置为对所述被检查物体的类别活性图和所述X射线图像进行加权求和来得到所述热力图。
12.如权利要求8所述的检查设备,其中,所述卷积神经网络中的多个通路共享至少一个卷积层和至少一个池化层。
13.一种计算机可读介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
利用卷积神经网络处理被检查物体的X射线图像,得到所述被检查物体的类别活性图;
基于所述类别活性图确定所述被检查物体中是否有包括可疑对象。
CN201710877741.1A 2017-09-25 2017-09-25 检查方法和检查设备以及计算机可读介质 Active CN109557114B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710877741.1A CN109557114B (zh) 2017-09-25 2017-09-25 检查方法和检查设备以及计算机可读介质
PCT/CN2018/107317 WO2019057200A1 (zh) 2017-09-25 2018-09-25 检查方法和检查设备以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710877741.1A CN109557114B (zh) 2017-09-25 2017-09-25 检查方法和检查设备以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN109557114A true CN109557114A (zh) 2019-04-02
CN109557114B CN109557114B (zh) 2021-07-16

Family

ID=65810737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710877741.1A Active CN109557114B (zh) 2017-09-25 2017-09-25 检查方法和检查设备以及计算机可读介质

Country Status (2)

Country Link
CN (1) CN109557114B (zh)
WO (1) WO2019057200A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN111275682A (zh) * 2020-01-19 2020-06-12 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046939B (zh) * 2019-12-06 2023-08-04 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850836A (zh) * 2015-05-15 2015-08-19 浙江大学 基于深度卷积神经网络的害虫图像自动识别方法
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
CN106599967A (zh) * 2016-12-08 2017-04-26 同方威视技术股份有限公司 安检物品定位的标签和安检物品定位的方法
CN106874845A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 图像识别的方法和装置
CN106910192A (zh) * 2017-03-06 2017-06-30 长沙全度影像科技有限公司 一种基于卷积神经网络的图像融合效果评估方法
CN107145898A (zh) * 2017-04-14 2017-09-08 北京航星机器制造有限公司 一种基于神经网络的射线图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547821B1 (en) * 2016-02-04 2017-01-17 International Business Machines Corporation Deep learning for algorithm portfolios

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN104850836A (zh) * 2015-05-15 2015-08-19 浙江大学 基于深度卷积神经网络的害虫图像自动识别方法
CN105956532A (zh) * 2016-04-25 2016-09-21 大连理工大学 一种基于多尺度卷积神经网络的交通场景分类方法
CN105975931A (zh) * 2016-05-04 2016-09-28 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置
CN106529602A (zh) * 2016-11-21 2017-03-22 中国科学院上海微系统与信息技术研究所 一种毫米波图像自动目标识别方法及装置
CN106599967A (zh) * 2016-12-08 2017-04-26 同方威视技术股份有限公司 安检物品定位的标签和安检物品定位的方法
CN106874845A (zh) * 2016-12-30 2017-06-20 东软集团股份有限公司 图像识别的方法和装置
CN106910192A (zh) * 2017-03-06 2017-06-30 长沙全度影像科技有限公司 一种基于卷积神经网络的图像融合效果评估方法
CN107145898A (zh) * 2017-04-14 2017-09-08 北京航星机器制造有限公司 一种基于神经网络的射线图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢宏涛等: "深度卷积神经网络在计算机视觉中的应用研究综述", 《数据采集与处理》 *
常亮等: "图像理解中的卷积神经网络", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648332A (zh) * 2019-09-12 2020-01-03 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN110648332B (zh) * 2019-09-12 2022-03-15 电子科技大学 基于多分支卷积神经网络特征正交的图像可判别区域提取方法
CN111275682A (zh) * 2020-01-19 2020-06-12 上海箱云物流科技有限公司 集装箱检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN109557114B (zh) 2021-07-16
WO2019057200A1 (zh) 2019-03-28

Similar Documents

Publication Publication Date Title
US20190050981A1 (en) System and method for automatically detecting a target object from a 3d image
KR101811270B1 (ko) 화물을 검사하는 방법 및 그 시스템
KR102240058B1 (ko) 검사 방법과 검사 장비 및 컴퓨터 판독 가능한 매체
CN108303747A (zh) 检查设备和检测枪支的方法
WO2015067208A1 (zh) 检查方法和设备
CN110084237A (zh) 肺结节的检测模型构建方法、检测方法和装置
CN108303748A (zh) 检查设备和检测行李物品中的枪支的方法
EP4170602A1 (en) A computer-implemented method and a system for estimating a pith location with regard to a timber board
CN103901489A (zh) 检查物体的方法、显示方法和设备
CN103903303A (zh) 三维模型创建方法和设备
US9652684B2 (en) Image processing for classification and segmentation of rock samples
CN109557114A (zh) 检查方法和检查设备以及计算机可读介质
Jaszcz et al. Lung x-ray image segmentation using heuristic red fox optimization algorithm
JP2020516897A (ja) 検査方法及び検査設備
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
CN108303435A (zh) 检查设备和对集装箱进行检查的方法
Agarwal et al. Application of a deep learning semantic segmentation model to helium bubbles and voids in nuclear materials
Niu et al. AI-based graptolite identification improves shale gas exploration
Gunes et al. Detecting direction of pepper stem by using CUDA-based accelerated hybrid intuitionistic fuzzy edge detection and ANN
Lowe et al. Echofilter: A Deep Learning Segmention Model Improves the Automation, Standardization, and Timeliness for Post-Processing Echosounder Data in Tidal Energy Streams
WO2023207308A1 (zh) 用于在线训练辐射图像识别模型的方法、辐射图像识别方法和装置
Cutura et al. Breaking the U: Asymmetric U-Net for Object Recognition in Muon Tomography☆
Neelakantan et al. Neural network approach for shape-based euhedral pyrite identification in X-ray CT data with adversarial unsupervised domain adaptation
Thompson Advancements to the non-destructive evaluation of strategic components
Muthukkumarasamy et al. Intelligent illicit object detection system for enhanced aviation security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant