CN107145898B - 一种基于神经网络的射线图像分类方法 - Google Patents

一种基于神经网络的射线图像分类方法 Download PDF

Info

Publication number
CN107145898B
CN107145898B CN201710245412.5A CN201710245412A CN107145898B CN 107145898 B CN107145898 B CN 107145898B CN 201710245412 A CN201710245412 A CN 201710245412A CN 107145898 B CN107145898 B CN 107145898B
Authority
CN
China
Prior art keywords
neural network
network model
radiographic image
convolutional neural
window position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710245412.5A
Other languages
English (en)
Other versions
CN107145898A (zh
Inventor
何竞择
徐圆飞
张文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hangxing Machinery Manufacturing Co Ltd
Original Assignee
Beijing Hangxing Machinery Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hangxing Machinery Manufacturing Co Ltd filed Critical Beijing Hangxing Machinery Manufacturing Co Ltd
Priority to CN201710245412.5A priority Critical patent/CN107145898B/zh
Publication of CN107145898A publication Critical patent/CN107145898A/zh
Application granted granted Critical
Publication of CN107145898B publication Critical patent/CN107145898B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/05Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于神经网络的射线图像分类方法,涉及射线图像分类技术领域,步骤为:(1)获取射线图像的训练样本并建立卷积神经网络模型;(2)对步骤(1)中的卷积神经网络模型的参数进行调整;(3)将步骤(1)中的训练样本进行图形学预处理后,输入到步骤(2)中调整后的卷积神经网络模型进行训练,获取各个训练样本分别对应的特征信息;(4)提取步骤(1)中各个训练样本分别对应的先验特征信息;(5)将所述步骤(4)中的先验特征信息和步骤(3)中卷积神经网络模型的全连接层对应的特征信息进行全连接,并保存与所述先验特征信息对应的训练样本的类别标识后,生成射线图像分类模型。

Description

一种基于神经网络的射线图像分类方法
技术领域
本发明属于射线图像分类技术领域,涉及一种基于神经网络的射线图像分类方法。
背景技术
随着多媒体技术与计算机网络的广泛应用,数据的保存、传输变得更加便捷。在安检工作中会产生大量的射线图像数据,尤其是基于X射线的安检机在车站、码头、机场、展览会馆等场所广泛应用。其中,X射线透视技术采用基于双能曲线的材料识别方法,能够快速准确地计算被透视物体的密度或者原子序数,并且在此基础上实现材料的定性和定量评价。将得到的有效原子序数根据物质材料分类表对X射线图像进行渲染生成彩色X射线图像,使其具有更加鲜明显著的颜色特征信息和更直观的视觉观感。同时,X射线图像的空间分辨率是固定的,通过X射线安检机可以识别被检物体的几何尺寸,而不会像普通灰度图像随着景深的变化出现尺寸的改变。基于上述X射线在呈像领域的诸多优点,能否有效的管理、利用这些射线图像文件,为用户提供更好的体验服务变得越来越重要。
目前,对射线图像的管理与分类通常是通过基于轮廓、大小、灰阶、所处环境等苛刻特征进行特征匹配,从而实现对射线图像进行分类。然而,由于现有分类方法对于所基于的特征条件的要求较为苛刻,当分类物品被其他物品遮挡、覆盖时,造成分类物品不能完整显示,会对分类结果产生较大的影响,从而导致射线图像的分类效率和分类精确度较低。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供了一种基于神经网络的射线图像分类方法,本发明通过选择与射线图像类别与特征对应的神经网络,并通过该神经网络对射线图像进行分类,可以解决现有射线图像的分类效率和分类精确度较低的问题。
本发明的技术解决方案是:一种基于神经网络的射线图像分类方法,包括如下步骤:
(1)获取射线图像的训练样本并建立卷积神经网络模型,其中,不同类别的训练样本分别对应一个类别标识;
(2)对步骤(1)中的卷积神经网络模型的参数进行调整;
(3)将步骤(1)中的训练样本进行图形学预处理后,输入到步骤(2)中调整后的卷积神经网络模型,通过卷积神经网络模型的卷积层获取各个训练样本分别在卷积神经网络模型的全连接层对应的特征信息,所述特征信息包括训练样本的轮廓形状特征和细节纹理特征;
(4)提取步骤(1)中各个训练样本分别对应的先验特征信息,所述先验特征信息包括图像的尺寸大小和材料颜色表征特征信息;
(5)将所述步骤(4)中的先验特征信息和步骤(3)中卷积神经网络模型的全连接层对应的特征信息进行全连接,并在所述全连接层保存与所述先验特征信息对应的训练样本的类别标识后,生成射线图像分类模型;
(6)将待分类图像输入到步骤(5)中的所述射线图像分类模型中,得到所述待分类图片的类别信息。
进一步地,对卷积神经网络模型的参数进行调整的方法为:根据公式
Figure BDA0001270505460000021
和εi+1=εi*(1-μ)对卷积神经网络模型的参数进行调整,其中,v是卷积神经网络模型中每一层的更新值,v1为符合正态分布的随机初始化值,w1为符合正态分布的随机初始化值,i是迭代次数,i为大于或等于1的正整数,w是卷积神经网络模型中每一层的权重,ε是卷积神经网络模型的学习率,ε1为0.001,
Figure BDA0001270505460000022
是对权重求偏导,μ为学习率变化的动量。
进一步地,所述步骤(3)中将训练样本进行图形学预处理的方法为:对所述训练样本进行去均值处理后,进行白化处理,其中,去均值处理的公式为
Figure BDA0001270505460000031
白化处理的公式为X"j=X′j/std(X′j),Xj为训练样本,X′j为去均值处理后的训练样本,std(X′j)为标准差,X"j为图形学预处理后的训练样本,n为训练样本的总个数。
进一步地,所述步骤(6)之后还包括:
根据步骤(1)中的所述卷积神经网络模型生成初始区域生成网络模型,并根据步骤(5)中的射线图像分类模型的卷积层参数更新所述初始区域生成网络模型的卷积层参数;
将训练样本输入到所述更新后的区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到训练样本图像的预测窗口位置,每一个训练样本图像中包含有多个物品图像以及各个物品图像的真实窗口位置;
根据预测窗口位置和真实窗口位置获取窗口位置回归参数;
当需要检测射线图像时,将射线图像输入到所述区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到射线图像的预测窗口位置;
根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置。
进一步地,所述根据所述卷积神经网络模型生成初始区域生成网络模型的步骤包括:
根据通过所述卷积神经网络模型输出的轮廓形状特征和细节纹理特征生成预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息;
将预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息保存在所述卷积神经网络模型的全连接层,生成初始区域生成网络模型。
进一步地,根据预测窗口位置和真实窗口位置获取窗口位置回归参数的步骤包括:
根据公式
Figure BDA0001270505460000041
计算最终窗口位置回归参数,其中,w*为最终窗口位置回归参数,φ5预测窗口区域的特征向量,λ为计算回归参数的权重值,t*为预测窗口位置和真实窗口位置的差值,t*=(tx,ty,tw,th),
Figure BDA0001270505460000042
(tx,ty)为平移量,(tw,th)为尺度缩放,(Gx,Gy,Gw,Gh)为真实窗口位置的坐标值,(Px,Py,Pw,Ph)为预测窗口位置的坐标值,x,y,w,h分别表示真实或者预测窗口位置的中心点坐标和宽高。
进一步地,根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置的步骤包括:
根据公式
Figure BDA0001270505460000043
计算所述射线图像的最终窗口位置,其中,d*(p)为最终窗口位置。
本发明与现有技术相比的优点在于:
(1)本发明充分利用了海量的训练样本数据作为射线图像数据库,能够有效地得到不同类别射线图像大量重要的特征信息,对于提高图像分类准确率有着显著的影响。
(2)本发明充分利用了射线图像尺寸不变性、不同材料的颜色表征性、重叠物体的穿透性等,为神经网络提供了更丰富更多元的特征输入,使得神经网络在提取复杂特征和数据重建的过程中数据更加完善。
(3)本发明采用卷积神经网络进行射线图像的分类,通过权值共享网络结构降低了网络模型的复杂度,减少了权值的数量。避免了传统识别算法中复杂的特征提取和数据重建过程。
(4)本发明采用卷积神经网络进行射线图像的分类,卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
附图说明
图1为本发明提出的基于神经网络的射线图像分类方法的流程图;
图2为本发明提出的基于神经网络的射线图像分类方法的射线物品检测方法流程图;
图3为本发明提出的窗口修正示意图。
具体实施方式
本发明方法的流程框图如图1所示,在具体说明本发明的实现过程之前,需要说明的是,利用神经网络的径向基函数能够降低X射线图像的噪声干扰。其中较优的,通过卷积神经网络的卷积层对射线图像进行卷积运算,可以使射线图像的特征增强,并且有效地抑制噪声。X射线图像不同材料的颜色特征、空间分辨率固定时得到的尺寸不随景深变化的特性,使得神经网络在提取复杂特征和数据重建的过程中相较于普通灰度图像更为准确有效。当物品安检机型设置不变时,生成的X射线图像具有相同的尺寸,X射线图像上的物品产生形变时会发生色彩的堆叠,这些都可以作为特征输入到神经网络中,提高了使用神经网络进行射线图像分类的准确率。
与普通灰度图像重叠时造成的遮挡现象不同,X射线图像中重叠的物体会形成灰度信息的堆叠,同时保留了所有重叠物品的轮廓。本发明应用神经网络将X射线图像中线性衰减系数基本一致的物体边缘完整的跟踪、连接出来,并且将线性衰减系数不同但重叠在一起的物体有效地分割开来,而不是通过传统的边缘延续假设获取物品几何特征,使用神经网络的方法提升了物品检测的准确率。深度神经网络参数众多,为了更好地刻画出模型在空间上的分布,必须要有足够多的数据。在安检工作中会产生大量的X射线图像数据,能够为构建精确的网络模型提供有力的支撑。
下面结合X射线图像的以上特点和神经网络对于处理X射线图像的优点和合适性,对本发明分类方法的具体步骤进行详细阐述,可以如图1所示,具体包括:
1.通过扫描拍摄得到射线图像的训练样本,对不同类别的训练样本设置对应类别标签,创建射线图像样本库。
其中,训练样本的类别包括但不限于:刀具、警械、水瓶、金属压缩罐、枪支、爆破器材、烟花制品等国家法律法规规定的禁止携带运输的7类物品。
2.安装包含多种卷积神经网络模型的深度学习平台。
其中,深度学习平台包括但不限于卷积神经网络框架Caffe、卷积神经网络框架Torch、卷积神经网络框架TensorFlow、卷积神经网络框架Theano等。
具体地,以Caffe深度学习平台为例,在图形处理器上安装基于包含多种卷积神经网络模型的Caffe深度学习框架的平台。其中,Caffe是目前流行的高效深度学习框架之一,通过软件语言C++编写的并且支持CUDA架构的运算平台,同时支持命令行、面向对象的解释型计算机程序设计语言Python和数学仿真MATLAB接口,可以在CPU和图形处理器上直接无缝切换。
下面对Caffe的安装与配置进行说明:Caffe需要预先配置依赖项。首先配置Visual Studio2013和matlab2014a;其次配置windows10下的cuda7.5的驱动安装;最后在配置了CUDA之后,依次配置数据库OpenBLAS,跨平台计算机视觉库OpenCV,矩阵库Boost即可。
3.选择卷积神经网络模型CaffeNet。
其中,CaffeNet是卷积神经网络在图像分类上的经典模型,由5个卷积层和3层全连接层组成,2层全连接层用于连接图像特征,1层全连接层用于连接分类特征。CaffeNet最大的特点就是提升了计算资源的利用率,在网络需要的计算量不变的前提下,可提升网络的宽度、深度以及正确率。所述卷积神经网络模型还可以为卷积神经网络模型ZFnet、卷积神经网络模型VGGnet、卷积神经网络模型Googlenet等,本发明不做限定。
4.对卷积神经网络模型的参数进行调整。
其中,参数的调整包括:学习率的设定、学习策略的选择、动量的调整、最大迭代次数的设定、权重衰减、卷积层、激励层、池化层、全连接层等层级结构的权重和参数调整,输入层输入样本数目的调整和输出层输出类别数目的调整等。
具体地,学习率初始值ε1:0.001,学习策略选择为:"step",最大迭代次数:60000,动量μ:0.9,权重衰减:0.004,训练模式:GPU,输入层输入样本数目:100,输出层输出类别数目:7,学习率的变化方式如下:
εi+1=εi*(1-μ) (1)
在模型中,学习率的变化动量μ为0.9,权值衰减为0.004,虽然权值衰减很小,但是对于学习很重要,它减小了模型的训练错误率,w的更新规则为:
Figure BDA0001270505460000071
其中,v是卷积神经网络模型中每一层的更新值,v1为符合正态分布的随机初始化值,w1为符合正态分布的随机初始化值,i是迭代次数,i为大于或等于1的正整数,w是卷积神经网络模型中每一层的权重,ε是卷积神经网络模型的学习率,ε1为0.001,
Figure BDA0001270505460000072
是对权重求偏导,μ为学习率变化的动量。
5.将样本库中的各类训练样本进行去均值、白化预处理,从而能够有效地提高训练样本的速度和精度。
其中去均值的步骤包括:将每个样本Xj减去所有样本的均值图像得到去均值后的X′j,公式如下:
Figure BDA0001270505460000073
白化是对去均值后的样本图像X′j在每个特征轴上的幅度进行归一化的操作,具体为对每一个去均值后的样本除以标准差std(X′j),公式如下:
X"j=X′j/std(X′j) (4)
6.将预处理后的训练样本的数据集输入到所述的卷积神经网络模型中进行训练,通过卷积神经网络模型的卷积层和池化层获取各个训练样本分别在卷积神经网络模型的全连接层对应的特征信息,所述特征信息包括训练样本的轮廓形状特征和细节纹理特征。
7.提取预处理后的训练样本的数据集的先验特征信息。
其中,先验特征信息包括:样本图像的尺寸大小600*1000、材料颜色表征等特征。首先对于不同材料的物质按照有效原子序数进行划分如:重金属、有机物、轻金属等,根据X射线的灰度图像及其不同的物质材料分类映射获得射线图像的颜色特征。
8、将步骤6中卷积神经网络模型的全连接层对应的特征信息与步骤7中先验特征信息进行全连接,并在所述全连接层保存与所述先验特征信息对应的训练样本的类别标识后,生成射线图像分类模型。
9.将测试的射线图像作为输入加载到所述训练好的射线图像分类模型中,得到输出概率最大的类别,即为测试的射线图像所属的类别,如果输出的类别与图像标注的类别相同,表明该测试图像分类正确,从而实现射线图像的分类。
进一步地,基于上述射线图像分类方法,本发明提供一种基于神经网络的射线物品检测方法,可以如图2所示,具体步骤包括:
1.通过扫描拍摄得到射线图像的训练样本,对每一个训练样本的图像划分为一个或多个包含有物品图像的窗口区域,每一个窗口区域对应一个类别标识,创建射线图像样本库。
2.搭建包含多种神经网络模型的深度学习平台。
3.生成区域生成网络模型,其具体方法如下:
第一,根据通过所述卷积神经网络模型输出的轮廓形状特征和细节纹理特征生成预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息。具体地,对于给定尺寸大小为600*1000的输入图像,经过卷积操作得到最后一层的卷积特征(大小约为40*60),最后一层卷积层共有256个特征映射图。然后在这个特征图上使用3*3的卷积核(滑动窗口)与特征图进行卷积,那么这个3*3的区域卷积后可以获得一个256维的特征向量。因为这个3*3的区域上,每一个特征图上得到一个1维向量,256个特性图即可得到256维特征向量。
其中,大小为3*3的滑窗,在中心位置对应预测输入图像3种尺度(128,256,512),3种长宽比(1:1,1:2,2:1)的预测区域,产生了k=9个预测区域。即每个3*3区域可以产生9个预测区域。所以对于这个40*60的特征映射图,总共有约20000个(40*60*9)预测区域,也就是预测20000个预测区域。
第二,将预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息保存在所述卷积神经网络模型的全连接层,生成初始区域生成网络模型。
具体地,将生成的预测区域接入到卷积神经网络模型的两个全连接层,分别用于分类和边框回归。用于分类的全连接层包含2个元素,用于判别目标和非目标的估计概率。边框回归全连接层包含4个坐标元素(x,y,w,h),用于确定目标位置。用于分类的全连接层包括:正样本,与真实区域重叠大于0.7,负样本,与真实区域重叠小于0.3。边框全连接层用于返回区域位置。
4.根据射线图像分类模型的卷积层参数更新所述初始区域生成网络模型的卷积层参数,将训练样本输入到所述更新后的区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到训练样本图像的预测窗口位置,每一个训练样本图像中包含有多个物品图像以及各个物品图像的真实窗口位置。
其中,将训练样本输入到所述更新后的区域生成网络模型中的输出结果包含有所有预测窗口位置,将所有预测窗口位置输入到射线图像分类模型可以对所有预测窗口位置中,在射线图像分类模型中无法进行类别匹配的预测窗口位置进行过滤删除,即将不包含有物品图像的预测窗口位置进行过滤删除,从而得到训练样本图像的预测窗口位置,进而提高了预测窗口位置的获取精度。
5.根据预测窗口位置和真实窗口位置获取最终窗口位置回归参数。
具体如图3所示,对于射线图像中包含的每一个物品图像的窗口一般使用思维向量(x,y,w,h)来表示,分别表示窗口的中心点坐标和宽高,其中,框图P代表预测窗口位置,框图G代表目标的真实窗口区域,
Figure BDA0001270505460000091
代表修正后的窗口。
预测窗口位置(Px,Py,Pw,Ph)与真实窗口位置(Gx,Gy,Gw,Gh)之间得到的真正需要的平移量(tx,ty)和尺度缩放(tw,th)可以通过以下计算得到:
Figure BDA0001270505460000101
对于给定的原始窗口(Px,Py,Pw,Ph),寻找一种映射f,使得输入原始的窗口经过映射得到一个跟真实窗口G更接近的回归窗口
Figure BDA0001270505460000102
Figure BDA0001270505460000103
其中:
Figure BDA0001270505460000104
为位置变换,设平移变换(Δx,Δy),Δx=Pwdx(P),Δy=Phdy(P)。则:
Figure BDA0001270505460000105
其中:
Figure BDA0001270505460000106
为尺度变换,尺度缩放比为(Sw,Sh),Sw=Pwdx(P),Sh=Phdh(P)。则:
Figure BDA0001270505460000107
为了使预测值P跟真实值G之间的差值t*=(tx,ty,tw,th)差距最小,得到最终窗口位置回归参数为:
Figure BDA0001270505460000108
其中,w*为最终窗口位置回归参数窗口位置回归参数,φ5预测窗口区域的特征向量,λ为计算回归参数的权重值,t*为预测窗口位置和真实窗口位置的差值。
6.当需要检测射线图像时,将射线图像输入到所述区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到射线图像的预测窗口位置和预测窗口中包含的物品图像类别,然后根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置。
具体地,最终窗口位置的计算公式如下所示:
Figure BDA0001270505460000109
其中,d*(p)为最终窗口位置。
对于本发明实施例,在进行最终窗口位置回归参数的获取过程时,由于训练样本的物品图像窗口位置是可以获取的,即真实窗口位置是可以获取的,因此可以根据大量样本的真实窗口位置和对应的预测窗口位置获取到最终窗口位置回归参数,进而在实际应用中,当需要检测射线图像时,由于该射线图像的真实窗口位置无法获取,可以通过大量训练样本训练得到的最终窗口位置回归参数获取该射线图像的真实窗口位置,并且可以保证该射线图像的真实窗口位置较为准确。
进一步地,在本发明所述的基于神经网络的射线图像分类方法的基础上,还可以实现射线图像分割,包括:
首先搭建基于包含多种神经网络模型的深度学习平台。然后选择合适的神经网络模型并进行网络模型的调整。再将样本库中的各类训练样本上的每一个像素点进行分类达到分割的目的。其中,由于射线图像的穿透性和灰度堆叠特性,将训练样本图像的像素点分类情况包括:背景类别、单一类别、混合类别。将每个像素点都带有类别标签的所述训练样本输入到所述调整后的卷积神经网络模型中训练得到训练好的射线图像分割模型,最后将测试图片加载到所述射线图像模型中执行分割,对测试图片中特定部分物体进行识别。
具体地,对网络模型的调整包括以下步骤:将所述的基于神经网络的射线图像分类的网络的全连接层转化为卷积层;将所述全连接层转化的卷积层进行反卷积操作实现神经网络的反向传播;将不同池化层的结果进行上采样,结合这些结果优化还原图像当中的特征,最终完成整个图像的还原。
进一步地,在上述射线图像分割方法和本发明提供的的基于神经网络的射线图像分类方法的基础上,本发明还可以实现基于神经网络的射线图像映射可见光图像,包括以下步骤:
首先通过扫描拍摄得到可见光图像的训练样本,对不同类别的训练样本设置对应标签,创建射线图像样本库。然后搭建基于包含多种神经网络模型的深度学习平台。再选择合适的神经网络模型并根据训练样本的类别进行网络模型的调整和参数的调优,将所述训练样本的数据集输入到所述的卷积神经网络模型中训练得到不同类别真实图像的特征模型,利用所述的基于神经网络的射线图像分割方法进行图像分割。最后将分割后的射线图像区域按照相应类别选择真实图像的特征模型,按照预设比例从整体到局部的进行填充,得到射线图像映射的真实图像。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (6)

1.一种基于神经网络的射线图像分类方法,其特征在于,包括如下步骤:
(1)获取射线图像的训练样本并建立卷积神经网络模型,其中,不同类别的训练样本分别对应一个类别标识;
(2)对步骤(1)中的卷积神经网络模型的参数进行调整,其中,对卷积神经网络模型的参数进行调整的方法为:
根据公式
Figure FDA0002268678780000011
和εi+1=εi*(1-μ)对卷积神经网络模型的参数进行调整,其中,v是卷积神经网络模型中每一层的更新值,v1为符合正态分布的随机初始化值,w1为符合正态分布的随机初始化值,i是迭代次数,i为大于或等于1的正整数,w是卷积神经网络模型中每一层的权重,ε是卷积神经网络模型的学习率,ε1为0.001,
Figure FDA0002268678780000012
是对权重求偏导,μ为学习率变化的动量;
(3)将步骤(1)中的训练样本进行图形学预处理后,输入到步骤(2)中调整后的卷积神经网络模型,通过卷积神经网络模型的卷积层获取各个训练样本分别在卷积神经网络模型的全连接层对应的特征信息,所述特征信息包括训练样本的轮廓形状特征和细节纹理特征;
(4)提取步骤(1)中各个训练样本分别对应的先验特征信息,所述先验特征信息包括图像的尺寸大小和材料颜色表征特征信息;
(5)将所述步骤(4)中的先验特征信息和步骤(3)中卷积神经网络模型的全连接层对应的特征信息进行全连接,并在所述全连接层保存与所述先验特征信息对应的训练样本的类别标识后,生成射线图像分类模型;
(6)将待分类图像输入到步骤(5)中的所述射线图像分类模型中,得到所述待分类图像的类别信息。
2.根据权利要求1所述的一种基于神经网络的射线图像分类方法,其特征在于,所述步骤(3)中将训练样本进行图形学预处理的方法为:
对所述训练样本进行去均值处理后,进行白化处理,其中,去均值处理的公式为
Figure FDA0002268678780000021
白化处理的公式为X"j=X′j/std(X'j),Xj为训练样本,X'j为去均值处理后的训练样本,std(X'j)为标准差,X"j为图形学预处理后的训练样本,n为训练样本的总个数。
3.根据权利要求1所述的一种基于神经网络的射线图像分类方法,其特征在于,所述步骤(6)之后还包括:
根据步骤(1)中的所述卷积神经网络模型生成初始区域生成网络模型,并根据步骤(5)中的射线图像分类模型的卷积层参数更新所述初始区域生成网络模型的卷积层参数;
将训练样本输入到所述更新后的区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到训练样本图像的预测窗口位置,每一个训练样本图像中包含有多个物品图像以及各个物品图像的真实窗口位置;
根据预测窗口位置和真实窗口位置获取窗口位置回归参数;
当需要检测射线图像时,将射线图像输入到所述区域生成网络模型中,并将输出结果输入到所述射线图像分类模型中,得到射线图像的预测窗口位置和预测窗口中包含的物品图像类别;
根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置。
4.根据权利要求3所述的一种基于神经网络的射线图像分类方法,其特征在于,所述根据所述卷积神经网络模型生成初始区域生成网络模型的步骤包括:
根据通过所述卷积神经网络模型输出的轮廓形状特征和细节纹理特征生成预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息;
将预测窗口区域的位置信息和预测窗口区域中包含物品图像的概率信息保存在所述卷积神经网络模型的全连接层,生成初始区域生成网络模型。
5.根据权利要求3所述的一种基于神经网络的射线图像分类方法,其特征在于,根据预测窗口位置和真实窗口位置获取窗口位置回归参数的步骤包括:
根据公式
Figure FDA0002268678780000031
计算最终窗口位置回归参数,其中,w*为最终窗口位置回归参数,φ5预测窗口区域的特征向量,λ为计算回归参数的权重值,t*为预测窗口位置和真实窗口位置的差值,t*=(tx,ty,tw,th),
Figure FDA0002268678780000032
Figure FDA0002268678780000033
(tx,ty)为平移量,(tw,th)为尺度缩放,(Gx,Gy,Gw,Gh)为真实窗口位置的坐标值,(Px,Py,Pw,Ph)为预测窗口位置的坐标值,x,y,w,h分别表示真实或者预测窗口位置的中心点坐标和宽高。
6.根据权利要求5所述的一种基于神经网络的射线图像分类方法,其特征在于,根据射线图像的预测窗口位置和窗口位置回归参数获取所述射线图像的最终窗口位置的步骤包括:
根据公式
Figure FDA0002268678780000041
计算所述射线图像的最终窗口位置,其中,d*(p)为最终窗口位置。
CN201710245412.5A 2017-04-14 2017-04-14 一种基于神经网络的射线图像分类方法 Active CN107145898B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710245412.5A CN107145898B (zh) 2017-04-14 2017-04-14 一种基于神经网络的射线图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710245412.5A CN107145898B (zh) 2017-04-14 2017-04-14 一种基于神经网络的射线图像分类方法

Publications (2)

Publication Number Publication Date
CN107145898A CN107145898A (zh) 2017-09-08
CN107145898B true CN107145898B (zh) 2020-04-10

Family

ID=59773663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710245412.5A Active CN107145898B (zh) 2017-04-14 2017-04-14 一种基于神经网络的射线图像分类方法

Country Status (1)

Country Link
CN (1) CN107145898B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109557114B (zh) * 2017-09-25 2021-07-16 清华大学 检查方法和检查设备以及计算机可读介质
CN107817204B (zh) * 2017-11-01 2018-12-28 中国科学院地质与地球物理研究所 一种页岩微米孔隙结构分析方法及装置
CN108055158A (zh) * 2017-12-19 2018-05-18 深圳供电局有限公司 一种电网图像识别系统以及方法
KR20210126163A (ko) * 2018-02-14 2021-10-19 가부시끼가이샤 이시다 검사 장치
CN108198227A (zh) * 2018-03-16 2018-06-22 济南飞象信息科技有限公司 基于x光安检机图像的违禁品智能识别方法
CN108764328A (zh) * 2018-05-24 2018-11-06 广东工业大学 太赫兹图像危险品识别方法、装置、设备及可读存储介质
CN109884721A (zh) * 2018-12-10 2019-06-14 深圳极视角科技有限公司 基于人工智能的安检违禁物品检测方法、装置及电子设备
CN109946746A (zh) * 2019-03-21 2019-06-28 长安大学 一种基于深度神经网络的安检系统及方法
CN109977877B (zh) * 2019-03-28 2021-03-16 北京邮电大学 一种安检智能辅助判图方法、系统以及系统控制方法
CN110287991B (zh) * 2019-05-22 2023-12-19 平安科技(深圳)有限公司 植物类生药真伪验证方法、装置、计算机设备及存储介质
CN110414330B (zh) * 2019-06-20 2023-05-26 平安科技(深圳)有限公司 一种手掌图像的检测方法及装置
CN110414562B (zh) * 2019-06-26 2023-11-24 平安科技(深圳)有限公司 X光片的分类方法、装置、终端及存储介质
CN110390341B (zh) * 2019-07-26 2022-12-06 长安大学 基于卷积神经网络的绿通车运载货物放射源图像识别方法
CN111242131B (zh) * 2020-01-06 2024-05-10 北京十六进制科技有限公司 一种智能阅卷中图像识别的方法、存储介质及装置
CN111784954B (zh) * 2020-07-09 2023-12-05 国网江苏省电力有限公司无锡供电分公司 一种架空输电线路防外破报警装置及方法
CN112150422B (zh) * 2020-09-15 2023-12-08 苏州知会智能科技有限公司 一种基于多任务学习的口腔健康自我检测模型的建模方法
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
CN114596460A (zh) * 2022-01-13 2022-06-07 南京航空航天大学 一种基于编码板的超高速射线图像识别方法
CN114595740B (zh) * 2022-01-13 2024-09-13 南京航空航天大学 一种基于光电探测器的超高速射线图像识别方法
CN115018738B (zh) * 2022-08-08 2022-12-27 科大讯飞(苏州)科技有限公司 彩色图像生成方法、装置、设备及可读存储介质
CN116188612A (zh) * 2023-02-20 2023-05-30 信扬科技(佛山)有限公司 图像重建方法、电子设备及存储介质
CN117930381A (zh) * 2024-03-25 2024-04-26 海南中南标质量科学研究院有限公司 基于物联网大数据的口岸无辐射透视波通关查验系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129190B1 (en) * 2013-12-04 2015-09-08 Google Inc. Identifying objects in images
CN103984959B (zh) * 2014-05-26 2017-07-21 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
CN105989368A (zh) * 2015-02-13 2016-10-05 展讯通信(天津)有限公司 一种目标检测方法及装置以及移动终端
CN105335712A (zh) * 2015-10-26 2016-02-17 小米科技有限责任公司 图像识别方法、装置及终端
CN105740894B (zh) * 2016-01-28 2020-05-29 北京航空航天大学 一种高光谱遥感图像的语义标注方法
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法

Also Published As

Publication number Publication date
CN107145898A (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN107145898B (zh) 一种基于神经网络的射线图像分类方法
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
Rogers et al. Automated x-ray image analysis for cargo security: Critical review and future promise
US20210012468A1 (en) Boundary-aware object removal and content fill
CN113159120A (zh) 一种基于多尺度跨图像弱监督学习的违禁物检测方法
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN115661622A (zh) 一种基于图像增强和改进YOLOv5的陨石坑检测方法
CN117274515A (zh) 基于ORB和NeRF映射的视觉SLAM方法及系统
CN114997501A (zh) 基于样本失衡的深度学习矿产资源分类预测方法及系统
CN113095404A (zh) 基于前后背景分卷积神经网络的x光违禁物品检测方法
CN115830243A (zh) 一种基于深度学习的ct三维目标检测方法
CN117671585A (zh) 一种基于YOLOv5的拌合站物料识别方法
CN116665201A (zh) 单目三维目标检测方法、装置、设备及存储介质
CN117218583A (zh) 基于YOLOv5-Mobilenet网络模型的安检图片违禁品图像检测方法、设备和计算机存储介质
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
Li et al. Synthetic data generation based on local-foreground generative adversarial networks for surface defect detection
CN114114457B (zh) 基于多模态测井数据的裂缝表征方法、装置及设备
CN111460862A (zh) 基于神经网络的遥感图像地物提取方法及系统
US11488342B1 (en) Material map identification and augmentation
Hu et al. Efficient virtual-to-real dataset synthesis for amodal instance segmentation of occlusion-aware rockfill material gradation detection
CN116188973B (zh) 认知生成机制裂缝检测方法
Chen Development of image recognition system for steel defects detection
Campos et al. Development of a New Method for Measuring the Diameter of Iron Ore Pellets Using Digital Image Processing and Convolutional Neural Networks in Compliance with ISO 4698
CN118052811B (zh) 一种基于nam-dssd模型的飞机蒙皮缺陷检测方法
CN112132235B (zh) 基于dsp加速计算板卡的无人平台目标检测识别方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant