CN109615024A - 一种岩石种类智能区分识别及定位方法 - Google Patents
一种岩石种类智能区分识别及定位方法 Download PDFInfo
- Publication number
- CN109615024A CN109615024A CN201811616888.6A CN201811616888A CN109615024A CN 109615024 A CN109615024 A CN 109615024A CN 201811616888 A CN201811616888 A CN 201811616888A CN 109615024 A CN109615024 A CN 109615024A
- Authority
- CN
- China
- Prior art keywords
- rock
- image
- network
- training
- species
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Abstract
本发明的一种岩石种类智能区分识别及定位方法,包括,步骤1:对多个岩石数字图像进行增强处理;步骤2:用矩形框对测试集和训练集中图像中的每块岩石进行标注,并记录矩形框信息;步骤3:通过基础特征提取网络对训练集中的图像进行特征提取;步骤4:通过RPN网络对岩石特征图像进行区域建议提取;步骤5:将步骤4处理后的训练集作为输入,采用交替训练法对Fast R‑CNN网络和RPN网络进行联合训练,获得训练好的网络模型;步骤6:采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。本发明解决了现有技术不能识别多类岩石混合场景下的岩石种类和岩石定位难题,同时也提高了岩石种类识别的效率。
Description
技术领域
本发明属于岩石种类区分识别及定位领域,涉及一种岩石种类智能区分识别及定位方法。
背景技术
在地质调查过程中,岩石种类的区分识别和定位工作极其重要,它是进行地质填图,阐明地质调查区域内的岩石、地层、构造、水文地质情况等相互关系的基础。传统的地质调查工作中,人们通过肉眼观察岩石的颜色、构造、矿物成分、形状等特征,进而根据经验来判断岩石种类,主观因素较多。因此很多学者对岩石种类智能识别进行了大量研究,岩石种类识别的方法也有很多。大多数是基于特征参数提取算法的,数据形式大多以岩石薄片数字图像或者光谱特征为主,很少采用直接的原始岩石图像作为训练数据,因此所得的岩石种类识别模型很少能直接应用到地质调查的岩石种类识别当中,还有一些学者单纯利用卷积神经网络对岩石图像进行岩石种类识别,但是都是对单类岩石图像进行识别,而针对多类岩石混合的图像来说,此方法失效,因为其不能进行岩石区分识别,也不能准确定位各类岩石的具体位置。因此需要一种不仅能够区分识别同一张图像当中的不同岩石,而且能够将岩石准确定位的方法来提高岩石种类识别效率,从而解决识别和定位不能共存的问题。
发明内容
为解决上述技术问题,本发明的目的是提供一种岩石种类智能区分识别及定位方法,用以识别同一图像当中的不同种类岩石并且对岩石进行定位,辅助地质调查人员将区域与岩石种类对号入座。
本发明提供一种岩石种类智能区分识别及定位方法,包括如下步骤:
步骤1:将输入的多个岩石数字图像进行增强处理,并从岩石数字图像和增强图像所构成的图像集中随机选取图像以构成测试集,剩余图像作为训练集;
步骤2:用矩形框对测试集和训练集中的图像中的每块岩石进行标注,并记录矩形框信息;
步骤3:通过基础特征提取网络对训练集中的图像进行特征提取,获得岩石特征图像;
步骤4:通过RPN网络并基于步骤2标注的矩形框对岩石特征图像进行区域建议提取,区分前景和背景,每张图像选出300个检测框;
步骤5:将步骤4处理后的训练集作为输入,采用交替训练法对Fast R-CNN网络和RPN网络进行联合训练,从而完成对整个网络的训练,获得训练好的网络模型;
步骤6:采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤1具体包括:
步骤1.1:将输入的岩石数字图像依次进行旋转操作、镜像操作和变化RGB强度操作,旋转操作的每次旋转角度为30°;
步骤1.2:从岩石数字图像和增强图像中随机选取10%的图像构成测试集,剩余90%的图像作为训练集。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤2具体包括:
步骤2.1:用矩形框将训练集和测试集中每一个图像中的每一个岩石框定起来,并将每一个矩形框都打上岩石种类标签;
步骤2.2:同时记录每一个矩形框的坐标信息,即矩形框顶点的坐标,矩形框的长度和宽度。
在本发明的岩石种类智能区分识别及定位方法中,所述基础特征提取网络包括17层,依次是卷积层Conv1_1、卷积层Conv1_2、池化层maxPooling1、卷积层Conv2_1、卷积层Conv2_2、池化层maxPooling2、卷积层Conv3_1、卷积层Conv3_2、卷积层Conv3_3、池化层maxPooling3、卷积层Conv4_1、卷积层Conv4_2、卷积层Conv4_3、池化层maxPooling4、卷积层Conv5_1、卷积层Conv5_2和卷积层Conv5_3;
13个卷积层的卷积核都为3x3;5个池化层的池化方式均采用最大值池化法,卷积核大小设定为2x2,步长均选为2。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤3具体包括:
步骤3.1:将步骤2中标注完的训练集中的图像缩放至预定大小后作为基础特征提取网络的输入;
步骤3.2:图像每经过一层最大值池化操作后,长和宽减小一半,图像越来越小,特征越来越集中和抽象,从而达到减小过拟合和提高模型泛化能力的目的;
步骤3.3:图像经反复的卷积和池化操作,得到岩石特征图像。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤4具体包括:
步骤4.1:将步骤3得到的岩石特征图像的每一个像素点均设置三种不同大小尺寸及三种不同长宽比例的检测框和四个检测框位置信息,即检测框中心点坐标、边框长和边框宽;
步骤4.2:将步骤4.1得到的检测框依次输入到RPN网络的概率层当中,通过概率层计算得出两个概率得分;当检测框的概率得分与步骤2中标注的矩形框的概率得分的交并比大于等于0.7时,认为该检测框的区域为前景;当交并比小于等于0.3时认为该检测框的区域为背景,交并比介于0.3和0.7之间的检测框全部舍弃,除此之外超出图像边界的检测框也全部舍弃;
步骤4.3:将4.2中得到的检测框的得分进行非极大值抑制操作,每张图像选取前300个检测框作为最终区域建议输出。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤5具体包括:
步骤5.1:对RPN网络进行单独训练,首先用ImageNet预训练模型对RPN网络初始化,将经步骤4处理后的训练集输入到RPN网络中采用end to end方式来调整参数进行RPN网络训练;
步骤5.2:采用ImageNet预训练模型对Fast R-CNN网络进行初始化,利用步骤5.1中RPN网络生成的检测框对Fast R-CNN网络和基础特征提取网络进行训练;
步骤5.3:在固定基础特征提取网络的基础上利用步骤5.2中训练好的Fast R-CNN网络来初始化RPN网络,用进行训练;
步骤5.4:保持基础特征提取网络固定,用上一步调整后的RPN网络输出候选检测框作为输入,微调Fast R-CNN的全连接层参数;
步骤5.5:计算全局损失,若损失值小于设置阈值,则训练结束,保存训练好的模型,若大于阈值则继续5.1至5.4的交替训练。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤5.5中计算全局损失值根据下式计算:
其中:
其中,i为整数,Pi表示第i个候选检测框预测为目标物体的概率,表示第i个候选检测框对应的指示值,如果候选检测框是目标物体取1,如果是背景取0;ti={tx,ty,tw,th}表示检测框的四个参数化坐标的向量,是锚点对应标定框的坐标向量,Lcls(Pi,Pi *)表示分类损失,表示回归损失,R表示Smooth L1函数,Ncls表示cls项的归一化值为min-batch的大小,Nreg表示reg项归一化为锚点位置的数量,L({pI},{ti})表示损失函数。
在本发明的岩石种类智能区分识别及定位方法中,所述步骤6具体包括:
步骤6.1:将待检测岩石图像输入到训练好的网络模型中;
步骤6.2:输入的岩石图像经过基础特征提取网络,形成特征图像,
步骤6.3:形成的特征图像送入RPN网络中输出300个检测框;
步骤6.4:将区域建议和特征图像输入到Fast R-CNN网络的池化层中进行归一化处理,得到统一维度的特征向量;
步骤6.5:将特征向量输入至Fast R-CNN网络的分类全连接层中,得到岩石种类概率,选取概率值最大的种类为最终确定岩石种类,如果此概率值大于设定阈值,则输出最终确定岩石种类和概率值,如果小于设定阈值则不进行输出。
步骤6.6:特征向量送入Fast R-CNN网络的边框回归全连接层,输出岩石边框中心坐标和长宽,进而绘制边框。
与现有技术相比,本发明具有很好的先进性。主要体现在:①能够在单一种类岩石的图像当中区分背景和岩石,并且分辨岩石种类,而且能够定位岩石位置且进行位置框定。②能够区分识别多类岩石混合图像中的不同岩石种类,并能够定位各类岩石的位置且进行位置框定。③能够区分识别出有遮挡和岩石展示不全的岩石种类。④不仅能以图像数据的形式展示测试结果,还能以数学形式输出各类岩石的种类和图像位置坐标信息。
此发明是集岩石种类识别和位置定位于一身的,解决了现有技术不能识别多类岩石混合场景下的岩石种类和岩石定位难题,同时也提高了岩石种类识别的效率。
附图说明
图1是本发明的Faster R-CNN总体结构图;
图2是本发明的一种岩石种类智能区分识别及定位方法的流程图;
图3是本发明的RPN网络的原理图;
图4为分类loss折线图;
图5为回归loss折线图;
图6为总loss折线图;
图7为实施例中单类岩石图像测试结果;
图8为实施例中多类岩石混合图像测试结果。
具体实施方式
本发明的一种基于Faster R-CNN岩石种类智能区分识别及定位方法的模型原理如下:
本发明的整个模型主要分为两大部分,分别为RPN网络和FastR-CNN网络,此两部分共用简化的VGG16网络作为基础特征提取网络。其中RPN网络的主要作用为判断图像候选检测框中是否包含检测目标,即区分前景和背景。而Fast R-CNN网络的主要作用是检测,具体体现在将候选检测框进行分类,并修正候选检测框的坐标和边长。Faster R-CNN总体结构如图1。
图2所示,本发明的一种岩石种类智能区分识别及定位方法,包括如下步骤:
步骤1:将输入的多个岩石数字图像进行增强处理,并从岩石数字图像和增强图像所构成的图像集中随机选取图像以构成测试集,剩余图像作为训练集;所述步骤1具体包括:
步骤1.1:将输入的岩石数字图像依次进行旋转操作、镜像操作和变化RGB强度操作,旋转操作的每次旋转角度为30°;
步骤1.2:从岩石数字图像和增强图像中随机选取10%的图像构成测试集,剩余90%的图像作为训练集。
步骤2:用矩形框对测试集和训练集中的图像中的每块岩石进行标注,并记录矩形框信息;所述步骤2具体包括:
步骤2.1:用矩形框将训练集和测试集中每一个图像中的每一个岩石框定起来,并将每一个矩形框都打上岩石种类标签;
步骤2.2:同时记录每一个矩形框的坐标信息,即矩形框顶点的坐标,矩形框的长度和宽度。
步骤3:通过基础特征提取网络对训练集中的图像进行特征提取,获得岩石特征图像;
基础特征提取网络的主要作用是提取图像特征并形成特征图。参照vgg16经典网络构建基础特征提取网络,网络结构和参数见表1。本特征提取网络分为卷积层和池化层。卷积层共13层,按特征图输出大小将13层卷积层划分为5组,分别为Conv1、Conv2、Conv3、Conv4、Conv5,池化层共4层,分别为maxPooling1、maxPooling2、maxPooling3、maxPooling4。由于岩石图像特征不能单靠形状等简单特征来描述,特征规律并不明显,区分识别岩石种类需要更加高级和抽象的特征,所以进行卷积运算时需要尽量保证整体图像特征不丢失,而且网络深度需要达到能够提取抽象特征的要求。因此整个网络采用连续几个3x3的卷积核代替之前其他网络中11x11或5x5的卷积核,通过堆叠此种小型卷积核来达到增加网络深度和提高网络学习能力的目的。所有池化层的池化方式均采用最大值池化法,卷积核大小设定为2x2,步长均选为2。图像每经过一层最大值池化操作后,长和宽就会减小一半,因此岩石特征图像会越来越小,特征越来越集中和抽象,从而达到减小过拟合和提高模型泛化能力的目的。
具体实施时,所述基础特征提取网络包括17层,依次是卷积层Conv1_1、卷积层Conv1_2、池化层maxPooling1、卷积层Conv2_1、卷积层Conv2_2、池化层maxPooling2、卷积层Conv3_1、卷积层Conv3_2、卷积层Conv3_3、池化层maxPooling3、卷积层Conv4_1、卷积层Conv4_2、卷积层Conv4_3、池化层maxPooling4、卷积层Conv5_1、卷积层Conv5_2和卷积层Conv5_3;13个卷积层的卷积核都为3x3;5个池化层的池化方式均采用最大值池化法,卷积核大小设定为2x2,步长均选为2。
表1基础特征提取网络结构参数表
所述步骤3具体包括:
步骤3.1:将步骤2中标注完的训练集中的图像缩放至预定大小后作为基础特征提取网络的输入;
步骤3.2:图像每经过一层最大值池化操作后,长和宽减小一半,图像越来越小,特征越来越集中和抽象,从而达到减小过拟合和提高模型泛化能力的目的;
步骤3.3:图像经反复的卷积和池化操作,得到岩石特征图像。
步骤4:通过RPN网络并基于步骤2标注的矩形框对岩石特征图像进行区域建议提取,区分前景和背景,每张图像选出300个检测框;
RPN网络原理图如图3所示,输入图像经过基础特征提取网络之后形成了特征图,在此特征图上,使用一个3x3的滑动窗口进行滑动扫描,这个滑动窗口每次与特征图上3x3的区域全连接,之后映射到一个长度为512的低维特征向量,最后将这个低维向量输送到分类和回归两个全连接层。分类层主要作用是判断此向量对应的候选区域是前景还是背景,回归层的主要作用是预测候选区域在原图上对应的坐标和长宽。然后分别使用2*k和4*k个大小为1x1的卷积核以1为步长实现分类和回归层的特征映射。图3中的锚点是滑动窗口的中心点,每个滑动窗口分别通过3种大小比例和1:1、1:2、2:1三种长宽比例确定9个预测窗口,图中k代表预测窗口数量,因此k=9。针对这9个预测窗口要进行舍弃和选择,首先要舍弃超出图像边界的预测窗口,之后将最初数据的标注框与剩余的预测框进行重叠比率计算,设定重叠比率大于0.7的是正样本,重叠比率小于0.3的记为负样本,其余的预测窗口全部舍弃。
所述步骤4具体包括:
步骤4.1:将步骤3得到的岩石特征图像的每一个像素点均设置三种不同大小尺寸及三种不同长宽比例的检测框和四个检测框位置信息,即检测框中心点坐标、边框长和边框宽;
步骤4.2:将步骤4.1得到的检测框依次输入到RPN网络的概率层当中,通过概率层计算得出两个概率得分;当检测框的概率得分与步骤2中标注的矩形框的概率得分的交并比大于等于0.7时,认为该检测框的区域为前景;当交并比小于等于0.3时认为该检测框的区域为背景,交并比介于0.3和0.7之间的检测框全部舍弃,除此之外超出图像边界的检测框也全部舍弃;
步骤4.3:将4.2中得到的检测框的得分进行非极大值抑制操作,每张图像选取前300个检测框作为最终区域建议输出。
步骤5:将步骤4处理后的训练集作为输入,采用交替训练法对Fast R-CNN网络和RPN网络进行联合训练,从而完成对整个网络的训练,获得训练好的网络模型;所述步骤5具体包括:
步骤5.1:对RPN网络进行单独训练,首先用ImageNet预训练模型对RPN网络初始化,将经步骤4处理后的训练集输入到RPN网络中采用end to end方式来调整参数进行RPN网络训练;
步骤5.2:采用ImageNet预训练模型对Fast R-CNN网络进行初始化,利用步骤5.1中RPN网络生成的检测框对Fast R-CNN网络和基础特征提取网络进行训练;
步骤5.3:在固定基础特征提取网络的基础上利用步骤5.2中训练好的Fast R-CNN网络来初始化RPN网络,用进行训练;
步骤5.4:保持基础特征提取网络固定,用上一步调整后的RPN网络输出候选检测框作为输入,微调Fast R-CNN的全连接层参数;
步骤5.5:计算全局损失,若损失值小于设置阈值,则训练结束,保存训练好的模型,若大于阈值则继续5.1至5.4的交替训练。
所述步骤5.5中计算全局损失值根据下式计算:
其中:
其中,i为整数,Pi表示第i个候选检测框预测为目标物体的概率,表示第i个候选检测框对应的指示值,如果候选检测框是目标物体取1,如果是背景Pi *取0;ti={tx,ty,tw,th}表示检测框的四个参数化坐标的向量,是锚点对应标定框的坐标向量,Lcls(Pi,Pi *)表示分类损失,表示回归损失,R表示Smooth L1函数,Ncls表示cls项的归一化值为min-batch的大小,Nreg表示reg项归一化为锚点位置的数量,L({pI},{ti})表示损失函数。
步骤6:采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定,所述步骤6具体包括:
步骤6.1:将待检测岩石图像输入到训练好的网络模型中;
步骤6.2:输入的岩石图像经过基础特征提取网络,形成特征图像,
步骤6.3:形成的特征图像送入RPN网络中输出300个检测框;
步骤6.4:将区域建议和特征图像输入到Fast R-CNN网络的池化层中进行归一化处理,得到统一维度的特征向量;
步骤6.5:将特征向量输入至Fast R-CNN网络的分类全连接层中,得到岩石种类概率,选取概率值最大的种类为最终确定岩石种类,如果此概率值大于设定阈值,则输出最终确定岩石种类和概率值,如果小于设定阈值则不进行输出。
步骤6.6:特征向量送入Fast R-CNN网络的边框回归全连接层,输出岩石边框中心坐标和长宽,进而绘制边框。
实施例:
运用本发明方法对橄榄岩、玄武岩、砾岩、石灰岩、大理岩、片麻岩图像进行区分识别和定位。
步骤一:制作数据集
收集121张橄榄岩图像、111张玄武岩图像、80张砾岩图像、89张石灰岩图像、85张大理岩图像、135张片麻岩图像以及200张囊括这6种岩石的混合图像,共821张岩石图像。对图像名称重命名,命名格式为000001.jpg-000821.jpg。将命名后的图像放入VOC2007文件夹中。利用labelImg对VOV2007中的图像进行数据标注,标注时将橄榄岩、玄武岩、大理岩、片麻岩、砾岩、石灰岩依次用0001-0006表示,标注后的岩石类别信息、标注框左上角坐标和长宽信息保存为xml数据形式,因此会产生521个xml文件,文件名称为000001.xml-000821.xml,xml文件的保存路径同样设置为VOC2007。标注完成之后,在VOC2007文件夹下新建Annotations文件夹,ImageSets文件夹JPEGImages文件夹,将图像数据全部移动至JPEGImages文件夹下,将xml文件数据全部移动至Annotations文件夹中。利用xml文件形成四个txt文件来保存图像名称,分别为训练集train.txt、测试集test.txt、训练验证集trainval.txt、验证集val.txt,将四个txt文件保存至ImageSets文件下的main文件夹中。至此数据集制作完成。
步骤二:模型准备和参数设置
将Faster R-CNN的识别类别更改为橄榄岩、玄武岩、大理岩、片麻岩、砾岩、石灰岩的编号,即0001-0006。并且将类别总数也要进行相应改动。下载ImageNet数据集下预训练得到的模型参数,用于初始化本模型。设置初始学习率为0.001,每迭代25000次学习率衰减一次,设置衰减因子为0.1,总迭代次数为40000。设置每迭代5000次输出且保存一次训练模型。
步骤三:模型训练
利用GPU加速对模型进行训练,训练过程将每一步的分类损失值、回归损失值、总损失值保存为csv文件,当训练结束后,利用csv文件生成分类、回归和总损失折线图,分三个图像,如果损失波动不大,说明模型训练效果良好,选择各类损失折线均收敛时的模型为最终模型。三类损失折线图见图4、图5、图6。分析三个折线图可看出随着迭代的不断进行,函数各个损失值不断减小,且波动不大,当迭代次数达到40000时,各个曲线均已收敛,且损失值最低,因此选迭代次数为40000时的模型为最终模型。
步骤四:岩石区分识别及定位测试
利用6张未参与训练的单类岩石图像验证模型的区分识别和定位效果,测试结果图像展示如图7所示,此模型能够很好的区分6张岩石图像当中的岩石与背景,而且分类均正确,分类概率超过96%,说明本文的岩石种类区分识别模型可以正确的将橄榄岩、玄武岩、大理岩、石灰岩、片麻岩、砾岩识别出来,并且可以很好的定位岩石位置。说明此模型可以辅助地质调查工作。
随机选取和利用未参与训练的岩石图像制作了4张混合图像作为测试数据,此测试图像囊括了上述6类岩石测试结果展示在图8中。通过测试发现,本岩石种类区分识别及定位模型不仅能够识别和定位同一张图像中的大部分不同岩石,而且对有遮挡的岩石种类也具有一定的识别和定位能力,如i和j图像,说明本文的区分识别模型的泛化能力和鲁棒性较强。
进行测试时,将各类岩石检测结果中的类别及矩形框左上角坐标和长宽输出,就可以以数学形式展示区分识别和定位结果,可以为地质填图提供辅助。
以上所述仅为本发明的较佳实施例,并不用以限制本发明的思想,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种岩石种类智能区分识别及定位方法,其特征在于,包括如下步骤:
步骤1:将输入的多个岩石数字图像进行增强处理,并从岩石数字图像和增强图像所构成的图像集中随机选取图像以构成测试集,剩余图像作为训练集;
步骤2:用矩形框对测试集和训练集中的图像中的每块岩石进行标注,并记录矩形框信息;
步骤3:通过基础特征提取网络对训练集中的图像进行特征提取,获得岩石特征图像;
步骤4:通过RPN网络并基于步骤2标注的矩形框对岩石特征图像进行区域建议提取,区分前景和背景,每张图像选出300个检测框;
步骤5:将步骤4处理后的训练集作为输入,采用交替训练法对Fast R-CNN网络和RPN网络进行联合训练,从而完成对整个网络的训练,获得训练好的网络模型;
步骤6:采用训练好的网络模型对待检测的原始岩石数字图像进行识别及岩石位置确定。
2.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤1具体包括:
步骤1.1:将输入的岩石数字图像依次进行旋转操作、镜像操作和变化RGB强度操作,旋转操作的每次旋转角度为30°;
步骤1.2:从岩石数字图像和增强图像中随机选取10%的图像构成测试集,剩余90%的图像作为训练集。
3.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤2具体包括:
步骤2.1:用矩形框将训练集和测试集中每一个图像中的每一个岩石框定起来,并将每一个矩形框都打上岩石种类标签;
步骤2.2:同时记录每一个矩形框的坐标信息,即矩形框顶点的坐标,矩形框的长度和宽度。
4.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述基础特征提取网络包括17层,依次是卷积层Conv1_1、卷积层Conv1_2、池化层maxPooling1、卷积层Conv2_1、卷积层Conv2_2、池化层maxPooling2、卷积层Conv3_1、卷积层Conv3_2、卷积层Conv3_3、池化层maxPooling3、卷积层Conv4_1、卷积层Conv4_2、卷积层Conv4_3、池化层maxPooling4、卷积层Conv5_1、卷积层Conv5_2和卷积层Conv5_3;
13个卷积层的卷积核都为3x3;5个池化层的池化方式均采用最大值池化法,卷积核大小设定为2x2,步长均选为2。
5.如权利要求4所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤3具体包括:
步骤3.1:将步骤2中标注完的训练集中的图像缩放至预定大小后作为基础特征提取网络的输入;
步骤3.2:图像每经过一层最大值池化操作后,长和宽减小一半,图像越来越小,特征越来越集中和抽象,从而达到减小过拟合和提高模型泛化能力的目的;
步骤3.3:图像经反复的卷积和池化操作,得到岩石特征图像。
6.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤4具体包括:
步骤4.1:将步骤3得到的岩石特征图像的每一个像素点均设置三种不同大小尺寸及三种不同长宽比例的检测框和四个检测框位置信息,即检测框中心点坐标、边框长和边框宽;
步骤4.2:将步骤4.1得到的检测框依次输入到RPN网络的概率层当中,通过概率层计算得出两个概率得分;当检测框的概率得分与步骤2中标注的矩形框的概率得分的交并比大于等于0.7时,认为该检测框的区域为前景;当交并比小于等于0.3时认为该检测框的区域为背景,交并比介于0.3和0.7之间的检测框全部舍弃,除此之外超出图像边界的检测框也全部舍弃;
步骤4.3:将4.2中得到的检测框的得分进行非极大值抑制操作,每张图像选取前300个检测框作为最终区域建议输出。
7.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤5具体包括:
步骤5.1:对RPN网络进行单独训练,首先用ImageNet预训练模型对RPN网络初始化,将经步骤4处理后的训练集输入到RPN网络中采用end to end方式来调整参数进行RPN网络训练;
步骤5.2:采用ImageNet预训练模型对Fast R-CNN网络进行初始化,利用步骤5.1中RPN网络生成的检测框对Fast R-CNN网络和基础特征提取网络进行训练;
步骤5.3:在固定基础特征提取网络的基础上利用步骤5.2中训练好的Fast R-CNN网络来初始化RPN网络,用进行训练;
步骤5.4:保持基础特征提取网络固定,用上一步调整后的RPN网络输出候选检测框作为输入,微调Fast R-CNN的全连接层参数;
步骤5.5:计算全局损失,若损失值小于设置阈值,则训练结束,保存训练好的模型,若大于阈值则继续5.1至5.4的交替训练。
8.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤5.5中计算全局损失值根据下式计算:
其中:
其中,i为整数,Pi表示第i个候选检测框预测为目标物体的概率,Pi *表示第i个候选检测框对应的指示值,如果候选检测框是目标物体Pi *取1,如果是背景Pi *取0;ti={tx,ty,tw,th}表示检测框的四个参数化坐标的向量,是锚点对应标定框的坐标向量,Lcls(Pi,Pi *)表示分类损失,表示回归损失,R表示Smooth L1函数,Ncls表示cls项的归一化值为min-batch的大小,Nreg表示reg项归一化为锚点位置的数量,L({pI},{ti})表示损失函数。
9.如权利要求1所述的岩石种类智能区分识别及定位方法,其特征在于,所述步骤6具体包括:
步骤6.1:将待检测岩石图像输入到训练好的网络模型中;
步骤6.2:输入的岩石图像经过基础特征提取网络,形成特征图像,
步骤6.3:形成的特征图像送入RPN网络中输出300个检测框;
步骤6.4:将区域建议和特征图像输入到Fast R-CNN网络的池化层中进行归一化处理,得到统一维度的特征向量;
步骤6.5:将特征向量输入至Fast R-CNN网络的分类全连接层中,得到岩石种类概率,选取概率值最大的种类为最终确定岩石种类,如果此概率值大于设定阈值,则输出最终确定岩石种类和概率值,如果小于设定阈值则不进行输出;
步骤6.6:特征向量送入Fast R-CNN网络的边框回归全连接层,输出岩石边框中心坐标和长宽,进而绘制边框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811616888.6A CN109615024A (zh) | 2018-12-28 | 2018-12-28 | 一种岩石种类智能区分识别及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811616888.6A CN109615024A (zh) | 2018-12-28 | 2018-12-28 | 一种岩石种类智能区分识别及定位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109615024A true CN109615024A (zh) | 2019-04-12 |
Family
ID=66011713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811616888.6A Pending CN109615024A (zh) | 2018-12-28 | 2018-12-28 | 一种岩石种类智能区分识别及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109615024A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232419A (zh) * | 2019-06-20 | 2019-09-13 | 东北大学 | 一种边坡岩石类别自动识别的方法 |
CN110276403A (zh) * | 2019-06-25 | 2019-09-24 | 北京百度网讯科技有限公司 | 模型建立方法和装置 |
CN110472597A (zh) * | 2019-07-31 | 2019-11-19 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩石图像风化程度检测方法及系统 |
CN110490100A (zh) * | 2019-07-31 | 2019-11-22 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩土自动识别定名方法及系统 |
CN111339927A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员工作状态智能识别系统 |
CN111414954A (zh) * | 2020-03-17 | 2020-07-14 | 重庆邮电大学 | 一种岩石图像检索方法及其系统 |
CN111563445A (zh) * | 2020-04-30 | 2020-08-21 | 徐宇轩 | 一种基于卷积神经网络的显微镜下岩性识别方法 |
CN111783815A (zh) * | 2020-01-15 | 2020-10-16 | 中国地质调查局发展研究中心 | 一种岩石地层深度学习识别模型的多尺度采样与输入方法 |
CN112686259A (zh) * | 2020-12-16 | 2021-04-20 | 中国石油大学(北京) | 基于深度学习的岩石图像智能识别方法、装置及存储介质 |
CN112801035A (zh) * | 2021-02-24 | 2021-05-14 | 山东大学 | 基于知识与数据双驱动的搭载式岩性智能识别方法及系统 |
CN112964693A (zh) * | 2021-02-19 | 2021-06-15 | 山东捷讯通信技术有限公司 | 一种拉曼光谱谱带区域分割方法 |
CN113052234A (zh) * | 2021-03-25 | 2021-06-29 | 杭州麦趣网络科技有限公司 | 一种基于图像特征和深度学习技术的玉石分类方法 |
CN113159112A (zh) * | 2021-03-09 | 2021-07-23 | 西南石油大学 | 一种古生物化石图像自动标注方法 |
CN113537045A (zh) * | 2021-07-14 | 2021-10-22 | 宁夏大学 | 基于改进FasterR-CNN的岩画检测方法 |
CN113836999A (zh) * | 2021-08-16 | 2021-12-24 | 山东大学 | 基于探地雷达的隧道施工风险智能识别方法及系统 |
US11315228B2 (en) * | 2020-05-18 | 2022-04-26 | Accenture Global Solutions Limited | System and method for mineral exploration |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927514A (zh) * | 2014-04-09 | 2014-07-16 | 中国矿业大学(北京) | 一种基于随机局部图像特征的煤岩识别方法 |
CN106485223A (zh) * | 2016-10-12 | 2017-03-08 | 南京大学 | 一种砂岩显微薄片中岩石颗粒的自动识别方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108596163A (zh) * | 2018-07-10 | 2018-09-28 | 中国矿业大学(北京) | 一种基于cnn和vlad的煤岩识别方法 |
CN108681692A (zh) * | 2018-04-10 | 2018-10-19 | 华南理工大学 | 一种基于深度学习的遥感图像内新增建筑识别方法 |
-
2018
- 2018-12-28 CN CN201811616888.6A patent/CN109615024A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927514A (zh) * | 2014-04-09 | 2014-07-16 | 中国矿业大学(北京) | 一种基于随机局部图像特征的煤岩识别方法 |
CN106485223A (zh) * | 2016-10-12 | 2017-03-08 | 南京大学 | 一种砂岩显微薄片中岩石颗粒的自动识别方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN108681692A (zh) * | 2018-04-10 | 2018-10-19 | 华南理工大学 | 一种基于深度学习的遥感图像内新增建筑识别方法 |
CN108596163A (zh) * | 2018-07-10 | 2018-09-28 | 中国矿业大学(北京) | 一种基于cnn和vlad的煤岩识别方法 |
Non-Patent Citations (3)
Title |
---|
GYZ13903425203: "基于Haar特征的岩石目标检测--代码实现", 《HTTPS://BLOG.CSDN.NET/GYZ13903425203/ARTICLE/DETAILS/101591193》 * |
SHAOQING REN 等: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
吉春旭: "基于卷积神经网络的岩石图像分类研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110232419A (zh) * | 2019-06-20 | 2019-09-13 | 东北大学 | 一种边坡岩石类别自动识别的方法 |
CN110276403A (zh) * | 2019-06-25 | 2019-09-24 | 北京百度网讯科技有限公司 | 模型建立方法和装置 |
CN110472597A (zh) * | 2019-07-31 | 2019-11-19 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩石图像风化程度检测方法及系统 |
CN110490100A (zh) * | 2019-07-31 | 2019-11-22 | 中铁二院工程集团有限责任公司 | 基于深度学习的岩土自动识别定名方法及系统 |
CN111783815A (zh) * | 2020-01-15 | 2020-10-16 | 中国地质调查局发展研究中心 | 一种岩石地层深度学习识别模型的多尺度采样与输入方法 |
CN111783815B (zh) * | 2020-01-15 | 2024-02-13 | 中国地质调查局自然资源综合调查指挥中心 | 一种岩石地层深度学习识别模型的多尺度采样与输入方法 |
CN111339927A (zh) * | 2020-02-25 | 2020-06-26 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员工作状态智能识别系统 |
CN111339927B (zh) * | 2020-02-25 | 2023-07-18 | 国网江苏省电力有限公司扬州供电分公司 | 一种电力营业厅人员工作状态智能识别系统 |
CN111414954A (zh) * | 2020-03-17 | 2020-07-14 | 重庆邮电大学 | 一种岩石图像检索方法及其系统 |
CN111563445A (zh) * | 2020-04-30 | 2020-08-21 | 徐宇轩 | 一种基于卷积神经网络的显微镜下岩性识别方法 |
US11315228B2 (en) * | 2020-05-18 | 2022-04-26 | Accenture Global Solutions Limited | System and method for mineral exploration |
CN112686259A (zh) * | 2020-12-16 | 2021-04-20 | 中国石油大学(北京) | 基于深度学习的岩石图像智能识别方法、装置及存储介质 |
CN112686259B (zh) * | 2020-12-16 | 2023-09-26 | 中国石油大学(北京) | 基于深度学习的岩石图像智能识别方法、装置及存储介质 |
CN112964693A (zh) * | 2021-02-19 | 2021-06-15 | 山东捷讯通信技术有限公司 | 一种拉曼光谱谱带区域分割方法 |
CN112801035A (zh) * | 2021-02-24 | 2021-05-14 | 山东大学 | 基于知识与数据双驱动的搭载式岩性智能识别方法及系统 |
CN113159112A (zh) * | 2021-03-09 | 2021-07-23 | 西南石油大学 | 一种古生物化石图像自动标注方法 |
CN113052234A (zh) * | 2021-03-25 | 2021-06-29 | 杭州麦趣网络科技有限公司 | 一种基于图像特征和深度学习技术的玉石分类方法 |
CN113537045A (zh) * | 2021-07-14 | 2021-10-22 | 宁夏大学 | 基于改进FasterR-CNN的岩画检测方法 |
CN113836999A (zh) * | 2021-08-16 | 2021-12-24 | 山东大学 | 基于探地雷达的隧道施工风险智能识别方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615024A (zh) | 一种岩石种类智能区分识别及定位方法 | |
CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
Zhao et al. | Object-based convolutional neural network for high-resolution imagery classification | |
CN109886238A (zh) | 基于语义分割的无人机航拍图像变化检测算法 | |
CN106529508B (zh) | 基于局部和非局部多特征语义高光谱图像分类方法 | |
CN105574513B (zh) | 文字检测方法和装置 | |
CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
CN110321963A (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
CN108256424A (zh) | 一种基于深度学习的高分辨率遥感图像道路提取方法 | |
CN109522966A (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
CN107316295A (zh) | 一种基于深度神经网络的织物瑕疵检测方法 | |
CN104462494B (zh) | 一种基于无监督特征学习的遥感图像检索方法及系统 | |
CN107944442A (zh) | 基于改进卷积神经网络的对象检测装置及方法 | |
CN104573685B (zh) | 一种基于线性结构提取的自然场景文本检测方法 | |
CN105913025A (zh) | 一种基于多特征融合的深度学习人脸识别方法 | |
CN111563418A (zh) | 一种基于注意力机制的非对称多模态融合显著性检测方法 | |
CN107145836A (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
CN106611423B (zh) | 基于脊波滤波器和反卷积结构模型的sar图像分割方法 | |
CN109766936A (zh) | 基于信息传递和注意力机制的图像变化检测方法 | |
CN107358182A (zh) | 行人检测方法及终端设备 | |
CN106845341A (zh) | 一种基于虚拟号牌的无牌车辆识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190412 |