CN110147778B - 稀土矿开采识别方法、装置、设备及存储介质 - Google Patents

稀土矿开采识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110147778B
CN110147778B CN201910444099.7A CN201910444099A CN110147778B CN 110147778 B CN110147778 B CN 110147778B CN 201910444099 A CN201910444099 A CN 201910444099A CN 110147778 B CN110147778 B CN 110147778B
Authority
CN
China
Prior art keywords
rare earth
mining
remote sensing
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910444099.7A
Other languages
English (en)
Other versions
CN110147778A (zh
Inventor
李恒凯
肖松松
柯江晨
王秀丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN201910444099.7A priority Critical patent/CN110147778B/zh
Publication of CN110147778A publication Critical patent/CN110147778A/zh
Application granted granted Critical
Publication of CN110147778B publication Critical patent/CN110147778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种稀土矿开采识别方法、装置、设备及存储介质。本发明从离子吸附型稀土矿开采过程中沉淀池状态及其空间分布关系入手，构建了基于高空间分辨率遥感影像的深度学习模型，实现稀土开采状态的识别与检测。该模型采用了一种特征金字塔网络FPN结合双线性插值ROIAlign的卷积神经网络的深度学习算法，此外，针对离子稀土开采过程中沉淀池存在浸矿液体特征，加入遥感影像的水体指数NDWI作为为输入训练模型，再将模型用于离子型稀土开采识别；FPN+ROIAlign+NDWI的组合识别效果最好，能够实现较高的识别准确率，可以为离子型稀土开采监管提供技术支持。

Description

稀土矿开采识别方法、装置、设备及存储介质
技术领域
本发明属于地质矿产资源研究技术领域，尤其涉及一种稀土矿识别方法、装置、设备及计算机存储介质。
背景技术
稀土有工业“黄金”之称，由于其具有优良的光电磁等物理特性，能与其他材料组成性能各异、品种繁多的新型材料，其最显著的功能就是大幅度提高其他产品的质量和性能，是关系到国家安全的重要战略资源。
南方离子吸附型稀土呈离子态吸附于土壤之中，以中重稀土为主，其中重稀土占据全球90％比重，已在包括精确制导武器、航空航天等诸多尖端军事和高科技领域拥有不可替代的作用，具有尤为宝贵的价值。
但由于离子吸附型稀土开采工艺简单，且大多位于偏远山区，山高林密监管困难，导致稀土非法开采屡禁不止，造成国家战略资源损失及生态环境的极大破坏。我国的稀土矿区涉及范围广且多位于偏远山区，现有监测方法费时费力效率低下。
虽然高空间分辨率影像技术能够更加清楚地表达地物目标的空间结构与表层纹理特征，可以分辨出地物内部更为精细的组成，也在稀土开采过程及地表环境扰动识别方面得到应用。但现有的高空间分辨率影像处理主要以目视解译和面向对象识别方法为主，而稀土矿多是以矿点群的形式分散分布，分布范围大，目视解译将耗费大量人力物力，成本高周期长；面向对象方法由于需要人工制定规则，效率低且受人主观影响较大，难以满足稀土矿动态监管的需求。
发明内容
为了解决上述至少一个技术问题，本发明实施例提供一种稀土识别方法、装置、设备及计算机存储介质，能够根据所识别地物特性，结合遥感影像近红外波段和绿波段计算图像的归一化水体指数，提高了地物识别的准确率，即更够更准确的识别开采中的稀土矿。
第一方面，本发明实施例提供一种稀土矿开采识别方法，方法包括：
对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅第一遥感影像均为同一预设尺寸；
将第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出目标区域内的处于开采状态的稀土矿；
其中，训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型。
第二方面，本发明实施例提供了一种稀土矿开采识别装置，装置包括：
数据获取模块，用于对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅第一遥感影像均为同一预设尺寸；
识别模块，用于将第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出目标区域内的处于开采状态的稀土矿；
其中，训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型。
第三方面，本发明实施例提供了一种稀土矿开采识别设备，设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现如第一方面的稀土矿开采识别方法。
第四方面，本发明实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如第一方面的稀土矿开采识别方法。
本发明从离子吸附型稀土矿开采过程中沉淀池状态及其空间分布关系入手，构建了基于高空间分辨率遥感影像的深度学习模型，实现稀土开采状态的识别与检测。该模型采用了一种特征金字塔网络FPN结合双线性插值ROI Align的卷积神经网络的深度学习算法，此外，针对离子稀土开采过程中沉淀池存在浸矿液体特征，加入遥感影像的水体指数NDWI作为输入训练模型，再将模型用于离子型稀土开采识别；FPN+ROIAlign+NDWI 的组合识别效果最好，能够实现较高的识别准确率，可以为离子型稀土开采监管提供技术支持。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的稀土矿开采识别方法的流程示意图；
图2是本发明实施例提供的稀土矿开采识别模型的建立和训练过程的示意图；
图3是本发明实施例提供的标注图像；
图4是本发明实施例提供的Mask-RCNN算法流程图；
图5是本发明实施例提供的深度残差网络的流程图；
图6是本发明实施例提供的特征金字塔的示意图；
图7是本发明实施例提供的区域生成网络的示意图；
图8是本发明实施例提供的区域生成的流程示意图；
图9是本发明实施例提供的双线性插值将直线扩展到二维平面的示意图；
图10是本发明实施例提供的训练模型用的图像示意图；
图11是本发明实施例提供的训练过程中训练集误差和测试集误差变化过程示意图；
图12是本发明实施例提供的稀土矿开采识别装置的结构示意图；
图13是本发明实施例提供的稀土矿开采识别设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题中的至少一个，本发明实施例提供了一种稀土矿开采识别方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的稀土矿开采识别方法进行介绍。
图1示出了本发明实施例提供的稀土矿开采识别方法的流程示意图。如图1所示，本发明实施例提供的稀土矿开采识别方法包括以下步骤：
S110，对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅第一遥感影像均为同一预设尺寸；
S120，将第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出目标区域内的处于开采状态的稀土矿；
其中，训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型。
在本发明中，对稀土矿开采识别模型进行训练，得到训练完成的稀土矿开采识别模型，稀土矿开采识别模型的构建过程包括：
将包含沉淀池和/或高位池的第二遥感影像和第二遥感影像对应的标签图像输入卷积神经网络的101层或50层进行卷积、池化操作，得到多幅不同尺寸的稀土矿区对应的特征图；其中，标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
利用特征金字塔网络FPN对多幅不同尺寸的稀土矿区对应的特征图进行图像融合，得到特征金字塔图像；
利用区域生成网络RPN对特征金字塔图像进行处理，得到前景推荐区域，其中，前景推荐区域包括初始目标边框和分值；
采用双线性插值池化方法RoiAlign将前景推荐区域进行尺寸归一化处理，并将处理后的图像同时输入全连接层进行目标分类和目标边框精修处理和全卷积神经网络进行像素级别的语义分割处理，得到稀土矿开采识别模型。
稀土矿开采识别模型的训练过程包括：
获取研究区域的原始遥感影像，对原始遥感影像进行辐射校正、几何校正和图像融合的预处理；
将预处理后的遥感影像进行裁剪和尺寸归一化处理，得到320*320*3 的多幅图像；
删除多幅图像中的不包含稀土矿的图像，并进行数据扩充，得到1270 幅训练用原始图像；
对1270幅训练用原始图像进行标注，得到训练用标签图像；其中，训练用标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
将1270幅训练用原始图像和训练用标签图像输入稀土矿开采识别模型，采用动量因子为0.9，小批量因子为2的随机梯度下降法对稀土矿开采识别模型进行训练，使稀土矿开采识别模型的参数达到最佳。
稀土矿开采识别模型的训练过程还包括：
采用NDWI将原始遥感影像中的近红外波段和绿波段进行波段组合，得到NDWI数据集；
利用NDWI数据集对稀土矿开采识别模型进行训练，以排除建筑阴影带来的识别干扰。
在本发明中，还可以构建精度评价指标，以对训练后的稀土矿开采识别模型进行精度评价。
在本发明中，还可以将识别出的处于开采状态的稀土矿与目标区域内的已获得开采批准的稀土矿进行对比，确定识别出的处于开采状态的稀土矿中非法开采的稀土矿。
图2是本发明实施例提供的稀土矿开采识别模型的建立和训练过程的示意图。如图2所示，模型的建立和训练过程包括以下内容：
步骤1：选取研究区域，通过下载获取研究区域所需的原始遥感影像，所述的原始影像为空间分辨率为0.5m的Pleiades-1和Pleiades-2卫星影像数据。Pleiades具体参数可以如表1。
表1
Figure BDA0002073045710000061
Pleiades-1和Pleiades-2可以是完全相同的探测器，双星配合重访时间可达一天，因为它灵活的观测模式可以很好的满足用户对数据的需求。 Pleiades数据已在我国地理信息和遥感行业中获得用户认可，并在城市规划、城市信息数字提取目标识别、地图制图、测绘等方面得到了广泛应用。
步骤2：数据预处理，通过对Pleiades影像数据进行辐射校正、几何校正和图像融合等预处理后，采用MATLAB将整幅影像裁剪成小块图像，并用Python命令的PIL库对图像进行尺寸归一化为320*320*3。因为遥感影像大部分区域属于林地，所以小块图像包含大部分非稀土矿区图像，需对其进行剔除，剔除之后的数据集数量较少，因此对数据集采用水平/垂直翻转、旋转、镜像和高斯模糊等数据增强方法，最终将数据集扩充到1270 幅图像，并且用人工标注的方式制作样本标签数据。其中，标签数据如图 3所示。
步骤3：构建神经网络模型。考虑到稀土矿区遥感影像背景的复杂性和噪音特点以及对精度的要求，同时鉴于算法的实现难易程度以及实验条件的限制因此不考虑使用不需要区域推荐的目标检测算法也不重新设计新的目标检测与分割算法模型，而是以Mask-RCNN算法为基础实现稀土矿区目标检测与分割，同时通过参数调整、激活函数优化、数据集的优化等来提升稀土矿区目标地物检测与分割效果。Mask-RCNN算法流程图如图4。
首先输入图像在101层或者50层的深度残差网络ResNets中进行卷积、池化操作得到不同尺寸的特征图，同时由特征金字塔网络FPN结构将特征图进行融合得到特征金字塔图像，之后将金字塔图像输入区域生成网络 RPN产生前景推荐区域，并输出目标提取框的坐标和对应的分值，采用双线性插值池化RoiAlign方法将前景区推荐域的尺寸不同的特征图归一化，以作为全连接网络的输入进行分类和目标框精修。在分类和边框精修的同时，并行的对Roi输入全卷积神经网络进行像素级别的语义分割产生分割掩摸。
其中，深度残差网络ResNets通过设计残差结构缓解了学习信号衰减的问题，使得网络可以设计的更深，用来提取更多的图像细节和更高层的语义信息。其中，深度残差网络的流程图如图5。
对于残差结构而言，假设输入特征图像为x，非线性层激活函数为 f(x)，则输出的特征图为y。残差是指需要训练学习的部分，x是指输入本身。对于“随着网络加深，学习率衰减，准确率下降”的问题，ResNet提供了两种选择方式，包括自身特征图部分和残差特征图部分，如果深度残差网络已经通过训练到达了最佳权值状态，网络继续训练，残差特征图部分将被置为0，只剩下自身特征图部分，这样理论上网络将一直处于最佳权值状态了，网络的性能也就不会随着训练深度增加而降低了。
特征金字塔网络FPN直接在基础卷积网络上做修改，通过将每个卷积神经网络提取的特征图与后层特征图缩放两倍进行相加操作，使得每层卷积神经网络输出的特征图都融合了不同分辨率、不同语义强度的特征，在检测不同大小目标时都有适合的分辨率和语义特征。
图6是特征金字塔的示意图。特征金字塔结构分为三部分，第一部分为卷积神经网络的自下向上部分、自上而下的上采样部分和特征与特征之间的侧边链接部分。其中自下而上的部分是卷积神经网络的前向过程，该过程以AlexNet、VggNet、GoogleNet和ResNet(AlexNet、VggNet、 GoogleNet、ResNet都属于卷积神经网络的一种)等网络的特征图尺寸缩小层输出的特征图构建金字塔结构，以ResNet为例分别以每个阶段的最后一个残差结构的特征激活输出。
图7是区域生成网络的示意图。区域生成网络RPN直接利用特征金字塔网络生成的特征图计算候选区域，该方法以不同尺度的特征图为输入，生成一批矩形区域提名和与之相对应的分值，这样使得区域生成(区域提名)、分类和回归一起共用了卷积特征，使得目标检测速度得到进一步的提升。
RPN区域生成网络结构采用锚点(anchor)形式以1*1的窗口扫描特征图，且在扫描过程中定义三种锚框尺寸、三种锚框形状，共9种锚框。锚点为锚框的中心点，通过特征图像的锚框坐标映射到原图像中，通过原图像的标签数据与锚框坐标求交集，当该交集大于设定的阈值时则将该锚框设为回归目标。此外，当交集处于最大和最小阈值之间时，则将锚框类型置为netural，当交集大于当前所设置的最佳匹配，则更新最佳匹配为当前anchor，同时更新最佳推荐区域坐标、最优梯度等。如果交集大于超参数所设置的阈值，则将该锚框类型设置为正样本，其他则设为负样本。最终输出正样本anchor和负样本anchor。其次每个样本用Pcx、Pcy、Pw、 Ph分别表示样本的中心点的横纵坐标以及样本的宽度和高度，以及样本的四个偏移量dx、dy、dw、dh,根据四个偏移量可以修正样本，其计算公式如下式(1)所示；
P'cx＝Pcx*Pw+dx
P'cy＝Pcy*Ph+dx
P'w＝Pw*exp(dw)
P'y＝Py*exp(dh) (1)
在本发明中，RPN算法采用特征金字塔网络FPN输出的具有五种尺寸的特征图像，且随着特征图所在的金字塔层级越高，相同大小的锚框所对应的原始图像区域就越大。RPN算法在定义锚框尺寸时，每种形状的锚框只用一种尺寸，共三种锚框来扫描上一层特征金字塔网络生成的5种尺寸特征图。以此，简化计算，提升模型运行速度。
此外本发明设置的锚框与原始样本交集的最大阈值为0.8，最小阈值为0.3，即当锚框重叠交集大于0.8时被置为正样本，交集大于0.3而小于0.8的设为netural；交集小于0.3的则设为负样本，最后经过非极大值抑制处理输出推荐窗口。区域生成流程如图8所示。
双线性插值是对二维空间内的x轴和y轴内分别进行线性插值计算，假设在直线上有两点(x0,y0)和(x1,y1)，则线性插值的计算是在直线的[x0,x1] 区间内，有任意一点(x,y)满足表达式(2)：
Figure BDA0002073045710000091
当已知x时，则y的表达式(3)为：
Figure BDA0002073045710000092
双线性插值将直线扩展到二维平面，如图9所示。
若已知平面内四点坐标分别为Q11＝(x1,y1)，Q12＝(x1,y2)，Q21＝(x2,y1)， Q22＝(x2,y2)，要求平面内一点p的值，采用两次线性插值的方法，首先在 y轴方向进行线性插值计算可得R1和R2。
Figure BDA0002073045710000093
Figure BDA0002073045710000094
然后根据R1、R2的坐标在x方向上进行线性插值:
Figure BDA0002073045710000101
因此在特征图池化，尺寸缩小的过程中，采用双线性插值的方法，根据新像素点所在平面内的位置，由池化之前的特征图四个角上的像素值插值而来。
步骤4：模型训练与测试。将稀土矿区遥感影像地物分为沉淀池、高位池和背景三类地物，以320*320*3的包含沉淀池的1270幅稀土矿区图像为输入进行训练，如图10所示。
本发明所述算法自动提取图像特征并根据图像特征自动完成了目标分类与分割，实现了端到端的设计，节省了大量的中间人工设计图像特征的工作，给训练带来了极大的方便，且通过模块化的网络连接方式，可以很轻松的实现对算法内的某些特定网络进行训练。本发明通过首先冻结基础网络训练头部网络，待头部网络达到一定稳定阶段再训练基础网络，并且首先在公共数据集MSCOCO上预训练，将得到的模型和参数用于稀土矿区遥感影像数据集的训练。本发明的训练过程是采用了动量因子 (momentum)为0.9、小批量(minibatch)为2的随机梯度下降法 (stochastic gradient descent，SGD)对网络进行训练。基础网络设置为 ResNet-101，初始学习率为0.001，学习率衰减系数0.0001，其他具体参数设置如表2 。
表2
Figure BDA0002073045710000102
Figure BDA0002073045710000111
训练过程中训练集误差和测试集误差变化过程如图11所示。由图11 可知，前5000次迭代训练误差和验证误差均快速下降，说明模型参数距离最佳参数较大，通过验证集对模型参数进行优化不断调整模型参数，使模型参数接近最优值。5000次迭代到7000次左右模型误差降低缓慢，说明通过训练模型以逼近最优解，且通过学习率的衰减使得模型参数调整幅度降低，避免了出现过拟合状态模型参数在最优解附近振荡的请情况。 7000次迭代之后可以看出，训练集和验证集损失值虽有波动但基本保持稳定，说明模型在该数据级下训练基本收敛，表明达到较好的训练效果。另外，可设置输出置信度为70以上的识别目标。
步骤5：数据集优化。在根据算法设计模型对稀土矿区目标地物的识别与分割过程中，深度学习模型对于遥感影像中的异物同谱情况识别分割效果较差，很容易出现将稀土矿区建筑阴影误识别为沉淀池的情况。
本发明结合Pleiades数据的多波段特点通过实验不同的波段组合方式，发现通过红绿波段与NDWI组合的方式可以很好的区分房屋阴影和沉淀池。
本发明利用Pleiades数据包含的近红外波段和绿波段计算归一化水体指数，可以很好的突出所需识别地物特征，其计算公式如下：
NDWI＝(p(Green)-p(NIR))/(p(Green)+p(NIR)) (7)
式中，NDWI表示归一化水体指数，p(Green)表示图像绿波段灰度值， p(NIR)为近红外波段灰度值。把NDWI与原始图像中的红绿波段进行波段组合重新制作数据集，再进行训练和测试可以很好的排除建筑阴影带来的识别干扰。
步骤6：构建精度评价指标。为了量化本发明采用的算法模型对稀土矿区遥感影像的识别分割性能，设定如表3所示的混淆矩阵。
表3
Figure BDA0002073045710000121
首先定义精确率(precision)为测试样本中被正确识别的某类个数与该类在样本中实际个数之比值，因此在本申请中分类沉淀池和高位池的每个样本均有两个准确率值，定义准确率(Accuracy)为所有类被正确识别个数和所有类别总数之比值，定义召回率(recall)为被正确识别为某类的个数与该类在样本中预测的总个数之比值，同理本申请中每个测试样本也有两个召回率，计算公式如下：
Figure BDA0002073045710000122
召回率在目标检测中是模型覆盖面的度量，通常在深度学习目标识别中准确率和召回率是很难兼顾的两个指标，他们通常都是此消彼长的关系。本申请采用平衡二者关系的指标平均精确度(Average Precision，AP)为算法好坏的评价指标,其计算方法为假设在N个样本中有M个正类，那么我们会得到M个recall值(1/M,2/M,...,M/M),对于每个recall值r，计算出对应(r'>r)的最大precision，然后对这M个precision值取平均即得到最后的AP值。
步骤7：模型优化。实验将数据集分为普通数据集和包含NDWI的数据集，在两个数据集上面，分别以不同的主干网络来训练算法模型，并且利用收敛模型对10幅图像进行测试，得到输出结果精度表4。
表4
Figure BDA0002073045710000131
从表中数据可以看出不管采用什么样的主干网络和池化方法，NDWI 作为输入数据的情况下，各个模型的mAP值均可以提升0.13左右，说明归一化水体指数对突出沉淀池特征具有很好的效果。此外根据精度统计发现，基于ResNet101主干网络在识别分割稀土矿区沉淀池中，比ResNet50 为主干网络在普通RGB数据上的mAP值提升0.03左右，在NDWI数据上提升0.016左右，说明在稀土矿区遥感影像提取中101层的深度残差网络比50层的深度残差网络效果更好。
本发明所采用的模型方法可以很好的对稀土矿区遥感影像做沉淀池的识别与分割，并且在稀土矿区遥感影像数据集上101层的深度残差网络比 50层的深度残差网络图像特征提取效果更佳，平均AP值提升0.03和 0.016，此外包含有归一化水体指数(NDWI)的数据集对于实验效果提升巨大，在ResNet101和ResNet50模型上相比普通RGB数据mAP提升0.13 左右。
图12是本发明实施例提供的稀土矿开采识别装置的结构示意图。如图12所示，本发明实施例提供的稀土矿开采识别装置包括以下模块：
数据获取模块201，用于对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅第一遥感影像均为同一预设尺寸；
识别模块202，用于将第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出目标区域内的处于开采状态的稀土矿；
其中，训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型。
在一个实施方式中，识别模块202还用于：
对稀土矿开采识别模型进行训练，得到训练完成的稀土矿开采识别模型，稀土矿开采识别模型的构建过程包括：
将包含沉淀池和/或高位池的第二遥感影像和第二遥感影像对应的标签图像输入卷积神经网络的101层或50层进行卷积、池化操作，得到多幅不同尺寸的稀土矿区对应的特征图；其中，标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
利用特征金字塔网络FPN对多幅不同尺寸的稀土矿区对应的特征图进行图像融合，得到特征金字塔图像；
利用区域生成网络RPN对特征金字塔图像进行处理，得到前景推荐区域，其中，前景推荐区域包括初始目标边框和分值；
采用双线性插值池化方法Roi Align将前景推荐区域进行尺寸归一化处理，并将处理后的图像同时输入全连接层进行目标分类和目标边框精修处理和全卷积神经网络进行像素级别的语义分割处理，得到稀土矿开采识别模型。
在一个实施方式中，识别模块202还用于：
稀土矿开采识别模型的训练过程包括：
获取研究区域的原始遥感影像，对原始遥感影像进行辐射校正、几何校正和图像融合的预处理；
将预处理后的遥感影像进行裁剪和尺寸归一化处理，得到320*320*3 的多幅图像；
删除多幅图像中的不包含稀土矿的图像，并进行数据扩充，得到1270 幅训练用原始图像；
对1270幅训练用原始图像进行标注，得到训练用标签图像；其中，训练用标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
将1270幅训练用原始图像和训练用标签图像输入稀土矿开采识别模型，采用动量因子为0.9，小批量因子为2的随机梯度下降法对稀土矿开采识别模型进行训练，使稀土矿开采识别模型的参数达到最佳。
在一个实施方式中，识别模块202还用于：
采用NDWI将原始遥感影像中的近红外波段和绿波段进行波段组合，得到NDWI数据集；
利用NDWI数据集对稀土矿开采识别模型进行训练，以排除建筑阴影带来的识别干扰。
在一个实施方式中，识别模块202还用于：
构建精度评价指标，以对训练后的稀土矿开采识别模型进行精度评价。
在一个实施方式中，识别模块202还用于：
原始遥感影像的空间分辨率为0.5米。
在一个实施方式中，识别模块202还用于：
将识别出的处于开采状态的稀土矿与目标区域内的已获得开采批准的稀土矿进行对比，确定识别出的处于开采状态的稀土矿中非法开采的稀土矿。
图13示出了本发明实施例提供的稀土矿开采识别设备的硬件结构示意图。
在稀土矿开采识别设备可以包括处理器301以及存储有计算机程序指令的存储器302。
具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus， USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM (EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种稀土矿开采识别方法。
在一个示例中，稀土矿开采识别设备还可包括通信接口303和总线 310。其中，如图3所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。
通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/ 或设备之间的通信。
总线310包括硬件、软件或两者，将xx设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI- Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该稀土矿开采识别设备可以执行本发明实施例中的稀土矿开采识别方法，从而实现结合图1和图12描述的稀土矿开采识别方法和装置。
另外，结合上述实施例中的稀土矿开采识别方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种稀土矿开采识别方法。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种稀土矿开采识别方法，其特征在于，包括：
对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅所述第一遥感影像均为同一预设尺寸；
将所述第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出所述目标区域内的处于开采状态的稀土矿；
其中，所述训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型；
对稀土矿开采识别模型进行训练，得到所述训练完成的稀土矿开采识别模型，所述稀土矿开采识别模型的构建过程包括：
将包含沉淀池和/或高位池的第二遥感影像和所述第二遥感影像对应的标签图像输入卷积神经网络的101层或50层进行卷积、池化操作，得到多幅不同尺寸的稀土矿区对应的特征图；其中，所述标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
利用特征金字塔网络FPN对所述多幅不同尺寸的稀土矿区对应的特征图进行图像融合，得到特征金字塔图像；
利用区域生成网络RPN对所述特征金字塔图像进行处理，得到前景推荐区域，其中，所述前景推荐区域包括初始目标边框和分值；
采用双线性插值池化方法RoiAlign将所述前景推荐区域进行尺寸归一化处理，并将处理后的图像同时输入全连接层进行目标分类和目标边框精修处理和全卷积神经网络进行像素级别的语义分割处理，得到稀土矿开采识别模型。
2.根据权利要求1所述的稀土矿开采识别方法，其特征在于，所述稀土矿开采识别模型的训练过程包括：
获取研究区域的原始遥感影像，对所述原始遥感影像进行辐射校正、几何校正和图像融合的预处理；
将预处理后的遥感影像进行裁剪和尺寸归一化处理，得到320*320*3的多幅图像；
删除所述多幅图像中的不包含稀土矿的图像，并进行数据扩充，得到1270幅训练用原始图像；
对所述1270幅训练用原始图像进行标注，得到训练用标签图像；其中，所述训练用标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
将所述1270幅训练用原始图像和所述训练用标签图像输入所述稀土矿开采识别模型，采用动量因子为0.9，小批量因子为2的随机梯度下降法对所述稀土矿开采识别模型进行训练，使所述稀土矿开采识别模型的参数达到最佳。
3.根据权利要求2所述的稀土矿开采识别方法，其特征在于，所述稀土矿开采识别模型的训练过程还包括：
采用所述NDWI将原始遥感影像中的近红外波段和绿波段进行波段组合，得到NDWI数据集；
利用所述NDWI数据集对所述稀土矿开采识别模型进行训练，以排除建筑阴影带来的识别干扰。
4.根据权利要求3所述的稀土矿开采识别方法，其特征在于，所述方法还包括：
构建精度评价指标，以对训练后的稀土矿开采识别模型进行精度评价。
5.根据权利要求2所述的稀土矿开采识别方法，其特征在于，所述原始遥感影像的空间分辨率为0.5米。
6.根据权利要求1所述的稀土矿开采识别方法，其特征在于，所述方法还包括：
将识别出的处于开采状态的稀土矿与所述目标区域内的已获得开采批准的稀土矿进行对比，确定所述识别出的处于开采状态的稀土矿中非法开采的稀土矿。
7.一种稀土矿开采识别装置，其特征在于，所述装置包括：
数据获取模块，用于对获取的目标区域的待识别遥感影像进行预处理并裁剪，得到第一预设数量的第一遥感影像；其中，每幅所述第一遥感影像均为同一预设尺寸；
识别模块，用于将所述第一预设数量的第一遥感影像输入训练完成的稀土矿开采识别模型，识别出所述目标区域内的处于开采状态的稀土矿；
其中，所述训练完成的稀土矿开采识别模型为结合了特征金字塔网络FPN、双线性插值池化方法RoiAlign及归一化水体指数NDWI的卷积神经网络模型；
对稀土矿开采识别模型进行训练，得到所述训练完成的稀土矿开采识别模型，所述稀土矿开采识别模型的构建过程包括：
将包含沉淀池和/或高位池的第二遥感影像和所述第二遥感影像对应的标签图像输入卷积神经网络的101层或50层进行卷积、池化操作，得到多幅不同尺寸的稀土矿区对应的特征图；其中，所述标签图像为以黑色为背景，以圆形标注沉淀池和/或以方形标注高位池，且各个圆形区域为不同颜色的彩色和/或各个方形区域为不同颜色的彩色；其中，不同的颜色用于表征不同的个体；
利用特征金字塔网络FPN对所述多幅不同尺寸的稀土矿区对应的特征图进行图像融合，得到特征金字塔图像；
利用区域生成网络RPN对所述特征金字塔图像进行处理，得到前景推荐区域，其中，所述前景推荐区域包括初始目标边框和分值；
采用双线性插值池化方法RoiAlign将所述前景推荐区域进行尺寸归一化处理，并将处理后的图像同时输入全连接层进行目标分类和目标边框精修处理和全卷积神经网络进行像素级别的语义分割处理，得到稀土矿开采识别模型。
8.一种稀土矿开采识别设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的稀土矿开采识别方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的稀土矿开采识别方法。
CN201910444099.7A 2019-05-27 2019-05-27 稀土矿开采识别方法、装置、设备及存储介质 Active CN110147778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910444099.7A CN110147778B (zh) 2019-05-27 2019-05-27 稀土矿开采识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910444099.7A CN110147778B (zh) 2019-05-27 2019-05-27 稀土矿开采识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110147778A CN110147778A (zh) 2019-08-20
CN110147778B true CN110147778B (zh) 2022-09-30

Family

ID=67592081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910444099.7A Active CN110147778B (zh) 2019-05-27 2019-05-27 稀土矿开采识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110147778B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095109A (zh) * 2019-12-23 2021-07-09 中移(成都)信息通信科技有限公司 一种农作物叶面识别模型训练方法、识别方法及装置
CN113033315A (zh) * 2021-02-26 2021-06-25 江西理工大学 一种稀土开采高分影像识别与定位方法
CN113130014B (zh) * 2021-04-23 2023-02-07 华东交通大学 一种基于多分支神经网络的稀土萃取模拟方法及系统
CN113378912B (zh) * 2021-06-08 2023-05-12 长光卫星技术股份有限公司 一种基于深度学习目标检测的林区非法开垦地块检测方法
CN117576622A (zh) * 2023-11-07 2024-02-20 广东省科学院广州地理研究所 一种融合热红外的稀土矿开采区识别方法、系统和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103708592A (zh) * 2013-12-23 2014-04-09 华东交通大学 一种基于机器视觉的新型水处理方法及其装置
CN105293772A (zh) * 2015-11-17 2016-02-03 中国地质大学（武汉） 稀土选冶废水中稀土回收及氨氮资源化利用方法
CN109165553A (zh) * 2018-07-20 2019-01-08 中国石油天然气股份有限公司 基于深度学习的石油设施遥感自动识别方法及装置
CN109325395A (zh) * 2018-04-28 2019-02-12 二十世纪空间技术应用股份有限公司 图像的识别方法、卷积神经网络模型的训练方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218747B (zh) * 2013-02-08 2016-04-13 中国地质科学院矿产资源研究所 离子吸附型稀土矿非法开采监测与预警系统和方法
CN103232124A (zh) * 2013-05-09 2013-08-07 林江颖 一种风化壳淋积型稀土矿开采产生的废水处理方法
DE102013211184A1 (de) * 2013-06-14 2014-12-31 Siemens Aktiengesellschaft Verfahren und Vorrichtungen zum Trennen von seltenerdhaltigem Primärerz
CN106462940A (zh) * 2014-10-09 2017-02-22 微软技术许可有限责任公司 图像中通用对象检测
CN105388826A (zh) * 2015-12-11 2016-03-09 中国环境科学研究院 一种混合型稀土矿区水环境质量监控预警系统的建立方法
WO2017156243A1 (en) * 2016-03-11 2017-09-14 Siemens Aktiengesellschaft Deep-learning based feature mining for 2.5d sensing image search
CN107766798A (zh) * 2017-09-28 2018-03-06 辽宁工程技术大学 一种基于云计算存储和深度学习的遥感图像目标检测方法
CN108921916B (zh) * 2018-07-03 2022-09-16 广东工业大学 图片中多目标区域的上色方法、装置、设备及存储介质
CN108898610B (zh) * 2018-07-20 2020-11-20 电子科技大学 一种基于mask-RCNN的物体轮廓提取方法
CN109284669A (zh) * 2018-08-01 2019-01-29 辽宁工业大学 基于Mask RCNN的行人检测方法
CN109389086B (zh) * 2018-10-09 2021-03-05 北京科技大学 检测无人机影像目标的方法和系统
CN109784283B (zh) * 2019-01-21 2021-02-09 陕西师范大学 基于场景识别任务下的遥感图像目标提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103708592A (zh) * 2013-12-23 2014-04-09 华东交通大学 一种基于机器视觉的新型水处理方法及其装置
CN105293772A (zh) * 2015-11-17 2016-02-03 中国地质大学（武汉） 稀土选冶废水中稀土回收及氨氮资源化利用方法
CN109325395A (zh) * 2018-04-28 2019-02-12 二十世纪空间技术应用股份有限公司 图像的识别方法、卷积神经网络模型的训练方法及装置
CN109165553A (zh) * 2018-07-20 2019-01-08 中国石油天然气股份有限公司 基于深度学习的石油设施遥感自动识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
多源时序影像的稀土矿区土地毁损与恢复遥感监测研究;雷军;《中国优秀硕士学位论文全文数据库 基础科学辑》;20180915(第（2018）09期);A011-123 *
广东省稀土矿违法开采遥感动态监测研究;朱俊凤等;《上海国土资源》;20151231;第36卷(第4期);第83-88页 *

Also Published As

Publication number Publication date
CN110147778A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110147778B (zh) 稀土矿开采识别方法、装置、设备及存储介质
Huang et al. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery
CN111681197B (zh) 一种基于Siamese网络结构的遥感图像无监督变化检测方法
CN102855622B (zh) 一种基于显著性分析的红外遥感图像海面船只检测方法
Modava et al. Hierarchical coastline detection in SAR images based on spectral‐textural features and global–local information
CN111339948B (zh) 一种高分辨率遥感影像新增建筑自动识别方法
Dim et al. Alternative approach for satellite cloud classification: edge gradient application
CN110619368B (zh) 行星表面导航特征成像匹配检测方法
Mohammadpour et al. Automatic lineament extraction method in mineral exploration using CANNY algorithm and hough transform
CN103679740A (zh) 一种无人机对地目标roi提取方法
Li et al. Hybrid cloud detection algorithm based on intelligent scene recognition
CN112379453B (zh) 交通困难地区沉积型碳酸盐铅锌矿勘测方法、系统、设备及应用
CN103093241B (zh) 基于同质化处理的光学遥感图像非匀质云层判别方法
Manandhar et al. Segmentation based building detection in high resolution satellite images
CN116243273B (zh) 一种针对植被冠层提取的光子计数激光雷达数据滤波方法
Kusetogullari et al. Unsupervised change detection in landsat images with atmospheric artifacts: a fuzzy multiobjective approach
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法
CN116895019A (zh) 一种基于动态加权交叉熵损失的遥感图像变化检测方法及其检测系统
Gecen et al. Road detection from high and low resolution satellite images
CN115063698A (zh) 斜坡地表变形裂缝自动识别与信息提取方法及系统
Xiao et al. Road detection in high-resolution SAR images using Duda and path operators
CN109471106B (zh) 结合聚类分析和边界跟踪法的sar海洋内波条纹识别方法
Abraham et al. Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures
Du et al. Shadow detection in high-resolution remote sensing image based on improved K-means
Avudaiamma et al. Automatic building extraction from VHR satellite image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant