CN111967576A - 一种基于深度学习的地球化学数据处理方法和系统 - Google Patents
一种基于深度学习的地球化学数据处理方法和系统 Download PDFInfo
- Publication number
- CN111967576A CN111967576A CN202010713470.8A CN202010713470A CN111967576A CN 111967576 A CN111967576 A CN 111967576A CN 202010713470 A CN202010713470 A CN 202010713470A CN 111967576 A CN111967576 A CN 111967576A
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- geochemical
- network model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于深度学习技术领域,公开了一种基于深度学习的地球化学数据处理方法和系统,所述基于深度学习的地球化学数据处理系统包括数据获取模块、数据分类模块、标注模块、中央控制模块、深度学习网络模型构建模块、模型训练模块、反馈模块、模型优化模块、最佳序列曲线生成模块、显示模块。所述基于深度学习的地球化学数据处理方法包括获取地球化学数据;构建深度学习网络模型;进行地球化学数据训练集的标注;进行深度学习网络模型训练的反馈,得到反馈结果;生成地球化学数据最佳序列曲线。本发明通过构建深度学习网络模型,对深度学习网络模型进行优化,进而实现对地球化学数据的处理,提高了深度学习的分类正确率。
Description
技术领域
本发明属于深度学习技术领域,尤其涉及一种基于深度学习的地球化学数据处理方法和系统。
背景技术
目前:地质样品的成分分析是地球科学研究的重要研究方法,对于深入理解地球演化、矿产资源形成以及找矿勘查等方面具有十分重要的意义。基于地质样品的主量元素、微量元素、同位素成分分析数据,对地质样品进行分类,可用于厘定矿床成因、岩石类型、成岩成矿构造环境、圈定找矿靶区等。通过目前的地球化学分析手段,可以获得同一地质样品的多种元素、同位素的含量。如单矿物原位微区成分分析(采用LA-ICP-MS、SIMS、SHRIMP、电子探针等方法)、全岩或矿石成分分析(采用XRF、ICP-MS、火试金等方法)、化探样品成分分析等数据,都可同时获得同一样品的多种主量元素、微量元素、同位素成分。这些地球化学数据在数学上表现为多维数据,这使得对数据进行准确分类及挖掘的难度增大。目前对地球化学数据的分类主要是采用一系列二维判别图解(如Pearce图解)。这些判别图解虽对地球化学研究起到了一定的积极推动作用,但通常分类准确性不高,不同成因的地质样品经二维投图后常常存在大面积的重叠区域。究其原因是由于地球化学数据为高维数据,将其压缩到二维图解上会造成很大程度的信息损失,因此利用二维图解并不能进行有效区分。但是目前暂无可以直接对高维数据进行分类及处理的方法,无法实现地球化学数据处理。
通过上述分析,现有技术存在的问题及缺陷为:目前暂无可以直接对高维数据进行分类及处理的方法,无法实现地球化学数据处理。
发明内容
针对现有技术存在的问题,本发明提供了一种基于深度学习的地球化学数据处理方法和系统。
本发明是这样实现的,一种基于深度学习的地球化学数据处理方法,所述基于深度学习的地球化学数据处理方法包括:
步骤一,通过地球化学数据获取程序获取地球化学数据;通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
所述将获取的地球化学数据进行处理并分为测试集、训练集包括以下步骤:
(1.1)获取未标注的数据集,从所述未标注的数据集中选取数据模板;并将相关数据进行形状变换;
(1.2)将形状变换后的数据集80%作为训练集,20%作为测试集;根据所述数据模板对所述形状变换后的训练集进行标注,得到第一训练集;
(1.3)通过所述神经网络识别所述未标注的训练集,得到第二训练集;
(1.4)判断所述第二训练集与所述第一训练集之间的差异度是否小于预设阈值;如果否,则根据所述第二训练集对所述第一训练集进行校正;如果是,则将所述第一训练集或所述第二训练集确定为所述未标注的训练集对应的标记训练集;
(1.5)输出测试集以及标记训练集;
步骤二,通过深度学习网络模型构建程序构建深度学习网络模型;
所述深度学习网络模型构建方法包括:
(2.1)获取划分好的测试集以及训练集,将测试集以及训练集数据进行归一化处理;同时确定深度学习网络模型类型并进行模型设计;
(2.2)通过训练配置寻找确定的深度学习网络模型的最优值,即确定损失函数,即得所述深度学习网络模型;
步骤三,通过标注程序进行地球化学数据训练集的标注;通过深度学习网络模型训练程序用标注数据训练模型进行深度学习网络模型的训练,训练模型进行自主标注;
所述进行深度学习网络模型的训练包括以下步骤:
(3.1)将步骤二中归一化处理后的训练集中的训练样本输入所述深度学习网络模型;
(3.2)通过反向传播算法对所述已训练RPN模型进行参数更新,产生候选区域,利用训练样本对所述已训练Fast RCNN模型再次进行训练,获得进一步训练的Fast RCNN模型;
(3.3)通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征,得到输入图像的特征图;
(3.4)结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图,对每一个候选区域使用ROIAlign进行像素校正,得到每个候选区域后对每个候选区域进行预测,得到待识别物体的类别与bounding box;
(3.5)使用FCN网络对每个候选区域进行实例分割,预测每个像素点所属类别,根据得到的图像分割结果优化模型结构与参数,获得训练后的深度学习网络模型;
(3.6)利用步骤二归一化处理后的测试集数据对训练后的深度学习网络模型进行测试;判断测试结果是否满足预设阈值,若满足,则输出深度学习网络模型;若不满足,则重新进行模型训练;
步骤四,通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
步骤五,通过深度学习网络模型优化程序进行深度学习网络模型的优化;数据处理模块利用优化的深度学习网络模型进行地球化学数据处理;
步骤六,通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
步骤七,通过显示模块进行地球化学数据分类以及地球化学数据最佳序列曲线的显示。
进一步,步骤(1.2)中,所述根据所述数据模板对所述未标注的训练集集进行标注,得到第一训练集,包括:
通过每种类型对应的数据模板分别对每种类型的子训练集进行标注,得到每种类型对应的标注数据;
将所述每种类型对应的标注数据组成所述未标注的训练集对应的第一训练集。
进一步,步骤(1.5)中,所述根据所述第二训练集对所述第一训练集进行校正,包括:
在所述第一训练集中,确定与所述第二训练集相区别的差异数据;
对所述差异数据进行重新标记,得到校正后的所述第一训练集。
进一步,步骤二中,所述深度学习网络模型采用Mask RCNN网络模型,所述MaskRCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分。
进一步,步骤三中,所述进行地球化学数据训练集的标注包括以下步骤:
1)获取训练集中已标注的第一样本地球化学数据和对应的待标注对象的标准标注框,作为模型训练数据;
2)根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型;
3)判断待标注数据集中未标注的样本地球化学数据的数量是否大于第一数量;如果大于,则从所述待标注数据集中未标注的样本地球化学数据中确定第二数量个样本地球化学数据作为第二样本地球化学数据,由更新后的网络模型确定所述第二样本地球化学数据中待标注对象的参考标注框;
4)根据二维俯视坐标系与三维坐标系之间的第一映射关系,将所述第二样本地球化学数据和参考标注框显示在二维俯视界面中;
5)获取标注员针对所述二维俯视界面显示的第二样本地球化学数据和参考标注框输入的第一调整操作,根据所述第一调整操作,确定所述第二样本地球化学数据中待标注对象的标准标注框;
6)将所述第二样本地球化学数据和对应的标准标注框加入所述训练集;将所述第二样本地球化学数据和对应的标准标注框作为模型训练数据,将更新后的网络模型作为目标网络模型;
7)返回执行所述根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型。
进一步,所述三维坐标系为所述第二样本地球化学数据所在的坐标系,所述二维俯视界面与所述二维俯视坐标系对应。
进一步,所述地球化学数据最佳序列曲线的生产方法为:
对所述地球化学数据中元素测量值进行预处理,生成统一量纲元素数据;对所述统一量纲元素数据通过预设规则进行地球化学元素最佳排序,生成地球化学元素最佳序列曲线。
本发明的另一目的在于提供一种实施所述地球化学数据处理方法的地球化学数据处理系统,所述基于深度学习的地球化学数据处理系统包括:
数据获取模块、数据分类模块、标注模块、中央控制模块、深度学习网络模型构建模块、模型训练模块、反馈模块、模型优化模块、数据处理模块、最佳序列曲线生成模块、显示模块;
地球化学数据获取模块,与数据分类模块连接,用于通过地球化学数据获取程序获取地球化学数据;
数据分类模块,与中央控制模块连接,用于通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
标注模块,与中央控制模块连接,用于通过标注程序进行训练集标注;
中央控制模块,与数据获取模块、数据分类模块、标注模块、深度学习网络模型构建模块、模型训练模块、反馈模块、模型优化模块、数据处理模块、最佳序列曲线生成模块、显示模块连接,用于通过主控机控制各个模块正常运行;
深度学习网络模型构建模块,与中央控制模块连接,用于通过深度学习网络模型构建程序构建深度学习网络模型;
模型训练模块,与中央控制模块连接,用于通过深度学习网络模型训练程序进行深度学习网络模型的训练;
反馈模块,与中央控制模块连接,用于通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
模型优化模块,与中央控制模块连接,用于通过深度学习网络模型优化程序进行深度学习网络模型的优化;
数据处理模块,与中央控制模块连接,用于利用优化的深度学习网络模型进行地球化学数据处理;
最佳序列曲线生成模块,与中央控制模块连接,用于通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
显示模块,与中央控制模块连接,用于通过显示模块进行地球化学数据分类、数据处理结果以及地球化学数据最佳序列曲线的显示。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施所述地球化学数据处理方法。
本发明的另一目的在于提供一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机执行所述地球化学数据处理方法。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明通过构建深度学习网络模型,对深度学习网络模型进行优化,进而实现对地球化学数据的处理,提高了深度学习的分类正确率。本发明的方法应用于例如地质样品主量元素、微量元素、同位素成分数据等的分析和解读,能够对高维地球化学数据进行分类。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于深度学习的地球化学数据处理方法的流程图。
图2是本发明实施例提供的基于深度学习的地球化学数据处理系统的结构框图。
图3是本发明实施例提供的将获取的地球化学数据分为测试集、训练集的流程图。
图4是本发明实施例提供的进行地球化学数据训练集的标注的流程图。
图5是本发明实施例提供的进行深度学习网络模型的训练的流程图。
图2中:1、数据获取模块;2、数据分类模块;3、标注模块;4、中央控制模块;5、深度学习网络模型构建模块;6、模型训练模块;7、反馈模块;8、模型优化模块;9、数据处理模块;10、最佳序列曲线生成模块;11、显示模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种基于深度学习的地球化学数据处理方法和系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的基于深度学习的地球化学数据处理方法包括以下步骤:
S101,通过地球化学数据获取程序获取地球化学数据;通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
S102,通过深度学习网络模型构建程序构建深度学习网络模型;
S103,通过标注程序进行地球化学数据训练集的标注;通过深度学习网络模型训练程序用标注数据训练模型进行深度学习网络模型的训练,训练模型进行自主标注;
S104,通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
S105,通过深度学习网络模型优化程序进行深度学习网络模型的优化;数据处理模块,与中央控制模块连接,用于利用优化的深度学习网络模型进行地球化学数据处理;
S106,通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
S107,通过显示模块进行地球化学数据分类以及地球化学数据最佳序列曲线的显示。
如图2所示,本发明实施例提供的基于深度学习的地球化学数据处理系统包括:
数据获取模块1、数据分类模块2、标注模块3、中央控制模块4、深度学习网络模型构建模块5、模型训练模块6、反馈模块7、模型优化模块8、数据处理模块9、最佳序列曲线生成模块10、显示模块11;
地球化学数据获取模块1,与数据分类模块2连接,用于通过地球化学数据获取程序获取地球化学数据;
数据分类模块2,与中央控制模块4连接,用于通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
标注模块3,与中央控制模块4连接,用于通过标注程序进行训练集标注;
中央控制模块4,与数据获取模块1、数据分类模块2、标注模块3、深度学习网络模型构建模块5、模型训练模块6、反馈模块7、模型优化模块8、数据处理模块9、最佳序列曲线生成模块10、显示模块11连接,用于通过主控机控制各个模块正常运行;
深度学习网络模型构建模块5,与中央控制模块4连接,用于通过深度学习网络模型构建程序构建深度学习网络模型;
模型训练模块6,与中央控制模块4连接,用于通过深度学习网络模型训练程序进行深度学习网络模型的训练;
反馈模块7,与中央控制模块4连接,用于通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
模型优化模块8,与中央控制模块4连接,用于通过深度学习网络模型优化程序进行深度学习网络模型的优化;
数据处理模块9,与中央控制模块4连接,用于利用优化的深度学习网络模型进行地球化学数据处理;
最佳序列曲线生成模块10,与中央控制模块4连接,用于通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
显示模块11,与中央控制模块4连接,用于通过显示模块进行地球化学数据分类以及地球化学数据最佳序列曲线的显示。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1
本发明实施例提供的基于深度学习的地球化学数据处理方法如图1所示,作为优选实施例,如图3所示,本发明实施例提供的将获取的地球化学数据分为测试集、训练集包括以下步骤:
S201,获取未标注的数据集,从所述未标注的数据集中选取数据模板;并将相关数据进行形状变换;
S202,将形状变换后的数据集80%作为训练集,20%作为测试集;根据所述数据模板对所述形状变换后的训练集进行标注,得到第一训练集;
S203,通过所述神经网络识别所述未标注的训练集,得到第二训练集;
S204,判断所述第二训练集与所述第一训练集之间的差异度是否小于预设阈值;如果否,则根据所述第二训练集对所述第一训练集进行校正;如果是,则将所述第一训练集或所述第二训练集确定为所述未标注的训练集对应的标记训练集;
S205,输出测试集以及标记训练集。
步骤S202中,本发明实施例提供的根据所述数据模板对所述未标注的数据集进行标注,得到第一训练集,包括:
通过每种类型对应的数据模板分别对每种类型的子数据集进行标注,得到每种类型对应的标注数据;
将所述每种类型对应的标注数据组成所述未标注的数据集对应的第一训练集。
步骤S205中,本发明实施例提供的根据所述第二训练集对所述第一训练集进行校正,包括:
在所述第一训练集中,确定与所述第二训练集相区别的差异数据;
对所述差异数据进行重新标记,得到校正后的所述第一训练集。
实施例2
本发明实施例提供的基于深度学习的地球化学数据处理方法如图1所示,作为优选实施例,本发明实施例提供的深度学习网络模型构建方法包括:
(1)获取划分好的测试集以及训练集,将测试集以及训练集数据进行归一化处理;同时确定深度学习网络模型类型并进行模型设计;
(2)通过训练配置寻找确定的深度学习网络模型的最优值,即确定损失函数;
(3)利用归一化处理后的训练集数据对构建的深度学习网络模型进行训练;并利用归一化处理后的测试集数据对训练后的深度学习网络模型进行测试;判断测试结果是否满足预设阈值,若满足,则输出深度学习网络模型;若不满足,则重新进行模型训练。
本发明实施例提供的深度学习网络模型采用Mask RCNN网络模型,所述Mask RCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分。
实施例3
本发明实施例提供的基于深度学习的地球化学数据处理方法如图1所示,作为优选实施例,如图4所示,本发明实施例提供的进行地球化学数据训练集的标注包括以下步骤:
S301,获取训练集中已标注的第一样本地球化学数据和对应的待标注对象的标准标注框,作为模型训练数据;
S302,根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型;
S303,判断待标注数据集中未标注的样本地球化学数据的数量是否大于第一数量;如果大于,则从所述待标注数据集中未标注的样本地球化学数据中确定第二数量个样本地球化学数据作为第二样本地球化学数据,由更新后的网络模型确定所述第二样本地球化学数据中待标注对象的参考标注框;
S304,根据二维俯视坐标系与三维坐标系之间的第一映射关系,将所述第二样本地球化学数据和参考标注框显示在二维俯视界面中;
S305,获取标注员针对所述二维俯视界面显示的第二样本地球化学数据和参考标注框输入的第一调整操作,根据所述第一调整操作,确定所述第二样本地球化学数据中待标注对象的标准标注框;
S306,将所述第二样本地球化学数据和对应的标准标注框加入所述训练集;将所述第二样本地球化学数据和对应的标准标注框作为模型训练数据,将更新后的网络模型作为目标网络模型;
S307,返回执行所述根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型。
本发明实施例提供的三维坐标系为所述第二样本地球化学数据所在的坐标系,所述二维俯视界面与所述二维俯视坐标系对应。
实施例4
本发明实施例提供的基于深度学习的地球化学数据处理方法如图1所示,作为优选实施例,如图5所示,本发明实施例提供的进行深度学习网络模型的训练包括以下步骤:
S401,将归一化处理后的训练集中的训练样本输入所述深度学习网络模型;
S402,通过反向传播算法对所述已训练RPN模型进行参数更新,产生候选区域,利用训练样本对所述已训练Fast RCNN模型再次进行训练,获得进一步训练的Fast RCNN模型;
S403,通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征,得到输入图像的特征图;
S404,结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图,对每一个候选区域使用ROIAlign进行像素校正,得到每个候选区域后对每个候选区域进行预测,得到待识别物体的类别与bounding box;
S405,使用FCN网络对每个候选区域进行实例分割,预测每个像素点所属类别,根据得到的图像分割结果优化模型结构与参数,获得训练后的深度学习网络模型;
S406,利用归一化处理后的测试集数据对训练后的深度学习网络模型进行测试;判断测试结果是否满足预设阈值,若满足,则输出深度学习网络模型;若不满足,则重新进行模型训练。
实施例5
本发明实施例提供的基于深度学习的地球化学数据处理方法如图1所示,作为优选实施例,本发明实施例提供的地球化学数据最佳序列曲线的生产方法为:
对所述地球化学数据中元素测量值进行预处理,生成统一量纲元素数据;对所述统一量纲元素数据通过预设规则进行地球化学元素最佳排序,生成地球化学元素最佳序列曲线。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的地球化学数据处理方法,其特征在于,所述基于深度学习的地球化学数据处理方法包括:
步骤一,通过地球化学数据获取程序获取地球化学数据;通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
所述将获取的地球化学数据进行处理并分为测试集、训练集包括以下步骤:
(1.1)获取未标注的数据集,从所述未标注的数据集中选取数据模板;并将相关数据进行形状变换;
(1.2)将形状变换后的数据集80%作为训练集,20%作为测试集;根据所述数据模板对所述形状变换后的训练集进行标注,得到第一训练集;
(1.3)通过所述神经网络识别所述未标注的训练集,得到第二训练集;
(1.4)判断所述第二训练集与所述第一训练集之间的差异度是否小于预设阈值;如果否,则根据所述第二训练集对所述第一训练集进行校正;如果是,则将所述第一训练集或所述第二训练集确定为所述未标注的训练集对应的标记训练集;
(1.5)输出测试集以及标记训练集;
步骤二,通过深度学习网络模型构建程序构建深度学习网络模型;
所述深度学习网络模型构建方法包括:
(2.1)获取划分好的测试集以及训练集,将测试集以及训练集数据进行归一化处理;同时确定深度学习网络模型类型并进行模型设计;
(2.2)通过训练配置寻找确定的深度学习网络模型的最优值,即确定损失函数,即得所述深度学习网络模型;
步骤三,通过标注程序进行地球化学数据训练集的标注;通过深度学习网络模型训练程序用标注数据训练模型进行深度学习网络模型的训练,训练模型进行自主标注;
所述进行深度学习网络模型的训练包括以下步骤:
(3.1)将步骤二中归一化处理后的训练集中的训练样本输入所述深度学习网络模型;
(3.2)通过反向传播算法对所述已训练RPN模型进行参数更新,产生候选区域,利用训练样本对所述已训练Fast RCNN模型再次进行训练,获得进一步训练的Fast RCNN模型;
(3.3)通过所述进一步训练的Fast RCNN模型的卷积层提取输入图像的整体特征,得到输入图像的特征图;
(3.4)结合参数更新后的RPN模型产生的候选区域得到图像中候选区域的特征图,对每一个候选区域使用ROIAlign进行像素校正,得到每个候选区域后对每个候选区域进行预测,得到待识别物体的类别与bounding box;
(3.5)使用FCN网络对每个候选区域进行实例分割,预测每个像素点所属类别,根据得到的图像分割结果优化模型结构与参数,获得训练后的深度学习网络模型;
(3.6)利用步骤二归一化处理后的测试集数据对训练后的深度学习网络模型进行测试;判断测试结果是否满足预设阈值,若满足,则输出深度学习网络模型;若不满足,则重新进行模型训练;
步骤四,通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
步骤五,通过深度学习网络模型优化程序进行深度学习网络模型的优化;数据处理模块利用优化的深度学习网络模型进行地球化学数据处理;
步骤六,通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
步骤七,通过显示模块进行地球化学数据分类以及地球化学数据最佳序列曲线的显示。
2.如权利要求1所述基于深度学习的地球化学数据处理方法,其特征在于,步骤(1.2)中,所述根据所述数据模板对所述未标注的训练集集进行标注,得到第一训练集,包括:
通过每种类型对应的数据模板分别对每种类型的子训练集进行标注,得到每种类型对应的标注数据;
将所述每种类型对应的标注数据组成所述未标注的训练集对应的第一训练集。
3.如权利要求1所述基于深度学习的地球化学数据处理方法,其特征在于,步骤(1.5)中,所述根据所述第二训练集对所述第一训练集进行校正,包括:
在所述第一训练集中,确定与所述第二训练集相区别的差异数据;
对所述差异数据进行重新标记,得到校正后的所述第一训练集。
4.如权利要求1所述基于深度学习的地球化学数据处理方法,其特征在于,步骤二中,所述深度学习网络模型采用Mask RCNN网络模型,所述Mask RCNN网络模型包括VGG、RPN、ROIAlign、卷积输出四部分。
5.如权利要求1所述基于深度学习的地球化学数据处理方法,其特征在于,步骤三中,所述进行地球化学数据训练集的标注包括以下步骤:
1)获取训练集中已标注的第一样本地球化学数据和对应的待标注对象的标准标注框,作为模型训练数据;
2)根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型;
3)判断待标注数据集中未标注的样本地球化学数据的数量是否大于第一数量;如果大于,则从所述待标注数据集中未标注的样本地球化学数据中确定第二数量个样本地球化学数据作为第二样本地球化学数据,由更新后的网络模型确定所述第二样本地球化学数据中待标注对象的参考标注框;
4)根据二维俯视坐标系与三维坐标系之间的第一映射关系,将所述第二样本地球化学数据和参考标注框显示在二维俯视界面中;
5)获取标注员针对所述二维俯视界面显示的第二样本地球化学数据和参考标注框输入的第一调整操作,根据所述第一调整操作,确定所述第二样本地球化学数据中待标注对象的标准标注框;
6)将所述第二样本地球化学数据和对应的标准标注框加入所述训练集;将所述第二样本地球化学数据和对应的标准标注框作为模型训练数据,将更新后的网络模型作为目标网络模型;
7)返回执行所述根据所述模型训练数据,对目标网络模型进行训练,得到更新后的网络模型。
6.如权利要求5所述基于深度学习的地球化学数据处理方法,其特征在于,所述三维坐标系为所述第二样本地球化学数据所在的坐标系,所述二维俯视界面与所述二维俯视坐标系对应。
7.如权利要求1所述基于深度学习的地球化学数据处理方法,其特征在于,所述地球化学数据最佳序列曲线的生产方法为:
对所述地球化学数据中元素测量值进行预处理,生成统一量纲元素数据;对所述统一量纲元素数据通过预设规则进行地球化学元素最佳排序,生成地球化学元素最佳序列曲线。
8.一种实施如权利要求1-7所述地球化学数据处理方法的地球化学数据处理系统,其特征在于,所述基于深度学习的地球化学数据处理系统包括:
数据获取模块、数据分类模块、标注模块、中央控制模块、深度学习网络模型构建模块、模型训练模块、反馈模块、模型优化模块、数据处理模块、最佳序列曲线生成模块、显示模块;
地球化学数据获取模块,与数据分类模块连接,用于通过地球化学数据获取程序获取地球化学数据;
数据分类模块,与中央控制模块连接,用于通过数据分类处理程序将获取的地球化学数据进行处理并分为测试集、训练集;
标注模块,与中央控制模块连接,用于通过标注程序进行训练集标注;
中央控制模块,与数据获取模块、数据分类模块、标注模块、深度学习网络模型构建模块、模型训练模块、反馈模块、模型优化模块、数据处理模块、最佳序列曲线生成模块、显示模块连接,用于通过主控机控制各个模块正常运行;
深度学习网络模型构建模块,与中央控制模块连接,用于通过深度学习网络模型构建程序构建深度学习网络模型;
模型训练模块,与中央控制模块连接,用于通过深度学习网络模型训练程序进行深度学习网络模型的训练;
反馈模块,与中央控制模块连接,用于通过反馈程序进行深度学习网络模型训练的反馈,得到反馈结果;
模型优化模块,与中央控制模块连接,用于通过深度学习网络模型优化程序进行深度学习网络模型的优化;
数据处理模块,与中央控制模块连接,用于利用优化的深度学习网络模型进行地球化学数据处理;
最佳序列曲线生成模块,与中央控制模块连接,用于通过地球化学数据最佳序列曲线生成程序依据地球化学元素最佳排序生成地球化学数据最佳序列曲线;
显示模块,与中央控制模块连接,用于通过显示模块进行地球化学数据分类、数据处理结果以及地球化学数据最佳序列曲线的显示。
9.一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以实施如权利要求1-7任意一项所述地球化学数据处理方法。
10.一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机执行如权利要求1-7任意一项所述地球化学数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010713470.8A CN111967576B (zh) | 2020-07-22 | 2020-07-22 | 一种基于深度学习的地球化学数据处理方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010713470.8A CN111967576B (zh) | 2020-07-22 | 2020-07-22 | 一种基于深度学习的地球化学数据处理方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111967576A true CN111967576A (zh) | 2020-11-20 |
CN111967576B CN111967576B (zh) | 2022-09-02 |
Family
ID=73362559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010713470.8A Active CN111967576B (zh) | 2020-07-22 | 2020-07-22 | 一种基于深度学习的地球化学数据处理方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967576B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113193789A (zh) * | 2021-05-27 | 2021-07-30 | 深圳市航顺芯片技术研发有限公司 | 电机启动控制参数优化方法、装置及电机启动控制系统 |
CN115937568A (zh) * | 2022-09-29 | 2023-04-07 | 中国地质大学(北京) | 一种玄武岩构造背景分类方法、系统、装置及存储介质 |
WO2024019629A1 (en) * | 2022-07-21 | 2024-01-25 | Saudi Arabian Oil Company | Source determination of produced water from oilfields with artificial intelligence techniques |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
CN108710777A (zh) * | 2018-05-21 | 2018-10-26 | 中国地质大学(武汉) | 基于多卷积自编码神经网络的多元化探异常识别方法 |
CN109800728A (zh) * | 2019-01-28 | 2019-05-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的矿物质快速识别的方法 |
CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
CN110427957A (zh) * | 2019-06-12 | 2019-11-08 | 北京科技大学 | 一种基于机器学习的地球化学数据的分类方法和装置 |
CN110965991A (zh) * | 2018-09-27 | 2020-04-07 | 中国石油天然气股份有限公司 | 基于人工智能的随钻岩石矿物组分识别方法及装置 |
CN111007094A (zh) * | 2019-12-03 | 2020-04-14 | 上海海关工业品与原材料检测技术中心 | 判别进口铜精矿产地的方法 |
CN111161292A (zh) * | 2019-11-21 | 2020-05-15 | 合肥合工安驰智能科技有限公司 | 一种矿石尺度测量方法及应用系统 |
CN111241989A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 图像识别方法及装置、电子设备 |
-
2020
- 2020-07-22 CN CN202010713470.8A patent/CN111967576B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
CN108710777A (zh) * | 2018-05-21 | 2018-10-26 | 中国地质大学(武汉) | 基于多卷积自编码神经网络的多元化探异常识别方法 |
CN110965991A (zh) * | 2018-09-27 | 2020-04-07 | 中国石油天然气股份有限公司 | 基于人工智能的随钻岩石矿物组分识别方法及装置 |
CN109800728A (zh) * | 2019-01-28 | 2019-05-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于深度学习的矿物质快速识别的方法 |
CN109949317A (zh) * | 2019-03-06 | 2019-06-28 | 东南大学 | 基于逐步对抗学习的半监督图像实例分割方法 |
CN110427957A (zh) * | 2019-06-12 | 2019-11-08 | 北京科技大学 | 一种基于机器学习的地球化学数据的分类方法和装置 |
CN111161292A (zh) * | 2019-11-21 | 2020-05-15 | 合肥合工安驰智能科技有限公司 | 一种矿石尺度测量方法及应用系统 |
CN111007094A (zh) * | 2019-12-03 | 2020-04-14 | 上海海关工业品与原材料检测技术中心 | 判别进口铜精矿产地的方法 |
CN111241989A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 图像识别方法及装置、电子设备 |
Non-Patent Citations (3)
Title |
---|
KAIMING HE等: "Mask R-CNN", 《ARXIV:1703.06870V3 [CS.CV]》 * |
孔韫辉: "BP神经网络在化探数据分类中的应用", 《福建质量管理> * |
王晶等: "基于MATLAB的地球化学数据处理方法的应用研究", 《农家参谋》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113193789A (zh) * | 2021-05-27 | 2021-07-30 | 深圳市航顺芯片技术研发有限公司 | 电机启动控制参数优化方法、装置及电机启动控制系统 |
CN113193789B (zh) * | 2021-05-27 | 2022-07-26 | 深圳市航顺芯片技术研发有限公司 | 电机启动控制参数优化方法、装置及电机启动控制系统 |
WO2024019629A1 (en) * | 2022-07-21 | 2024-01-25 | Saudi Arabian Oil Company | Source determination of produced water from oilfields with artificial intelligence techniques |
CN115937568A (zh) * | 2022-09-29 | 2023-04-07 | 中国地质大学(北京) | 一种玄武岩构造背景分类方法、系统、装置及存储介质 |
CN115937568B (zh) * | 2022-09-29 | 2024-05-07 | 中国地质大学(北京) | 一种玄武岩构造背景分类方法、系统、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111967576B (zh) | 2022-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111967576B (zh) | 一种基于深度学习的地球化学数据处理方法和系统 | |
Kumpf et al. | Visualizing confidence in cluster-based ensemble weather forecast analyses | |
CN113168339A (zh) | 软件测试 | |
US8090538B2 (en) | System and method for interpretation of well data | |
CN103814351A (zh) | 基于协同姿势的输入语言 | |
Paithankar et al. | Grade and tonnage uncertainty analysis of an African copper deposit using multiple-point geostatistics and sequential Gaussian simulation | |
Filzmoser et al. | Multivariate outlier detection in applied data analysis: global, local, compositional and Cellwise outliers | |
WO2023241519A1 (zh) | Bim构件创建方法、数字设计资源库应用方法和装置 | |
Wang et al. | Spatial modelling of hydrothermal mineralization-related geochemical patterns using INLA+ SPDE and local singularity analysis | |
CN113420768A (zh) | 岩芯类别确定方法、装置、电子设备和存储介质 | |
CN112948445B (zh) | 用于预测煤中稀土矿产资源靶区的方法及电子设备 | |
CN111243088A (zh) | 工程地质勘察中的真三维航空遥感地质解译方法及系统 | |
CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
CN113627657A (zh) | 一种使用机器学习模型的砂岩型铀成矿有利区预测方法 | |
CN114741697B (zh) | 恶意代码分类方法、装置、电子设备和介质 | |
CN114114457B (zh) | 基于多模态测井数据的裂缝表征方法、装置及设备 | |
Harrison et al. | PETMiner—A Visual Analysis Tool for Petrophysical Properties of Core Sample Data | |
CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 | |
CN106997462A (zh) | 一种量子线路图像识别方法 | |
CN109033373B (zh) | 用于标注地质体代号的方法、装置及其存储介质 | |
CN111966732A (zh) | 全智能化地质填图方法、装置、设备及可读存储介质 | |
Lopes et al. | Dynamical analysis and visualization of tornadoes time series | |
CN110879821A (zh) | 评分卡模型衍生标签生成方法、装置、设备及存储介质 | |
Martin et al. | ClinePlotR: Visualizing genomic clines and detecting outliers in R | |
Adlakha et al. | Application of Machine Learning in Offset Well Planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |