CN114708517B - 一种基于注意力的自适应元学习岩性识别方法及装置 - Google Patents
一种基于注意力的自适应元学习岩性识别方法及装置 Download PDFInfo
- Publication number
- CN114708517B CN114708517B CN202210244009.1A CN202210244009A CN114708517B CN 114708517 B CN114708517 B CN 114708517B CN 202210244009 A CN202210244009 A CN 202210244009A CN 114708517 B CN114708517 B CN 114708517B
- Authority
- CN
- China
- Prior art keywords
- learning
- meta
- attention
- network
- rock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000011435 rock Substances 0.000 claims abstract description 128
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 13
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001965 increasing effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 11
- 238000013461 design Methods 0.000 abstract description 3
- 230000004304 visual acuity Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 235000019738 Limestone Nutrition 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000010438 granite Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000006028 limestone Substances 0.000 description 1
- 239000004579 marble Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000005306 natural glass Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开公开一种基于注意力的自适应元学习岩性识别方法及装置，设计了一个元学习岩性识别模型，采用情景训练策略模拟少样本场景，该模型主要分为两部分：骨干网络部分和超参数生成网络。骨干网络部分为融合多层注意力机制的残差网络进行特征提取，利用注意力机制从特征图中提取线性与非线性信息，再利用softmax函数进行归一化分类。超参数生成网络动态生成两个重要的超参数：学习率与权重衰减系数，实现更好的训练和泛化。本发明针对岩石图像量少，岩石特征差异性较小的特点设计了注意力特征提取模型，得到的特征具有更强的分辨能力，能够提高分类精度。利用超参数生成网络动态生成超参数，使得在元学习场景下每个内环迭代都能适应给定的任务。
Description
技术领域
本发明涉及一种基于注意力的自适应元学习岩性识别方法及装置，具体是一种岩石图像数据量少，岩石特征差异性较小的岩石岩性分类方法，属于地质工程勘查技术领域。
背景技术
岩石作为地壳的主要成分，是组成地球岩石圈的物质之一。它是由矿物和天然玻璃组成的，具有固定外形的稳态集合体。岩石的种类非常丰富，在自然界中，目前被人类探明的种类达到三千多种。岩石岩性的识别是准确确定岩石孔隙度和含油饱和度的前提，也是研究地质储层特征、计算储量和地质建模工作的基础
在矿产资源勘探中，尤其是在固体金属矿产资源勘探中，岩性识别同样发挥着不可比拟的重要作用。对目标区域的岩性识别可以帮助确定不同岩性空间展布和数量，可以为区域地质特征的描绘提供具体的地质信息。同时，岩石岩性识别可以为判定岩石的含矿种类、品位等微观信息，获取复杂构造下的岩石运移状态奠定坚实的理论基础。结合成矿理论和成矿模式，岩性识别可以提供置信度高的找矿指示和优良的靶区预测，与此同时，也可以为后期储量估算和三维地质体建模工作给出辅助参考。岩石岩性的分类是地质勘查工作中重要的研究内容，岩性识别历来是地质学、资源勘查、隧道与地下工程不良地质识别与灾变防控等领域非常重要而基础的问题，准确高效地识别岩性具有重要的应用价值。
专业的地质人员在野外勘查时，可以通过肉眼观察结合自身经验对岩石样本进行分类鉴定，但是由于野外缺少相应专业设备的精确鉴定，或是受制于地质专业人员的经验以及专业知识，只能对岩石样本进行粗略的分类识别。而为了实现精度更高的岩性鉴定，常见的方法是将待测岩石制成薄片，在偏光显微镜先进行微观鉴定，这一方法可以观察到岩石样本的内部微观结构，因此分类结果更加准确，粒度更加精细，除此之外，可能需要化学实验进行辅助分析。但是，这些分类方法受限于专业的鉴定环境和专业人员的技术水平，对于大规模的岩石分类任务来说，分类效率低，难以达到野外地质人员快速鉴定的需求。如果能实现岩性的智能识别，必将大幅度减少分析者的工作量，增加结果的客观性。因此，如何克服传统岩性识别方法存在的缺点，使更多非专业地质工作者等可以获取快速准确的岩性识别结果具有重要的研究意义。
发明内容
发明目的：针对现有岩性自动识别工作中，岩石图像数据量少，特征差异性较小的小样本分类问题，本发明提供了一种基于注意力的自适应元学习岩性识别方法及装置，提高在少样本场景下，岩性识别的分类性能，辅助野外地质勘查工作，提高野外地质工作者的效率。
技术方案：一种基于注意力的自适应元学习岩性识别方法，包括如下步骤：
步骤1)获取地质勘查领域的常见岩石图像，采集不同类型的岩石图像，进行图像预处理，结合地质知识对岩石图像进行标注，构建岩性识别专用数据集；
步骤2)将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；
步骤3)引入一个小型的超参数元网络作为元学习中的元学习者，该网络使用每个步骤的当前权重和梯度值自适应生成两个重要的超参数：学习率与权重衰减系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；
步骤4)将步骤2)中的骨干网络作为元学习的基础学习者，步骤3)中的元网络作为元学习者，构建岩性识别元学习模型；
步骤5)将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试。
步骤6)将训练好的岩石图像自动识别分类模型迁移到应用设备上，基于应用设备实时采集岩石图像，实现在线岩性识别。
其中，步骤1)的岩性识别专用数据集构建包括以下过程：
1-1)从网络以及实地拍摄所得的资料中采集不同种类的岩石图像，并将岩石图像进行分类整理；
1-2)对分类后的岩石图像进行简单筛选，选取清晰的岩石图像，并对图像进行旋转、翻转等手段进行数据增强处理，增加样本数量，图像格式统一设置为jpg格式，不要求图像像素以及摄像距离；
1-3)按照少样本中元学习的设定，采用随机分配的方式将岩石图像数据集划分为支持集、查询集以及测试集。
其中，步骤2)中将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征。具体包含以下步骤：
2-1)采用残差网络ResNet-12作为基准网络，引入卷积注意力模块，该注意力模块包含两个分支，分别是空间注意力模块与通道注意力模块，强调沿着通道和空间这两个主要维度的有意义的特征，通过混合跨通道和空间信息来提取信息特征；
2-2)通道注意力模块给出了在学习过程中的内容，对于SE模块的结构进行改进，即通过额外的全局max-pooling操作在单个卷积层提取更多的通道信息，并在通道注意力模块中尝试通过最大池化与平均池化两个分支的组合获得更好的特征；
2-3)空间注意力模块给出了在网络学习过程中关注的位置的描述，空间注意力模块中额外增加了一个特征调节器，用来调整轮廓信息和细节信息，该调节器依赖于训练的迭代次数具体如下：
其中x是输入的特征图，Smax(x)为经过最大池化后的特征图，Savg(x)为平均池化后的特征图，额外添加了一个调节器，S1(T)与S2(T)是相关的非线性函数，该调节器依赖于迭代次数T，T依赖于epochs次数，通过T来调整特征提取器。
2-4)将改进后的卷积注意力模块用于嵌入到基准网络进行特征提取，具体提取过程如下：
其中Fc∈Rc×1×1是注意力模块归纳出一维通道注意力特征图，Fs∈R1×w×h是注意力模块归纳出的二维空间注意力特征图。是基于元素的乘法。在乘法过程中，空间注意力模块和通道注意力模块并行计算，并采用串接操作使特征图多样化。这样就可以在有限的样本数据中获得足够的信息。
其中，步骤3)中的元网络使用每个步骤的当前权重和梯度值生成两个重要的超参数：学习率与正则项系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务。具体包含以下步骤：
3-1)超参数自适应的元网络使用当前基础学习者的梯度和权值为条件，包含了每个更新步骤和任务动态生成的学习率和正则项系数，使得训练在任务条件下的内环更新更有效，具体过程为：
其中β＝1-αλ，通过更新方程中的超参数来控制自适应过程，即学习率参数α和正则化参数β，这些超参数可以分别用与损失函数和θi,j相同维度的可调变量αi,j与βi,j来代替，为了控制每个任务和每次内环更新的更新规则，利用任务特定的学习状态生成超参数。对于某一任务Ti，步长为j时的超参数可以定义为/>从网络权值为φ的神经网络gφ生成超参数αi,j和βi,j：
(αi,j,βi,j)＝gφ(τi,j)
为了训练超参数生成网络gφ，采用新样本集Di'和任务适应权值进行外循环优化：
只学习超参数生成网络gφ的权值φ，而骨干网络的初始权值θ在整个训练过程中不需要更新；
3-2)超参数生成网络采用了一个Relu激活的3层MLP结构，以每层的梯度与权值的均值作为输入，对于输出，学习率αi,j和正则项项系数βi,j，首先逐项生成，然后复制到各自参数θi,j的维度；
3-3)通过更新元网络中的权值来控制元学习骨干网络的自适应过程，即学习率参数α和正则化参数β，其中每个权值的学习率可以由过去梯度的累积矩来调节，用于控制权值更新的方向和幅度。
其中，步骤4)构建岩性识别元学习模型，具体为：
其中骨干网络fθ包含融合注意力网络的残差网络和分类层，可以充分的提取岩石图像特征，获得更丰富的特征信息，解决图像特征提取不充分的问题。自适应元网络gφ使用每个步骤的当前权重和梯度值生成两个重要的超参数：学习率与正则项系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务，解决权值更新适应性问题。
步骤5)将构建的岩性识别专用数据集(岩性识别专用数据集被分为支持集，查询集以及测试集)中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试，具体为：
对于数据集的N-way K-shot分类问题，采用经典的1-shot 5-way和5-shot 5-way的eposide小样本任务设定，在快速适应(内环优化)中，支持集D中每个类的样例数为k，对5个梯度步骤进行了内环优化。在外环优化过程中，对于查询集D'，每类抽取15个样本。模型训练迭代50000次迭代，meta-batch大小为2和4个任务，分别为5-shot和1-shot。选用交叉熵函数作为计算网络训练误差的损失函数，并将测试集中的数据输入到模型中，不断调整模型的参数，当模型的损失函数值最小时，完成模型的训练；
步骤6)将训练好的岩石图像自动识别分类模型迁移到无人机设备上，基于无人机系统实时采集岩石图像，实现在线岩性识别。无人机系统包括：
6-1)数据采集模块，双目相机通过云台搭载在无人机上，相机对拍摄范围内的岩石图像进行采集，临时存储；
6-2)图像识别模块，接收无人机实时拍摄的岩石图像，利用构建的岩石图像自动识别分类模型进行实时分析岩石图像的种类信息以及位置信息；
6-3)数据传输模块，将图像识别模块拍摄的图像信息和处理后的分类信息进行传输；
6-4)地面站系统，接受无人机拍摄的岩石图像和岩石图像识别后的分类信息，然后制定飞行路线；
6-5)飞控系统，接收地面站发出的指令，控制无人机对需要识别的区域进行拍照、识别、传输。
一种基于注意力的自适应元学习岩性识别装置，包括如下内容：
构建岩性识别专用数据集模块，获取地质勘查领域的常见岩石图像，采集不同类型的岩石图像，进行图像预处理，结合地质知识对岩石图像进行标注，构建岩性识别专用数据集；
图像特征获取模块，将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；
元学习训练模块，引入一个小型的超参数元网络作为元学习中的元学习者，该网络使用每个步骤的当前权重和梯度值自适应生成两个重要的超参数：学习率与权重衰减系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；
构建岩性识别元学习模型模块，将图像特征获取模块中的骨干网络作为元学习的基础学习者，元学习训练模块中的元网络作为元学习者，构建岩性识别元学习模型；
岩石图像自动识别分类模型训练模块，将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试；
应用设备，所述应用设备加载训练好的岩石图像自动识别分类模型，应用设备实时采集岩石图像，实现在线岩性识别。
所述应用设备为无人机系统，所述无人机加载训练好的岩石图像自动识别分类模型，无人机实时采集岩石图像，实现在线岩性识别。
所述无人机系统还包括：
数据采集模块，双目相机通过云台搭载在无人机上，相机对拍摄范围内的岩石图像进行采集，临时存储；
图像识别模块，接收无人机实时拍摄的岩石图像，利用构建的岩石图像自动识别分类模型进行实时分析岩石图像的种类信息以及位置信息；
数据传输模块，将图像识别模块拍摄的图像信息和处理后的分类信息进行传输；
地面站系统，接受无人机拍摄的岩石图像和岩石图像识别后的分类信息，然后制定飞行路线；
飞控系统，接收地面站发出的指令，控制无人机对需要识别的区域进行拍照、识别、传输。
装置个模块的实现过程与方法相同。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于注意力的自适应元学习岩性识别方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于注意力的自适应元学习岩性识别方法的计算机程序。
有益效果：与现有技术相比，本发明针对岩石图像量少，岩石特征差异性较小的特点设计了注意力特征提取模型，得到的特征具有更强的分辨能力，能够提高分类精度。此外利用超参数生成网络动态生成超参数，使得在元学习场景下每个内环迭代都能适应给定的任务，增强泛化性能。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例中卷积注意力结构图；
图3为本发明实施例的基于注意力的自适应元学习岩性识别总体框架图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，一种基于注意力的自适应元学习岩性识别方法，其具体实施过程包括：步骤1：通过照片、岩石数据库、网络搜索等不同手段采集岩石图像，主要选取大理岩、灰岩、凝灰岩、页岩、花岗岩等21类岩石图像，对于样本数据集进行逐一筛选，将模糊、对焦不清晰的岩石图像进行剔除，并对图像进行旋转、翻转等手段进行数据增强处理，增加样本数量，图像格式统一设置为jpg格式，不要求图像像素以及摄像距离；将21类岩石图像划分为3个没有重叠的类子集，8类支持集，6类查询集，7类测试集。
步骤2：构建基于卷积注意力机制的元学习基准网络，用于特征提取和进行预测分类。
具体地，步骤2包括：
采用Resnet-12作为基准网络，通过级联结构，将卷积注意力模块用于嵌入基准网络中，图2是卷积注意力示例图，重新设计了注意力模块的两个分支，提出了一种融合多层注意力机制组成的嵌入网络作为标记样本数据的特征提取器，对于单个注意力模块，该机制通过函数
进行操作，其中Finput∈Rc×w×h是输入的特征图。Fc∈Rc×1×1是注意力模块归纳出一维通道注意力特征图，Fs∈R1×w×h是注意力模块归纳出的二维空间注意力特征图，Foutput是经过注意力机制计算后的特征图。其中是基于元素的乘法。在乘法过程中，空间注意力和通道注意力并行计算，并采用串接操作使特征图多样化。这样就可以在有限的样本数据中获得足够的信息。
嵌入网络是由4个基于剩余块的注意模块叠加而成的。每个块包含3个卷积层和64个滤波器，滤波器大小为3×3。然后在剩余注意块中跟随一个批处理规范化层和一个ReLU激活函数函数，构建残差注意力网络用于特征提取。通过全连接层，连接所有特征，将输出值送到softmax分类器。
步骤3：构建超参数自适应元网络，使用每个步骤的当前权重和梯度值生成两个重要的超参数：学习率与正则项系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务。
具体地，步骤3包括：
将采样任务的先验知识编码成元学习中的基础学习者fθ的一组公共初始权值θ，作为快速适应任务的良好初始点。具体的，对于采样任务Ti，对应的样本集Di和损失函数网络从初始值θ开始，以固定的内环更新次数对每个任务进行自适应。此外添加了一个正则项/>迭代次数步长j处的网络权值θi,j，可以更新为：
其中β＝1-αλ，通过更新方程中的超参数来控制自适应过程，即学习率参数α和正则化参数β，这些超参数可以分别用与和θi,j相同维度的可调变量αi,j与βi,j来代替。最后的内循环方程为：
其中⊙逐元素乘积，为了控制每个任务和每次内环更新的更新规则，利用任务特定的学习状态生成超参数。对于某一任务Ti，步长为j时的超参数可以定义为从网络权值为φ的神经网络gφ生成超参数αi,j和βi,j：
(αi,j,βi,j)＝gφ(τi,j)
为了训练超参数生成网络gφ，采用新样本集Di'和任务适应权值进行外循环优化：
只学习超参数生成网络gφ的权值φ，而fθ的初始权值θ在整个训练过程中不需要更新。此方法具有自适应学习速率和正则化超参数，这些超参数是由一个元网络生成的，该元网络经过明确的训练，以实现对看不见的例子的泛化。
对于提出的超参数生成网络，采用了一个层间ReLU激活的3层MLP。为了提高计算效率，将特定任务的学习状态τi,j减少到即梯度和权值的分层均值，从而得到每层两个状态值。假设基础学习者fθ为N层CNN，对于超参数生成网络gφ以2N维向量/>为输入，中间层隐含单位数目相同。对于输出，学习率αi,j和正则项项系数βi,j，首先逐项生成，然后复制到各自参数θi,j的维度。
步骤4：将步骤2中构建的基于注意力的残差网络作为元学习的基础学习者fθ，步骤3中构建的元网络作为元学习的元学习者。其中fθ包含融合注意力网络的残差网络和分类层，可以充分的提取岩石图像特征，获得更丰富的特征信息，解决图像特征提取不充分的问题。自适应元网络gφ使用每个步骤的当前权重和梯度值生成两个重要的超参数：学习率与正则项系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务，解决权值更新适应性问题。
步骤5：将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试，具体为：
对于数据集的N-way K-shot分类问题，采用经典的1-shot 5-way和5-shot 5-way的eposide小样本任务设定，在快速适应(内环优化)中，训练集D中每个类的样例数为k，对5个梯度步骤进行了内环优化。在外环优化过程中，对于测试集D'，每类抽取15个样本。模型训练迭代50000次迭代，meta-batch大小为2和4个任务，分别为5-shot和1-shot。选用交叉熵函数作为计算网络训练误差的损失函数，并将测试样本集中的数据输入到模型中，根据分类准确率不断调整模型的参数，直至得到最终岩石图像自动识别分类模型。
步骤6：将训练好的岩石图像自动识别分类模型迁移到无人机设备上，基于无人机系统实时采集岩石图像，实现在线岩性识别，具体为：
地面站系统和无人机飞控系统建立控制连接；
地面站系统的指令输入模块输入对应无人机的控制指令；
无人机飞控系统接收到地面站系统的指令触发相应的功能，控制无人机飞行；
无人机飞行过程中，过云台搭载在无人机上的双目相机对拍摄范围内的岩石图像进行采集，将采集到的岩石图像传输至飞控系统；
飞控系统将采集的岩石图像输入至岩石图像自动识别分类模型，岩石图像自动识别分类模型输出岩石图像分类结果，将分类结果和原始图像传输至地面站系统；
地面站系统的数据处理模型接收分类结果信息，进行解析并在用户界面呈现出来。
一种基于注意力的自适应元学习岩性识别装置，包括如下内容：
构建岩性识别专用数据集模块，获取地质勘查领域的常见岩石图像，采集不同类型的岩石图像，进行图像预处理，结合地质知识对岩石图像进行标注，构建岩性识别专用数据集；
图像特征获取模块，将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；
元学习训练模块，引入一个小型的超参数元网络作为元学习中的元学习者，该网络使用每个步骤的当前权重和梯度值自适应生成两个重要的超参数：学习率与权重衰减系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；
构建岩性识别元学习模型模块，将图像特征获取模块中的骨干网络作为元学习的基础学习者，元学习训练模块中的元网络作为元学习者，构建岩性识别元学习模型；
岩石图像自动识别分类模型训练模块，将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试；
无人机系统，所述无人机加载训练好的岩石图像自动识别分类模型，无人机实时采集岩石图像，实现在线岩性识别。
所述无人机系统还包括：
数据采集模块，双目相机通过云台搭载在无人机上，相机对拍摄范围内的岩石图像进行采集，临时存储；
图像识别模块，接收无人机实时拍摄的岩石图像，利用构建的岩石图像自动识别分类模型进行实时分析岩石图像的种类信息以及位置信息；
数据传输模块，将图像识别模块拍摄的图像信息和处理后的分类信息进行传输；
地面站系统，接受无人机拍摄的岩石图像和岩石图像识别后的分类信息，然后制定飞行路线；
飞控系统，接收地面站发出的指令，控制无人机对需要识别的区域进行拍照、识别、传输。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于注意力的自适应元学习岩性识别方法各步骤或基于注意力的自适应元学习岩性识别装置各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
Claims (10)
1.一种基于注意力的自适应元学习岩性识别方法，其特征在于，包括如下步骤：
步骤1)获取地质勘查领域的常见岩石图像，采集不同类型的岩石图像，进行图像预处理，结合地质知识对岩石图像进行标注，构建岩性识别专用数据集；
步骤2)将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；
步骤3)引入一个超参数元网络作为元学习中的元学习者，该网络使用每个步骤的当前权重和梯度值自适应生成两个重要的超参数：学习率与权重衰减系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；
步骤4)将步骤2)中的骨干网络作为元学习的基础学习者，步骤3)中的元网络作为元学习者，构建岩性识别元学习模型；
步骤5)将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试；
步骤6)将训练好的岩石图像自动识别分类模型迁移到应用设备上，实现在线岩性识别。
2.根据权利要求1所述的基于注意力的自适应元学习岩性识别方法，其特征在于，将训练好的岩石图像自动识别分类模型迁移到无人机设备上，基于无人机系统实时采集岩石图像，实现在线岩性识别。
3.根据权利要求1所述的基于注意力的自适应元学习岩性识别方法，其特征在于，所述步骤1)的岩性识别专用数据集构建包括以下过程：
1-1)从网络以及实地拍摄所得的资料中采集不同种类的岩石图像，并将岩石图像进行分类整理；
1-2)对分类后的岩石图像进行简单筛选，选取符合清晰度要求的岩石图像，并对图像进行数据增强处理，增加样本数量，将图像格式统一设置统一格式；
1-3)采用随机分配的方式将岩石图像数据集划分为支持集、查询集以及测试集。
4.根据权利要求1所述的基于注意力的自适应元学习岩性识别方法，其特征在于，所述步骤2)中将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；具体包含以下步骤：
2-1)采用残差网络ResNet-12作为基准网络，引入卷积注意力模块，该注意力模块包含两个分支，分别是空间注意力模块与通道注意力模块，通过混合跨通道和空间信息来提取信息特征；
2-2)通道注意力模块给出了在学习过程中的内容，对于SE模块的结构进行改进，即通过额外的全局max-pooling操作在单个卷积层提取更多的通道信息，并在通道注意力模块中尝试通过最大池化与平均池化两个分支的组合获得更好的特征；
2-3)空间注意力模块给出了在网络学习过程中关注的位置的描述，空间注意力模块中额外增加了一个特征调节器，用来调整轮廓信息和细节信息，该调节器依赖于训练的迭代次数；
2-4)将改进后的卷积注意力模块用于嵌入到基准网络进行特征提取，专注于重要的特征，并抑制不必要的特征。
5.根据权利要求1所述的基于注意力的自适应元学习岩性识别方法，其特征在于，所述步骤3)中的元网络使用每个步骤的当前权重和梯度值生成两个重要的超参数：学习率与正则项系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；具体包含以下步骤：
3-1)超参数自适应的元网络使用当前基础学习者的梯度和权值为条件，包含了每个更新步骤和任务动态生成的学习率和正则项系数，使得训练在任务条件下的内环更新更有效；
3-2)超参数生成网络采用了一个Relu激活的3层MLP结构，以每层的梯度与权值的均值作为输入，输出学习率和正则项项系数；
3-3)通过更新元网络中的权值来控制元学习骨干网络的自适应过程，即学习率参数α和正则化参数β，其中每个权值的学习率可以由过去梯度的累积矩来调节，用于控制权值更新的方向和幅度。
6.根据权利要求1所述的基于注意力的自适应元学习岩性识别方法，其特征在于，所述步骤4)中构建岩性识别元学习模型，具体为：
4-1)岩性识别元学习模型由基础骨干网络和自适应元网络组成，分别作为基础学习者和元学习者；
4-2)其中骨干网络包含基于注意力的残差网络以及分类层，用于充分提取岩石图像特征和分类预测；
4-3)自适应元网络gφ使用每个步骤的当前权重和梯度值生成两个超参数：学习率与正则项系数。
7.根据权利要求2所述的基于注意力的自适应元学习岩性识别方法，其特征在于，将训练好的岩石图像自动识别分类模型迁移到无人机设备上，基于无人机系统实时采集岩石图像，实现在线岩性识别；无人机系统包括：
6-1)数据采集模块，通过搭载在无人机上双目相机，对拍摄范围内的岩石图像进行采集、存储；
6-2)图像识别模块，接收无人机实时拍摄的岩石图像，利用构建的岩石图像自动识别分类模型进行实时分析岩石图像的种类信息以及位置信息；
6-3)数据传输模块，将图像识别模块拍摄的图像信息和处理后的分类信息进行传输；
6-4)地面站系统，接受无人机拍摄的岩石图像和岩石图像识别后的分类信息，然后制定飞行路线；
6-5)飞控系统，接收地面站发出的指令，控制无人机对需要识别的区域进行拍照、识别、传输。
8.一种基于注意力的自适应元学习岩性识别装置，其特征在于，包括如下内容：
构建岩性识别专用数据集模块，获取地质勘查领域的常见岩石图像，采集不同类型的岩石图像，进行图像预处理，结合地质知识对岩石图像进行标注，构建岩性识别专用数据集；
图像特征获取模块，将ResNet-12作为基准网络，利用多重注意力机制，将通道注意力和空间注意力以联合的方式加权嵌入到基准网络，作为元学习中基础学习者的骨干网络，获取图像特征；
元学习训练模块，引入一个超参数元网络作为元学习中的元学习者，该网络使用每个步骤的当前权重和梯度值自适应生成两个重要的超参数：学习率与权重衰减系数，使得元学习训练过程中每个内部循环迭代能够适应给定的任务；
构建岩性识别元学习模型模块，将图像特征获取模块中的骨干网络作为元学习的基础学习者，元学习训练模块中的元网络作为元学习者，构建岩性识别元学习模型；
岩石图像自动识别分类模型训练模块，将构建的岩性识别专用数据集中的岩石图像数据输入到构建的元学习模型，训练岩石图像自动识别分类模型，并进行精度测试；
应用设备，无人机加载训练好的岩石图像自动识别分类模型，应用设备实时采集岩石图像，实现在线岩性识别。
9.一种计算机设备，其特征在于，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-7任意一项所述的基于注意力的自适应元学习岩性识别方法。
10.一种计算机可读存储介质，该计算机可读存储介质存储有执行如权利要求1-7任意一项所述的基于注意力的自适应元学习岩性识别方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210244009.1A CN114708517B (zh) | 2022-03-14 | 2022-03-14 | 一种基于注意力的自适应元学习岩性识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210244009.1A CN114708517B (zh) | 2022-03-14 | 2022-03-14 | 一种基于注意力的自适应元学习岩性识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114708517A CN114708517A (zh) | 2022-07-05 |
| CN114708517B true CN114708517B (zh) | 2024-03-12 |
Family
ID=82168144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210244009.1A Active CN114708517B (zh) | 2022-03-14 | 2022-03-14 | 一种基于注意力的自适应元学习岩性识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708517B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115281662B (zh) * | 2022-09-26 | 2023-01-17 | 北京科技大学 | 一种慢性踝关节不稳智能辅助诊断系统 |
| CN115393656B (zh) * | 2022-10-26 | 2023-01-24 | 中石化经纬有限公司 | 一种用于随钻测井图像地层分类的自动分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633255A (zh) * | 2017-08-11 | 2018-01-26 | 天津大学 | 一种深度学习模式下的岩石岩性自动识别分类方法 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| CN111160389A (zh) * | 2019-12-02 | 2020-05-15 | 东北石油大学 | 一种基于融合vgg的岩性识别方法 |
-
2022
- 2022-03-14 CN CN202210244009.1A patent/CN114708517B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633255A (zh) * | 2017-08-11 | 2018-01-26 | 天津大学 | 一种深度学习模式下的岩石岩性自动识别分类方法 |
| CN110020682A (zh) * | 2019-03-29 | 2019-07-16 | 北京工商大学 | 一种基于小样本学习的注意力机制关系对比网络模型方法 |
| CN111160389A (zh) * | 2019-12-02 | 2020-05-15 | 东北石油大学 | 一种基于融合vgg的岩性识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114708517A (zh) | 2022-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114708517B (zh) | 一种基于注意力的自适应元学习岩性识别方法及装置 | |
| CN108038445B (zh) | 一种基于多视角深度学习框架的sar自动目标识别方法 | |
| CN112445823A (zh) | 神经网络结构的搜索方法、图像处理方法和装置 | |
| Feizi et al. | Mineral potential mapping via TOPSIS with hybrid AHP–Shannon entropy weighting of evidence: a case study for porphyry-cu, Farmahin area, Markazi Province, Iran | |
| CN112130216B (zh) | 基于卷积神经网络多物探法耦合的地质超前精细预报方法 | |
| CN110019889A (zh) | 训练特征提取模型及计算图片与查询词相关性系数的方法和相关装置 | |
| CN111401426B (zh) | 基于伪标签学习的小样本高光谱图像分类方法 | |
| CN116665067B (zh) | 基于图神经网络的找矿靶区优选系统及其方法 | |
| CN112465057B (zh) | 一种基于深度卷积神经网络的目标检测识别方法 | |
| CN111985325B (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN109740656A (zh) | 一种基于卷积神经网络的矿石分选方法 | |
| AU2019100352A4 (en) | A Flower-Image Search System Based on Deep Learning | |
| CN114898109B (zh) | 一种基于深度学习的斑岩型矿产预测方法及系统 | |
| CN112784493A (zh) | 基于自适应深度q网络的地理空间预测方法及系统 | |
| CN114997501A (zh) | 基于样本失衡的深度学习矿产资源分类预测方法及系统 | |
| CN116416468B (zh) | 一种基于神经架构搜索的sar目标检测方法 | |
| CN115620068A (zh) | 一种深度学习模式下的岩石岩性自动识别分类方法 | |
| CN116797928A (zh) | 基于平衡模型稳定性和可塑性的sar目标增量分类方法 | |
| CN110866552A (zh) | 基于全卷积空间传播网络的高光谱图像分类方法 | |
| CN113326924B (zh) | 基于深度神经网络的稀疏图像内关键目标测光定位方法 | |
| CN116109813A (zh) | 一种钻锚孔识别方法、系统、电子设备及介质 | |
| CN114359617A (zh) | 一种基于轻量级卷积神经网络识别岩石岩性的方法 | |
| CN113222071A (zh) | 一种基于岩石薄片显微图像深度学习的岩石分类方法 | |
| CN112101249A (zh) | 一种基于深度卷积记忆网络的sar目标类型识别方法 | |
| CN115294381B (zh) | 基于特征迁移和正交先验的小样本图像分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |