CN117689960A - 一种岩性场景分类模型构建方法及分类方法 - Google Patents

一种岩性场景分类模型构建方法及分类方法 Download PDF

Info

Publication number
CN117689960A
CN117689960A CN202410134343.0A CN202410134343A CN117689960A CN 117689960 A CN117689960 A CN 117689960A CN 202410134343 A CN202410134343 A CN 202410134343A CN 117689960 A CN117689960 A CN 117689960A
Authority
CN
China
Prior art keywords
lithology
layer
model
classification
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410134343.0A
Other languages
English (en)
Other versions
CN117689960B (zh
Inventor
李显巨
隋志远
范小洁
邹崇尧
陈刚
李义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202410134343.0A priority Critical patent/CN117689960B/zh
Publication of CN117689960A publication Critical patent/CN117689960A/zh
Application granted granted Critical
Publication of CN117689960B publication Critical patent/CN117689960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种岩性场景分类模型构建方法及分类方法,涉及图像处理技术领域,岩性场景分类模型构建方法包括获取地质遥感影像,构建数据集;根据数据集,训练初始分类模型,得到岩性场景分类模型,其中,初始分类模型包括场景分类子模型、语义分割子模型以及结果融合模块,场景分类子模型用于根据地质遥感影像输出第一分类图,语义分割子模型用于根据地质遥感影像输出第二分类图,结果融合模型用于融合第一分类图和第二分类图,生成岩性场景分类图;场景分类子模型包括特征提取模块、通道特征增强模块、上下文特征增强模块以及输出模块。通过数据集对初始分类模型不断训练,得到的岩性场景分类模型可提高岩性场景分类的精度。

Description

一种岩性场景分类模型构建方法及分类方法
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种岩性场景分类模型构建方法及分类方法。
背景技术
岩性场景分类图通常指的是地质学中的岩石类型和分布情况,岩性场景分类图包括不同类型的岩石,例如火成岩、沉积岩、变质岩等,以及它们在地质时间尺度上的分布和相互关系,岩性场景分类图对于研究地质历史、矿产资源勘探和环境地质等方面都具有重要意义。
在现有技术中,一般采用人工实地考察的方式来构建岩性场景分类图,但是,人工实地考察成本高,还存在部分人工不能涉及的区域,且由于在岩性场景的特征中,相似特征过多,导致构建的岩性场景分类精度低,不能反馈真实的岩性场景。
发明内容
本发明解决的问题是如何提高岩性场景的分类精度。
为解决上述问题,第一方面,本发明提供一种岩性场景分类模型构建方法,包括:
获取地质遥感影像,构建数据集;
根据所述数据集,训练初始分类模型,得到岩性场景分类模型,其中,所述初始分类模型包括场景分类子模型、语义分割子模型以及结果融合模块,所述场景分类子模型用于根据所述地质遥感影像输出第一分类图,所述语义分割子模型用于根据所述地质遥感影像输出第二分类图,所述结果融合模型用于融合所述第一分类图和所述第二分类图,生成岩性场景分类图;
所述场景分类子模型包括特征提取模块、通道特征增强模块、上下文特征增强模块以及输出模块,所述特征提取模块用于提取所述地质遥感影像的岩性特征,所述通道特征增强模块用于根据所述岩性特征,生成视觉通道增强特征,所述上下文特征增强模块用于根据所述岩性特征,生成上下文增强特征,所述输出模块用于融合所述视觉通道增强特征和所述上下文增强特征,输出所述第一分类图。
可选地,所述通道特征增强模块包括至少一个视觉通道注意力单元和第一特征融合单元,每个所述视觉通道注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第一特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用通道注意力机制,提取所述岩性特征的通道注意力特征;
所述第一特征融合单元用于融合所有所述通道注意力特征,输出所述视觉通道增强特征。
可选地,所述视觉通道注意力单元包括第一提取子单元、第二提取子单元以及融合输出子单元,所述特征提取模块的输出端分别与所述第一提取子单元、所述第二提取子单元以及所述融合输出子单元的输入端连接,所述第一提取子单元与所述第二提取子单元的输出端分别与所述融合输出子单元的输入端连接,所述融合输出子单元的输出端与所述第一特征融合单元的输入端连接;
所述第一提取子单元用于提取所述岩性特征的显著岩性特征,所述第一提取子单元包括全局最大池化层、第一全连接层和第二全连接层,所述全局最大池化层、所述第一全连接层和所述第二全连接层顺次连接,且所述全局最大池化层的输入端与所述特征提取模块的输出端连接,所述第二全连接层的输出端与所述融合输出子单元的输入端连接;
所述第二提取子单元用于提取所述岩性特征的整体岩性特征,所述第二提取子单元包括全局平均池化层、第三全连接层和第四全连接层,所述全局平均池化层、所述第三全连接层和所述第四全连接层顺次连接,且所述全局平均池化层的输入端与所述特征提取模块的输出端连接,所述第四全连接层的输出端与所述融合输出子单元的输入端连接;
所述融合输出子单元用于融合所述显著岩性特征和所述整体岩性特征,输出所述通道注意力特征,所述融合输出子单元包括第一点加层、第一激活层、第一点乘层以及第二激活层,所述第一点加层、所述第一激活层、所述第一点乘层以及所述第二激活层顺次连接,且所述第一点加层的输入端分别与所述第二全连接层的输出端和所述第四全连接层的输出端连接,所述第二激活层的输出端与所述第一特征融合单元的输入端连接,所述第一点乘层的输入端还与所述特征提取模块的输出端连接。
可选地,所述第一特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,所述全局池化层、所述滤波层、所述第五全连接层、所述第二点乘层以及所述第二点加层顺次连接,且所述第二点乘层的输入端还接收所述通道注意力特征。
可选地,所述上下文特征增强模块包括至少一个视觉自注意力单元和第二特征融合单元,每个所述视觉自注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第二特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用自注意力机制,提取所述岩性特征的自注意力特征;
所述第二特征融合单元用于融合所有所述自注意力特征,输出所述上下文增强特征。
可选地,所述输出模块包括第一输出单元、第二输出单元以及平均融合单元,所述第一输出单元的输入端与所述通道特征增强模块的输出端连接,所述第二输出单元的输入端与所述上下文特征增强模块的输出端连接,所述第一输出单元的输出端和所述第二输出单元的输出端均与所述平均融合单元的输入端连接;
所述第一输出单元用于将所述通道注意力特征转化为通道特征分类图;
所述第二输出单元用于将所述上下文增强特征转化为上下文特征分类图;
所述平均融合单元用于将所述通道特征分类图和所述上下文特征分类图融合为所述第一分类图。
可选地,所述语义分割子模型包括语义分割编码器和语义分割解码器,所述语义分割编码器的输出端和所述语义分割解码器的输入端连接,所述语义分割解码器的输出端与所述结果融合模块的输入端连接;
所述语义分割编码器用于提取并降维所述地质遥感影像的图像特征,生成语义编码特征;
所述语义分割解码器用于解译所述语义编码特征,生成所述第二分类图。
可选地,所述数据集包括场景分类数据集和语义分割数据集,所述获取地质遥感影像,构建数据集,包括:
获取所述地质遥感影像,并根据所述地质遥感影像构建岩性类别标签图;
根据滑动窗口规则,裁剪所述岩性类别标签图,生成标准场景标签图;
根据所述标准场景标签图生成所述场景分类数据集;
筛选所述标准场景标签图的场景边界影像,根据所述场景边界影像生成所述语义分割数据集。
可选地,所述根据所述数据集,训练初始分类模型,得到岩性场景分类模型,包括:
根据所述场景分类数据集训练所述初始分类模型的所述场景分类子模型,得到训练好的所述场景分类子模型;
根据所述语义分割数据集训练所述初始分类模型的所述语义分割子模型,得到训练好的所述语义分割子模型;
根据训练好的所述场景分类子模型和训练好的所述语义分割子模型,得到所述岩性场景分类模型。
第二方面,本发明提供一种岩性场景分类方法,包括:
获取待分类的地质遥感影像;
将所述待分类的地质遥感影像输入至如上所述的岩性场景分类模型构建方法中所构建的岩性场景分类模型,得到所述待分类的地质遥感影像的岩性场景分类图。
本发明的岩性场景分类模型构建方法及分类方法的有益效果为:
通过初始分类模型的场景分类子模型的特征提取模块,可以初步提取地质遥感影像的岩性特征,再通过通道特征增强模块和上下文特征增强模块分别处理岩性特征,对岩性特征进行视觉通道注意力和视觉自注意力上的特征增强,得到包含重要通道信息的视觉通道增强特征和捕捉了上下文信息的上下文增强特征,以应对岩性场景的相似特征过多造成的分类精度低问题,然后通过输出模块融合视觉通道增强特征和上下文增强特征,输出经过双重特征增强的第一分类图,并结合语义分割子模型对地质遥感影像进行语义分割,以准确识别地质遥感影像边界的岩性场景,得到第二分类图,最后由结果融合模块融合第一分类图和第二分类图,确定了岩性场景的种类于与边界,得到精准的岩性场景分类图。再通过数据集对初始分类模型不断训练,得到高精度的岩性场景分类模型可直接用于岩性场景分类,提供高精度的岩性场景分类图。
附图说明
图1为本发明实施例提供的岩性场景分类模型构建方法的流程示意图;
图2为本发明实施例提供的初始分类模型的结构示意图;
图3为本发明实施例提供的场景分类子模型的结构示意图;
图4为本发明实施例提供的视觉通道注意力单元的结构示意图;
图5为本发明实施例提供的第一特征融合单元的结构示意图;
图6为本发明实施例提供的视觉自注意力单元的结构示意图;
图7为本发明实施例提供的输出模块的结构示意图;
图8为本发明实施例提供的岩性场景分类方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例,然而应当理解的是,本发明可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是,本发明的附图及实施例仅用于示例性作用,并非用于限制本发明的保护范围。
应当理解,本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”;术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
为解决上述问题,如图1所示,本发明实施例提供一种岩性场景分类模型构建方法,包括:
S1,获取地质遥感影像,构建数据集。
具体地,通过互联网或其他平台系统获取已公开具有标签的地质遥感影像,例如,通过地质科学数据出版系统下载,将获取的地质遥感影像构建为数据集,便于训练初始分类模型。示例性地,可将数据集以6:2:2比例划分训练集、验证集和测试集,比例较大的训练集用于训练初始分类模型,验证集用于模型调参,测试集用于检验模型的泛化能力。
S2,根据所述数据集,训练初始分类模型,得到岩性场景分类模型,其中,所述初始分类模型包括场景分类子模型、语义分割子模型以及结果融合模块,所述场景分类子模型用于根据所述地质遥感影像输出第一分类图,所述语义分割子模型用于根据所述地质遥感影像输出第二分类图,所述结果融合模型用于融合所述第一分类图和所述第二分类图,生成岩性场景分类图。
具体地,如图2所示,初始分类模型包括场景分类子模型、语义分割子模型以及结果融合模块,将数据集分为场景分类数据集和语义分割数据集,以分别训练场景分类子模型和语义分割子模型,场景分类子模型可对场景分类数据集中的地质遥感影像进行岩性场景分类,得到具有岩性场景标签的第一分类图,语义分割子模型可对语义分割数据集中的地质遥感影像进行岩性场景分类,得到具有岩性场景标签的第二分类图,由于场景分类数据集一般为地质遥感影像的中心区域的数据集,且语义分割数据集一般为地质遥感影像的边界区域的数据集,所以场景分类子模型和语义分割子模型预测的第一分类图和第二分类图较为分散,需通过结果融合模块将第一分类图和第二分类图融合,以得到完整精准的岩性场景分类图。
S3,所述场景分类子模型包括特征提取模块、通道特征增强模块、上下文特征增强模块以及输出模块,所述特征提取模块用于提取所述地质遥感影像的岩性特征,所述通道特征增强模块用于根据所述岩性特征,生成视觉通道增强特征,所述上下文特征增强模块用于根据所述岩性特征,生成上下文增强特征,所述输出模块用于融合所述视觉通道增强特征和所述上下文增强特征,输出所述第一分类图。
具体地,如图3所示,场景分类子模型包括特征提取模块、通道特征增强模块、上下文特征增强模块以及输出模块,特征提取模块提取地质遥感影像的岩性特征分别由通道特征增强模块和上下文特征增强模块进行特征增强,得到视觉通道增强特征和上下文增强特征,最后输出模块融合视觉通道增强特征和上下文增强特征,输出第一分类图。通道特征增强模块是通过视觉通道注意力机制,关注更加重要的通道信息从而实现特征增强,上下文特征增强模块主要通过视觉自注意力机制,关注岩性特征上的上下文信息从而实现上下文特征增强,从而应对岩性场景不易分类且现有技术分类精度低的问题,以得到高精度的第一分类图,进而得到高精度的岩性场景分类图。
可选地,所述通道特征增强模块包括至少一个视觉通道注意力单元和第一特征融合单元,每个所述视觉通道注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第一特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用通道注意力机制,提取所述岩性特征的通道注意力特征;
所述第一特征融合单元用于融合所有所述通道注意力特征,输出所述视觉通道增强特征。
具体地,通道特征增强模块包括至少一个视觉通道注意力单元和第一特征融合单元,视觉通道注意力单元可根据实际情况设置数量,示例性地,如图3所示,本发明的通道特征增强模块设置2个视觉通道注意力单元,每个视觉通道注意力单元均采用通道注意力机制,提取所述岩性特征的通道注意力特征,再由第一特征融合单元用于融合所有的通道注意力特征,从而得到视觉通道增强特征。
可选地,所述视觉通道注意力单元包括第一提取子单元、第二提取子单元以及融合输出子单元,所述特征提取模块的输出端分别与所述第一提取子单元、所述第二提取子单元以及所述融合输出子单元的输入端连接,所述第一提取子单元与所述第二提取子单元的输出端分别与所述融合输出子单元的输入端连接,所述融合输出子单元的输出端与所述第一特征融合单元的输入端连接;
所述第一提取子单元用于提取所述岩性特征的显著岩性特征,所述第一提取子单元包括全局最大池化层、第一全连接层和第二全连接层,所述全局最大池化层、所述第一全连接层和所述第二全连接层顺次连接,且所述全局最大池化层的输入端与所述特征提取模块的输出端连接,所述第二全连接层的输出端与所述融合输出子单元的输入端连接;
所述第二提取子单元用于提取所述岩性特征的整体岩性特征,所述第二提取子单元包括全局平均池化层、第三全连接层和第四全连接层,所述全局平均池化层、所述第三全连接层和所述第四全连接层顺次连接,且所述全局平均池化层的输入端与所述特征提取模块的输出端连接,所述第四全连接层的输出端与所述融合输出子单元的输入端连接;
所述融合输出子单元用于融合所述显著岩性特征和所述整体岩性特征,输出所述通道注意力特征,所述融合输出子单元包括第一点加层、第一激活层、第一点乘层以及第二激活层,所述第一点加层、所述第一激活层、所述第一点乘层以及所述第二激活层顺次连接,且所述第一点加层的输入端分别与所述第二全连接层的输出端和所述第四全连接层的输出端连接,所述第二激活层的输出端与所述第一特征融合单元的输入端连接,所述第一点乘层的输入端还与所述特征提取模块的输出端连接。
具体地,如图4所示,视觉通道注意力单元包括第一提取子单元、第二提取子单元以及融合输出子单元,第一提取子单元包括全局最大池化层、第一全连接层和第二全连接层,第二提取子单元包括全局平均池化层、第三全连接层和第四全连接层,融合输出子单元包括第一点加层、第一激活层、第一点乘层以及第二激活层。第一提取子单元的全局最大池化层将岩性特征的每个特征图上取出最大的特征值作为输出,再经过第一全连接层和第二全连接层整合转换,得到显著岩性特征;第二提取子单元的全局平均池化层将岩性特征的每个特征图上取出所有特征值的平均值作为输出,再经过第三全连接层和第四全连接层整合转换,得到整体岩性特征;融合输出子单元的第一激活层和第二激活层可选用Sigmoid激活函数,第一点加层将第二全连接层和第四全连接层输出的显著岩性特征和整体岩性特征相加,得到相加特征后传递给第一激活层,第一点乘层将第一激活层输出的元素与特征提取模块提取的岩性特征进行矩阵相乘,得到相乘特征后输入至第二激活层,以得到通道注意力特征。示例性地,若岩性特征形状尺寸为C×H×W,C指通道数,H指高度,W指宽度,经过全局最大池化层和全局平均池化层后的形状尺寸为1×1×C,经过第一全连接层和第三全连接层后的形状尺寸为1×1×C/r,经过第二全连接层和第四全连接层后的形状尺寸为1×1×C。
可选地,所述第一特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,所述全局池化层、所述滤波层、所述第五全连接层、所述第二点乘层以及所述第二点加层顺次连接,且所述第二点乘层的输入端还接收所述通道注意力特征。
具体地,第一特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,全局池化层可接收所有视觉通道注意力单元的通道注意力特征,第二点乘层包含与通道注意力特征数量对应的点乘函数,点乘函数用于将通过注意力特征与其经过全局池化层、滤波层以及第五全连接层后的特征进行矩阵相乘,以得到相乘特征并输入至第二点加层,示例性地,以上述实施例为例,如图5所示,全局池化层接收的两个通道注意力特征由上述实施例的两个视觉通道注意力单元生成,则第二点乘层包含两个点乘函数,每个通道注意力特征经过全局池化层、滤波层以及第五全连接层后得到的特征与其本身相乘,得到通道相乘特征,每个由通道注意力特征得到的通道相乘特征均输入第二点加层,进行矩阵相加,得到视觉通道增强特征。
可选地,所述上下文特征增强模块包括至少一个视觉自注意力单元和第二特征融合单元,每个所述视觉自注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第二特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用自注意力机制,提取所述岩性特征的自注意力特征;
所述第二特征融合单元用于融合所有所述自注意力特征,输出所述上下文增强特征。
具体地,如图3所示,上下文特征增强模块包括至少一个视觉自注意力单元和第二特征融合单元视觉自注意力单元可根据实际情况设置数量,示例性地,如图3所示,本发明的通上下文特征增强模块设置2个视觉自注意力单元,每个视觉自注意力单元均采用自注意力机制,提取所述岩性特征的自注意力特征,再由第二特征融合单元用于融合所有的通道注意力特征,从而得到上下文增强特征。
在一个实施例中,如图6所示,所述视觉自注意力单元包括第一层归一化层、多头自注意力层、第三点加层、第二层归一化层、第一多层感知机层、第四点加层、第三层归一化层、移动窗口多头自注意力层、第五点加层、第四层归一化层、第二多层感知机层以及第六点加层,所述第一层归一化层、所述多头自注意力层、所述第三点加层、所述第二层归一化层、所述第一多层感知机层、所述第四点加层、所述第三层归一化层、所述移动窗口多头自注意力层、所述第五点加层、所述第四层归一化层、所述第二多层感知机层以及所述第六点加层顺次连接,且第三点加层接收多头自注意力层的多头特征以及岩性特征,进行点加计算,得到第三点加输出特征,并输入至第二层归一化层和第四点加层;第四点加层接收第一多层感知机层输出的第一感知机特征和第三点加输出特征,进行点加计算,得到第四点加输出特征,并输入至第三层归一化层和第五点加层;第五点加层接收移动窗口多头自注意力层的移动窗口特征和第四点加输出特征,进行点加计算,得到第五点加输出特征,并输入至第四层归一化层和第六点加层;第六点加层接收第二多层感知机层输出的第二感知机特征和第五点加输出特征,进行点加计算,输出自注意力特征,通过上述结构,可精准有效地提取自注意力特征。第二特征融合单元结构可根据实际情况设置,也可依据第一特征融合单元。
示例性地,依据第一特征融合单元设置的第二特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,所述全局池化层、所述滤波层、所述第五全连接层、所述第二点乘层以及所述第二点加层顺次连接,且所述第二点乘层的输入端还接收所述自注意力特征。
具体地,第二特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,全局池化层可接收所有视觉自注意力单元的自注意力特征,第二点乘层包含与自注意力特征数量对应的点乘函数,点乘函数用于将通过注意力特征与其经过全局池化层、滤波层以及第五全连接层后的特征进行矩阵相乘,以得到相乘特征并输入至第二点加层,示例性地,以上述实施例为例,全局池化层接收的两个自注意力特征由上述实施例的两个视觉自注意力单元生成,则第二点乘层包含两个点乘函数,每个自注意力特征经过全局池化层、滤波层以及第五全连接层后得到的特征与其本身相乘,得到自相乘特征,每个由自注意力特征得到的自相乘特征均输入第二点加层,进行矩阵相加,得到上下文增强特征。
可选地,所述输出模块包括第一输出单元、第二输出单元以及平均融合单元,所述第一输出单元的输入端与所述通道特征增强模块的输出端连接,所述第二输出单元的输入端与所述上下文特征增强模块的输出端连接,所述第一输出单元的输出端和所述第二输出单元的输出端均与所述平均融合单元的输入端连接;
所述第一输出单元用于将所述通道注意力特征转化为通道特征分类图;
所述第二输出单元用于将所述上下文增强特征转化为上下文特征分类图;
所述平均融合单元用于将所述通道特征分类图和所述上下文特征分类图融合为所述第一分类图。
具体地,如图7所示,所述第一输出单元包括第六全连接层和第一类别分数层,所述第六全连接层和所述第一类别分数层顺次连接,所述第六全连接层的输入端与所述通道特征增强模块的输出端连接,所述第一类别分数层的输出端与所述平均融合单元的输入端连接,通过第六全连接层和第一类别分数层可将所述通道注意力特征转化为通道特征分类图,并对所述通道特征分类图进行类别分数预测,得到第一类别分数;所述第二输出单元包括第三激活层、第七全连接层和第二类别分数层,所述第三激活层、所述第七全连接层和所述第二类别分数层顺次连接,所述第三激活层的输入端与所述上下文特征增强模块的输出端连接,所述第二类别分数层的输出端与所述平均融合单元的输入端连接,通过第三激活层、第七全连接层和第二类别分数层,可将上下文增强特征转化为上下文特征分类图,并对上下文特征分类图进行类别分数预测,得到第二类别分数;平均融合单元根据第一类别分数和第二类别分数的平均分数,对通道特征分类图和上下文特征分类图进行加权决策融合,生成第一分类图。
可选地,所述语义分割子模型包括语义分割编码器和语义分割解码器,所述语义分割编码器的输出端和所述语义分割解码器的输入端连接,所述语义分割解码器的输出端与所述结果融合模块的输入端连接;
所述语义分割编码器用于提取并降维所述地质遥感影像的图像特征,生成语义编码特征;
所述语义分割解码器用于解译所述语义编码特征,生成所述第二分类图。
具体地,语义分割编码器提取特征并降低特征尺寸,生成语义编码特征,语义分割解码器解译语义编码特征,进行上采样,将语义编码特征恢复到语义分割解码器降维前的尺寸,生成第二分类图。
可选地,所述数据集包括场景分类数据集和语义分割数据集,所述获取地质遥感影像,构建数据集,包括:
获取所述地质遥感影像,并根据所述地质遥感影像构建岩性类别标签图;
根据滑动窗口规则,裁剪所述岩性类别标签图,生成标准场景标签图;
根据所述标准场景标签图生成所述场景分类数据集;
筛选所述标准场景标签图的场景边界影像,根据所述场景边界影像生成所述语义分割数据集。
具体地,通过互联网或其他平台系统获取已公开具有标签的地质遥感影像,例如,通过地质科学数据出版系统下载。根据具有标签的地质遥感影像构建岩性类别标签图,岩性类别标签图就是地质遥感影像的岩性分布图,即地质遥感影像上各个岩性类别的分布,根据地质遥感影像构建岩性类别标签图就是将各个岩性类别及其范围以标签形式标注在地质遥感影像上。根据滑动窗口规则,裁剪岩性类别标签图,可以得到预设尺寸的影像及其对应的场景标签,即标准场景标签图,分别将同一场景标签的预设尺寸的影像的标准场景标签图筛选出来,每个场景标签的标准场景标签图制作一个文件集合,多个场景标签构建的多个文件集合组合为数据集,同时,由于裁剪得到的标准场景标签图一部分是地质遥感影像的中心影像,另一部分是地质遥感影像的边界影像,根据地质遥感影像的中心影像和地质遥感影像的边界影像划分数据集为场景分类数据集和语义分割数据集,并将场景分类数据集和语义分割数据集均以6:2:2比例划分训练集、验证集和测试集,即场景分类训练集、场景分类验证集和场景分类测试集,语义分割训练集、语义分割验证集和语义分割测试集。比例较大的训练集用于训练初始分类模型,验证集用于模型调参,测试集用于检验模型的泛化能力。
示例性地,当所述地质遥感影像是1:25w地质图比例尺的影像,其岩性类别中存在第四系类别,但是由于是1:25w地质图比例尺较大所以在范围边界处类别限定不准确,因此,获取公开的土地覆盖数据来修正1:25w地质图中第四系的范围,其中,第四系类别一般都是指土地覆盖中的一些建筑、耕地、居民区之类的类别,同时提取水体区域,修正第四系的范围,以保证清晰地显示地质遥感影像的岩性分布,从而使修正后的地质遥感影像便于制作数据集和进行岩性遥感场景分类。
可选地,所述根据所述数据集,训练初始分类模型,得到岩性场景分类模型,包括:
根据所述场景分类数据集训练所述初始分类模型的所述场景分类子模型,得到训练好的所述场景分类子模型;
根据所述语义分割数据集训练所述初始分类模型的所述语义分割子模型,得到训练好的所述语义分割子模型;
根据训练好的所述场景分类子模型和训练好的所述语义分割子模型,得到所述岩性场景分类模型。
具体地,通过场景分类数据集训练初始分类模型的所述场景分类子模型,通过语义分割数据集训练初始分类模型的语义分割子模型,将训练数据输入至场景分类子模型和语义分割子模型后,场景分类子模型和语义分割子模型输出对应的分类结果,将分类结果与真实结果做对比计算损失,分别得到场景分类子模型和语义分割子模型的损失函数,通过场景分类子模型和语义分割子模型的损失函数进行反向传播,分别调整对应的场景分类子模型和语义分割子模型的参数,重复训练,使场景分类子模型和语义分割子模型的损失函数越来越小,直至达到精度要求,完成训练,得到训练好的场景分类子模型和训练好的语义分割子模型,从而得到岩性场景分类模型。
如图8所示,本发明又一实施例提供一种岩性场景分类方法,包括:
S1,获取待分类的地质遥感影像;
S2,将所述待分类的地质遥感影像输入至如上所述的岩性场景分类模型构建方法中所构建的岩性场景分类模型,得到所述待分类的地质遥感影像的岩性场景分类图。
具体地,将待分类的地质遥感影像输入至本发明已经训练好的岩性场景分类模型中,通过本发明岩性场景分类模型中场景分类子模型的通道特征增强模块和上下文特征增强模块,得到包含重要通道信息的视觉通道增强特征和捕捉了上下文信息的上下文增强特征,再进行分类预测,可得到高精度的岩性场景分类图。
虽然本发明披露如上,但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种岩性场景分类模型构建方法,其特征在于,包括:
获取地质遥感影像,构建数据集;
根据所述数据集,训练初始分类模型,得到岩性场景分类模型,其中,所述初始分类模型包括场景分类子模型、语义分割子模型以及结果融合模块,所述场景分类子模型用于根据所述地质遥感影像输出第一分类图,所述语义分割子模型用于根据所述地质遥感影像输出第二分类图,所述结果融合模型用于融合所述第一分类图和所述第二分类图,生成岩性场景分类图;
所述场景分类子模型包括特征提取模块、通道特征增强模块、上下文特征增强模块以及输出模块,所述特征提取模块用于提取所述地质遥感影像的岩性特征,所述通道特征增强模块用于根据所述岩性特征,生成视觉通道增强特征,所述上下文特征增强模块用于根据所述岩性特征,生成上下文增强特征,所述输出模块用于融合所述视觉通道增强特征和所述上下文增强特征,输出所述第一分类图。
2.根据权利要求1所述的岩性场景分类模型构建方法,其特征在于,所述通道特征增强模块包括至少一个视觉通道注意力单元和第一特征融合单元,每个所述视觉通道注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第一特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用通道注意力机制,提取所述岩性特征的通道注意力特征;
所述第一特征融合单元用于融合所有所述通道注意力特征,输出所述视觉通道增强特征。
3.根据权利要求2所述的岩性场景分类模型构建方法,其特征在于,所述视觉通道注意力单元包括第一提取子单元、第二提取子单元以及融合输出子单元,所述特征提取模块的输出端分别与所述第一提取子单元、所述第二提取子单元以及所述融合输出子单元的输入端连接,所述第一提取子单元与所述第二提取子单元的输出端分别与所述融合输出子单元的输入端连接,所述融合输出子单元的输出端与所述第一特征融合单元的输入端连接;
所述第一提取子单元用于提取所述岩性特征的显著岩性特征,所述第一提取子单元包括全局最大池化层、第一全连接层和第二全连接层,所述全局最大池化层、所述第一全连接层和所述第二全连接层顺次连接,且所述全局最大池化层的输入端与所述特征提取模块的输出端连接,所述第二全连接层的输出端与所述融合输出子单元的输入端连接;
所述第二提取子单元用于提取所述岩性特征的整体岩性特征,所述第二提取子单元包括全局平均池化层、第三全连接层和第四全连接层,所述全局平均池化层、所述第三全连接层和所述第四全连接层顺次连接,且所述全局平均池化层的输入端与所述特征提取模块的输出端连接,所述第四全连接层的输出端与所述融合输出子单元的输入端连接;
所述融合输出子单元用于融合所述显著岩性特征和所述整体岩性特征,输出所述通道注意力特征,所述融合输出子单元包括第一点加层、第一激活层、第一点乘层以及第二激活层,所述第一点加层、所述第一激活层、所述第一点乘层以及所述第二激活层顺次连接,且所述第一点加层的输入端分别与所述第二全连接层的输出端和所述第四全连接层的输出端连接,所述第二激活层的输出端与所述第一特征融合单元的输入端连接,所述第一点乘层的输入端还与所述特征提取模块的输出端连接。
4.根据权利要求2所述的岩性场景分类模型构建方法,其特征在于,所述第一特征融合单元包括全局池化层、滤波层、第五全连接层、第二点乘层以及第二点加层,所述全局池化层、所述滤波层、所述第五全连接层、所述第二点乘层以及所述第二点加层顺次连接,且所述第二点乘层的输入端还接收所述通道注意力特征。
5.根据权利要求1所述的岩性场景分类模型构建方法,其特征在于,所述上下文特征增强模块包括至少一个视觉自注意力单元和第二特征融合单元,每个所述视觉自注意力单元的输入端分别与所述特征提取模块的输出端连接,每个所述视觉通道注意力单元的输出端分别与所述第二特征融合单元的输入端连接;
每个所述视觉通道注意力单元均采用自注意力机制,提取所述岩性特征的自注意力特征;
所述第二特征融合单元用于融合所有所述自注意力特征,输出所述上下文增强特征。
6.根据权利要求1所述的岩性场景分类模型构建方法,其特征在于,所述输出模块包括第一输出单元、第二输出单元以及平均融合单元,所述第一输出单元的输入端与所述通道特征增强模块的输出端连接,所述第二输出单元的输入端与所述上下文特征增强模块的输出端连接,所述第一输出单元的输出端和所述第二输出单元的输出端均与所述平均融合单元的输入端连接;
所述第一输出单元用于将所述通道注意力特征转化为通道特征分类图;
所述第二输出单元用于将所述上下文增强特征转化为上下文特征分类图;
所述平均融合单元用于将所述通道特征分类图和所述上下文特征分类图融合为所述第一分类图。
7.根据权利要求1所述的岩性场景分类模型构建方法,其特征在于,所述语义分割子模型包括语义分割编码器和语义分割解码器,所述语义分割编码器的输出端和所述语义分割解码器的输入端连接,所述语义分割解码器的输出端与所述结果融合模块的输入端连接;
所述语义分割编码器用于提取并降维所述地质遥感影像的图像特征,生成语义编码特征;
所述语义分割解码器用于解译所述语义编码特征,生成所述第二分类图。
8.根据权利要求1所述的岩性场景分类模型构建方法,其特征在于,所述数据集包括场景分类数据集和语义分割数据集,所述获取地质遥感影像,构建数据集,包括:
获取所述地质遥感影像,并根据所述地质遥感影像构建岩性类别标签图;
根据滑动窗口规则,裁剪所述岩性类别标签图,生成标准场景标签图;
根据所述标准场景标签图生成所述场景分类数据集;
筛选所述标准场景标签图的场景边界影像,根据所述场景边界影像生成所述语义分割数据集。
9.根据权利要求8所述的岩性场景分类模型构建方法,其特征在于,所述根据所述数据集,训练初始分类模型,得到岩性场景分类模型,包括:
根据所述场景分类数据集训练所述初始分类模型的所述场景分类子模型,得到训练好的所述场景分类子模型;
根据所述语义分割数据集训练所述初始分类模型的所述语义分割子模型,得到训练好的所述语义分割子模型;
根据训练好的所述场景分类子模型和训练好的所述语义分割子模型,得到所述岩性场景分类模型。
10.一种岩性场景分类方法,其特征在于,包括:
获取待分类的地质遥感影像;
将所述待分类的地质遥感影像输入至如权利要求1-9任一项所述的岩性场景分类模型构建方法中所构建的岩性场景分类模型,得到所述待分类的地质遥感影像的岩性场景分类图。
CN202410134343.0A 2024-01-31 2024-01-31 一种岩性场景分类模型构建方法及分类方法 Active CN117689960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410134343.0A CN117689960B (zh) 2024-01-31 2024-01-31 一种岩性场景分类模型构建方法及分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410134343.0A CN117689960B (zh) 2024-01-31 2024-01-31 一种岩性场景分类模型构建方法及分类方法

Publications (2)

Publication Number Publication Date
CN117689960A true CN117689960A (zh) 2024-03-12
CN117689960B CN117689960B (zh) 2024-04-26

Family

ID=90128463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410134343.0A Active CN117689960B (zh) 2024-01-31 2024-01-31 一种岩性场景分类模型构建方法及分类方法

Country Status (1)

Country Link
CN (1) CN117689960B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118658174A (zh) * 2024-08-20 2024-09-17 中煤科工西安研究院(集团)有限公司 一种基于结构模式识别的钻孔柱状图数字化方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255403A (zh) * 2021-12-21 2022-03-29 中国人民解放军战略支援部队信息工程大学 基于深度学习的光学遥感图像数据处理方法及系统
CN114549405A (zh) * 2022-01-10 2022-05-27 中国地质大学(武汉) 一种基于监督自注意力网络的高分遥感图像语义分割方法
CN114943893A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种土地覆盖分类的特征增强网络
CN114943963A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种基于双分支融合网络的遥感图像云和云影分割方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN115187775A (zh) * 2022-05-05 2022-10-14 河海大学 一种遥感图像语义分割方法及装置
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法
EP4177828A1 (en) * 2021-11-03 2023-05-10 Tata Consultancy Services Limited Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN116434241A (zh) * 2023-02-13 2023-07-14 湖北工业大学 基于注意力机制的自然场景图像中文本识别方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4177828A1 (en) * 2021-11-03 2023-05-10 Tata Consultancy Services Limited Method and system for domain knowledge augmented multi-head attention based robust universal lesion detection
WO2023077816A1 (zh) * 2021-11-03 2023-05-11 中国华能集团清洁能源技术研究院有限公司 边界优化的遥感图像语义分割方法、装置、设备及介质
CN114255403A (zh) * 2021-12-21 2022-03-29 中国人民解放军战略支援部队信息工程大学 基于深度学习的光学遥感图像数据处理方法及系统
CN114549405A (zh) * 2022-01-10 2022-05-27 中国地质大学(武汉) 一种基于监督自注意力网络的高分遥感图像语义分割方法
CN114943893A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种土地覆盖分类的特征增强网络
CN114943963A (zh) * 2022-04-29 2022-08-26 南京信息工程大学 一种基于双分支融合网络的遥感图像云和云影分割方法
CN115187775A (zh) * 2022-05-05 2022-10-14 河海大学 一种遥感图像语义分割方法及装置
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法
CN116012722A (zh) * 2022-09-08 2023-04-25 中国人民解放军战略支援部队信息工程大学 一种遥感影像场景分类方法
CN116434241A (zh) * 2023-02-13 2023-07-14 湖北工业大学 基于注意力机制的自然场景图像中文本识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEITAO CHEN等: "Remote Sensing Lithology Intelligent Segmentation Based on Multi-source Data", REMOTE SENSING INTELLIGENT INTERPRETATION FOR GEOLOGY, 4 January 2024 (2024-01-04), pages 117 *
孟曦婷;计璐艳;: "多阶段遥感图像目标检测方法研究", 计算机与现代化, no. 09, 15 September 2020 (2020-09-15) *
李旭青等: "基于改进HRNet的遥感影像冬小麦语义分割方法", 农业工程学报, 24 January 2024 (2024-01-24) *
杜艳玲等: "融合上下文和注意力的海洋涡旋小目标检测", 中国图象图形学报, vol. 28, no. 11, 14 December 2023 (2023-12-14) *
秦亿青;池明旻: "结合场景分类数据的高分遥感图像语义分割方法", 计算机应用与软件, no. 006, 31 December 2020 (2020-12-31) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118658174A (zh) * 2024-08-20 2024-09-17 中煤科工西安研究院(集团)有限公司 一种基于结构模式识别的钻孔柱状图数字化方法和装置

Also Published As

Publication number Publication date
CN117689960B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN107368787B (zh) 一种面向深度智驾应用的交通标志识别方法
CN109784283B (zh) 基于场景识别任务下的遥感图像目标提取方法
CN111881262B (zh) 基于多通道神经网络的文本情感分析方法
CN117689960B (zh) 一种岩性场景分类模型构建方法及分类方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN107451619A (zh) 一种基于感知生成对抗网络的小目标检测方法
KR20200094622A (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
CN106910202B (zh) 一种遥感图像地物的图像分割方法及系统
CN112966667B (zh) 海面目标一维距离像降噪卷积神经网络识别方法
CN111191664B (zh) 标签识别网络的训练方法、标签识别装置/方法及设备
CN112364719A (zh) 一种遥感图像目标快速检测方法
KR20200095334A (ko) 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치
CN112287983B (zh) 一种基于深度学习的遥感图像目标提取系统和方法
CN110161480B (zh) 基于半监督深度概率模型的雷达目标识别方法
CN103593853A (zh) 基于联合稀疏表达的遥感影像多尺度面向对象分类方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN112464717A (zh) 一种遥感图像目标检测方法、系统、电子设备和存储介质
CN102663740B (zh) 基于图切的sar图像变化检测方法
CN117292148B (zh) 一种基于定向钻探及测试数据的隧道围岩级别评估方法
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN117475236A (zh) 用于矿产资源勘探的数据处理系统及其方法
CN117557775A (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
Lechgar et al. Detection of cities vehicle fleet using YOLO V2 and aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant