CN115222947A - 基于全局自注意力变换网络的岩石节理分割方法和装置 - Google Patents
基于全局自注意力变换网络的岩石节理分割方法和装置 Download PDFInfo
- Publication number
- CN115222947A CN115222947A CN202211147584.6A CN202211147584A CN115222947A CN 115222947 A CN115222947 A CN 115222947A CN 202211147584 A CN202211147584 A CN 202211147584A CN 115222947 A CN115222947 A CN 115222947A
- Authority
- CN
- China
- Prior art keywords
- rock
- global
- attention
- dimensional
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011435 rock Substances 0.000 title claims abstract description 227
- 230000011218 segmentation Effects 0.000 title claims abstract description 72
- 230000009466 transformation Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000010586 diagram Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000007634 remodeling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于全局自注意力变换网络的岩石节理分割方法和装置，所述方法包括：获取预处理后的岩石图像；构建基于全局自注意力变换网络的特征提取模型；利用特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；根据所述岩石解码特征图得到岩石节理分割图。本发明通过基于全局自注意力变换网络构建的特征提取模型，自主学习节理特征之间的全局联系，降低了复杂环境变化的干扰，提高对于岩石节理分割的精准度与鲁棒性。
Description
技术领域
本申请涉及岩体图像分割技术领域，尤其涉及一种基于全局自注意力变换网络的岩石节理分割方法、装置、电子设备和计算机可读存储介质。
背景技术
节理是岩石中没有明显位移的断裂，也是地壳上部岩石中发育最广的一种构造。而带有节理裂隙的岩体是坝基、边坡、矿山等岩体工程中广泛遇到的一类复杂岩体。岩体的节理裂隙特征是一项非常重要的岩石物理性质，岩石节理裂隙的识别工作在岩石工程应用领域中尤为重要。获得精确有效的岩石节理裂隙的几何信息，对于岩石工程项目安全和山体灾害等起着至关重要的作用。同时，岩体图像分割在地质构造和矿物碎片分析方面也有着十分广泛而重要的应用。
由于岩石节理裂隙形状复杂、无规则，且岩石表面非常粗糙，这使得拍摄到的岩石图像中常常带有大量噪声。岩石纹理信息可以通过手工或半自动获取的方式进行提取，但这种方式过分依赖于专业人员。而广泛运用的卷积神经网络由于局部感受野问题无法有效提取岩石图像中节理之间的上下文信息。现有自注意力机制方法仅作来提取注意力权重附加到卷积层提取的特征中来关注重点信息，特征提取仍然主要依赖于卷积结构，没有充分顾及图像像素之间的全局依赖关系，降低了测量和分析的精度，使岩石节理图像自动分割及分析存在困难。
因此，亟需提出有效的岩石节理分割方法，对岩石图像进行全局特征提取，保留岩石图像中节理之间更多的上下文信息，对岩石图像进行更精确、更智能的节理分割。
发明内容
有鉴于此，有必要提供一种基于全局自注意力变换网络的岩石节理分割方法、装置、电子设备及计算机可读存储介质，用以解决现有岩石图像节理分割时存在的没有对像素的全局依赖关系进行关联，导致岩石图像节理分割不准确的问题。
为了解决上述问题，本发明提供一种基于全局自注意力变换网络的岩石节理分割方法，包括：
获取预处理后的岩石图像；
构建基于全局自注意力变换网络的特征提取模型；
利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
根据所述岩石解码特征图得到岩石节理分割图。
进一步的，所述基于全局自注意力变换网络的特征提取模型包括若干个堆叠的卷积流自注意力变换模块；
所述卷积流自注意力变换模块用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列，基于所述二维特征序列确定岩石节理的像素全局关联特性，并根据所述像素全局关联特性得到岩石编码特征图。
进一步的，所述卷积流自注意力变换模块包括卷积变换层、多维度自注意力层和特征重塑层；
所述卷积变换层用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列；
所述多维度自注意力层用于根据所述二维特征序列确定岩石节理的全局特征；
所述特征重塑层用于根据所述岩石节理的全局特征得到岩石编码特征图。
进一步的，所述卷积变换层包括若干个卷积流基本计算单元和向量编码单元；
所述卷积流基本计算单元用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列；
所述向量编码单元用于将所述三维卷积特征图转换为二维特征序列。
进一步的，所述多维度自注意力层包括多个线性变换单元；
所述线性变换单元用于计算各个二维序列元素之间的关联性；
根据多个所述二维序列元素之间的关联性得到岩石节理的全局特征。
进一步的，利用所述解码器根据所述岩石编码特征图得到岩石解码特征图，包括：
对所述岩石编码特征图进行反卷积操作，得到上采样特征图；
根据所述上采样特征图和所述岩石编码特征图，得到特征拼接图；
对所述特征拼接图进行非线性变换，得到岩石解码特征图。
进一步的，根据所述岩石解码特征图得到岩石节理分割图，包括：
利用卷积操作对所述解码特征图进行特征提取，得到节理特征图；
对所述节理特征图进行归一化操作，得到岩石节理分割图。
本发明还提供一种基于全局自注意力变换网络的岩石节理分割装置，包括：
图像获取模块，用于获取岩石图像，对所述岩石图像进行预处理，得到预处理后的岩石图像；
特征提取模型构建模块，用于构建基于全局自注意力变换网络的特征提取模型；
图像编码模块，用于利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
图像解码模块，用于构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
节理分割图输出模块，用于根据所述岩石解码特征图得到岩石节理分割图。
本发明还提供一种电子设备，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述技术方案任一所述的基于全局自注意力变换网络的岩石节理分割方法。
本发明还提供一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的基于全局自注意力变换网络的岩石节理分割方法。
与现有技术相比，本发明的有益效果包括：首先，获取岩石图像，并对图像进行预处理；其次，基于全局自注意力变换网络构建特征提取模型，将预处理后的岩石图像转换为二维特征序列，并根据二维序列确定岩石节理的全局特征，并得到岩石编码特征图；再次，构建解码器对岩石编码特征图进行解码，得到岩石解码特征图；最后，根据所述岩石解码特征图得到岩石节理分割图。本发明的方法通过基于全局自注意力变换网络构建的特征提取模型，自主学习节理特征之间的全局联系，降低了复杂环境变化的干扰，提高智能模型对于岩石节理分割的精准度与鲁棒性，提高了岩石节理分割的准确率、通用性广、智能化与自动化程度高，适用于各种岩石节理的分割任务。
附图说明
图1为本发明提供的基于全局自注意力变换网络的岩石节理分割方法一实施例的流程示意图；
图2为本发明提供的特征提取模型的一实施例的结构示意图；
图3为本发明提供的卷积流自注意力变换模块一实施例的结构示意图；
图4为本发明提供的卷积流基本计算单元一实施例的结构示意图；
图5为本发明提供的标准瓶颈层一实施例的结构示意图；
图6为本发明提供的空洞瓶颈层一实施例的结构示意图；
图7为本发明提供的向量编码层一实施例的工作流程示意图；
图8为本发明提供的多维度自注意力层一实施例的结构示意图；
图9为本发明提供的解码器一实施例的结构示意图；
图10为本发明提供的基于全局自注意力变换网络的岩石节理分割装置一实施例的结构示意图；
图11为本发明提供的一种电子设备一实施例的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在实施例描述之前，对相关术语进行释义：
感受野，在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。随着卷积核的增多（即网络的加深），感受野会越来越大。对于目标检测任务来说，若感受野很小，目标尺寸很大，或者目标尺寸很小，感受野很大，模型收敛困难，会严重影响检测性能。
目前，岩石图像的节理分割广泛运用卷积神经网络来进行，但卷积神经网络由于局部感受野的局限，无法有效提取岩石图像中节理之间的上下文信息。现有自注意力机制方法仅作来提取注意力权重附加到卷积层提取的特征中来关注重点信息，特征提取仍然主要依赖于卷积结构，也没有充分顾及图像像素之间的全局依赖关系，降低了测量和分析的精度，使岩石节理图像自动分割及分析存在困难。
因此，本发明通过构建基于全局自注意力变换网络，对岩石图像中的特征进行提取，确定了岩石节理的全局特征，并生成岩石编码特征图；通过对岩石编码特征图进行解码，最终得到岩石节理分割图。能够自主学习节理特征之间的全局联系，降低复杂环境变化的干扰，提高智能模型对于岩石节理分割的精准度与鲁棒性。
本发明实施例提供了一种基于全局自注意力变换网络的岩石节理分割方法，图1为本发明提供的基于全局自注意力变换网络的岩石节理分割方法一实施例的流程示意图，包括：
步骤S101：获取预处理后的岩石图像；
步骤S102：构建基于全局自注意力变换网络的特征提取模型；
步骤S103：利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
步骤S104：构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
步骤S105：根据所述岩石解码特征图得到岩石节理分割图。
作为一个具体的实施例，在步骤S101中，通过远程操作无人机拍摄得到三维岩石图像；
对所述岩石三维图像进行归一化和裁剪等必要的预处理，得到预处理后的三维岩石图像。
作为优选的实施例，在步骤S102中，所述基于全局自注意力变换网络的特征提取模型包括若干个堆叠的卷积流自注意力变换模块；
所述卷积流自注意力变换模块用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列，基于所述二维特征序列确定岩石节理的全局特征，并根据所述全局特征得到岩石编码特征图。
作为一个具体的实施例，如图2所示，图2是特征提取模型的结构示意图，所述特征提取模型通过第一自注意力变换模块201、第二自注意力变换模块202、第三自注意力变换模块203和第四自注意力变换模块204堆叠组成；其中，上一个自注意力变换模块的输出作为下一个自注意力变换模块的输入。通过依次堆叠的四个卷积流自注意力变换模块，由浅及深、由大到小地提取所述岩石图像中反映节理的局部细节，每一个卷积流自注意力变换模块根据所述节理的局部细节生成岩石编码特征图。
作为优选的实施例，所述卷积流自注意力变换模块包括卷积变换层、多维度自注意力层和特征重塑层；
所述卷积变换层用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列；
所述多维度自注意力层用于根据所述二维特征序列确定岩石节理的全局特征；
所述特征重塑层用于根据所述岩石节理的全局特征得到岩石编码特征图。
作为一个具体的实施例，如图3所示，图3为所述卷积流自注意力变换模块的结构示意图；其中，卷积变换层的输出结果经过批归一化操作之后再输入到多维度自注意力层；多维度自注意力层的输出结果经过批归一化操作之后再输入到特征重塑层中。
为了更好地对上述的处理过程进行说明，用公式对上述处理过程，作为一个具体的实施例，对于一个含有L层的卷积流自注意力变换模块，其计算过程表示如下：
式中，
表示一个卷积流自注意力变换模块中的层级；
表示当前层l的上一层的特征，
表示由
得到的序列结果，
表示中间结果，
表示当前层l的输出特征；
表示卷积变换层；
表示多维度自注意力层；
表示特征重塑层；
表示批归一化操作。
由于直接建立密集像素级的全局像素关联需要庞大的计算量。因此，本实施例的方法首先通过卷积流对图像分辨率进行降采样，对降低分辨率后的岩石图像进行局部细节特征的提取，得到包含局部细节特征的三维卷积图像；由于三维卷积图像无法通过自注意力机制进行计算，因此需要将三维卷积图像转换为二维特征序列，通过二维特征序列完成图像像素之间的全局依赖关系。通过这种方法，能够对图像像素的全局关联性进行分析，使岩石节理的分析更加精确。
作为优选的实施例，所述卷积变换层包括若干个卷积流基本计算单元和向量编码单元；
所述卷积流基本计算单元用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像；
所述向量编码单元用于将所述三维卷积特征图转换为二维特征序列。
为了在卷积流的映射过程中尽可能保持图像的空间细节，作为一个具体的实施例，如图4所示，图4为卷积流基本计算单元一实施例的结构示意图。所述卷积流基本计算单元由一个标准瓶颈层和两个空洞瓶颈层堆叠而成。通过在标准瓶颈层的基础上引入空洞卷积增加卷积算子的感受野，形成空洞瓶颈层。空洞卷积层可以在扩大感受野的同时避免损失特征空间细节，有利于特征的非线性映射。
作为一个具体的实施例，所述标准瓶颈层的结构如图5所示，先通过第一个1x1的卷积层减少通道数（图像的厚度），使得第二层卷积的通道数减少为1/4；第二层卷积做完卷积后输出通道数等于输入通道数；第三个1x 1卷积层用于增加（恢复）通道数，使得标准瓶颈层的输出通道数等于标准瓶颈层的输入通道数。通过两个1x1卷积层有效地减少了卷积的参数个数和计算量。在所述标准瓶颈层中，将所述卷积流基本计算单元的输出与输入进行加和处理，作为下一个卷积流基本计算单元的输入。
作为一个具体的实施例，一个具有空洞率为
的空洞卷积器即在标准卷积算子之间插入
个0值。因此核尺寸为
的标准卷积器被扩大为
。给定输入
与核尺寸为
的标准卷积器，经过空洞卷积计算后的输出表示为：
所述空洞瓶颈层的结构如图6所示，将一个标准Bottleneck结构中的
标准卷积全部替换为空洞卷积即形成空洞Bottleneck。每个卷积变换层中的前后个空洞Bottleneck的空洞率分别设置为2和4。
作为一个具体的实施例，向量编码的目的是将三维卷积特征图转换为二维序列表达。
假设通过卷积基本计算单元得到的三维卷积特征图像为
，将其划分为N个大小固定为
的子块
，其中
。N同时也指定了向量化后的序列长度。每个子块将经过投影后转换为D维序列向量。
如图7所示，图7为所述向量编码层的工作流程示意图。为了方便实现向量编码，本实施例直接使用一个步长为P，核大小为P×P×D卷积将输入图像进行投影。
式中，
表示输出。
表示步长为P核大小为
的卷积运算。
同时，使用步长为P/2，核大小为
的卷积运算对输入
进行卷积运算，加强个P×P区域的内部联系。
通过一个自适应平均池化将此卷积结果下采样到与
相同的尺寸下：
式中，
表示输出。
表示步长为P/2核大小为P×P×D的卷积运算。
表示自适应平均池化操作。
将
与
进行加和，并按照通道维度方向拉平为二维序列向量。计算过程如下：
式中，
表示向量编码后的序列，其中，
。
表示展平操作。
由于卷积神经网络因局部感受野的固有局限性，无法进行长距离关系建模。对于岩石节理来说，节理在图像上反映为像素点。一张图像中同属于节理的各个像素点之间应该具有内在联系，且与背景像素有明显差异。这就需要对各个像素之间的关系进行建模以提取全局上下文信息。
作为一个具体的实施例，利用多维度自注意力层，提取岩石节理全局上下文特征。本实施例提出一种多维度自注意力机制，加强自注意力表达。将所述向量编码层输出的二维特征序列输入到所述多维度自注意力层中，学习岩石节理特征内在联系。
作为优选的实施例，所述多维度自注意力层包括多个线性变换单元；
所述线性变换单元用于计算各个二维序列元素之间的关联性；
根据多个所述二维序列元素之间的关联性得到岩石节理的全局特征。
作为一个具体的实施例，如图8所示，所述多维度自注意力层按照序列维度数量一共分为个三个自注意力组别，每个组别又细分为三个分支。属于同组的分支的序列具有相同的维度，而不同的组别之间具有不同的维度。
每个组别中的各个分支均由卷积变换层的输出结果经过一层全连接线性变换得到。
假设输入多维度自注意力模块的特征为
，对于任一组别来说，
分别通过三个线性层得到
，
，
。其中，
，代表第
个自注意力组别。
代表各个序列的维度。
接下来在每个组别中，依据前两个分支的输出，计算序列中不同位置之间的相关性。
具体来讲，即将
与所有的
进行点积计算，并采用一个SoftMax把所有的值按行归一化。归一化后的值代表了
与
的相似度。
为防止SolfMax得到值导致注意力权重过与单一，采用一个缩放因子
对SolfMax进行缩放：
将相似度度量值作为权重，从第三个分支中映射的值中提取相应比例的内容，加权求和即得到对应的自注意力值：
最后将所有组的注意力输出拼接为原来的维度作为整个多维度注意力层的输出：
式中，
，表示权重矩阵，用来将整合后的输出内容投影到与输入相对应的尺寸下。
作为一个具体的实施例，所述特征重塑层根据所述岩石节理的全局特征得到岩石编码特征图具体包括：
假设通过所述多维度自注意力层得到的二维特征序列为
，通过与上述特征展平相反的方式，将其重塑为尺寸为
的三维特征图。该特征图经过2次
的卷积处理，以增强岩石节理特征的非线性表达。
特别地，第一个
卷积器的通道数量是输入特征通道数量的4倍，而第二个
卷积器与输入保持一致。两个卷积层之间的传导使用ReLU激活函数进行非线性激活。将得到的结果经过双线性插值上采样到
，与卷积变基本计算单元的输出特征通过跳层连接进行融合，得到最终结果。
作为优选的实施例，在步骤S104中，利用所述解码器根据所述岩石编码特征图得到岩石解码特征图，包括：
对所述岩石编码特征图进行反卷积操作，得到上采样特征图；
根据所述上采样特征图和所述岩石编码特征图，得到特征拼接图；
对所述特征拼接图进行非线性变换，得到岩石解码特征图。
作为一个具体的实施例，如图9所示，本实施例的解码器采用逐步上采样的方式来进行特征解码。上采样操作采用了尺寸为2×2的反卷积算子。利用跳层连接，将每次上采样后的解码特征与同等尺寸的编码特征进行加和处理。由于在编码过程中经历了4次2×2的降采样操作，因此解码过程也需要4次2×2的上采样操作来恢复到原始输入尺寸。
将每次上采样后的特征分别记为
，
，
，
。
记上述过程中不同卷积流自注意力变换模块后输出的特征为
。则与
，
，
，
尺寸对应的编码特征分别为
，
，
，
。
解码过程一共包含三个重复的步骤：反卷积层(2x2)->特征拼接层->卷积层(3x3)->ReLU激活层。用公式表示为：
式中，
表示反卷积运算。解码中的第三次卷积特征
直接经过一次2x2反卷积层得到
。
作为优选的实施例，在步骤S105中，根据所述岩石解码特征图得到岩石节理分割图，包括：
利用卷积操作对所述解码特征图进行特征提取，得到节理特征图；
对所述节理特征图进行归一化操作，得到岩石节理分割图。
作为一个具体的实施例，基于步骤S104中输出的解码特征，采用分割模块输出密集分割结果，即输出岩石节理预测结果。分割模块的组成为：卷积层(3x3) ->ReLU激活层->卷积层(1x1) -> SoftMax层。分割模块输出类别为1的区域即为岩石节理。
本实施例还提供一种基于全局自注意力变换网络的岩石节理分割装置,其结构框图如图10所示，所述一种基于全局自注意力变换网络的岩石节理分割装置1000，包括：
图像获取模块1001，用于获取岩石图像，对所述岩石图像进行预处理，得到预处理后的岩石图像；
特征提取模型构建模块1002，用于构建基于全局自注意力变换网络的特征提取模型；
图像编码模块1003，用于利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
图像解码模块1004，用于构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
节理分割图输出模块1005，用于根据所述岩石解码特征图得到岩石节理分割图。
如图11所示，上述的一种基于全局自注意力变换网络的岩石节理分割方法，本发明还相应提供了一种电子设备1100，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器1101、存储器1102及显示器1103。
存储器1102在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器1102在另一些实施例中也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）等。进一步地，存储器1102还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器1102用于存储安装于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码等。存储器1102还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器1102上存储有一种基于全局自注意力变换网络的岩石节理分割方法程序804，该一种基于全局自注意力变换网络的岩石节理分割方法程序804可被处理器1101所执行，从而实现本发明各实施例的一种基于全局自注意力变换网络的岩石节理分割方法。
处理器1101在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行存储器1102中存储的程序代码或处理数据，例如执行一种基于全局自注意力变换网络的岩石节理分割方法程序等。
显示器1103在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器1103用于显示在计算机设备的信息以及用于显示可视化的用户界面。计算机设备的部件1101-1103通过系统总线相互通信。
本实施例还提供了一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的基于全局自注意力变换网络的岩石节理分割方法。
根据本发明上述实施例提供的计算机可读存储介质和计算设备，可以参照根据本发明实现如上所述的基于全局自注意力变换网络的岩石节理分割方法具体描述的内容实现，并具有与如上所述的一种基于全局自注意力变换网络的岩石节理分割方法类似的有益效果，在此不再赘述。
本发明公开的一种基于全局自注意力变换网络的岩石节理分割方法、装置、电子设备和计算机可读存储介质，首先，获取岩石图像，并对图像进行预处理；其次，基于全局自注意力变换网络构建特征提取模型，将预处理后的岩石图像转换为二维特征序列，并根据二维序列确定岩石节理的全局特征，并得到岩石编码特征图；再次，构建解码器对岩石编码特征图进行解码，得到岩石解码特征图；最后，根据所述岩石解码特征图得到岩石节理分割图。
本发明的方法通过基于全局自注意力变换网络构建的特征提取模型，自主学习节理特征之间的全局联系，降低了复杂环境变化的干扰，提高智能模型对于岩石节理分割的精准度与鲁棒性，提高了岩石节理分割的准确率、通用性广、智能化与自动化程度高，适用于各种岩石节理的分割任务。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于全局自注意力变换网络的岩石节理分割方法，其特征在于，包括：
获取预处理后的岩石图像；
构建基于全局自注意力变换网络的特征提取模型；
利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
根据所述岩石解码特征图得到岩石节理分割图。
2.根据权利要求1所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，所述基于全局自注意力变换网络的特征提取模型包括卷积流自注意力变换模块；
所述卷积流自注意力变换模块用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列，基于所述二维特征序列确定岩石节理的像素全局关联特性，并根据所述像素全局关联特性得到岩石编码特征图。
3.根据权利要求2所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，所述卷积流自注意力变换模块包括卷积变换层、多维度自注意力层和特征重塑层；
所述卷积变换层用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像，并根据所述三维卷积图像得到二维特征序列；
所述多维度自注意力层用于根据所述二维特征序列确定岩石节理的全局特征；
所述特征重塑层用于根据所述岩石节理的全局特征得到岩石编码特征图。
4.根据权利要求3所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，所述卷积变换层包括若干个卷积流基本计算单元和向量编码单元；
所述卷积流基本计算单元用于对所述预处理后的岩石图像中的节理局部细节特征进行提取，得到包含所述节理局部细节特征的三维卷积图像；
所述向量编码单元用于将所述三维卷积特征图转换为二维特征序列。
5.根据权利要求2所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，所述多维度自注意力层包括多个线性变换单元；
所述线性变换单元用于计算各个二维序列元素之间的关联性；
根据多个所述二维序列元素之间的关联性得到岩石节理的全局特征。
6.根据权利要求1所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，利用所述解码器对根据所述岩石编码特征图得到岩石解码特征图，包括：
对所述岩石编码特征图进行反卷积操作，得到上采样特征图；
根据所述上采样特征图和所述岩石编码特征图，得到特征拼接图；
对所述特征拼接图进行非线性变换，得到岩石解码特征图。
7.根据权利要求1所述的基于全局自注意力变换网络的岩石节理分割方法，其特征在于，根据所述岩石解码特征图得到岩石节理分割图，包括：
利用卷积操作对所述解码特征图进行特征提取，得到节理特征图；
对所述节理特征图进行归一化操作，得到岩石节理分割图。
8.一种基于全局自注意力变换网络的岩石节理分割装置，其特征在于，包括：
图像获取模块，用于获取岩石图像，对所述岩石图像进行预处理，得到预处理后的岩石图像；
特征提取模型构建模块，用于构建基于全局自注意力变换网络的特征提取模型；
图像编码模块，用于利用所述特征提取模型将所述预处理后的岩石图像转换为二维特征序列，并基于所述二维特征序列确定岩石节理的全局特征，根据所述岩石节理的全局特征得到岩石编码特征图；
图像解码模块，用于构建基于反卷积操作的解码器，利用所述解码器对所述岩石编码特征图进行解码，得到岩石解码特征图；
节理分割图输出模块，用于根据所述岩石解码特征图得到岩石节理分割图。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现根据权利要求1-7中任一所述的基于全局自注意力变换网络的岩石节理分割方法。
10.一种计算机可读存储介质，其特征在于，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1-7中任一所述的基于全局自注意力变换网络的岩石节理分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211147584.6A CN115222947B (zh) | 2022-09-21 | 2022-09-21 | 基于全局自注意力变换网络的岩石节理分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211147584.6A CN115222947B (zh) | 2022-09-21 | 2022-09-21 | 基于全局自注意力变换网络的岩石节理分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115222947A true CN115222947A (zh) | 2022-10-21 |
| CN115222947B CN115222947B (zh) | 2022-12-20 |
Family
ID=83617585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211147584.6A Active CN115222947B (zh) | 2022-09-21 | 2022-09-21 | 基于全局自注意力变换网络的岩石节理分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115222947B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861848A (zh) * | 2023-03-01 | 2023-03-28 | 成都理工大学 | 一种对岩体图像处理的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473781A (zh) * | 2013-09-22 | 2013-12-25 | 长安大学 | 一种公路岩体边坡图像中节理裂纹的分割方法 |
| CN111881811A (zh) * | 2020-07-24 | 2020-11-03 | 浙江大学 | 基于自卷积注意力池化机制的掘进装备岩石分类方法 |
| WO2021216638A1 (en) * | 2020-04-22 | 2021-10-28 | Shell Oil Company | Method for estimating fluid saturation of a rock |
| CN114495119A (zh) * | 2021-12-01 | 2022-05-13 | 浙江大学 | 一种复杂场景下的实时不规则文本识别方法 |
| CN114492206A (zh) * | 2022-02-18 | 2022-05-13 | 大连海事大学 | 一种基于破碎岩体节理模型确定隧道开挖进尺量的计算方法 |
| CN115082381A (zh) * | 2022-05-27 | 2022-09-20 | 西安电子科技大学广州研究院 | 一种基于u型网络的多目标分割方法及装置 |
-
2022
- 2022-09-21 CN CN202211147584.6A patent/CN115222947B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473781A (zh) * | 2013-09-22 | 2013-12-25 | 长安大学 | 一种公路岩体边坡图像中节理裂纹的分割方法 |
| WO2021216638A1 (en) * | 2020-04-22 | 2021-10-28 | Shell Oil Company | Method for estimating fluid saturation of a rock |
| CN111881811A (zh) * | 2020-07-24 | 2020-11-03 | 浙江大学 | 基于自卷积注意力池化机制的掘进装备岩石分类方法 |
| CN114495119A (zh) * | 2021-12-01 | 2022-05-13 | 浙江大学 | 一种复杂场景下的实时不规则文本识别方法 |
| CN114492206A (zh) * | 2022-02-18 | 2022-05-13 | 大连海事大学 | 一种基于破碎岩体节理模型确定隧道开挖进尺量的计算方法 |
| CN115082381A (zh) * | 2022-05-27 | 2022-09-20 | 西安电子科技大学广州研究院 | 一种基于u型网络的多目标分割方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| TANG YUDI等: "Fracture Extraction from Smooth Rock Surfaces Using Depth Image Segmentation", 《ROCK MECHANICS & ROCK ENGINEERING》 * |
| 张飞等: "岩石CT断层序列图像裂纹三维重建的实现", 《金属矿山》 * |
| 陈立万: "遗传优化BP神经网络在岩石节理图像分割中的应用", 《微计算机信息》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861848A (zh) * | 2023-03-01 | 2023-03-28 | 成都理工大学 | 一种对岩体图像处理的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115222947B (zh) | 2022-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112001914B (zh) | 深度图像补全的方法和装置 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN115170638B (zh) | 一种双目视觉立体匹配网络系统及其构建方法 | |
| CN114187450B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| WO2022193335A1 (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
| CN110929080B (zh) | 基于注意力和生成对抗网络的光学遥感图像检索方法 | |
| CN115147598B (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN112001931A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN112116064A (zh) | 光谱超分辨自适应加权注意力机制深层网络数据处理方法 | |
| CN115222947B (zh) | 基于全局自注意力变换网络的岩石节理分割方法和装置 | |
| CN114048845B (zh) | 点云修复方法、装置、计算机设备和存储介质 | |
| CN114612902A (zh) | 图像语义分割方法、装置、设备、存储介质及程序产品 | |
| CN116912296A (zh) | 一种基于位置增强注意力机制的点云配准方法 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN114529793A (zh) | 一种基于门控循环特征融合的深度图像修复系统及方法 | |
| CN113436287A (zh) | 一种基于lstm网络与编解码网络的篡改图像盲取证方法 | |
| CN117475228A (zh) | 一种基于双域特征学习的三维点云分类和分割方法 | |
| CN114998404B (zh) | 一种基于深度学习的点云上采样方法、设备、介质及终端 | |
| CN114119999B (zh) | 基于深度学习的迭代6d位姿估计方法及装置 | |
| CN115810152A (zh) | 基于图卷积的遥感图像变化检测方法、装置和计算机设备 | |
| CN115187775A (zh) | 一种遥感图像语义分割方法及装置 | |
| CN114612572A (zh) | 一种基于深度学习的激光雷达与相机外参标定方法及装置 | |
| CN117765297B (zh) | 高光谱图像分类方法、装置、设备及存储介质 | |
| CN118210810B (zh) | 随钻测井数据的压缩和解压方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |