CN115861848A - 一种对岩体图像处理的方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体涉及一种对岩体图像处理的方法及装置，该方法包括：获取多张岩体图像，再对每一张岩体图像中包括的节理岩体图像以及岩体背景图像进行标注，之后使用标注好的多张岩体图像对改进后的语义分割模型进行训练，再使用训练完成后的语义分割模型对新采集的岩体图像进行分割预测，即可得到新采集的岩体图像中包含的节理信息及背景信息的预测结果，以便于工作人员及时了解某一地形的节理信息，并借助该节理信息分析导致地质灾害的可能性，较好地提高了地质灾害防护的预测准确度。

Description

一种对岩体图像处理的方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种对岩体图像处理的方法及装置。

背景技术

随着近年来深度学习技术飞速发展，以及计算机视觉技术日趋成熟，目前基于深度学习的场景语义分割和目标检测已经成为图像处理技术领域的主要视觉感知方法。再而言之，语义分割技术针对输入的图片，对复杂背景下的不规则主体进行分割，预测出不同类别的内容，其本质是针对图像中的每个像素点进行分类，也极大提高了相应领域的生产力。

在地质灾害防护中，岩体中存在节理，破坏了岩体的整体性，促进岩体风化速度，增强岩体的透水性，因而使岩体的强度和稳定性降低。当节理主要发育方向与线形工程路线走向平行，倾向与边坡一致时，不论岩体的产状如何，都容易发生崩塌等不良地质现象。因此，研究复杂背景下的节理岩体图像信息具有很深的现实意义。

发明内容

本发明的目的在于提供一种对岩体图像处理的方法，将计算机视觉领域和地质灾害防护领域相结合，可以在复杂背景下将节理岩体图像与岩体背景图像分割出来，便于岩体中节理迹线信息的整理，提高地质灾害防护的预测准确度。

本发明的另一目的在于提供一种对岩体图像处理的装置，将计算机视觉领域和地质灾害防护领域相结合，可以在复杂背景下将节理岩体图像与岩体背景图像分割出来，便于岩体中节理迹线信息的整理，提高地质灾害防护的预测准确度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种对岩体图像处理的方法，所述方法包括：获取多张岩体图像；对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注；使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练；使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

第二方面，本发明实施例还提供了一种对岩体图像处理的装置，所述装置包括：获取模块，用于获取多张岩体图像；标注模块，用于对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注；训练模块，用于使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练；预测模块，用于使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

本发明实施例提供的一种对岩体图像处理的方法及装置，该方法包括：获取多张岩体图像，再对每一张岩体图像中包括的节理岩体图像以及岩体背景图像进行标注，之后使用标注好的多张岩体图像对改进后的语义分割模型进行训练，再使用训练完成后的语义分割模型对新采集的岩体图像进行分割预测，即可得到新采集的岩体图像中包含的节理信息及背景信息的预测结果，以便于工作人员及时了解某一地形的节理信息，并借助该节理信息分析导致地质灾害的可能性，较好地提高了地质灾害防护的预测准确度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的一种对岩体图像处理的方法的流程示意图。

图2示出了本发明实施例提供的一种改进后的语义分割模型的结构示意图。

图3示出了本发明实施例提供的一种对岩体图像处理的装置的功能模块示意图。

图示：

100-对岩体图像处理的装置；110-获取模块；120-标注模块；130-训练模块；140-预测模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，是本发明实施例提供的一种对岩体图像处理的方法的流程示意图，该方法包括：

S110，获取多张岩体图像。

具体为，利用无人机、相机等电子设备对各类复杂区域（峭壁上的岩体、水流区域的岩体、杂草包围的岩体等）对应的岩体图像进行采集。进一步地，将采集好的多张岩体图像存储于与电子设备一体装置的存储模块中，以待后续分析。

在获取了多张岩体图像后，对岩体图像进行分析处理时，还需要对每一张岩体图像进行数据增强处理，以提高模型的鲁棒性，增强泛化能力。具体操作为，利用翻转、旋转、裁剪、添加噪声、模糊、掩码、颜色变换、Cutout、Random Erasing、Mixup等有/无监督数据增强方法对获取节理岩体图片进行数据扩增。

此外，电子设备在对岩体图像进行采集的同时，该电子设备上还安装了卫星定位模块，在电子设备对岩体图像进行拍摄时，该卫星定位模块也同步获取了同一时刻下该岩体图像对应的经纬度信息。将该经纬度信息与岩体图像进行对应结合，以便于获取每个节理在岩体中产生的具体位置，方便后续人员进行定位与地质灾害防护。

S120，对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注。

具体为，由于复杂背景下的岩体图像是不规则的，故采用的软件为labelme，labelme是麻省理工（MIT）的计算机科学和人工智能实验室（CSAIL）研发的图像标注工具，人们可以使用该工具创建定制化标注任务或执行图像标注，主要用于标记语义分割数据集。

在本发明实施例中，具体是使用该图像标注工具对每一张岩体图像中的节理岩体图像以及岩体背景图像做区分标注，例如自然状态下拍摄的岩体图像中包含了岩体的节理岩体图像（如山体部分），也包括背景图像部分（如树木、草丛部分），该对岩体图像进行标注的操作即是将两部分做区分，以便于后续的模型训练以及新采集的图像分割预测。

其具体的图像标注流程为：将采集的节理岩体照片保存为 JPG 格式，图像像素尺寸为4000×2250，利用labelme标注并制作好数据集，由于使用VOC格式进行训练，训练前将图片文件放在VOCdevkit文件夹下的VOC2007文件夹下的JPEGImages中，训练前将标签文件放在VOCdevkit文件夹下的VOC2007文件夹下的SegmentationClass中。在完成数据集的摆放之后，我们需要对数据集进行下一步的处理，目的是获得训练用的train.txt以及val.txt，需要用到根目录下的voc_annotation.py。

S130，使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练。

具体为，首先，在本发明实施例中，对原本的语义分割模型进行了改进，请参照图2，是本发明实施例提供的一种改进后的语义分割模型的结构示意图。其具体为：

该改进后的语义分割模型包括encoder（编码器）和decoder（解码器）两个部分，采用编解码结构，减少网络参数的数量。同时，其以Xception网络为主干网络，目的是使各目标的训练权重占比不同，可与深度可分离卷积特征相结合，从而减少参数量、提高训练速度。

其先对编码器进行了修改，引入了密集连接方式的空洞空间金字塔池化模块，以对输入的任意大小的岩体图像进行多尺度特征提取转换为固定大小的特征向量：在encoder（编码器）中，对原始deeplabv3+模型的编码器进行修改，该分有不同空洞率的空洞空间金字塔池化模块（ASPP，Atrous Spatial Pyramid Pooling ）使得任意大小的特征图利用多尺度特征提取都能够转换成固定大小的特征向量，在空洞空间金字塔池化模块（ASPP）模块中引入密集连接的方式。具体来说，将原来空洞率为6、12、18的卷积层进行修改，引入了空洞率为4、8、12、16的卷积层，这类密集连接由于采样点数增加，模型的感受野也增加了，以此聚合多尺度上下文信息，增强模型识别不同尺寸同一物体的能力，这类的空洞率的优化组合方式可以提高多尺度语义特征提取效果。

再对解码器进行了修改，引入有效通道注意力模块，以对输入的岩体图像的边界特征进行提取：在decoder（解码器）部分，引入ECA（有效通道注意力）模块，该模块通过快速的1D卷积生成通道注意力，其内核大小可以通过通道尺寸的非线性映射来自适应确定，模块仅包含少量参数，可以学习每个卷积块的通道注意，同时带来明显的性能提升，在本模型中使用可以使训练标签的边界恢复更清晰。

在对原本的语义分割模型修改得到改进后的语义分割模型后，再使用标注好的岩体图像对改进后的语义分割模型进行训练，其具体方式为：

每一张岩体图像都标注成了节理岩体图像以及岩体背景图像两部分，将标注好的岩体图像分成训练集、测试集及验证集，依次对改进后的语义分割模型进行训练。

其中，使用训练集训练改进后的语义分割模型，并确定其参数设置，如权重、偏置等；使用验证集调整改进后的语义分割模型的超参数，需要调整的超参数一般有网络层数、每层网络的神经元数、学习率、激活函数、优化器、预训练权重等；使用测试集客观评价训练完成后的网络模型的性能。

S140，使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

具体为，由于语义分割模型已经通过标注好的岩体图像完成训练，当有新采集的岩体图像输入语义分割模型时，该语义分割模型将直接输出预测结果，该预测结果即为该岩体图像哪些部分为节理岩体图像，哪些部分为岩体背景图像，实现节理信息的有效提取。

具体实现过程为：训练结果预测需要用到两个文件，分别是deeplab.py和predict.py。首先需要去deeplab.py里面修改model_path以及num_classes。model_path指向训练好的权值文件，num_classes指向检测类别的个数，本次模型的标签数为2，一为yanti（节理岩体），二为background（复杂背景），所以num_classes为2。具体为，经过训练改进的DeepLabV3+语义分割模型已经具有了良好的分割精度，即当需要新获取的岩体图像进行复杂背景剔除时，即可直接输入改进的DeepLabV3+语义分割模型中的predict.py文件运行，即可获得良好的分割结果。相对于边缘检测，阈值分割等传统的图像分割方式，更加高效便捷。

由此可见，本发明实施例提供的对岩体图像处理的方法，其通过对语义分割模型的改进及有效训练，即可对新采集的岩体图像的节理信息进行快速准确提取，即快速准确的将节理岩体图像在复杂背景下的图像中分割出来，并实现可视化的操作，便于后期的地质灾害防护。同步解决了原有的人工进行节理岩体图像分割的问题，更加便捷高效。

请参照图3，是本发明实施例提供的一种对岩体图像处理的装置100的功能模块示意图，其包括：

获取模块110，用于获取多张岩体图像。

在本发明实施例中，S110可以由获取模块110执行。

标注模块120，用于对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注。

在本发明实施例中，S120可以由标注模块120执行。

训练模块130，用于使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练。

在本发明实施例中，S130可以由训练模块130执行。

预测模块140，用于使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

在本发明实施例中，S140可以由预测模块140执行。

由于在对岩体图像处理的方法部分已经详细描述，在此不再赘述。

综上所述，本发明实施例提供的一种对岩体图像处理的方法及装置，该方法包括：获取多张岩体图像，再对每一张岩体图像中包括的节理岩体图像以及岩体背景图像进行标注，之后使用标注好的多张岩体图像对改进后的语义分割模型进行训练，再使用训练完成后的语义分割模型对新采集的岩体图像进行分割预测，即可得到新采集的岩体图像中包含的节理信息及背景信息的预测结果，以便于工作人员及时了解某一地形的节理信息，并借助该节理信息分析导致地质灾害的可能性，较好地提高了地质灾害防护的预测准确度。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种对岩体图像处理的方法，其特征在于，所述方法包括：

获取多张岩体图像；

对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注；

使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练；

使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取每一张所述岩体图像对应的经纬度信息。

3.如权利要求1所述的方法，其特征在于，所述改进后的语义分割模型的形成方法包括：

对所述语义分割模型的编码器进行修改，引入密集连接方式的空洞空间金字塔池化模块；

对所述语义分割模型的解码器进行修改，引入有效通道注意力模块。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

所述空洞空间金字塔池化模块对输入的任意大小的所述岩体图像进行多尺度特征提取转换为固定大小的特征向量；

所述有效通道注意力模块对输入的所述岩体图像的边界特征进行提取。

5.如权利要求1所述的方法，其特征在于，所述使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练的步骤包括：

将标注后的所述多张岩体图像划分成训练集、测试集及验证集，依次对改进后的语义分割模型进行训练；其中，所述训练集用于确定所述语义分割模型的参数设置，所述验证集用于调整所述语义分割模型的超参数，所述测试集用于评价所述语义分割模型的模型性能。

6.如权利要求1所述的方法，其特征在于，所述获取多张岩体图像后还包括步骤：

对每一张所述岩体图像进行数据增强处理。

7.一种对岩体图像处理的装置，其特征在于，所述装置包括：

获取模块，用于获取多张岩体图像；

标注模块，用于对每一张所述岩体图像中包括的节理岩体图像以及岩体背景图像进行标注；

训练模块，用于使用标注后的所述多张岩体图像对改进后的语义分割模型进行训练；

预测模块，用于使用训练完成的所述语义分割模型对新采集的岩体图像进行分割预测，得到预测结果，所述预测结果包括所述新采集的岩体图像对应的节理岩体图像及岩体背景图像。

8.如权利要求7所述的装置，其特征在于，所述获取模块还用于获取每一张所述岩体图像对应的经纬度信息。

9.如权利要求7所述的装置，其特征在于，所述训练模块具体用于将标注后的所述多张岩体图像划分成训练集、测试集及验证集，依次对改进后的语义分割模型进行训练；其中，所述训练集用于确定所述语义分割模型的参数设置，所述验证集用于调整所述语义分割模型的超参数，所述测试集用于评价所述语义分割模型的模型性能。

10.如权利要求7所述的装置，其特征在于，所述获取模块还用于对每一张所述岩体图像进行数据增强处理。

Images