CN112990227B - 掌子面地质检测方法 - Google Patents

Abstract

本申请公开了一种隧道施工过程掌子面地质情况检测方法。其中，方法包括基于深度学习算法，利用样本数据集训练图像实例分割神经网络得到图像实例分割模型，样本数据集包括多个不同地质级别的岩渣样本图像，各岩渣样本图像均设置地质类别标签且在图像中标记块状岩渣和片状岩渣的轮廓。调用图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在待识别岩渣图像中分割的轮廓数据和实体渣土隶属各级地质级别的概率值。根据轮廓数据计算块状岩渣、片状岩渣和岩粉在实体渣土中的含量值，并结合初始分类结果确定正在掘进的掌子面所属地质级别，克服人工检测TBM隧道施工地质情况的弊端的同时不降低地质分析准确度，提升隧道施工智能化程度。

Description

掌子面地质检测方法

技术领域

本申请涉及隧道掘进技术领域，特别是涉及一种掌子面地质情况检测方法。

背景技术

TBM(Tunnel Boring Machine，全断面隧道掘进机)通过诸如软岩、断层带和风化岩等软弱围岩时，往往会由于强烈挤压变形和破坏而发生卡机、塌方、突涌水等事故，为了预知在掘进施工过程中围岩情况，通常需要对掌子面的地质进行分析。

传统地质分析通常采用人工观察、专家经验或雷达探测，这些方法均依赖人工手段，判断地质风险较为困难。大多数山岭隧道或高海拔地区不利于人工详细地勘工作开展，进一步增加依赖人工手段的地质分析的难度。此外，TBM施工过程中地质判断多依靠操作手经验，会存在疏忽、误判或人员经验不足的情况。为了解决传统地质分析方法的弊端，在进行TBM隧道施工地质检测过程中，采用深度学习方法对岩渣图像进行分析得到地质情况的现有技术应用而生。

一种相关技术为通过对采集的岩渣图像来获取围岩级别关联敏感特征集，然后采用AP聚类方法划分数据样本，并做LSSVM回归得到K个子模型，根据模型进行加权融合，得到围岩类别值。另外一种相关技术为通过渣片拍摄装置获取渣片图像，根据时间记录渣片图像的渣片所在位置的围岩信息，对整幅渣片图像进行纹理特征提取，组成特征向量作为模型输入矩阵，取与渣片图像对应的围岩信息进行离散化和数值化建立矩阵作为模型目标矩阵，将模型输入矩阵和模型目标矩阵输入机器学习模型进行训练输出成熟训练模型，获取新的渣片图像的特征向量，输入成熟训练模型，预测围岩信息。

上述相关技术中，由于渣片堆叠、遮挡、覆盖、粉状与含水及刀盘切削影响，边缘提取、分水岭等图像处理提取岩渣特征效果差，导致常见机器学习分类模型识别准确度低。良好地质下，岩渣粒径较小，大量片状岩渣堆叠在一起，提取的轮廓模糊、单块提取多个轮廓，多块岩渣轮廓连接在一起；由于地下水和皮带冲洗等因素导致岩渣含水量较大，小颗粒边界不清晰，不好区分，识别准确率较低。鉴于此，如何在有效克服依赖人工检测TBM隧道施工地质情况弊端的基础上，不降低地质分析准确度，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种掌子面地质情况检测方法，在有效克服依赖人工检测TBM隧道施工地质情况的弊端的同时还不降低地质分析准确度，减少了不必要人员的投入，降低人为误判影响，推动隧道施工智能化的发展。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种掌子面地质情况检测方法，包括：

调用预先训练好的图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在所述待识别岩渣图像中的轮廓数据和初始分类结果；

根据所述轮廓数据计算块状岩渣、片状岩渣和岩粉在所述实体渣土中的含量值；

根据所述含量值和所述初始分类结果确定正在掘进的掌子面所属地质级别；

其中，所述图像实例分割模型为基于深度学习算法，利用样本数据集训练图像实例分割神经网络所得，所述样本数据集包括多个不同地质级别的岩渣样本图像，各岩渣样本图像均设置地质类别标签且在图像中标记块状岩渣和片状岩渣的轮廓；所述初始分类结果为所述实体渣土隶属各级地质级别的概率值。

可选的，所述调用预先训练好的图像实例分割模型分析待识别岩渣图像之前，还包括：

通过摄像机采集皮带机的出渣图像，以作为待识别岩渣图像；

对所述待识别岩渣图像进行图像预处理，以得到满足预设尺寸和图像质量条件的待处理岩渣图像；

将所述待处理岩渣图像按照预设输入数据格式转化为像素矩阵，以用于作为所述图像实例分割模型的输入数据。

可选的，所述对所述待识别岩渣图像进行图像预处理包括：

对所述待识别岩渣图像尺寸进行裁剪处理，得到裁剪岩渣图像；

对所述裁剪岩渣图像进行图像增强处理，得到满足预设成像质量条件的岩渣图像；

对所述满足预设成像质量条件的岩渣图像进行图像压缩处理，得到压缩岩渣图像；

对所述压缩岩渣图像进行灰度化和归一化处理，得到待处理岩渣图像。

可选的，所述根据所述轮廓数据计算块状岩渣、片状岩渣和岩粉在所述实体渣土中的含量值包括：

所述实体渣土由所述块状岩渣、所述片状岩渣和所述岩粉组成，所述实体渣土中除片状岩渣含量和块状岩渣含量之外，剩余含量均为岩粉含量；

计算片状岩渣所有轮廓区域在所述待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到片状岩渣含量值；

计算块状岩渣所有轮廓区域在所述待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到块状岩渣含量值。

可选的，所述图像实例分割模型训练过程包括：

对获取的各初始岩渣图像进行图像预处理，得到满足预设尺寸和图像质量条件的岩渣样本图像；按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集，为各岩渣样本图像设置地质类别标签，并在图像中标记块状岩渣和片状岩渣的轮廓；按照预设训练样本和测试样本比例值将所有类别数据集划分为训练样本数据集和测试样本数据集；

基于tensorflow深度学习底层架构，搭建Mask R-CNN图像实例分割神经网络，设置网络模型参数；将所述训练样本数据集输入所述Mask R-CNN图像实例分割神经网络进行模型训练和测试验证，并根据分类结果准确度修改每层神经元数目、神经元尺寸、目标函数和优化器参数重新训练模型直至满足训练结束条件；

将训练好的图像实例分割模型按照预设文件存储格式进行存储。

可选的，所述按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集包括：

根据当前岩渣样本图像对应的实体渣土所属地质级别将所述当前岩渣样本图像归类至相应地质类别数据集中；第一类地质级别数据集包括Ⅰ类围岩和Ⅱ类围岩的岩渣图像，第二类地质级别数据集包括Ⅲ类围岩的岩渣图像，第三类地质级别数据集包括Ⅳ类围岩的岩渣图像，第四类地质级别数据集包括Ⅴ类围岩的岩渣图像；

若无法直接将所述当前岩渣样本图像归类至相应地质类别数据集中，计算各岩渣样本图像对应实体渣土中片状岩渣、块状岩渣和岩粉的含量值；

若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值大于第一含量阈值且岩粉含量值在第一含量范围内，将所述当前岩渣样本图像分类至所述第一类地质级别数据集；若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值在第二含量范围且块状岩渣含量值在第三含量范围内，将所述当前岩渣样本图像分类至所述第二类地质级别数据集；所述第二含量范围的最小端点值大于所述第三含量范围的最大端点值；若当前岩渣样本图像对应的实体渣土中的块状岩渣含量值在第四含量范围内，将所述当前岩渣样本图像分类至所述第三类地质级别数据集；将不满足所述第一类地质级别数据集、所述第二类地质级别数据集和所述第三类地质级别数据集的岩渣样本图像分类至所述第四类地质级别数据集。

本发明实施例另一方面提供了一种掌子面地质情况检测装置，包括：

模型训练模块，用于基于深度学习算法利用样本数据集训练图像实例分割神经网络得到图像实例分割模型；所述样本数据集包括多个不同地质级别的岩渣样本图像，各岩渣样本图像均设置地质类别标签且在图像中标记块状岩渣和片状岩渣的轮廓；

模型处理模块，用于调用预先训练好的图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在所述待识别岩渣图像中的轮廓数据和初始分类结果；所述初始分类结果为所述实体渣土隶属各级地质级别的概率值；

含量值计算模块，用于根据所述轮廓数据计算块状岩渣、片状岩渣和岩粉在所述实体渣土中的含量值；

地质级别确定模块，用于根据所述含量值和所述初始分类结果确定正在掘进的掌子面所属地质级别。

本发明实施例还提供了一种掌子面地质情况检测装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述掌子面地质情况检测方法的步骤。

本发明实施例最后还提供了一种掌子面地质情况检测系统，包括图像采集设备、工控机和显示器；

所述图像采集设备安装在后配套皮带机正上方；所述工控机包括如上所述掌子面地质情况检测装置；所述图像采集设备将采集的实体渣土的图像数据通过以太网传输至所述工控机中，通过所述显示器的界面交互。

本申请提供的技术方案的优点在于，由于地下水和皮带冲洗导致岩渣含水量大、岩渣堆叠，导致常见机器学习模型识别准确度低，结合图像实例分割模型的图像特征提取和分类功能对现有的TBM施工掘进过程中不同地质下岩渣情况进行分析，结合地质勘察记录和施工记录，对出渣多少、大小、形状特征进行分析，从而准确得到刀盘前方掌子面地质信息，整个渣土识别过程无需人工介入，有效克服依赖人工检测TBM隧道施工地质情况的弊端，减少了不必要人员的投入，降低人为误判影响，有利于提升隧道施工智能化和自动化程度，还可在施工过程中进行有效地地质风险预警。不同于传统分类网络进行的图像级分类会丢失物体轮廓等一些细节，本申请的图像实例分割模型可为岩渣图像中的每一个像素指定类别标记，相邻像素点的互相影响，标注出图上同一物体的不同个体，分类识别效果更好，识别准确度明显提升。

此外，本发明实施例还针对掌子面地质情况检测方法提供了相应的实现装置及系统，进一步使得所述方法更具有实用性，所述装置及系统具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种掌子面地质情况检测方法的流程示意图；

图2为本发明实施例提供的岩渣图像采集与预处理流程示意图；

图3为本发明实施例提供的模型训练流程示意图；

图4为本发明实施例提供的图像实例分割模型的分类识别示意图；

图5为本发明实施例提供的待识别岩渣图像的识别示意图；

图6为本发明实施例提供的掌子面地质情况检测装置的一种具体实施方式结构图；

图7为本发明实施例提供的掌子面地质情况检测装置的另一种具体实施方式结构图；

图8为本发明实施例提供的掌子面地质情况检测系统的一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请通过对现有的TBM施工掘进过程中不同地质下岩渣情况进行分析，结合地质勘察记录和施工记录，对出渣多少、大小、形状和均匀度等特征进行分析，利用深度学习图像实例分割网络模型对岩渣进行特征提取与分类，获得掌子面地质信息。不同于传统分类网络进行的图像级分类会丢失物体轮廓等一些细节，图像实例分割网络为图像中的每一个像素指定类别标记，相邻像素点的互相影响，标注出图上同一物体的不同个体，实现的分类效果更好，准确度明显提升。从而解决现有技术的弊端，有效提高TBM隧道施工地质检测的精度。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1，图1为本发明实施例提供的一种掌子面地质情况检测方法的流程示意图，本发明实施例可包括以下内容：

S101：预先基于深度学习算法，利用样本数据集训练图像实例分割神经网络得到图像实例分割模型。

在本步骤中，样本数据集用于训练图像实例分割神经网络，样本数据集中包括多个不同地质级别且包含同一规范下所有地质级别的岩渣样本图像，地质级别为所属领域即地质勘查领域约定俗成的或者是规范化的级别，例如《水利水电工程地质勘察规范》中规定了五类地质级别，即Ⅰ类围岩、Ⅱ类围岩、Ⅲ类围岩、Ⅳ类围岩和Ⅴ类围岩，相应的，样本数据集中包括这5类地质级别下的岩渣样本图像，且每一类地质级别下的岩渣样本图像为多张，可以理解的是，样本数量不平衡会导致模型偏向样本多的分类，影响训练模型的分类准确度，作为一种可选的实施方式，样本数据集中隶属每类地质级别的岩渣样本图像的张数相同。对于样本数据集中的每张岩渣样本图像，可利用打标签工具为各岩渣样本图像均设置地质类别标签，岩渣样本图像中还标记块状岩渣和片状岩渣的轮廓，并为轮廓标注相应类型，及是块状岩渣轮廓还是片状岩渣轮廓。可采用任何一种图像实例分割神经网络的结构框架，利用本申请的样本数据集进行训练，本申请对图像实例分割神经网络的类型不作任何限定，图像实例分割神经网络对图像进行分割处理并进行特征提取，可有效克服渣片堆叠、遮挡、覆盖、粉状与含水及刀盘切削影响，提升图像识别准确度。模型训练过程可参阅所采用图像实例分割神经网络的类型对应的现有技术记载的内容，此处，便不再赘述。

在实际应用过程中，可将训练好的图像实例分割神经网络模型进行应用部署，例如可将图像实例分割神经网络模型部署到施工软件系统中。

S102：调用图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在待识别岩渣图像中的轮廓数据和初始分类结果。

可以理解的是，S101步骤中对每个岩渣样本图像均进行了地质级别标签的设置，实体渣土包括块状岩渣、片状岩渣和岩粉，在实体渣土被采集的岩渣样本图像中准确标注了块状岩渣和片状岩渣的轮廓，在利用样本数据集训练得到的图像实例分割模型就具有图像目标分类识别和分割的功能，可将输入图像中的块状岩渣、片状岩渣进行标注并输出，同时将输入图像对应的实体渣土隶属各级地质级别的概率值作为初始分类结果进行输出，从而实现对岩渣特征提取与分析，实现岩渣的自动分类识别。

S103：根据轮廓数据计算块状岩渣、片状岩渣和岩粉在实体渣土中的含量值。

在上个步骤中得到待识别图像中块状岩渣和片状岩渣的轮廓后，可根据块状岩渣的轮廓和片状岩渣的轮廓计算块状岩渣和片状岩渣在实体渣土的含量值。例如可先统计出待识别图像中所有块状岩渣的轮廓中所有像素点个数，待识别图像中所有片状岩渣的轮廓中所有像素点个数，待识别图像的像素总数，计算片状岩渣所有轮廓区域在待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，作为片状岩渣含量值，计算块状岩渣所有轮廓区域在待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，作为块状岩渣含量值。一般来说，实体渣土由块状岩渣、片状岩渣和岩粉组成，实体渣土中除片状岩渣含量和块状岩渣含量之外，剩余含量均可看作是岩粉含量，所以在计算得到块状岩渣、片状岩渣的含量值之后，岩粉含量也就得知。

S104：根据含量值和初始分类结果确定正在掘进的掌子面所属地质级别。

可以理解的是，实体渣土包括块状岩渣、片状岩渣和岩粉，不同地质级别的块状岩渣、片状岩渣和岩粉含量不同，换句话说，块状岩渣、片状岩渣和岩粉的比例值决定实体渣土所属地质级别。可预先分析每种地质级别下的渣土的块状岩渣、片状岩渣和岩粉的比例，并定义每种地质级别的渣土的块状岩渣、片状岩渣和岩粉含量比例范围，在S103计算得到块状岩渣、片状岩渣和岩粉含量后辅以初始分类结果便可确定掌子面所属地质级别，从而实现基于岩渣特征分析的掌子面地质自动辨识。当然，本步骤中的各地质级别和S101步骤中样本数据集中岩渣样本图像的地质级别是相同的。

在本发明实施例提供的技术方案中，由于地下水和皮带冲洗导致岩渣含水量大、岩渣堆叠，导致常见机器学习模型识别准确度低，结合图像实例分割模型的图像特征提取和分类功能对现有的TBM施工掘进过程中不同地质下岩渣情况进行分析，结合地质勘察记录和施工记录，对出渣多少、大小、形状特征进行分析，从而准确得到刀盘前方掌子面地质信息，整个渣土识别过程无需人工介入，有效克服依赖人工检测TBM隧道施工地质情况的弊端，减少了不必要人员的投入，降低人为误判影响，有利于提升隧道施工智能化和自动化程度，还可在施工过程中进行有效地地质风险预警。不同于传统分类网络进行的图像级分类会丢失物体轮廓等一些细节，本申请的图像实例分割模型可为岩渣图像中的每一个像素指定类别标记，相邻像素点的互相影响，标注出图上同一物体的不同个体，分类识别效果更好，识别准确度明显提升。

为了进一步提升图像实例分割模型输出结果的准确度，提高地质级别信息的准确度，还可对采集的待识别岩渣图像进行处理，处理后再作为输入数据，图像处理包括图像筛选、图像预处理和图像格式转化三个步骤，可包括下述内容：

通过摄像机采集皮带运行时的渣土图像。

对待识别岩渣图像进行图像预处理，以得到满足预设尺寸和图像质量条件的待处理岩渣图像。预设尺寸和图像质量条件可根据实际应用场景进行确定，进行图像预处理后，可去除光照环境等因素对应图像的影响，将图像尺寸、大小进行处理得到尺寸小的图像既不占用存储空间还可提升图像处理速度。

将待处理岩渣图像按照预设输入数据格式转化为像素矩阵，以用于作为图像实例分割模型的输入数据。在本步骤中，将图像数据转化为图像矩阵数据，便于后续图像处理，至于预设输入数据格式即为将图像数据转化为图像矩阵数据的方式，可采用任何一种可知图像转化为图像矩阵数据的方式，这均不影响本申请的实现。

在本实施的一种实施方式中，可采用下述方式对图像进行预处理，包括：

对待识别岩渣图像尺寸进行裁剪处理，得到裁剪岩渣图像，例如可采用视觉库opencv工具将待识别岩渣图像裁剪为尺寸为960*960的图像，此处的尺寸值只是一个示意性例子，并不代表只能为这个尺寸值，所属领域技术人员可根据实际情况进行选择。

对裁剪岩渣图像进行图像增强处理，得到满足预设成像质量条件的岩渣图像，例如可采用直方图均衡化处理待识别岩渣图像，改善图像拍摄过程中光照不均的影响。其中，满足预设成像质量条件的岩渣图像例如可为清晰、高质量的岩渣图像，至于清晰度可根据实际情况进行选择。

对满足预设成像质量条件的岩渣图像进行图像压缩处理，得到压缩岩渣图像，例如可将待识别图像的尺寸压缩至320*320，此处的尺寸值只是一个示意性例子，并不代表只能为这个尺寸值，所属领域技术人员可根据实际情况进行选择。

对压缩岩渣图像进行灰度化和归一化处理，得到待处理岩渣图像。

在上述实施例中，对于如何执行步骤S101并不做限定，本实施例中给出了图像实例分割模型训练过程的一种实施方式，本实施例包括样本数据集的处理、模型框架搭建、模型训练和模型存储四个步骤，可包括如下内容：

其中，样本数据集的处理过程为：对获取的各初始岩渣图像进行图像预处理，得到满足预设尺寸和图像质量条件的岩渣样本图像；按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集，为各岩渣样本图像设置地质类别标签，并在图像中标记块状岩渣和片状岩渣的轮廓及轮廓名，轮廓名的名称可为块状岩渣或片状岩渣；按照预设训练样本和测试样本比例值将所有类别数据集划分为训练样本数据集和测试样本数据集。

在样本数据集处理过程中，初始岩渣图像的图像预处理可参阅上述实施例的待识别岩渣图像的预处理过程，也即可对初始岩渣图像进行裁剪处理、增强处理、图像压缩处理、灰度化与归一化处理。预设训练样本和测试样本比例值可根据实际应用场景进行选择，例如训练样本和测试样本比例值可为7：3。

模型框架搭建和模型训练过程为：基于tensorflow深度学习底层架构，可搭建Mask R-CNN图像实例分割神经网络，设置网络模型参数，网络模型参数例如包括并不限制于神经元数目、卷积核大小、激活函数、损失函数和优化器编译模型、迭代次数、网络权重、偏差等参数。将训练样本数据集输入Mask R-CNN图像实例分割神经网络进行模型训练和测试验证，并根据分类结果准确度修改每层神经元数目、神经元尺寸、目标函数和优化器等参数重新训练模型直至满足训练结束条件为准确度高、泛化能力强的模型，训练结束条件例如得到准确度不低于95％且泛化能量强的Mask R-CNN图像实例分割神经网络模型即可结束模型训练，当然，所属领域技术人员可根据实际情况选择并设置相应的训练结束条件。

将训练好的图像实例分割模型按照预设文件存储格式进行存储，例如可将图像实例分割模型存储为h5模型文件。

在本实施例的一些实施方式中，在对获取的岩渣样本图像进行分类时，可根据下述实施方式进行：

根据当前岩渣样本图像对应的实体渣土所属地质级别将当前岩渣样本图像归类至相应地质类别数据集中；第一类地质级别数据集包括Ⅰ类围岩和Ⅱ类围岩的岩渣图像，第二类地质级别数据集包括Ⅲ类围岩的岩渣图像，第三类地质级别数据集包括Ⅳ类围岩的岩渣图像，第四类地质级别数据集包括Ⅴ类围岩的岩渣图像；

若无法直接将所述当前岩渣样本图像归类至相应地质类别数据集中，计算各岩渣样本图像对应实体渣土中片状岩渣、块状岩渣和岩粉的含量值；

若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值大于第一含量阈值且岩粉含量值在第一含量范围内，将当前岩渣样本图像分类至第一类地质级别数据集；

若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值在第二含量范围且块状岩渣含量值在第三含量范围内，将当前岩渣样本图像分类至第二类地质级别数据集；第二含量范围的最小端点值大于第三含量范围的最大端点值；

若当前岩渣样本图像对应的实体渣土中的块状岩渣含量值在第四含量范围内，将当前岩渣样本图像分类至第三类地质级别数据集；

将不满足第一类地质级别数据集、第二类地质级别数据集和第三类地质级别数据集的岩渣样本图像分类至第四类地质级别数据集。

其中，第一含量阈值、第一含量范围、第二含量范围和第三含量范围可基于每组地质级别下渣土中块状岩渣、片状岩渣及岩粉的实际含量值进行确定，当然，在实际含量值基础上可进行小幅度调整。举例来说，Ⅰ和Ⅱ类围岩：渣料中片状岩渣含量高，一般在80％以上，块状少见，岩粉含量在15％左右，呈现细粒状；Ⅲ类围岩：片状岩渣为主，一般在50％～80％左右，块状较少，在10％～15％之间，块状可见节理面，节理发育，往往有填充物；Ⅳ类围岩：岩渣以块状为主，一般在50％～80％左右，片状较少，粒度变化大，岩粉量小，含水量大；Ⅴ类围岩：多为断层破碎带，强度相对较低，岩渣多为块状且很不均匀，粒径大，片状和岩粉量很少，经常边掘边塌，容易识别。

其中，岩渣图像采集与预处理流程图可参阅图2所示，包括图像采集、存储和预处理过程，具体步骤如下：

1)通过安装在后配套皮带机正上方的摄像机实时抓拍岩渣图像，通过以太网传回到工控机；

2)筛选渣土样本，将岩渣图像存储到指定路径文件夹；

3)经过筛选，选取属于Ⅰ类和Ⅱ类围岩的岩渣图像1000张，Ⅲ类围岩的岩渣图像1000张，Ⅳ类围岩的岩渣图像1000张，Ⅴ类围岩的岩渣图像1000张，将岩渣图像按照岩渣特性指标分4类，存放4个文件夹，统计并平衡各种分类样本的数量；

4)利用视觉库opencv工具对步骤3)中各岩渣图像进行裁剪，裁剪后尺寸均为960*960；

5)对步骤4)中岩渣图像进行直方图均衡化处理，改善图像拍摄过程中光照不均的影响；

6)通过标签工具给步骤5)的各岩渣图像进行标注，准确标记出渣片包括片状岩渣和块状岩渣的轮廓；

7)打乱样本将样本数据集按照7：3划分为训练样本数据集和测试样本数据集；

8)将训练样本数据集中各岩渣图像进行压缩处理，处理后的图像尺寸均为320*320；

9)对步骤8)中训练样本数据集中各岩渣样本图像进行图像灰度化与归一化处理。

在对图像进行预处理之后，参阅图3和图4，基于深度学习图像实例分割的岩渣分类模型搭建流程图，基于tensorflow深度学习底层架构，搭建Mask R-CNN图像实例分割网络模型来进行岩渣特征提取与分类训练。具体步骤如下：

1)网络模型搭建与参数设置。Mask R-CNN神经网络模型实现图像目标分类与分割，由目标检测Faster-rcnn(Faster Regions with Convolutional Neural Networks)、RoI Align(感兴趣区域对齐策略)和全卷积网络FCN(Fully Convolutional Networks)3部分组成。使用Faster R-CNN为每个候选目标提供两个输出，一个类别标签和一个边界框偏移；同时，利用FCN网络添加了第三个输出目标Mask(掩码)的分支，二进制Mask用于表明目标在边界框中的像素位置。FCN主要包括卷积和反卷积，即先对图像进行卷积和池化，使其feature map(特征图)的大小不断减小；然后进行反卷积操作，通过上采样恢复到输入图像相同的尺寸，可以对每个像素都产生了一个预测，同时保留了原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类，从而实现对输入图像的准确分割。

①将预处理后图像如待识别岩渣图像或岩渣样本图像输入卷积层，进行特征提取，获取相应特征图。

②对特征图中的每个点生成RoI(感兴趣区域)，从而获得N个RoI。

③将候选的RoI送入区域生成网络进行二值分类和限定框回归，过滤掉一部分候选的RoI；其中，二值分类为前景或背景。

④通过RoIAlign层对每个RoI线性插值和对齐，即先将原图和特征图的像素点对应起来，然后将特征图和固定的特征对应起来，解决区域不匹配问题。

⑤最后利用全连接分类和边界框，Mask进行回归，提取目标更精细的空间布局，获得图像目标分类与分割。

2)模型进行编译，选取目标函数也即损失函数、优化器和评估函数，损失函数包含分类误差和分割误差。

3)网络训练，设置每次输入数据的大小128、迭代次数50次等参数，输入训练和测试样本数据集进行模型训练和测试验证，根据模型分类结果准确度，修改每层神经元数目、神经元尺寸、目标函数和优化器等参数，选取准确度最高、泛化能力强的模型。

4)模型存储与测试，可将训练好的模型保存为h5格式文件；取一张新的岩渣图像，加载h5模型文件，将该图像预处理后输入到模型，输出岩渣图像的分割结果，获取岩渣分类结果。

5)计算块状岩渣、片状岩渣和岩粉含量：

片状岩渣含量：片状岩渣区域在图像中所占的像素数与单像素对应的实际面积之积；

块状岩渣含量：块状岩渣区域在图像中所占的像素数与单像素对应的实际面积之积；

岩粉含量：岩粉区域在图像中所占的像素数与单像素对应的实际面积之积；

岩渣分类模型应用流程可请参阅图4和图5，可包括以下步骤：

通过皮带机正上方的摄像机实时采集待识别岩渣图像；

工控机读取传输回来的图像，进行opencv图像压缩、裁剪、增强、灰度和归一化预处理；

将训练好的图像实例分割神经网络模型转换为pb格式文件，通过tensorflowsharp工具用于生产环境部署；

按照输入数据的格式要求，将待识别岩渣图像转换成像素矩阵，然后加载到图像实例分割神经网络模型中进行处理，获得渣片或渣块的分割轮廓和分类的结果，计算块状岩渣、片状岩渣和岩粉含量；

根据图像实例分割神经网络模型输出的类别、渣块、渣片和岩粉的含量综合分析得到正在掘进中地质分级结果

由上可知，本发明实施例对摄像机采集的岩渣图像进行分类，自动获取掌子面地质情况，进行风险预测，并为施工人员进行支护决策提供依据。渣土的地质探测通过图像识别实现，无需人工观察，降低施工人员受伤害的风险，对安全科学施工、提高工作效率有重大效益，促进掘进设备智能化技术发展，降低施工成本。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图3和图5只是一种示意方式，并不代表只能是这样的执行顺序。

本发明实施例还针对掌子面地质情况检测方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的掌子面地质情况检测装置进行介绍，下文描述的掌子面地质情况检测装置与上文描述的掌子面地质情况检测方法可相互对应参照。

基于功能模块的角度，参见图6，图6为本发明实施例提供的掌子面地质情况检测装置在一种具体实施方式下的结构图，该装置可包括：

模型训练模块601，用于基于深度学习算法，利用样本数据集训练图像实例分割神经网络得到图像实例分割模型；样本数据集包括多个不同地质级别的岩渣样本图像，各岩渣样本图像均设置地质类别标签且在图像中标记块状岩渣和片状岩渣的轮廓。

模型处理模块602，用于调用预先训练好的图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在待识别岩渣图像中的轮廓数据和初始分类结果；初始分类结果为实体渣土隶属各级地质级别的概率值。

含量值计算模块603，用于根据轮廓数据计算块状岩渣、片状岩渣和岩粉在实体渣土中的含量值。

地质级别确定模块604，用于根据含量值和初始分类结果确定正在掘进的掌子面所属地质级别。

可选的，在本实施例的一些实施方式中，所述装置例如还可以包括图像处理模块，所述图像处理模块包括：

图像采集子模块，用于通过摄像机采集皮带机的出渣图像，以作为待识别岩渣图像；

图像预处理子模块，用于对待识别岩渣图像进行图像预处理，以得到满足预设尺寸和图像质量条件的待处理岩渣图像；

图像数据转化子模块，用于将待处理岩渣图像按照预设输入数据格式转化为像素矩阵，以用于作为图像实例分割模型的输入数据。

在本实施例的一些其他实施方式中，所述图像预处理子模块例如可包括：

裁剪单元，用于对待识别岩渣图像尺寸进行裁剪处理，得到裁剪岩渣图像；

增强处理单元，用于对裁剪岩渣图像进行图像增强处理，得到满足预设成像质量条件的岩渣图像；

压缩处理单元，对满足预设成像质量条件的岩渣图像进行图像压缩处理，得到压缩岩渣图像；

灰度归一化处理单元，用于对压缩岩渣图像进行灰度化和归一化处理，得到待处理岩渣图像。

作为一种可选的实施方式，所述含量值计算模块603可包括：

片状岩渣含量值计算子模块，用于计算片状岩渣所有轮廓区域在待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到片状岩渣含量值；

块状岩渣含量值计算子模块，用于计算块状岩渣所有轮廓区域在待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到块状岩渣含量值；

岩粉含量值计算子模块，用于实体渣土由块状岩渣、片状岩渣和岩粉组成，实体渣土中除片状岩渣含量和块状岩渣含量之外，剩余含量均为岩粉含量。

作为一种可选的实施方式，所述模型训练模块601可包括：

样本处理子模块，用于对获取的各初始岩渣图像进行图像预处理，得到满足预设尺寸和图像质量条件的岩渣样本图像；按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集，为各岩渣样本图像设置地质类别标签，并在图像中标记块状岩渣和片状岩渣的轮廓；按照预设训练样本和测试样本比例值将所有类别数据集划分为训练样本数据集和测试样本数据集；

训练子模块，用于基于tensorflow深度学习底层架构，搭建Mask R-CNN图像实例分割神经网络，设置网络模型参数；将训练样本数据集输入Mask R-CNN图像实例分割神经网络进行模型训练和测试验证，并根据分类结果准确度修改每层神经元数目、神经元尺寸、目标函数和优化器参数重新训练模型直至满足训练结束条件；

存储处理子模块，用于将训练好的图像实例分割模型按照预设文件存储格式进行存储。

在本实施例的其他一些实施方式中，所述样本处理子模块具体用于：

根据当前岩渣样本图像对应的实体渣土所属地质级别将当前岩渣样本图像归类至相应地质类别数据集中；第一类地质级别数据集包括Ⅰ类围岩和Ⅱ类围岩的岩渣图像，第二类地质级别数据集包括Ⅲ类围岩的岩渣图像，第三类地质级别数据集包括Ⅳ类围岩的岩渣图像，第四类地质级别数据集包括Ⅴ类围岩的岩渣图像；

若无法直接将所述当前岩渣样本图像归类至相应地质类别数据集中，计算各岩渣样本图像对应实体渣土中片状岩渣、块状岩渣和岩粉的含量值；

若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值大于第一含量阈值且岩粉含量值在第一含量范围内，将当前岩渣样本图像分类至第一类地质级别数据集；若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值在第二含量范围且块状岩渣含量值在第三含量范围内，将当前岩渣样本图像分类至第二类地质级别数据集；第二含量范围的最小端点值大于第三含量范围的最大端点值；若当前岩渣样本图像对应的实体渣土中的块状岩渣含量值在第四含量范围内，将当前岩渣样本图像分类至第三类地质级别数据集；将不满足第一类地质级别数据集、第二类地质级别数据集和第三类地质级别数据集的岩渣样本图像分类至第四类地质级别数据集。

本发明实施例所述掌子面地质情况检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例有效克服依赖人工检测TBM隧道施工地质情况的弊端，减少了不必要人员的投入，降低人为误判影响，推动隧道施工智能化的发展。

上文中提到的掌子面地质情况检测装置是从功能模块的角度描述，进一步的，本申请还提供一种掌子面地质情况检测装置，是从硬件角度描述。图7为本申请实施例提供的另一种掌子面地质情况检测装置的结构图。如图7所示，该装置包括存储器70，用于存储计算机程序；处理器71，用于执行计算机程序时实现如上述任一实施例提到的掌子面地质情况检测方法的步骤。

其中，处理器71可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器71可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器71也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器71可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器71还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器70可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器70至少用于存储以下计算机程序701，其中，该计算机程序被处理器71加载并执行之后，能够实现前述任一实施例公开的掌子面地质情况检测方法的相关步骤。另外，存储器70所存储的资源还可以包括操作系统707和数据703等，存储方式可以是短暂存储或者永久存储。其中，操作系统702可以包括Windows、Unix、Linux等。数据703可以包括但不限于测试结果对应的数据等。

在一些实施例中，掌子面地质情况检测装置还可包括有显示屏72、输入输出接口73、通信接口74、电源75以及通信总线76。

本领域技术人员可以理解，图7中示出的结构并不构成对掌子面地质情况检测装置的限定，可以包括比图示更多或更少的组件，例如还可包括传感器77。

本发明实施例所述掌子面地质情况检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例有效克服依赖人工检测TBM隧道施工地质情况的弊端，减少了不必要人员的投入，降低人为误判影响，推动隧道施工智能化的发展。

本发明实施例还提供了一种掌子面地质情况检测系统，参见图8，可包括图像采集设备81、工控机82和显示器，图像采集设备81将采集的实体渣土的图像数据通过以太网83传输至工控机82中，通过显示器的显示界面进行交互。

图像采集设备81可安装在后配套皮带机正上方；工控机82可包括如上任意一个实施例所述掌子面地质情况检测装置。

工控机82中安装施工软件，可将实现掌子面地质情况检测方法对应的计算机程序作为一个功能模块嵌入至施工软件中，通过打开施工软件界面向用户展示这个功能。掌子面地质情况检测方法的过程可参阅上述任意一个实施例所记载的实现方式，此处，便不再赘述。

本发明实施例所述掌子面地质情况检测系统的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例有效克服依赖人工检测TBM隧道施工地质情况的弊端，减少了不必要人员的投入，降低人为误判影响，推动隧道施工智能化的发展。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种掌子面地质情况检测方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (6)

1.一种掌子面地质情况检测方法，其特征在于，包括：

调用预先训练好的图像实例分割模型分析待识别岩渣图像，得到实体渣土中各岩渣对应在所述待识别岩渣图像中的轮廓数据和初始分类结果；

根据所述轮廓数据计算块状岩渣、片状岩渣和岩粉在所述实体渣土中的含量值；

根据所述含量值和所述初始分类结果确定正在掘进的掌子面所属地质级别；

其中，所述图像实例分割模型为基于深度学习算法，利用样本数据集训练图像实例分割神经网络所得，所述样本数据集包括多个不同地质级别的岩渣样本图像，各岩渣样本图像均设置地质类别标签且在图像中标记块状岩渣和片状岩渣的轮廓；所述初始分类结果为所述实体渣土隶属各级地质级别的概率值。

2.根据权利要求1所述的掌子面地质情况检测方法，其特征在于，所述调用预先训练好的图像实例分割模型分析待识别岩渣图像之前，还包括：

通过摄像机采集皮带机的出渣图像，以作为待识别岩渣图像；

对所述待识别岩渣图像进行图像预处理，以得到满足预设尺寸和图像质量条件的待处理岩渣图像；

将所述待处理岩渣图像按照预设输入数据格式转化为像素矩阵，以用于作为所述图像实例分割模型的输入数据。

3.根据权利要求2所述的掌子面地质情况检测方法，其特征在于，所述对所述待识别岩渣图像进行图像预处理包括：

对所述待识别岩渣图像尺寸进行裁剪处理，得到裁剪岩渣图像；

对所述裁剪岩渣图像进行图像增强处理，得到满足预设成像质量条件的岩渣图像；

对所述满足预设成像质量条件的岩渣图像进行图像压缩处理，得到压缩岩渣图像；

对所述压缩岩渣图像进行灰度化和归一化处理，得到待处理岩渣图像。

4.根据权利要求1所述的掌子面地质情况检测方法，其特征在于，所述根据所述轮廓数据计算块状岩渣、片状岩渣和岩粉在所述实体渣土中的含量值包括：

所述实体渣土由所述块状岩渣、所述片状岩渣和所述岩粉组成，所述实体渣土中除片状岩渣含量和块状岩渣含量之外，剩余含量均为岩粉含量；

计算片状岩渣所有轮廓区域在所述待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到片状岩渣含量值；

计算块状岩渣所有轮廓区域在所述待识别岩渣图像中所占的像素数与单像素对应的实际面积之积，得到块状岩渣含量值。

5.根据权利要求1至4任意一项所述的掌子面地质情况检测方法，其特征在于，所述图像实例分割模型训练过程包括：

对获取的各初始岩渣图像进行图像预处理，得到满足预设尺寸和图像质量条件的岩渣样本图像；按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集，为各岩渣样本图像设置地质类别标签，并在图像中标记块状岩渣和片状岩渣的轮廓；按照预设训练样本和测试样本比例值将所有类别数据集划分为训练样本数据集和测试样本数据集；

基于tensorflow深度学习底层架构，搭建Mask R-CNN图像实例分割神经网络，设置网络模型参数；将所述训练样本数据集输入所述Mask R-CNN图像实例分割神经网络进行模型训练和测试验证，并根据分类结果准确度修改每层神经元数目、神经元尺寸、目标函数和优化器参数重新训练模型直至满足训练结束条件；

将训练好的图像实例分割模型按照预设文件存储格式进行存储。

6.根据权利要求5所述的掌子面地质情况检测方法，其特征在于，所述按照岩渣特性将各岩渣样本图像分类至相应地质类别数据集包括：

根据当前岩渣样本图像对应的实体渣土所属地质级别将所述当前岩渣样本图像归类至相应地质类别数据集中；第一类地质级别数据集包括Ⅰ类围岩和Ⅱ类围岩的岩渣图像，第二类地质级别数据集包括Ⅲ类围岩的岩渣图像，第三类地质级别数据集包括Ⅳ类围岩的岩渣图像，第四类地质级别数据集包括Ⅴ类围岩的岩渣图像；

若无法直接将所述当前岩渣样本图像归类至相应地质类别数据集中，计算各岩渣样本图像对应实体渣土中片状岩渣、块状岩渣和岩粉的含量值；

若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值大于第一含量阈值且岩粉含量值在第一含量范围内，将所述当前岩渣样本图像分类至所述第一类地质级别数据集；若当前岩渣样本图像对应的实体渣土中的片状岩渣含量值在第二含量范围且块状岩渣含量值在第三含量范围内，将所述当前岩渣样本图像分类至所述第二类地质级别数据集；所述第二含量范围的最小端点值大于所述第三含量范围的最大端点值；若当前岩渣样本图像对应的实体渣土中的块状岩渣含量值在第四含量范围内，将所述当前岩渣样本图像分类至所述第三类地质级别数据集；将不满足所述第一类地质级别数据集、所述第二类地质级别数据集和所述第三类地质级别数据集的岩渣样本图像分类至所述第四类地质级别数据集。

Images