CN113159061B - 一种基于实例分割的实际隧道围岩碴片识别方法 - Google Patents

Abstract

本发明是一种基于实例分割的实际隧道围岩碴片识别方法。本发明涉及计算机视觉、深度学习和图像识别技术领域；本发明基于同态滤波和直方图均衡化，对隧道围岩碴片原始图像进行预处理；根据预处理后的隧道围岩碴片图像，建立目标检测和语义分割子网络，对围岩碴片进行实例分割；基于由目标检测子网络和语义分割子网络建立的实例分割网络进行独立训练；根据独立训练后的实例分割网络，对原始图像中的碴片进行识别。本发明针对实际隧道开挖过程中无法及时准确识别围岩大小的难题，提出了基于实例分割的实际围岩碴片自动像素级识别方法，可以直接应用于施工现场的背景黑暗、尺寸不均、分布密集、相互堆叠的复杂碴片图像识别。

Description

一种基于实例分割的实际隧道围岩碴片识别方法

技术领域

本发明涉及图像识别技术领域，是一种基于实例分割的实际隧道围岩碴片识别方法。

背景技术

在隧道开挖过程中，全断面隧道掘进机操作员往往需要根据掌子面上切削下来围岩碴片的材料和力学性质来调整掘进机的控制参数，控制开挖速度，保证施工安全。若前方岩体较弱、开挖速度过快，则有可能发生灾难性的隧道塌方事故，后果不堪设想。目前一般采用的方法是，操作员通过肉眼对围岩碴片进行人工目视检查，再根据经验对岩体性质和强度进行主观判断。然而，判断结果严重依赖于工程经验，往往缺乏准确性、稳定性和可靠性。或者将地下隧道开挖的围岩碴片通过传送带运送至地表，再通过土工筛获得其粒径级配曲线，但这一过程费时费力，并且不能实时地将掌子面围岩情况反馈给操作员，造成决策滞后。尽管结构健康监测系统已在大型隧道中广泛应用来评估结构状况，但是一般都是在隧道建成后安装，所以在挖掘过程中无法发挥作用。因此，在隧道开挖过程中及时识别围岩碴片，准确地获取其形态特征和大小分布，事关隧道开挖安全，是一个亟待解决的重要问题。

发明内容

本发明为了解决实际隧道开挖过程中围岩质量和岩体性质难以实时判断的难题，本发明提供了一种基于实例分割的实际隧道围岩碴片识别方法，本发明提供了以下技术方案：

一种基于实例分割的实际隧道围岩碴片识别方法，包括以下步骤：

步骤1：基于同态滤波和直方图均衡化，对原始图像进行隧道围岩碴片图像进行预处理；

步骤2：根据预处理后的隧道围岩碴片图像，建立目标检测和语义分割子网络，对围岩碴片进行实例分割；

步骤3：基于目标检测和语义分割子网络，进行独立训练；

步骤4：根据独立训练后的分割网络，对原始图像中的碴片识别。

优选地，所述步骤1具体为：

同态滤波的具体为：将原始图像转换为照射分量和反射分量的乘积，然后同时对等式两边取对数后进行二维傅里叶变换，将变换后的图像进行高通滤波处理，增强高频反射分量和抑制低频照射分量，再对滤波后的图像进行二维傅里叶逆变换，变换后的图像进行取指数运算，恢复到原图像域，改善原图像光照条件的效果；

直方图均衡化的具体为：将不同图像的灰度范围均匀归一化至0-255个灰度阶，统一图像灰度分布和增加图像对比度的效果。

优选地，所述步骤2具体为：

针对预处理后的围岩碴片图像，搭建由一个目标检测子网络和一个语义分割子网络组合成的实例分割网络，用于围岩碴片的像素级自动识别，目标检测子网络给出输入图像中围岩碴片的矩形框定位结果，针对每一个矩形框中的围岩碴片，通过语义分割子网络识别出对应的像素，从而实现对每个碴片的实例分割。

优选地，目标检测子网络的数据流包括：网络的输入为512*512*3的RGB图像，由原始图像按512*512的滑动窗口大小，以256像素为重叠长度切割得到，获得对应的真实值标签；目标检测子网络采用七个尺度的卷积模块，每个尺度的特征图尺寸依次减半，由512*512变换到256*256-D1、128*128-D2、64*64-D3、32*32-D4、16*16-D5、8*8-D6、最终减小到4*4-D7；在D3、D4、D5层设置特征融合层，并将融合后的特征图尺寸调整为D3的尺寸即64*64，并且和D4-D7共五个层级，作为自注意力模块的输入；

任一层级的特征图x输入自注意力模块后，经过f、g两个卷积核的特征图变换，再通过扁平化和转置操作转换为平面矩阵、做矩阵乘法运算，经过sofamax运算获得大小为N*N的注意力矩阵，其中，N为一幅图像中的像素数，注意力矩阵再和经过h卷积核运算的特征图相乘，经过变形操作与输入特征图x相加获得特征图o，通过目标检测模块获得定位概率和矩形框坐标，完成目标检测。

优选地，在完成目标检测后，将原始输入图像和目标检测的矩形框定位坐标输入给语义分割网络，同时将目标检测的D1-D4四个阶段对应共享到语义分割网络的S1-S4下采样阶段，实现特征共享；

根据反对称原则搭建S5-S8上采样阶段，在上采样过程中设置跳跃连接和自注意力机制模，低层级特征图xd，尺寸为W*H，经过2倍上采样，通过1*1卷积运算，与下采样前特征图xs，尺寸为2W*2H，相加后通过sigmoid激活函数，再通过1*1卷积，与低层级特征图xd通过1*1卷积运算后进行特征拼接，最终再经过1*1转换通道尺寸，获得高一层级特征图xs1，尺寸为2W*2H。

优选地，所述步骤3具体为：目标检测和语义分割子网络的训练相互独立，先训练目标检测子网络，然后根据矩形框定位结果，将目标检测子网络的前四个层级特征提取模块共享至语义分割子网络作为初始值，训练语义分割子网络；

目标检测子网络的损失函数为一个构造的综合函数，通过下式表示损失函数：

L_conf＝-∑_i[x_i logp_i+(1-x_i)log(1-p_i)]

其中，L_locs和L_conf分别对应位置回归损失和交叉熵置信度损失；α为预设的调节系数，取1；cx,cy,w,h是一个四元数组，对应着矩形定位框的中心坐标、宽度和高度；N_pos代表包含有碴片的矩形框数量；x_i是一个二值化指示函数，1代表正样本包含碴片，0代表负样本不包含碴片；p_i代表分类正确的概率；smoothL1函数代表了预测值

和真实值

的相对差异；

语义分割子网络的损失函数为交叉熵函数，通过下式表示交叉熵函数：

其中，N代表检测出的矩形框数量，Mj代表第j个矩形框中包含的像素数量，t_ij是一个二值化指示函数，取1代表是正样本像素是碴片，取0代表是负样本不是碴片，p_ij代表某个像素点分类正确的概率；

目标检测子网络由带动量的随机梯度下降算法训练，超参数设置为批处理大小为10，动量因子取0.9，初始学习率为0.001；语义分割子网络由Adam算法训练，超参数设置为一阶梯度衰减率取0.9，二阶梯度衰减率取0.999，批处理大小为4，初始学习率为0.001。

优选地，所述步骤4具体为：

针对原始图像中存在碴片，采用512*512的子图像无法完全包括的情况，对原始图像进行8倍下采样和补零运算，再输入独立训练后的分割网络进行识别；

在获得像素级的碴片识别结果后，为了去除小区域噪声点，在后处理中使用了形态学操作的开运算，所选择的结构单元为正方形，尺寸设为5×5，开运算可以去除碴片边缘上的孤立区域和杂点。

本发明具有以下有益效果：

本发明针对实际隧道开挖过程中无法及时准确识别围岩大小的难题，提出了基于实例分割的实际围岩碴片自动像素级识别方法，可以直接应用于施工现场的背景黑暗、尺寸不均、分布密集、相互堆叠的复杂碴片图像识别；针对原始图像背景黑暗的问题，提出了同态滤波和直方图均衡化的图像前处理方法，可以自动去除黑暗背景、增加图像对比度、提高围岩碴片边界轮廓的识别率；针对围岩碴片尺寸不均、分布密集、相互堆叠的识别难题，提出了目标检测和语义分割两阶段识别模型，首先对输入图像的中围岩碴片进行矩形框定位，再对每个矩形框中的碴片进行语义分割，进而识别出每个碴片实例；针对单个超大碴片，进行8倍下采样后输入实例分割网络，从而解决直接采用512*512大小的子图像无法完全包含单个超大碴片的难题；本发明自动、智能、准确、高效，提升了实际隧道开挖过程中碴片图像识别的计算效率以及准确度，整个过程均为自动化处理，显著降低了传统方法中的人工参与度。

本发明还能满足施工现场的在线安全监测预警和实时数据处理需求，直接对采集到的图像进行传输和识别，结果输出延迟可低至1秒以下，解决了传统筛分法速度法、实时性差、费时费力的不足，提高了隧道施工现场安全监督和管理的自动化、智能化程度和准确性。

附图说明

图1为基于实例分割的实际隧道围岩碴片识别方法流程图；

图2为隧道围岩图像和预处理结果及像素级标签的示意图；

图3为实例分割网络的整体示意图；

图4是目标检测子网络的自注意力模块示意图；

图5是语义分割子网络的跳跃连接和自注意力机制模块示意图

图6是像素级围岩碴片识别结果(由左到右分别为输入原始图像、真实标记结果、网络预测结果)；

图7是碴片尺寸的分布曲线对比图。

具体实施方式

以下结合具体实施例，对本发明进行了详细说明。

具体实施例一：

本发明提出了一种基于实例分割的实际隧道围岩碴片识别方法，为了解决实际隧道开挖过程中围岩质量和岩体性质难以实时判断的难题，针对背景黑暗、分布密集、重叠堆积、尺寸不均的围岩碴片图像，首先通过同态滤波和直方图均衡化进行图像预处理获得同灰度量级的图像作为输入，然后以SSD目标检测子网络和U-Net语义分割子网络为基本架构，通过在网络中设置多层级特征融合、先验框尺寸分布、自注意力机制等改进模块，有效地提升了对分布密集、重叠堆积、尺寸不均的围岩碴片像素级识别精度；最后对单个超大碴片进行重识别，并对像素级识别结果进行形态学运算和粒径分布统计分析。本发明过程的整体流程图如图1所示。

本发明提供一种基于实例分割的实际隧道围岩碴片识别方法，包括以下步骤：

一种基于实例分割的实际隧道围岩碴片识别方法，包括以下步骤：

步骤1：基于同态滤波和直方图均衡化，对原始图像进行隧道围岩碴片图像进行预处理；

所述步骤1具体为：由于实际隧道开挖过程中的光照条件不佳，拍摄到围岩碴片往往具有背景黑暗的特点，无法直接分辨其中的围岩边界。针对这一特点，首先采用同态滤波和直方图均衡化处理，获得背景清楚、对比度较高、更加清晰可见的围岩图像。

同态滤波的具体过程如下：将原始图像看作是照射分量和反射分量的乘积，然后同时对等式两边取对数后进行二维傅里叶变换，将变换后的图像进行高通滤波处理，增强高频反射分量、抑制低频照射分量，再对滤波后的图像进行二维傅里叶逆变换，变换后的图像进行取指数运算，恢复到原图像域，起到改善原图像较差光照条件的效果。

直方图均衡化的具体过程如下：同态滤波后的图像虽然光照条件有所改善，但是不同图像的灰度范围仍不尽相同。为了得到具有统一灰度范围的图像，将不同图像的灰度范围均匀归一化至0-255这256个灰度阶，最终起到统一图像灰度分布、增加图像对比度的效果。

经过同态滤波和直方图均衡化的图像预处理过程后，原始背景黑暗的围岩碴片图像得到改善。图像中的围岩碴片虽然分布密集且重叠堆积，但是背景黑暗的问题得到解决，并且对比度明显、边界清晰可见，可以应用于像素级别的碴片实例标签工作，如图2所示：从左至右依次为：原始图像、同态滤波结果、直方图均衡化结果、像素级标签。

步骤2：根据预处理后的隧道围岩碴片图像，建立目标检测和语义分割子网络，对围岩碴片进行实例分割；

所述步骤2具体为：针对预处理后的围岩碴片图像，本发明搭建了由一个目标检测子网络和一个语义分割子网络组合成的实例分割网络，用于围岩碴片的像素级自动识别。网络整体示意图如图3所示。目标检测子网络给出输入图像中围岩碴片的矩形框定位结果，然后针对每一个矩形框中的围岩碴片，通过语义分割子网络识别出对应的像素，从而实现对每个碴片的实例分割。

目标检测子网络的数据流如下。网络的输入为512*512*3的RGB图像，由原始图像按512*512的滑动窗口大小、以256像素为重叠长度切割得到，对应的真实值标签也由此方式获得。目标检测子网络采用七个尺度的卷积模块，每个尺度的特征图尺寸依次减半，由512*512变换到256*256-D1、128*128-D2、64*64-D3、32*32-D4、16*16-D5、8*8-D6、最终减小到4*4-D7。为了减小中间层的特征泄露，在D3、D4、D5层设置特征融合层，并将融合后的特征图尺寸调整为D3的尺寸即64*64，并且和D4-D7共五个层级，作为自注意力模块的输入。自注意力模块的设置是为了能够自动识别处于不同位置的碴片图像，将注意力自动放在需要识别的位置，自注意力模块的示意图如图4所示。图中的C、W、H代表特征图的通道数、宽度和高度，conv1*1和conv3*3代表1*1卷积和3*3卷积运算。任一层级的特征图x输入自注意力模块后，经过f、g两个卷积核的特征图变换，再通过扁平化和转置操作转换为平面矩阵、做矩阵乘法运算，经过sofamax运算获得大小为N*N的注意力矩阵，其中N为一幅图像中的像素数(宽度乘以高度)，即N＝W*H。注意力矩阵再和经过h卷积核运算的特征图相乘，经过变形操作与输入特征图x相加获得特征图o，通过目标检测模块获得定位概率和矩形框坐标，至此完成目标检测。

在完成目标检测后，将原始输入图像和目标检测的矩形框定位坐标输入给语义分割网络，同时将目标检测的D1-D4四个阶段对应共享到语义分割网络的S1-S4下采样阶段，实现特征共享；并且根据反对称原则搭建S5-S8上采样阶段，在上采样过程中设置跳跃连接和自注意力机制模块，如图5所示。低层级特征图xd(尺寸为W*H)经过2倍上采样、通过1*1卷积运算，与下采样前特征图xs(尺寸为2W*2H)相加后通过sigmoid激活函数、再通过1*1卷积，与低层级特征图xd通过1*1卷积运算后进行特征拼接，最终再经过1*1转换通道尺寸，获得高一层级特征图xs1(尺寸为2W*2H)。

步骤3：基于目标检测和语义分割子网络，进行独立训练；目标检测和语义分割子网络的训练相互独立，先训练目标检测子网络，然后根据矩形框定位结果、并且将目标检测子网络的前四个层级特征提取模块共享至语义分割子网络作为初始值，训练语义分割子网络。

所述步骤3具体为：目标检测和语义分割子网络的训练相互独立，先训练目标检测子网络，然后根据矩形框定位结果，将目标检测子网络的前四个层级特征提取模块共享至语义分割子网络作为初始值，训练语义分割子网络；

目标检测子网络的损失函数为一个构造的综合函数，通过下式表示损失函数：

L_conf＝-∑_i[x_i logp_i+(1-x_i)log(1-p_i)]

其中，L_locs和L_conf分别对应位置回归损失和交叉熵置信度损失；α为预设的调节系数，取1；cx,cy,w,h是一个四元数组，对应着矩形定位框的中心坐标、宽度和高度；N_pos代表包含有碴片的矩形框数量；x_i是一个二值化指示函数，1代表正样本包含碴片，0代表负样本不包含碴片；p_i代表分类正确的概率；smoothL1函数代表了预测值

和真实值

的相对差异；

语义分割子网络的损失函数为交叉熵函数，通过下式表示交叉熵函数：

其中，N代表检测出的矩形框数量，Mj代表第j个矩形框中包含的像素数量，t_ij是一个二值化指示函数，取1代表是正样本像素是碴片，取0代表是负样本不是碴片，p_ij代表某个像素点分类正确的概率；

目标检测子网络由带动量的随机梯度下降算法训练，超参数设置为批处理大小为10，动量因子取0.9，初始学习率为0.001；语义分割子网络由Adam算法训练，超参数设置为一阶梯度衰减率取0.9，二阶梯度衰减率取0.999，批处理大小为4，初始学习率为0.001。

步骤4：根据独立训练后的分割网络，对原始图像中的碴片识别。

所述步骤4具体为：

针对原始图像中存在的较大碴片、采用512*512的子图像无法完全包括的情况，对原始图像进行8倍下采样和补零运算，再输入上述实例分割网络进行识别，这样可以弥补超大碴片无法得到识别的不足。在获得像素级的碴片识别结果后，为了去除小区域噪声点，在后处理中使用了形态学操作的开运算，所选择的结构单元为正方形，尺寸设为5×5。开运算可以去除碴片边缘上很小的孤立区域和杂点。图6为像素级围岩碴片识别结果，左中右依次为原始图像、真实标签和识别结果。围岩碴片的识别率定义如下。对于语义分割，碴片预测像素区与真实像素区之间的交占比超过0.5则视为已识别。平均结果表明，整幅图像中88.8％的碴片能够被分割出来，平均识别交占比达到0.76。在获得像素级围岩碴片识别结果后，对每个碴片进行连通区域分析和最小外接椭圆分析，以像素为单位计算出长轴和短轴的长度，绘制出图6碴片尺寸的分布曲线，如图7所示。结果表明碴片长轴长和矩轴长的概率分布以及累积概率分布曲线均稳合较好，证明了识别结果的准确性。

以上所述仅是一种基于实例分割的实际隧道围岩碴片识别方法的优选实施方式，一种基于实例分割的实际隧道围岩碴片识别方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。

Claims (6)

1.一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：包括以下步骤：

步骤1：基于同态滤波和直方图均衡化，对原始图像进行隧道围岩碴片图像进行预处理；

步骤2：根据预处理后的隧道围岩碴片图像，建立目标检测和语义分割子网络，对围岩碴片进行实例分割；

步骤3：基于目标检测和语义分割子网络，进行独立训练；

所述步骤3具体为：目标检测和语义分割子网络的训练相互独立，先训练目标检测子网络，然后根据矩形框定位结果，将目标检测子网络的前四个层级特征提取模块共享至语义分割子网络作为初始值，训练语义分割子网络；

目标检测子网络的损失函数为一个构造的综合函数，通过下式表示损失函数：

L_conf＝-∑_i[x_ilog p_i+(1-x_i)log(1-p_i)]

其中，L_locs和L_conf分别对应位置回归损失和交叉熵置信度损失；α为预设的调节系数，取1；cx,cy,w,h是一个四元数组，对应着矩形定位框的中心坐标、宽度和高度；N_pos代表包含有碴片的矩形框数量；x_i是一个二值化指示函数，1代表正样本包含碴片，0代表负样本不包含碴片；p_i代表分类正确的概率；smoothL1函数代表了预测值

和真实值

的相对差异；

语义分割子网络的损失函数为交叉熵函数，通过下式表示交叉熵函数：

其中，N代表检测出的矩形框数量，Mj代表第j个矩形框中包含的像素数量，t_ij是一个二值化指示函数，取1代表是正样本像素是碴片，取0代表是负样本不是碴片，p_ij代表某个像素点分类正确的概率；

目标检测子网络由带动量的随机梯度下降算法训练，超参数设置为批处理大小为10，动量因子取0.9，初始学习率为0.001；语义分割子网络由Adam算法训练，超参数设置为一阶梯度衰减率取0.9，二阶梯度衰减率取0.999，批处理大小为4，初始学习率为0.001；

步骤4：根据独立训练后的分割网络，对原始图像中的碴片识别。

2.根据权利要求1所述的一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：所述步骤1具体为：

同态滤波的具体为：将原始图像转换为照射分量和反射分量的乘积，然后同时对等式两边取对数后进行二维傅里叶变换，将变换后的图像进行高通滤波处理，增强高频反射分量和抑制低频照射分量，再对滤波后的图像进行二维傅里叶逆变换，变换后的图像进行取指数运算，恢复到原图像域，改善原图像光照条件的效果；

直方图均衡化的具体为：将不同图像的灰度范围均匀归一化至0-255个灰度阶，统一图像灰度分布和增加图像对比度的效果。

3.根据权利要求1所述的一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：所述步骤2具体为：

针对预处理后的围岩碴片图像，搭建由一个目标检测子网络和一个语义分割子网络组合成的实例分割网络，用于围岩碴片的像素级自动识别，目标检测子网络给出输入图像中围岩碴片的矩形框定位结果，针对每一个矩形框中的围岩碴片，通过语义分割子网络识别出对应的像素，从而实现对每个碴片的实例分割。

4.根据权利要求3所述的一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：目标检测子网络的数据流包括：网络的输入为512*512*3的RGB图像，由原始图像按512*512的滑动窗口大小，以256像素为重叠长度切割得到，获得对应的真实值标签；目标检测子网络采用七个尺度的卷积模块，每个尺度的特征图尺寸依次减半，由512*512变换到256*256-D1、128*128-D2、64*64-D3、32*32-D4、16*16-D5、8*8-D6、最终减小到4*4-D7；在D3、D4、D5层设置特征融合层，并将融合后的特征图尺寸调整为D3的尺寸即64*64，并且和D4-D7共五个层级，作为自注意力模块的输入；

任一层级的特征图x输入自注意力模块后，经过f、g两个卷积核的特征图变换，再通过扁平化和转置操作转换为平面矩阵、做矩阵乘法运算，经过sofamax运算获得大小为N*N的注意力矩阵，其中，N为一幅图像中的像素数，注意力矩阵再和经过h卷积核运算的特征图相乘，经过变形操作与输入特征图x相加获得特征图o，通过目标检测模块获得定位概率和矩形框坐标，完成目标检测。

5.根据权利要求4所述的一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：在完成目标检测后，将原始输入图像和目标检测的矩形框定位坐标输入给语义分割网络，同时将目标检测的D1-D4四个阶段对应共享到语义分割网络的S1-S4下采样阶段，实现特征共享；

根据反对称原则搭建S5-S8上采样阶段，在上采样过程中设置跳跃连接和自注意力机制模，低层级特征图xd，尺寸为W*H，经过2倍上采样，通过1*1卷积运算，与下采样前特征图xs，尺寸为2W*2H，相加后通过sigmoid激活函数，再通过1*1卷积，与低层级特征图xd通过1*1卷积运算后进行特征拼接，最终再经过1*1转换通道尺寸，获得高一层级特征图xs1，尺寸为2W*2H。

6.根据权利要求1所述的一种基于实例分割的实际隧道围岩碴片识别方法，其特征是：所述步骤4具体为：

针对原始图像中存在碴片，采用512*512的子图像无法完全包括的情况，对原始图像进行8倍下采样和补零运算，再输入独立训练后的分割网络进行识别；

在获得像素级的碴片识别结果后，为了去除小区域噪声点，在后处理中使用了形态学操作的开运算，所选择的结构单元为正方形，尺寸设为5×5，开运算可以去除碴片边缘上的孤立区域和杂点。

Images