CN116503391A - 一种隧道掌子面岩体节理裂隙识别方法及识别装置 - Google Patents

一种隧道掌子面岩体节理裂隙识别方法及识别装置 Download PDF

Info

Publication number
CN116503391A
CN116503391A CN202310752289.1A CN202310752289A CN116503391A CN 116503391 A CN116503391 A CN 116503391A CN 202310752289 A CN202310752289 A CN 202310752289A CN 116503391 A CN116503391 A CN 116503391A
Authority
CN
China
Prior art keywords
frame
mask
rock mass
joint
tunnel face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310752289.1A
Other languages
English (en)
Inventor
雷明锋
张运波
肖勇卓
王卫东
贾朝军
施成华
丁家浩
黄娟
杨伟超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310752289.1A priority Critical patent/CN116503391A/zh
Publication of CN116503391A publication Critical patent/CN116503391A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种隧道掌子面岩体节理裂隙识别方法及识别装置，所述识别方法包括步骤S1、制作样本库；步骤S2、对样本库中的数据进行标注形成标签；由标签和样本库组成数据集；步骤S3、根据数据集构建权重参数优化后的Mask R‑CNN深度学习网络模型；步骤S4、根据步骤S3掩码分割得到掌子面岩体节理裂隙的信息。所述识别装置包括手机、路由器、服务器、移动电源和标定尺；路由器通过网线与服务器连接，且路由器与服务器均与移动电源连接；手机内置掌子面智能识别app，且手机与路由器连接；标定尺设置在手机待拍摄的隧道掌子面上。本发明能够快速识别掌子面岩体节理裂隙，还能够适用于背景复杂的隧道掌子面围岩等级判定任务。

Description

一种隧道掌子面岩体节理裂隙识别方法及识别装置
技术领域
本发明涉及隧道工程检测技术领域，具体涉及一种隧道掌子面岩体节理裂隙识别方法及识别装置。
背景技术
隧道工程作为隐蔽性工程，复杂的地质环境一直是建设者们面临的重大难题。隧道掌子面作为揭露这一复杂地质条件最直观的载体，承载了各种类型的地质信息。其中，掌子面岩体的节理裂隙是最常用到的地质预报信息，直观反映了掌子面的完整性，是判断围岩等级和施工安全性的重要指标。掌子面节理裂隙的检测不准确将影响围岩等级的判断，造成修建事故或者支护浪费，甚至威胁后期的运营安全。
传统的隧道掌子面节理裂隙检测以人工素描方式为主，通过人眼观测掌子面节理裂隙位置，绘制在素描纸张上并进行存档。人工素描方式不仅效率低下，且素描结果受工作人员主观影响严重，在实际工作中经常出现错检和漏检的现象。
随着计算机性能的快速提升，数字图像处理和三维点云处理方法逐步应用于隧道掌子面节理裂隙的识别。数字图像处理方法的核心是图像处理与特征提取，通过数字图像处理算法如形态学算法、边缘算法、分割算法等处理掌子面照片获得掌子面节理裂隙。数字图像处理方法虽然可以快速识别到节理裂隙，但是该方法依赖于掌子面岩体图像中节理裂隙与岩体背景特征的明显差异，不适用于节理裂隙背景复杂的隧道掌子面检测任务。
三维点云处理方法是采用三维激光扫描技术获取带有三维空间信息的点云数据，通过聚类分析算法处理掌子面点云数据获得掌子面结构面，以表征掌子面表观形态特征。三维点云处理方法在数据采集和数据分析阶段费时费力，极大影响了现场施工，迟滞施工进度，难以直接应用于在建隧道的掌子面检测任务。
发明内容
本发明目的在于提供一种隧道掌子面岩体节理裂隙识别方法及识别装置，具体技术方案如下：
在第一方面，本发明提供了一种隧道掌子面岩体节理裂隙识别方法，其包括以下步骤：
步骤S1、收集隧道掌子面岩体图像数据，制作样本库；
步骤S2、采用标注软件对步骤S1中的所述样本库中的数据进行标注，形成标签；在所述标签中包含真实框；由所述标签和所述样本库组成数据集；
步骤S3、根据步骤S2中的数据集，构建权重参数优化后的Mask R-CNN深度学习网络模型，用于自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割；
步骤S4、根据步骤S3掩码分割得到节理裂隙掩码像素含量，经过多级处理得到整个掌子面节理裂隙的数量、长度和宽度信息。
可选的，在步骤S3中，包括以下构建步骤：
步骤S3.1、构建主干网络Resnet101和主干网络FPN
所述Resnet101包括Transformer注意力机制和多个残差神经网络处理单元；各所述残差神经网络处理单元均包括Conv Block残差神经网络和多个串联设置的IdentityBlock残差神经网络，所述Conv Block残差神经网的输入端接收所述数据集中的掌子面岩体图像，用于改变掌子面岩体图像维度大小，而输出端连接Identity Block残差神经网络；在所述Identity Block残差神经网络中设置可变形卷积，所述可变形卷积与Transformer注意力机制连接，用于提取出掌子面岩体图像不规则的结构面特征信息C1-C4；
将结构面特征信息C1-C4经FPN卷积、上采样和最大池化处理得到有效特征层P1-P5；
步骤S3.2、构建区域建议网络RPN，生成建议框
首先，采用RPN自动生成先验框；其次，RPN基于先验框以滑动扫描的方式遍历有效特征层P1-P5中的每一个像素；然后，计算先验框与真实框的交集与并集的比值IOU，若IOU＞70%，则先验框被标定为正样本；若IOU＜30%，则先验框被标定为负样本；若70%≥IOU≥30%，则先验框被称为中性样本，不参与训练过程而被剔除；
被筛选为正样本和负样本的先验框，通过RPN训练误差函数训练判定先验框类别的模型，构建出区域建议网络RPN；其中，RPN训练误差函数采用式（1）表示：
（1）；
在式（1）中，表示先验框的索引，/>表示预测/>先验框为正样本的概率，真实标注框标签/>等于1表示/>先验框为正样本，真实标注框标签/>等于0表示/>先验框为负样本，表示与预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度相关的向量，/>表示与真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度相关的向量，分类误差函数/>为正样本和负样本两个类的对数误差，/>与/>分别表示参与/>层与/>层的样本数量，/>表示正则化参数，/>表示回归误差函数；
最后，由所述区域建议网络RPN自动生成包含节理裂隙目标物体的建议框；
步骤S3.3、利用ROIAlign（具体为Region of Interest Align）根据步骤S3.2生成的建议框的坐标和大小，在有效特征层上将其映射为相应的空间位置，并在建议框内部均匀采样，针对每个采样位置使用双线性插值从特征图上计算出对应的特征值，将所有采样位置的特征值组合起来，形成ROIAlign操作的输出，生成了尺寸统一的ROI框；
步骤S3.4、对步骤S3.3生成的ROI框进行具体分类和精调以获得掩码分类模型，并生成mask掩码；
其中，掩码分类模型的误差函数采用式（2）表示：
（2）；
在式（2）中，；/>表示像素点的横坐标，/>表示像素点的纵坐标；/>值为0或1，0表示坐标为（/>，/>）的像素点的类别为背景，1则表示坐标为（/>，/>）的像素点的类别为目标；/>表示坐标为（/>，/>）的像素点的类别预测为目标的概率；
步骤S3.5、采用最终训练误差函数获得权重参数优化后的Mask R-CNN深度学习网络模型
所述最终训练误差函数采用式（3）表示：
（3）；
在式（3）中，表示精调位置回归误差函数；
所述Mask R-CNN深度学习网络模型具有分类、精调位置回归以及掩码分类功能，能够自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割。
可选的，在步骤S3.2中，回归误差函数采用式（4）表示：
（4）；
在式（4）中，表示具有鲁棒性的误差函数，所述/>采用式（5）表示：
（5）；
在式式（1）、式（4）和式（5）中，，其中，，；式中，和/>分别表示预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度；/>和/>分别表示先验框的中心横坐标、中心纵坐标、先验框的宽度和先验框的高度；/>和/>分别表示真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度。
可选的，在步骤S3.5中掩码分割的过程为采用所述Mask R-CNN深度学习网络模型识别掌子面岩体图像的节理裂隙，自动检测出节理裂隙的位置并进行实例分割，生成检测框；根据检测框的左下角像素坐标和右上角像素坐标/>，生成掩码覆盖在检测框上完成掩码分割。
可选的，在步骤S4中的多级处理包括通过尺寸标定节理裂隙掩码像素含量得到单像素边长/>，换算出实际的节理裂隙区域的面积/>，通过掩码区域的骨架化处理得到节理裂隙的骨架线，计算得到骨架线像素量/>，进而计算出节理裂隙的长度/>，随后，计算出节理裂隙的平均宽度/>。
可选的，所述真实框包括节理裂隙的掩码以及围绕掩码生成的边界框。
可选的，在步骤S2中，所述标注软件为LabelMe标注软件，其在标注时，需要对样本库中数据的节理裂隙目标轮廓进行多边形描绘标注。
可选的，在步骤S2中，在标注前，采用水平翻转的方式将步骤S1中的所述样本库数据扩充为原来的两倍。
在第二方面，本发明提供了一种用于实现所述隧道掌子面岩体节理裂隙识别方法的识别装置，其包括手机、路由器、服务器、移动电源和标定尺；
所述路由器通过网线与服务器连接，且所述路由器与服务器均与移动电源连接；所述手机内置掌子面智能识别app，且所述手机通过无线信号与路由器连接，并通过路由器调用服务器的运算服务，接收所述服务器的运算结果；
所述标定尺设置在所述手机待拍摄的隧道掌子面上。
可选的，所述识别装置通过所述掌子面智能识别app对手机的拍摄图像进行预处理，所述预处理包括图像去噪、尺寸调整和增强操作。
可选的，所述掌子面智能识别app的软件著作登记号为2022SR0039273。
应用本发明的技术方案，具有以下有益效果：
（1）本发明中所述隧道掌子面岩体节理裂隙识别方法，根据步骤S1-S2获得隧道掌子面岩体图像的数据集，构建出步骤S3中的Mask R-CNN深度学习网络模型，能够自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割，且能够快速识别节理裂隙，大大提高了数据采集和数据分析效率；采用步骤S4根据步骤S3掩码分割得到节理裂隙掩码像素含量，经过多级处理得到整个掌子面节理裂隙的数量、长度和宽度信息，为围岩分级的完整性指标提供了丰富的参考数据，具有很高的应用价值。所述隧道掌子面岩体节理裂隙识别方法能够适用于背景复杂的隧道掌子面围岩等级判定任务，且大大提高了数据采集和数据分析效率，解决了现有数字图像处理方法和三维点云处理方法存在的问题。
（2）本发明中所述识别装置，通过手机内置掌子面智能识别app，自动获取隧道掌子面岩体图像数据，有效解决了围岩分级指标人工获取主观性的影响；将Mask R-CNN深度学习网络模型移植于服务器中，手机通过路由器调用服务器的运算服务，接收所述服务器的运算结果，实现了隧道掌子面节理裂隙信息的自动化提取，提高了工程效率，具有重要的研究意义和应用价值。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例1中的一种隧道掌子面岩体节理裂隙识别方法的流程图；
图2是本发明实施例1中的主干网络FPN获取有效特征层P1-P5的流程图；
图3是本发明实施例1中Mask R-CNN深度学习网络自动定位框选掌子面岩体图像中的节理裂隙目标图；
图4是本发明实施例1中Mask R-CNN深度学习网络掩码分割后的掌子面节理裂隙图；
图5是本发明实施例1中的一种隧道掌子面岩体节理裂隙识别装置的结构示意图；
其中，1、手机，2、路由器，3、服务器，4、移动电源，5、标定尺。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参见图1和图3-4，一种隧道掌子面岩体节理裂隙识别方法，包括以下步骤：
步骤S1、收集隧道掌子面岩体图像数据，制作样本库；
具体的，收集隧道掌子面岩体图像数据需要采用识别装置中的手机拍摄隧道掌子面照片1000张，每张掌子面照片的像素大小为3000×4000pixel，经过压缩照片尺寸为512×512pixel，制作出样本库；
步骤S2、采用水平翻转的方式将步骤S1中的所述样本库数据扩充为原来的两倍；采用标注软件对步骤S1中的所述样本库中的数据进行标注，形成标签；在所述标签中包含真实框；由所述标签和所述样本库组成数据集；
步骤S3、根据步骤S2中的数据集，构建权重参数优化后的Mask R-CNN深度学习网络模型，用于自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割；
步骤S4、根据步骤S3掩码分割得到节理裂隙掩码像素含量，经过多级处理得到整个掌子面节理裂隙的数量、长度和宽度信息，为围岩分级的完整性指标提供了丰富的参考数据。
在步骤S3中，包括以下构建步骤：
参见图2，步骤S3.1、构建主干网络Resnet101和主干网络FPN（即Feature PyramidNetwork）
所述Resnet101包括Transformer注意力机制和多个残差神经网络处理单元；各所述残差神经网络处理单元均包括Conv Block（即卷积模块）残差神经网络和多个串联设置的Identity Block（即恒等模块）残差神经网络，所述Conv Block残差神经网的输入端接收所述数据集中的掌子面岩体图像，用于改变掌子面岩体图像维度大小，而输出端连接Identity Block残差神经网络；在所述Identity Block残差神经网络中设置可变形卷积，所述可变形卷积与Transformer注意力机制连接，用于提取出掌子面岩体图像不规则的结构面特征信息C1-C4；
将结构面特征信息C1-C4经FPN卷积、上采样和最大池化处理得到有效特征层P1-P5；具体的，有效特征层P1-P5的尺寸分别为128×128pixel、64×64pixel、32×32pixel、16×16pixel、8×8pixel
步骤S3.2、构建区域建议网络RPN（即Region Proposal Network），生成建议框
首先，采用RPN自动生成先验框；其次，RPN基于先验框以滑动扫描的方式遍历有效特征层P1-P5中的每一个像素；然后，计算先验框与真实框的交集与并集的比值IOU（即Intersection Over Union），若IOU＞70%，则先验框被标定为正样本；若IOU＜30%，则先验框被标定为负样本；若70%≥IOU≥30%，则先验框被称为中性样本，不参与训练过程而被剔除；
被筛选为正样本和负样本的先验框，通过RPN训练误差函数训练判定先验框类别的模型，构建出区域建议网络RPN；其中，RPN训练误差函数采用式（1）表示：
（1）；
在式（1）中，表示先验框的索引，/>表示预测/>先验框为正样本的概率，真实标注框标签/>等于1表示/>先验框为正样本，真实标注框标签/>等于0表示/>先验框为负样本，表示与预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度相关的向量，/>表示与真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度相关的向量，分类误差函数/>为两个类的对数误差，/>与/>分别表示参与/>层与/>层的样本数量，表示正则化参数，/>表示回归误差函数，在本实施例中/>，/>，；
最后，由所述区域建议网络RPN自动生成包含节理裂隙目标物体的建议框；
步骤S3.3、利用ROIAlign（具体为Region of Interest Align）根据步骤S3.2生成的建议框的坐标和大小，在有效特征层上将其映射为相应的空间位置，并在建议框内部均匀采样，针对每个采样位置使用双线性插值从特征图上计算出对应的特征值，将所有采样位置的特征值组合起来，形成ROIAlign操作的输出，生成了尺寸统一为7×7的ROI框；
步骤S3.4、对步骤S3.3生成的ROI框进行具体分类和精调以获得掩码分类模型，并生成mask掩码，掩码尺寸为28×28；
其中，掩码分类模型的误差函数采用式（2）表示：
（2）；
在式（2）中，；/>表示像素点的横坐标，/>表示像素点的纵坐标；/>值为0或1，0表示坐标为（/>，/>）的像素点的类别为背景，1则表示坐标为（/>，/>）的像素点的类别为目标；/>表示坐标为（/>，/>）的像素点的类别预测为目标的概率；
步骤S3.5、采用最终训练误差函数获得权重参数优化后的Mask R-CNN深度学习网络模型
所述最终训练误差函数采用式（3）表示：
（3）；
在式（3）中，表示精调位置回归误差函数；
参见图3，所述Mask R-CNN深度学习网络模型具有分类、精调位置回归以及掩码分类功能，能够自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割。
在步骤S3.2中，回归误差函数采用式（4）表示：
（4）；
在式（4）中，表示具有鲁棒性的误差函数，所述/>采用式（5）表示：
（5）；
在式式（1）、式（4）和式（5）中，，其中，/>，；式中，和/>分别表示预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度；/>和/>分别表示先验框的中心横坐标、中心纵坐标、先验框的宽度和先验框的高度；/>和/>分别表示真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度。
在步骤S3.5中掩码分割的过程为采用所述Mask R-CNN深度学习网络模型识别掌子面岩体图像的节理裂隙，自动检测出节理裂隙的位置并进行实例分割，生成检测框，参见表1，共示出了12组检测框；根据检测框的左下角像素坐标和右上角像素坐标/>，生成掩码覆盖在检测框上完成掩码分割。
表1 采用Mask R-CNN深度学习网络模型生成检测框的坐标信息
在步骤S4中的多级处理包括通过尺寸标定节理裂隙掩码像素含量得到单像素边长/>，换算出实际的节理裂隙区域的面积/>，通过掩码区域的骨架化处理得到节理裂隙的骨架线，计算得到骨架线像素量/>，进而计算出节理裂隙的长度/>，随后，计算出节理裂隙的平均宽度/>。在表2中示出了表1中12组检测框被掩码分割后的单像素边长/>、骨架线像素量/>和节理裂隙长度/>的情况。
表2 是表1中12组检测框被掩码分割后的单像素边长、骨架线像素量/>和节理裂隙长度/>的情况
所述真实框包括节理裂隙的掩码以及围绕掩码生成的边界框。
在步骤S2中，所述标注软件为LabelMe标注软件，其在标注时，需要对样本库中数据的节理裂隙目标轮廓进行多边形描绘标注。
参见图5，一种用于实现所述隧道掌子面岩体节理裂隙识别方法的识别装置，包括手机1、路由器2、服务器3、移动电源4和标定尺5；
所述路由器2通过网线与服务器3连接，且所述路由器2与服务器3均与移动电源4连接；所述手机1内置掌子面智能识别app，且所述手机1通过无线信号与路由器2连接，并通过路由器2调用服务器3的运算服务，接收所述服务器3的运算结果；其中，所述运算服务即为利用所述Mask R-CNN深度学习网络模型对手机1拍摄输入的隧道掌子面照片进行的识别运算服务；所述运算结果即为所述Mask R-CNN深度学习网络模型对隧道掌子面照片掩码分割后的掌子面节理裂隙图以及获得被掩码分割后的节理裂隙长度的信息。
所述标定尺5设置在所述手机1待拍摄的隧道掌子面上，所述标定尺5用于对拍摄的隧道掌子面岩体图像进行尺寸标定，便于计算实测尺寸与像素的比值，得到单像素边长。
所述掌子面智能识别app的软件著作登记号为2022SR0039273；在使用所述掌子面智能识别app时，点击手机1界面掌子面智能识别app的图标，点击“相机”按钮，调用手机1相机功能，对掌子面岩体图像进行拍摄，掌子面岩体图像中需要包含完整的标定尺5。
所述识别装置通过手机内置掌子面智能识别app对手机的拍摄图像进行预处理，所述预处理包括图像去噪、尺寸调整和增强操作，以提高后续的识别准确性，并通过标定尺5的真实长度除以像素长度即可得到单位像素代表的真实尺寸；将Mask R-CNN深度学习网络模型移植于服务器中，点击掌子面智能识别app的“启动”按钮，触发掌子面智能识别app与服务器的通信，将预处理后的图像通过路由器传输到服务器上进行图像识别，在服务器上启动Mask R-CNN深度学习网络模型，对识别后的图像进行运算处理，实现对掌子面岩体节理裂隙的自动识别和分割，得到节理裂隙的位置、形状和尺寸（如长度）信息；掌子面智能识别app接收所述服务器的运算结果，并将运算结果展示在手机app的主页面上，实现了隧道掌子面节理裂隙信息的自动化提取与可视化，提高了工程效率，具有重要的研究意义和应用价值。
基于所述识别装置，所述隧道掌子面岩体节理裂隙识别方法能够适用于背景复杂的隧道掌子面围岩等级判定任务，且大大提高了数据采集和数据分析效率，解决了现有数字图像处理方法和三维点云处理方法存在的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种隧道掌子面岩体节理裂隙识别方法，其特征在于，包括以下步骤：
步骤S1、收集隧道掌子面岩体图像数据，制作样本库；
步骤S2、采用标注软件对步骤S1中的所述样本库中的数据进行标注，形成标签；在所述标签中包含真实框；由所述标签和所述样本库组成数据集；
步骤S3、根据步骤S2中的数据集，构建权重参数优化后的Mask R-CNN深度学习网络模型，用于自动定位框选掌子面岩体图像中的岩体节理裂隙目标并对其进行掩码分割；其中，构建的步骤包括：
步骤S3.1、构建主干网络Resnet101和主干网络FPN；
步骤S3.2、构建区域建议网络RPN，生成建议框；
步骤S3.3、利用ROIAlign根据步骤S3.2生成的建议框的坐标和大小，并形成ROIAlign操作的输出，生成了尺寸统一的ROI框；
步骤S3.4、对步骤S3.3生成的ROI框进行具体分类和精调以获得掩码分类模型，并生成mask掩码；
步骤S3.5、采用最终训练误差函数获得权重参数优化后的Mask R-CNN深度学习网络模型；
步骤S4、根据步骤S3掩码分割得到节理裂隙掩码像素含量M，经过多级处理得到整个掌子面岩体节理裂隙的数量、长度和宽度信息。
2.根据权利要求1所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S3中，步骤S3.1具体为：
所述Resnet101包括Transformer注意力机制和多个残差神经网络处理单元；各所述残差神经网络处理单元均包括Conv Block残差神经网络和多个串联设置的Identity Block残差神经网络，所述Conv Block残差神经网的输入端接收所述数据集中的掌子面岩体图像，用于改变掌子面岩体图像维度大小，而输出端连接Identity Block残差神经网络；在所述Identity Block残差神经网络中设置可变形卷积，所述可变形卷积与Transformer注意力机制连接，用于提取出掌子面岩体图像不规则的结构面特征信息C1-C4；
将结构面特征信息C1-C4经FPN卷积、上采样和最大池化处理得到有效特征层P1-P5；
步骤S3.2具体为：
首先，采用RPN自动生成先验框；其次，RPN基于先验框以滑动扫描的方式遍历有效特征层P1-P5中的每一个像素；然后，计算先验框与真实框的交集与并集的比值IOU，若IOU＞70%，则先验框被标定为正样本；若IOU＜30%，则先验框被标定为负样本；若70%≥IOU≥30%，则先验框被称为中性样本，不参与训练过程而被剔除；
被筛选为正样本和负样本的先验框，通过RPN训练误差函数训练判定先验框类别的模型，构建出区域建议网络RPN；其中，RPN训练误差函数采用式（1）表示：
（1）；
在式（1）中，表示先验框的索引，/>表示预测/>先验框为正样本的概率，真实标注框标签/>等于1表示/>先验框为正样本，真实标注框标签/>等于0表示/>先验框为负样本，/>表示与预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度相关的向量，/>表示与真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度相关的向量，分类误差函数/>为正样本和负样本两个类的对数误差，/>与/>分别表示参与/>层与/>层的样本数量，/>表示正则化参数，/>表示回归误差函数；
最后，由所述区域建议网络RPN自动生成包含节理裂隙目标物体的建议框；
步骤S3.3中的ROIAlign为Region of Interest Align，利用Region of InterestAlign根据步骤S3.2生成的建议框的坐标和大小，在有效特征层上将其映射为相应的空间位置，并在建议框内部均匀采样，针对每个采样位置使用双线性插值从特征图上计算出对应的特征值，将所有采样位置的特征值组合起来，形成ROIAlign操作的输出，生成了尺寸统一的ROI框；
步骤S3.4中的掩码分类模型的误差函数采用式（2）表示：
（2）；
在式（2）中，；/>表示像素点的横坐标，/>表示像素点的纵坐标；/>值为0或1，0表示坐标为（/>，/>）的像素点的类别为背景，1则表示坐标为（/>，/>）的像素点的类别为目标；/>表示坐标为（/>，/>）的像素点的类别预测为目标的概率；
步骤S3.5中的最终训练误差函数采用式（3）表示：
（3）；
在式（3）中，表示精调位置回归误差函数；
所述Mask R-CNN深度学习网络模型具有分类、精调位置回归以及掩码分类功能，能够自动定位框选掌子面岩体图像中的节理裂隙目标并对其进行掩码分割。
3.根据权利要求2所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S3.2中，回归误差函数采用式（4）表示：
（4）；
在式（4）中，表示具有鲁棒性的误差函数，所述/>采用式（5）表示：
（5）；
在式（1）-式（5）中，，其中，，；式中，和/>分别表示预测框的中心横坐标、中心纵坐标、预测框的宽度和预测框的高度；/>和/>分别表示先验框的中心横坐标、中心纵坐标、先验框的宽度和先验框的高度；/>和/>分别表示真实框的中心横坐标、中心纵坐标、真实框的宽度和真实框的高度。
4.根据权利要求2所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S3.5中掩码分割的过程为采用所述Mask R-CNN深度学习网络模型识别掌子面岩体图像的节理裂隙，自动检测出节理裂隙的位置并进行实例分割，生成检测框；根据检测框的左下角像素坐标和右上角像素坐标/>，生成掩码覆盖在检测框上完成掩码分割。
5.根据权利要求1所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S4中的多级处理包括通过尺寸标定节理裂隙掩码像素含量得到单像素边长/>，换算出实际的节理裂隙区域的面积/>，通过掩码区域的骨架化处理得到节理裂隙的骨架线，计算得到骨架线像素量/>，进而计算出节理裂隙的长度/>，随后，计算出节理裂隙的平均宽度/>。
6.根据权利要求1所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，所述真实框包括节理裂隙的掩码以及围绕掩码生成的边界框。
7.根据权利要求1所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S2中，所述标注软件为LabelMe标注软件，其在标注时，需要对样本库中数据的节理裂隙目标轮廓进行多边形描绘标注。
8.根据权利要求1所述的隧道掌子面岩体节理裂隙识别方法，其特征在于，在步骤S2中，在标注前，采用水平翻转的方式将步骤S1中的所述样本库数据扩充为原来的两倍。
9.一种用于实现如权利要求1-8任一项所述的隧道掌子面岩体节理裂隙识别方法的识别装置，其特征在于，包括手机、路由器、服务器、移动电源和标定尺；
所述路由器通过网线与服务器连接，且所述路由器与服务器均与移动电源连接；所述手机内置掌子面智能识别app，且所述手机通过无线信号与路由器连接，并通过路由器调用服务器的运算服务，接收所述服务器的运算结果；
所述标定尺设置在所述手机待拍摄的隧道掌子面上。
10.根据权利要求9所述的识别装置，其特征在于，通过所述掌子面智能识别app对手机的拍摄图像进行预处理，所述预处理包括图像去噪、尺寸调整和增强操作。
CN202310752289.1A 2023-06-26 2023-06-26 一种隧道掌子面岩体节理裂隙识别方法及识别装置 Pending CN116503391A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310752289.1A CN116503391A (zh) 2023-06-26 2023-06-26 一种隧道掌子面岩体节理裂隙识别方法及识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310752289.1A CN116503391A (zh) 2023-06-26 2023-06-26 一种隧道掌子面岩体节理裂隙识别方法及识别装置

Publications (1)

Publication Number Publication Date
CN116503391A true CN116503391A (zh) 2023-07-28

Family

ID=87318683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310752289.1A Pending CN116503391A (zh) 2023-06-26 2023-06-26 一种隧道掌子面岩体节理裂隙识别方法及识别装置

Country Status (1)

Country Link
CN (1) CN116503391A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952264A (zh) * 2015-06-29 2015-09-30 上海电机学院 一种智能交通系统
CN106682661A (zh) * 2017-03-14 2017-05-17 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护鹅掌柴的app
CN106899683A (zh) * 2017-03-14 2017-06-27 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护君子兰的app
CN106934370A (zh) * 2017-03-14 2017-07-07 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护小叶女贞的app
CN111063419A (zh) * 2019-12-27 2020-04-24 南京舜国宸智能科技有限公司 智能健康饮食管理系统
CN111723845A (zh) * 2020-05-19 2020-09-29 浙江工业大学 一种基于Mask轮廓的细胞图像分割方法
CN112052736A (zh) * 2020-08-06 2020-12-08 浙江理工大学 一种基于云计算平台的田间茶叶嫩梢检测方法
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法
CN114298145A (zh) * 2021-11-22 2022-04-08 三峡大学 基于深度学习的透水混凝土孔隙智能识别与分割方法
CN114581764A (zh) * 2021-12-24 2022-06-03 中交基础设施养护集团有限公司 基于深度学习算法的地下结构裂纹病害判别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952264A (zh) * 2015-06-29 2015-09-30 上海电机学院 一种智能交通系统
CN106682661A (zh) * 2017-03-14 2017-05-17 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护鹅掌柴的app
CN106899683A (zh) * 2017-03-14 2017-06-27 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护君子兰的app
CN106934370A (zh) * 2017-03-14 2017-07-07 湖南威达科技有限公司 一种基于大数据与图像识别的家庭养护小叶女贞的app
CN111063419A (zh) * 2019-12-27 2020-04-24 南京舜国宸智能科技有限公司 智能健康饮食管理系统
CN111723845A (zh) * 2020-05-19 2020-09-29 浙江工业大学 一种基于Mask轮廓的细胞图像分割方法
CN112052736A (zh) * 2020-08-06 2020-12-08 浙江理工大学 一种基于云计算平台的田间茶叶嫩梢检测方法
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法
CN114298145A (zh) * 2021-11-22 2022-04-08 三峡大学 基于深度学习的透水混凝土孔隙智能识别与分割方法
CN114581764A (zh) * 2021-12-24 2022-06-03 中交基础设施养护集团有限公司 基于深度学习算法的地下结构裂纹病害判别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜小强 等: "基于空间注意力和可变形卷积的无人机田间障碍物检测", 《农业机械学报》, pages 276 - 284 *
雷明锋 等: ""岩石岩性Mask R-CNN智能识别方法与应用研究"", 《铁道科学与工程学报》, vol. 19, no. 11, pages 3372 - 3382 *

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
WO2018214195A1 (zh) 一种基于卷积神经网络的遥感图像桥梁检测方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN108648169B (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN111126183A (zh) 一种基于近地面影像数据的震后建筑物损毁检测方法
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN111126184B (zh) 一种基于无人机视频的震后建筑物损毁检测方法
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN112967255A (zh) 一种基于深度学习的盾构管片缺陷类型识别及定位系统及其方法
CN113610070A (zh) 一种基于多源数据融合的滑坡灾害识别方法
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN115861409B (zh) 大豆叶面积测算方法、系统、计算机设备及存储介质
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN113435407A (zh) 一种输电系统的小目标识别方法及装置
CN116052105A (zh) 路面裂缝识别分类及面积计算方法、系统、设备及终端
CN115639248A (zh) 一种用于建筑外墙质量检测的系统及方法
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN112966698A (zh) 基于轻量化卷积网络的淡水鱼图像实时识别方法
CN113327253A (zh) 一种基于星载红外遥感影像的弱小目标检测方法
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230728