CN116883893A - 基于红外热成像的隧道掌子面地下水智能判识方法及系统 - Google Patents
基于红外热成像的隧道掌子面地下水智能判识方法及系统 Download PDFInfo
- Publication number
- CN116883893A CN116883893A CN202310779440.0A CN202310779440A CN116883893A CN 116883893 A CN116883893 A CN 116883893A CN 202310779440 A CN202310779440 A CN 202310779440A CN 116883893 A CN116883893 A CN 116883893A
- Authority
- CN
- China
- Prior art keywords
- face
- tunnel face
- infrared
- infrared image
- water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001931 thermography Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000002372 labelling Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000010257 thawing Methods 0.000 claims abstract description 12
- 238000013526 transfer learning Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000011435 rock Substances 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 33
- 239000003673 groundwater Substances 0.000 claims description 23
- 238000010276 construction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000002790 cross-validation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005507 spraying Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000002706 hydrostatic effect Effects 0.000 description 1
- YOBAEOGBNPPUQV-UHFFFAOYSA-N iron;trihydrate Chemical compound O.O.O.[Fe].[Fe] YOBAEOGBNPPUQV-UHFFFAOYSA-N 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/48—Thermography; Techniques using wholly visual means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于红外热成像的隧道掌子面地下水智能判识方法及系统，包括如下步骤：采集隧道掌子面红外热成像视频；运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；快速标注和数据增强后构建掌子面红外图像样本集；采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个判识基模型；对三个基模型进行集成，得到最终判识模型；运用该模型对红外图像按时序进行出水状态判识并输出判识结果。本发明能通过智能判识方法能克服隧道内光线较暗的情况，排除地下水判识中人员主观因素的影响，提高判识效率，降低人员工作量，克服采样不足的缺点，提高判识安全性。
Description
技术领域
本发明涉及掌子面地下水判识技术领域，具体涉及一种基于红外热成像的隧道掌子面地下水智能判识方法及系统。
背景技术
隧道地下水的作用主要表现为溶蚀岩体和结构面中易溶的胶结物，潜蚀充填物中的细小颗粒。隧道地下水会使岩石软化、疏松，充填物泥化，岩体强度降低，增加了隧道围岩的动、静水压力，因此常引发隧道的工程灾害，如突涌水突泥、掌子面失稳坍塌、地表沉降塌陷、渗透水，给洞内人身安全、洞内设备、机械正常施工造成极大影响，因此地下水的测量具有重要的工程意义。
在隧道建设施工阶段，传统的地下水测量方法主要是通过人眼观测掌子面、隧道周壁渗漏水情况，将地下水出水状态分为干燥、潮湿或点滴状出水、淋雨状或线流状出水、涌流水。隧道内光线较暗，传统的地下水判识结果受勘察人员主观因素影响，判识效率低，工作量大，采样不足，导致对掌子面地下水分析的支撑数据不足，同时，人眼观测要求靠近掌子面，不利于勘察人员的人身安全。因此，亟需一种能提高测量效率和安全性的隧道掌子面围岩地下水判识方法。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于红外热成像的隧道掌子面地下水智能判识方法及系统，消除传统隧道掌子面围岩地下水测量过程中主观因素的影响，避免了传统测量中采样不足的缺点，提高了测量效率和安全性，解决了上述背景技术中提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于红外热成像的隧道掌子面地下水智能判识方法，包括如下步骤：
S1、标准化采集隧道掌子面红外热成像视频；
S2、根据获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；
S3、对获取的掌子面红外图像数据集进行快速标注和数据增强，构建掌子面红外图像样本集；
S4、采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个隧道掌子面围岩地下水智能判识基模型；
S5、对三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型；
S6、运用隧道掌子面围岩地下水智能判识模型对红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域、分割出水区域、计算出水区域面积；
S7、配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
优选的，在步骤S2中，具体包括：
S21、用Python中OpenCV库的VideoCapture()函数读取隧道掌子面红外热成像视频；
S22、用get函数读取红外热成像视频的帧率；
S23、采用OpenCV的read()函数对掌子面红外视频每秒抽帧5张图像，保存“.jpg”格式，获得原始的掌子面红外图像数据集；
S24、采用OpenCV的高斯模糊函数GaussianBlur()对掌子面红外图像进行降噪和平滑处理；
S25、然后采用OpenCV的拉普拉斯函数Laplacian()锐化红外图像，使红外图像清晰，最后得到隧道掌子面红外图像数据集。
优选的，在步骤S3中，具体包括：
S31、首先运用Labelimg标注工具对少量掌子面红外图像进行手动标注，再利用手动标注的红外图像对Faster R-CNN目标检测模型进行训练，模型采用RPN Loss加Fast R-CNN Loss的损失函数；
S32、然后利用被训练过的Faster R-CNN模型对还未标注的掌子面红外图像进行预测，将预测结果信息存储为YOLO标注格式结果文件；
S33、再运用Labelimg标注工具打开模型预测的YOLO标注格式结果文件，对模型的预测结果进行修正微调，完成对掌子面红外图像数据集的快速标注；
S34、采用Albumentations图像增强库RandomGridShuffle方法对快速标注后的掌子面红外图像和标注结果文件同时进行数据增强，最终得到掌子面红外图像样本集。
优选的，在步骤S34中，数据增强后的掌子面红外图像数据集的照片数量变为未增强时红外图像的5～10倍。
优选的，在步骤S4中，所述的三个大型图像数据集分别为“Pascal VOC”、“ImageNet”和“COCO”大型图像数据集；所述的部分解冻具体是指：冻结预训练模型图像特征输出层之前的训练参数，使其不可训练；解冻三个预训练模型图像特征输出层之后的训练参数，使其可训练。
优选的，在步骤S5中，具体包括：运用五折交叉验证和Stacking方法将步骤S4得到的三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型。
优选的，在步骤S6中，所述分割出水区域具体是：采用集成的SAM语义分割模型对局部图像进行交互式半自动出水区域分割，从而得到分割图像；
所述计算出水区域面积具体是：运用OpenCV的threshold()函数对分割图像进行二值化处理，再利用countNonZero()函数计算出二值化处理图像中出水区域的面积。
优选的，在步骤S7中，隧道掌子面围岩地下水的判识结果数据包括：用于表示掌子面出水区域随时间变化情况的出水区域时程曲线、用于衡量掌子面出水量大小的掌子面出水状态、用于衡量掌子面出水是否存在异常变化的平均温度和温度标准差、用于预警掌子面高温热水或突涌水出现的掌子面温度范围以及最大最小温度；
所述出水区域时程曲线，公式表达如下：
A＝f(t)；
式中，A表示分割出的掌子面出水区域的面积，t表示出水的时间；
所述掌子面出水状态，分为涌流状出水、淋雨状出水或线流状出水、潮湿状出水或点滴状出水；所述涌流状出水的渗水量＞125L/(min.10m)，所述淋雨状出水或线流状出水的渗水量为25～125L/(min.10m)，所述潮湿或点滴状出水的渗水量≤25L/(min.10m)；
所述平均温度Tm和温度标准差Tσ，公式表达如下：
式中，Tm表示掌子面平均温度，Tj表示第j个像素的温度值，Pu表示掌子面红外图像的像素总数，Tσ表示掌子面红外温度标准差；
所述掌子面温度范围，公式表达如下：
Tave∈[Tmax,Tmin]；
所述掌子面最大最小温度，分别表达如下：
Tmax＝MAX(Tj,j＝1,2,3,4…Pu)；
Tmin＝MIN(Tj,j＝1,2,3,4…Pu)；
式中，Tave表示掌子面红外图像的温度范围，Tmax表示掌子面最大温度，Tmin表示掌子面最小温度，MAX()是求最大值函数，MIN()是求最小值函数。
另一方面，为实现上述目的，本发明还提供了如下技术方案：一种基于红外热成像的隧道掌子面地下水智能判识系统，所述系统具体包括：
红外热成像视频采集模块：用于标准化采集隧道掌子面红外热成像视频；
隧道掌子面红外图像数据集获取模块：用于根据获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；
掌子面红外图像样本集构建模块、用于对获取的掌子面红外图像数据集进行快速标注和数据增强，构建掌子面红外图像样本集；
基模型获取模块：采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个隧道掌子面围岩地下水智能判识基模型；
地下水智能判识模型获取模块：用于对三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型；
出水状态判识及判识结果输出模块：用于运用隧道掌子面围岩地下水智能判识模型对红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域、分割出水区域、计算出水区域面积；配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
本发明的有益效果是：本发明能通过智能判识方法能克服隧道内光线较暗的情况，排除地下水判识中人员主观因素的影响，提高判识效率，降低人员工作量，克服采样不足的缺点，提高判识安全性。
附图说明
图1为本发明隧道掌子面地下水智能判识方法步骤流程示意图；
图2为实施例中标准采集到的高清照片、红外视频截图示意图；图2(a)为标准采集到的高清照片，图2(b)为标准采集到的红外视频截图；
图3为实施例中抽帧得到的照片图像数据集、高斯模糊后、拉普拉斯锐化后的红外图像示意图，图3(a)为抽帧得到的掌子面红外图像数据集，图3(b)为高斯模糊后的掌子面红外图像，图3(a)为拉普拉斯锐化后的掌子面红外图像；
图4为实施例中手动标注照片、模型预测结果、微调、数据增强示意图，图4(a)为Labelimg手动标注示意图，图4(b)为Faster R-CNN模型预测结果示意图，图4(c)为预测结果微调示意图，图4(d)为数据增强示意图；
图5为实施例中迁移学习冻结和解冻YOLOv5模型训练参数示意图；
图6为实施例中五折交叉验证与Stacking算法原理示意图；
图7为实施例中判识照片、锚框区域照片、IAST分割照片、二值化照片示意图；图7(a)为模型预测结果判识照片示意图，图7(b)为自动截取锚框区域示意图，图7(c)为ISAT自动分割图像示意图，图7(d)为二值化处理后图像示意图；
图8为实施例中出水区域时程曲线示意图；
图9为实施例中隧道掌子面地下水智能判识系统模块示意图；
图中，110-红外热成像视频采集模块；120-隧道掌子面红外图像数据集获取模块；130-掌子面红外图像样本集构建模块；140-基模型获取模块；150-地下水智能判识模型获取模块；160-出水状态判识及判识结果输出模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图8，本发明提供一种技术方案：一种基于红外热成像的隧道掌子面地下水智能判识方法，消除传统隧道掌子面围岩地下水测量过程中主观因素的影响，避免了传统测量中采样不足的缺点，提高了测量效率和安全性，如图1所示，具体步骤包括如下：
S1、标准化采集隧道掌子面红外热成像视频，在布置好绝对坐标靶位后，运用带有高清摄像头以及特定参数配置的红外热成像仪拍摄隧道掌子面红外热成像视频。
将三个已获得绝对坐标的标靶分别放置在隧道掌子面下部的左右两侧以及掌子面的中央。离掌子面25米处架设三脚架，在隧道中轴线下方，安置红外热成像仪，打开红外热成像仪，将红外色彩模式调至铁红模式、调整红外镜头焦距、输入当前的环境湿度、输入当前掌子面岩性的发射率值，将视频格式设置为“.mp4”，如图2所示。在整个红外镜头包含掌子面时，调整至电动自动对焦模式，拍摄一份20秒掌子面红外热成像视频。为了将在红外图像目标判识的结果映射到高清照片上以指导现场施工，还需拍摄高清照片，调整高清摄像镜头焦距，将高清照片保存为“.jpg”格式，在整个高清摄像镜头包含掌子面时，调至自动对焦模式，拍摄得到掌子面高清照片，如图2(a)所示。
通过标准化的掌子面红外热成像采集，消除传统隧道掌子面围岩地下水测量过程中主观因素的影响，红外数据也消除了隧道光线较暗的影响，提高了采集效率和安全性，由此获得了高质量的红外热成像视频，如图2(b)所示，为标准采集到的红外视频截图示意图。
S2、以S1获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集。
用Python中OpenCV库的VideoCapture()函数读取S1步骤中获得然后保存在本地的隧道掌子面红外热成像视频。用get(cv2.CAP_PROP_FPS)函数读取红外热成像视频的帧率，采用OpenCV的read()函数对50hz的掌子面红外视频每秒抽帧5张图像，保存“.jpg”格式的掌子面红外图像到本地文件夹。通过对视频的抽帧处理获得原始的掌子面红外图像数据集，采用OpenCV的用于高斯模糊的函数GaussianBlur()对掌子面红外图像进行降噪和平滑处理，设置高斯核的大小为5。再采用OpenCV的拉普拉斯函数Laplacian()锐化红外图像，增强图像的高频部分，使红外图像更清晰，设置拉普拉斯算子的大小为3，设置缩放因子为1，设置偏移值为1，设置边界类型为cv2.BORDER_DEFAULT，由此获得了前处理后的掌子面红外图像数据集。
如图3中图3(a)所示，通过抽帧技术，极大地扩充了数据集的数量，避免了人工拍照或者人工截图的劳动量，运用高斯模糊算法降低因隧道环境多粉尘、振动、潮湿造成的红外图像噪声，如图3(b)所示。而拉普拉斯算法能在高斯模糊之后恢复图像的清晰度、锐化图像，如图3(c)所示。步骤S2依靠图像处理技术，高质量地扩充了红外图像数据量，避免了传统测量中采样不足的缺点，提高了测量效率。
S3、运用Labelimg标注工具和基于Faster R-CNN目标检测框架的半自动标注方法对S2步骤中获取的掌子面红外图像数据集进行快速标注，然后采用Albumentations图像增强库的RandomGridShuffle(随机网格无序排列)方法进行数据增强，从而构建用于YOLOv5目标检测模型训练的掌子面红外图像样本集，如图4所示。
首先运用Labelimg标注工具对少量掌子面红外图像进行手动标注，如图4(a)所示；再利用手动标注的红外图像对Faster R-CNN目标检测模型进行训练，模型采用RPNLoss加Fast R-CNN Loss的损失函数，如式(1)～(7)：
Fast R-CNN Loss＝L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v ) (2)
Lcls(p,u)＝-logpu (5)
式中(1)～(7)中，pi表示第i个锚框预测为真实标签的概率；当预测为正样本时pi *为1否则为0；ti表示预测第i个锚框的边界回归参数；ti *表示第i个锚框对应标签的边界框的回归参数；Ncls表示所有样本数量；Nreg表示锚框位置的个数；p是分类器预测的概率分布；u是对应目标的真实标签类别；tu是边界框回归器预测的对应类别u的回归参数；v对应真实目标的边界回归参数；λ取10。
然后利用被训练过的Faster R-CNN模型对还未标注的掌子面红外图像进行预测，如图4(b)所示，将预测结果信息存储为YOLO标注格式的结果文件；最后再运用Labelimg标注工具打开模型预测结果文件，对模型的预测结果进行修正微调，如图4(c)所示，从而快速完成对掌子面红外图像数据集的标注。采用Albumentations图像增强库RandomGridShuffle(随机网格无序排列)方法对标注的原始掌子面红外图像和标注结果文件同时进行增强，如图4(d)所示。增强后的掌子面红外图像数据集的照片数量可变为原始掌子面红外图像的5～10倍，从而构建最终用于YOLOv5模型训练的掌子面红外图像样本集。
利用少量手动标注样本实现半自动标注加微调的方式进行样本辅助标注，提高了标注效率和准确性。Albumentations图像增强库的RandomGridShuffle(随机网格无序排列)方法能够扩充掌子面红外图像数据集的数量以及图像的多样性，帮助提高模型的泛化能力、准确性和可靠性。
S4、采用迁移学习方法把在“Pascal VOC”、“ImageNet”和“COCO”大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，由此获得三个隧道掌子面围岩地下水智能判识基模型。
下载基于“Pascal_VOC”、“ImageNet”、“COCO”三个大型图像数据集的YOLOv5框架的预训练模型。通过PyTorch框架加载预训练模型到Python环境中，运用迁移学习方法获取每个预训练模型的训练权重、模型结构、图像特征输出层，图像特征输出层可以表征一张图像独有的特征，冻结预训练模型图像特征输出层之前的训练参数，使其“不可训练”，解冻三个预训练模型图像特征输出层之后的训练参数，使其“可训练”，如图5所示，由此得到三个隧道掌子面围岩出水状态智能判识基模型，经过S4步骤使得隧道掌子面围岩出水状态智能判识基模型具备提取照片特征的普适性能力。
运用迁移学习的方法，节约了计算资源、提供了计算效率，同时使得隧道掌子面围岩地下水智能判识模型具备提取照片特征的普适性能力，能够提升模型泛化性与准确性，迁移学习的引入降低了人工标注的工作量，降低了现场拍照的工作量，可以实现在较小数据集上得到训练效果较好的模型。
S5、运用五折交叉验证和Stacking方法将S4步骤得到的三个基模型进行集成，得到最终的基于YOLOv5目标检测框架的隧道掌子面围岩地下水智能判识模型。
将步骤S3得到的掌子面红外图像样本集划分为训练集和测试集。其中，训练集划分为五份，采用五折交叉验证方法训练每一个单独的基模型，即对于每一个基模型，以四份训练集训练模型，一份训练集用来验证，验证得到A。同时，将四份训练集训练得到的基模型用于测试集的预测，得到预测结果B。一个基模型的五折交叉验证产生五个A，五个B，通过把五个A的值和五个B的加权平均值堆叠成列，运用Stacking方法对三个基模型重复以上步骤，五折交叉验证与Stacking算法原理如图6所示，得到了形式为(m,p)维矩阵的新数据集，对应的A行是训练集，对应的B行是测试集，m为样本数量，p为3。将新数据集(m,p)线性回归，则得到隧道掌子面围岩地下水智能判识模型。
训练得到的隧道掌子面围岩地下水智能判识模型是集成的智能判识模型，降低了现场测量人员的工作量，提高了掌子面围岩地下水的判识精度。五折交叉验证能降低模型的过拟合程度，提高了模型的泛化性，Stacking算法对各个基模型取长补短，提高了隧道掌子面围岩出水状态判识模型的准确性。
S6、运用步骤S5中得到模型对从掌子面红外视频中抽帧得到的红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域。利用集成的SAM语义分割模型自动对锚框区域中的出水区域进行分割，最后计算分割得到的出水区域的面积。
通过步骤S5中训练好的隧道掌子面围岩出水状态判识模型对从掌子面红外视频中抽帧得到的红外图像按时序进行出水状态判识，如图7中图7(a)所示，根据模型判识结果输出的锚框坐标信息，直接在原始图像中按照锚框的位置和大小进行截取操作，获取到出水区域的局部图像，如图7(b)所示。采用集成的SAM语义分割模型对局部图像进行交互式半自动出水区域分割，从而得到分割图像，如图7(c)所示。然后运用OpenCV的threshold()函数对分割图像进行二值化处理，如图7(d)所示，再利用countNonZero()函数计算出二值化处理图像中出水区域的面积，同时按时间序列对出水区域面积进行统计，最后分析掌子面出水状态随时间的变化趋势。
根据隧道掌子面围岩地下水智能判识模型对掌子面红外图像的预测结果可以自动提取出掌子面出水区域，以及对掌子面出水状态进行分类。采用的集成SAM语义分割模型对局部图像中的出水区域进行快速分割，在保证分割精度的同时节约语义分割数据集构建以及语义分割模型训练的时间。利用OpenCV库的countNonZero()函数可以快速准确地计算分割后出水区域的面积。
S7、配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
运用三个标靶的绝对坐标配准高清照片，再运用尺度不变特征变换算法SIFT来提取和匹配红外热成像照片和高清照片的特征点，利用随机抽样一致算法RANSAC消除误匹配，得到两幅图像之间的最佳变换矩阵，实现精确配准。在高清照片上输出地下水的判识结果以指导现场施工。输出的数据类型包括：出水区域时程曲线，如式(8)：
A＝f(t)(8)
式(8)中A表示分割出的掌子面出水区域的面积，t表示出水的时间，式(8)表示出水区域的面积随出水时间的变化函数。出水区域时程曲线是掌子面出水区域随时间的变化情况，如图8所示。
掌子面出水状态，分为“Surgeing Water”(涌流状出水)、“Rain like effluent”(淋雨状出水)、“Linear effluent”(线流状出水)、“Wet effluent”(潮湿状出水)、“Driplike effluent”(点滴状出水)，各个出水状态和渗水量的关系，出水状态用来衡量掌子面出水量的大小，如表1所示：
平均温度和温度标准差，如式(9)和式(10)：
所述平均温度Tm和温度标准差Tσ，公式表达如下：
式中，Tm表示掌子面平均温度，Tj表示第j个像素的温度值，Pu表示掌子面红外图像的像素总数，Tσ表示掌子面红外温度标准差；平均温度和温度标准差用来衡量掌子面出水是否存在异常的变化。
所述掌子面最大最小温度，分别如式(11)和式(12)表达如下：
Tmax＝MAX(Tj,j＝1,2,3,4…Pu) (11)；
Tmin＝MIN(Tj,j＝1,2,3,4…Pu) (12)；
所述掌子面温度范围，公式表达如下：
Tave∈[Tmax,Tmin] (13)；
式中，Tave表示掌子面红外图像的温度范围，Tmax表示掌子面最大温度，Tmin表示掌子面最小温度，MAX()是求最大值函数，MIN()是求最小值函数；温度范围以及最大最小温度用来预警掌子面高温热水或者突涌水的出现。
在高清照片展示地下水的判识结果有利于指导现场施工，通过分析各种由隧道掌子面围岩地下水智能判识模型输出的数据，可以广泛而深入地分析掌子面地下水对隧道建设的影响。克服了人工判识地下水状态的主观影响、采样不足影响、效率低下的影响。
基于与上述方法实施例相同地发明构思，本申请实施例还提供了一种基于红外热成像的隧道掌子面地下水智能判识系统，该系统可以实现上述方法实施例所提供的功能，如图9所示，该系统包括：
红外热成像视频采集模块110：用于标准化采集隧道掌子面红外热成像视频；
隧道掌子面红外图像数据集获取模块120：用于根据获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；
掌子面红外图像样本集构建模块130、用于对获取的掌子面红外图像数据集进行快速标注和数据增强，构建掌子面红外图像样本集；
基模型获取模块140：采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个隧道掌子面围岩地下水智能判识基模型；
地下水智能判识模型获取模块150：用于对三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型；
出水状态判识及判识结果输出模块160：用于运用隧道掌子面围岩地下水智能判识模型对红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域、分割出水区域、计算出水区域面积；配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于，包括如下步骤：
S1、标准化采集隧道掌子面红外热成像视频；
S2、根据获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；
S3、对获取的掌子面红外图像数据集进行快速标注和数据增强，构建掌子面红外图像样本集；
S4、采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个隧道掌子面围岩地下水智能判识基模型；
S5、对三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型；
S6、运用隧道掌子面围岩地下水智能判识模型对红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域、分割出水区域、计算出水区域面积；
S7、配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
2.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S2中，具体包括：
S21、用Python中OpenCV库的VideoCapture()函数读取隧道掌子面红外热成像视频；
S22、用get函数读取红外热成像视频的帧率；
S23、采用OpenCV的read()函数对掌子面红外视频每秒抽帧5张图像，保存“.jpg”格式，获得原始的掌子面红外图像数据集；
S24、采用OpenCV的高斯模糊函数GaussianBlur()对掌子面红外图像进行降噪和平滑处理；
S25、然后采用OpenCV的拉普拉斯函数Laplacian()锐化红外图像，使红外图像清晰，最后得到隧道掌子面红外图像数据集。
3.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S3中，具体包括：
S31、首先运用Labelimg标注工具对少量掌子面红外图像进行手动标注，再利用手动标注的红外图像对Faster R-CNN目标检测模型进行训练，模型采用RPN Loss加Fast R-CNNLoss的损失函数；
S32、然后利用被训练过的Faster R-CNN模型对还未标注的掌子面红外图像进行预测，将预测结果信息存储为YOLO标注格式结果文件；
S33、再运用Labelimg标注工具打开模型预测的YOLO标注格式结果文件，对模型的预测结果进行修正微调，完成对掌子面红外图像数据集的快速标注；
S34、采用Albumentations图像增强库RandomGridShuffle方法对快速标注后的掌子面红外图像和标注结果文件同时进行数据增强，最终得到掌子面红外图像样本集。
4.根据权利要求3所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S34中，数据增强后的掌子面红外图像数据集的照片数量变为未增强时红外图像的5～10倍。
5.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S4中，所述的三个大型图像数据集分别为“PascalVOC”、“ImageNet”和“COCO”大型图像数据集；所述的部分解冻具体是指：冻结预训练模型图像特征输出层之前的训练参数，使其不可训练；解冻三个预训练模型图像特征输出层之后的训练参数，使其可训练。
6.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S5中，具体包括：运用五折交叉验证和Stacking方法将步骤S4得到的三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型。
7.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S6中，所述分割出水区域具体是：采用集成的SAM语义分割模型对局部图像进行交互式半自动出水区域分割，从而得到分割图像；
所述计算出水区域面积具体是：运用OpenCV的threshold()函数对分割图像进行二值化处理，再利用countNonZero()函数计算出二值化处理图像中出水区域的面积。
8.根据权利要求1所述的基于红外热成像的隧道掌子面地下水智能判识方法，其特征在于：在步骤S7中，隧道掌子面围岩地下水的判识结果数据包括：用于表示掌子面出水区域随时间变化情况的出水区域时程曲线、用于衡量掌子面出水量大小的掌子面出水状态、用于衡量掌子面出水是否存在异常变化的平均温度和温度标准差、用于预警掌子面高温热水或突涌水出现的掌子面温度范围以及最大最小温度；
所述出水区域时程曲线，公式表达如下：
A＝f(t)；
式中，A表示分割出的掌子面出水区域的面积，t表示出水的时间；
所述掌子面出水状态，分为涌流状出水、淋雨状出水或线流状出水、潮湿状出水或点滴状出水；所述涌流状出水的渗水量＞125L/(min.10m)，所述淋雨状出水或线流状出水的渗水量为25～125L/(min.10m)，所述潮湿或点滴状出水的渗水量≤25L/(min.10m)；
所述平均温度Tm和温度标准差Tσ，公式表达如下：
式中，Tm表示掌子面平均温度，Tj表示第j个像素的温度值，Pu表示掌子面红外图像的像素总数，Tσ表示掌子面红外温度标准差；
所述掌子面温度范围，公式表达如下：
Tave∈[Tmax,Tmin]；
所述掌子面最大最小温度，分别表达如下：
Tmax＝MAX(Tj,j＝1,2,3,4…Pu)；
Tmin＝MIN(Tj,j＝1,2,3,4…Pu)；
式中，Tave表示掌子面红外图像的温度范围，Tmax表示掌子面最大温度，Tmin表示掌子面最小温度，MAX()是求最大值函数，MIN()是求最小值函数。
9.一种基于红外热成像的隧道掌子面地下水智能判识系统，其特征在于：所述系统具体包括：
红外热成像视频采集模块(110)：用于标准化采集隧道掌子面红外热成像视频；
隧道掌子面红外图像数据集获取模块(120)：用于根据获得的隧道掌子面红外热成像视频为数据基础，运用抽帧和前处理工作流获取隧道掌子面红外图像数据集；
掌子面红外图像样本集构建模块(130)、用于对获取的掌子面红外图像数据集进行快速标注和数据增强，构建掌子面红外图像样本集；
基模型获取模块(140)：采用迁移学习方法将在三个大型图像数据集训练过的基于YOLOv5目标检测框架的三个预训练模型部分解冻，得到三个隧道掌子面围岩地下水智能判识基模型；
地下水智能判识模型获取模块(150)：用于对三个基模型进行集成，得到隧道掌子面围岩地下水智能判识模型；
出水状态判识及判识结果输出模块(160)：用于运用隧道掌子面围岩地下水智能判识模型对红外图像按时序进行出水状态判识，根据判识结果自动提取红外图像中的锚框区域、分割出水区域、计算出水区域面积；配准高清照片和红外图像，输出隧道掌子面围岩地下水的判识结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779440.0A CN116883893A (zh) | 2023-06-28 | 2023-06-28 | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779440.0A CN116883893A (zh) | 2023-06-28 | 2023-06-28 | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883893A true CN116883893A (zh) | 2023-10-13 |
Family
ID=88257814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779440.0A Pending CN116883893A (zh) | 2023-06-28 | 2023-06-28 | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883893A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132914A (zh) * | 2023-10-27 | 2023-11-28 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
-
2023
- 2023-06-28 CN CN202310779440.0A patent/CN116883893A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132914A (zh) * | 2023-10-27 | 2023-11-28 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
| CN117132914B (zh) * | 2023-10-27 | 2024-01-30 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
| CN111553265B (zh) | 一种排水管道内部缺陷的检测方法及系统 | |
| CN109146832B (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN104700395A (zh) | 一种构造物外观裂缝检测方法及系统 | |
| CN112966665A (zh) | 路面病害检测模型训练方法、装置和计算机设备 | |
| Pathak et al. | An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data | |
| CN108664970A (zh) | 一种快速目标检测方法、电子设备、存储介质及系统 | |
| CN113808098A (zh) | 道路病害识别方法、装置、电子设备及可读存储介质 | |
| CN103530638A (zh) | 多摄像头下的行人匹配方法 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CN116883893A (zh) | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN114202643A (zh) | 基于多传感融合的苹果叶部病害识别终端及方法 | |
| CN104966283A (zh) | 图像分层配准方法 | |
| CN112989901A (zh) | 基于深度学习的液位仪读数的识别方法 | |
| CN114078127A (zh) | 物件的缺陷检测及计数方法、装置、设备和存储介质 | |
| Imran et al. | Image-based automatic energy meter reading using deep learning | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN116205879A (zh) | 一种基于无人机图像及深度学习的小麦倒伏面积估算方法 | |
| CN114758139B (zh) | 基坑积水检测方法 | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| CN115984186A (zh) | 基于多分辨率知识提取的精细产品图像异常检测方法 | |
| Chen et al. | A novel monocular calibration method for underwater vision measurement | |
| CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 | |
| CN112036246B (zh) | 遥感影像分类模型的构建方法，遥感影像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240603 Address after: No. 111, No. 111, Chengdu City, Sichuan Province, north part of the two ring road Applicant after: SOUTHWEST JIAOTONG University Country or region after: China Applicant after: China National Railway Group Co.,Ltd. Address before: No. 111, No. 111, Chengdu City, Sichuan Province, north part of the two ring road Applicant before: SOUTHWEST JIAOTONG University Country or region before: China |