CN109615653B - 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 - Google Patents

基于深度学习与视场投影模型的渗漏水面积检测与识别方法 Download PDF

Info

Publication number
CN109615653B
CN109615653B CN201811555277.5A CN201811555277A CN109615653B CN 109615653 B CN109615653 B CN 109615653B CN 201811555277 A CN201811555277 A CN 201811555277A CN 109615653 B CN109615653 B CN 109615653B
Authority
CN
China
Prior art keywords
image
area
water leakage
projection
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811555277.5A
Other languages
English (en)
Other versions
CN109615653A (zh
Inventor
高新闻
金邦洋
胡珉
喻钢
周丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201811555277.5A priority Critical patent/CN109615653B/zh
Publication of CN109615653A publication Critical patent/CN109615653A/zh
Application granted granted Critical
Publication of CN109615653B publication Critical patent/CN109615653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/28Measuring arrangements characterised by the use of optical techniques for measuring areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use

Abstract

本发明公开了一种基于深度学习与视场投影模型的渗漏水区域检测与识别方法,具体包括如下步骤:步骤1)采集待测区域的视频数据和点云数据;步骤2)通过渗漏水图像识别神经网络对步骤1)采集的视频数据进行检测,得到渗漏水区域图片;步骤3)对步骤1)采集的点云数据进行识别,得到曲面形状;步骤4)根据步骤3)得到的曲面形状对步骤2)得到的漏水区域图片进行相应曲面形状投影,并计算投影后的渗漏水区域实际面积。本发明对于地铁隧道渗漏水面积测量无需人工参与,提高工作效率,且能够对检测到的渗漏水区域进行曲面投影转换,得到更精确的渗漏水面积。因此,该检测算法效率高、检测精确。

Description

基于深度学习与视场投影模型的渗漏水面积检测与识别方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于深度学习与视场投影模型的渗漏水面积精确检测与识别方法,常用于隧道、房屋等建筑。
背景技术
隧道渗漏水现象在运营隧道中非常普遍,是一种常见的病害,若不及时对其进行修补,将会降低管片结构的强度,并引发钢筋和螺栓腐蚀、管片开裂及混凝土剥落等其他病害,会严重危害隧道的运营并且可能导致安全事故。
传统的隧道渗漏水结构病害检查,主要采用人工巡检目测、手工记录和拍摄照片等方式进行数据采集,但使用这种数据采集方式,受主观因素的影响,不可避免的会发生误判、遗漏等错误,且费时、费力,危险程度高、效率低下。近年来,以计算机视觉技术为依托的图像处理检测方法在该领域进行了相关研究。这种检测虽然在一定程度上带来了大量的隧道结构表面基础图像数据,但由于隧道盾构拼装的多缝及管道、管线、油漆数字等的遮挡干扰,使得图像数据异常复杂,从而导致检测难度不断加大。Marvin Teichmann对隧道病害目标进行了几何分析,使用的是目标分割算法。传统目标分割算法已经发展很成熟,大致可分为基于轮廓的方法,包括边缘检测,轮廓搜索、分水岭算法;基于区域的方法,包括全局阈值、局部阈值、动态阈值、多分辨率阈值、过度区阈值等。此外,还有大律法、区域生长法、分水岭法等,但是不足之处在于,传统目标分割算法对于遮挡、光照、阴影等干扰的影响较大。在此种情况下,研究一种快速、准确、高效的自动检测方法是十分有必要的。
发明内容
针对现有技术存在的缺陷,本发明的目的在于提供一种隧道管片渗漏水面积检测的方法,从而实现在不同的干扰环境下对管片渗漏水的面积精确的检测,并通过曲面投影转换得到更精确的渗漏水面积。
为了达到以上目的,本发明采用以下技术方案:
一种基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特点在于,具体包括如下步骤:
步骤1)采集待测区域的视频数据和点云数据;
步骤2)通过渗漏水图像识别神经网络对步骤1)采集的视频数据进行检测,得到渗漏水区域图片;具体检测步骤如下:
步骤2.1)采集历史渗漏水区域的视频数据和点云数据;
步骤2.2)对视频数据中的图片数据进行数据增强,得到增强图像;
步骤2.3)对增强图像中的渗漏水区域进行标注,作为标签,具体如下:
步骤2.3.1)对增强图像进行自适应阈值法分割,得到二值图像,其中,黑色像素点为渗漏水区域,白色像素点为背景区域;
步骤2.3.2)对二值图像修正后,对像素点进行标签;
步骤2.3.3)将二值图像的黑色像素点转化为洋红色像素点,白色像素点转化为红色像素点,其中,洋红色像素点为训练的渗漏水区域,红色像素点为背景边界修正;
步骤2.3.4)对于二值图像中仍存在的黑色像素点进行形态学处理,得到可供训练的样本集,通过迭代,得到可供训练的样本集。
步骤2.4)构建包括初始化权重、学习率、批尺寸和迭代次数参数的隧道渗漏水图像识别神经网络框架,并将增强图像和标签输入隧道渗漏水图像识别神经网络,训练隧道渗漏水图像识别神经网络框架,得到深度学习后的隧道渗漏水图像识别神经网络;具体是:
步骤2.4.1)通过对增强图像的多次卷积、池化运算获得图像抽象的高维特征信息;
步骤2.4.2)通过总体误差函数度量网络输出的预测图与对应标签图之间的误差的对比,完成一次迭代中的正向推理运算;
步骤2.4.3)采用随机梯度下降法对总体误差函数进行最小化,并通过反向传播算法将误差的梯度进行反向传递,实现权值的更新,完成一次迭代中的反向学习运算:
步骤2.4.4)反复步骤2.4.3)-2.4.4)直至损失值达到既定值,使用验证集图像对网络进行交叉验证,当得到的交叉验证误差小时,则网络训练完成,否则调节学习率和学习衰减率参数重新进行交叉验证;
步骤2.5)将采集的视频数据输入到所述的深度学习后的隧道渗漏水图像识别神经网络,对图像中的渗漏水区域进行预测,属于渗漏水的像素被预测为前景像素,不属于渗漏水的像素被预测为背景像素,从而实现渗漏水病害的图像识别。
步骤3)对步骤1)采集的点云数据进行识别,得到曲面形状;
步骤4)根据步骤3)得到的曲面形状对步骤2)得到的漏水区域图片进行相应曲面形状投影,并计算投影后的渗漏水区域实际面积,具体:
1)当识别到的曲面是柱面时,因为实际采集的图片是柱面投影到平面的,采用的柱面投影模型可以将平面还原为柱面。相机与所测目标的距离是通过激光测距的,而距离可以进行实时采集。假定照相机的运动都发生在X—Z平面,而且图像中心点就是光轴与图像平面的交点,现在要得到投影中心O点观察到的原始图像,即图像J在柱面空间K上的柱面投影图像J’。设柱面半径为r,投影角为α,图像J宽度为W,图像高度为H。容易得到柱面图像的宽度W’为r*α,高度仍为H。图像的像素坐标均以图像平面中的最左上角像素为坐标原点。
对图像J上的任意一点P(x,y),在柱面图像J’上的对应点为P’(x’,y’),对点P沿X一Z平面和Y—Z的横截面分别投影,可得柱面投影变换公式:
Figure BDA0001911692050000031
Figure BDA0001911692050000032
Figure BDA0001911692050000033
r为拍摄焦距,α为每张图像所占的弧度角。圆柱投影就是将一张二维的图像投影到三维的圆柱体上,不过在显示图像的时候依然是以二维的形式给出。其中,x,y为原图的坐标,x',y'为变换后图像的坐标,W和H为原图的宽和高,这里α为相机水平视角,我们通过设置这个参数来实现不同的投影效果,α取值为(0,π)之间。通过柱面投影公式,可以将e中检测到的渗漏水病害区域图片每一个像素点投影到圆柱平面上去。
视场转换可以将图片尺寸转化为实际尺寸,图像中目标物体区域内像素个数测量值P与实际物体的面积大小S的比值和在该距离下相机整个视场范围内像素的个数Q与整个视场面积的比值是相等的,如式所示:
Figure BDA0001911692050000034
Figure BDA0001911692050000035
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,S是物体实际面积大小,Q是相机整个视场范围内像素的个数;α和β分别是相机的水平视场和垂直视场,γ是视场面积转化为圆形隧道的投影面积修正系数。由式所示在α、β、Q、P已知的情况下即可以求出目标物体区域的面积。这样对获得的渗漏水图像面积乘以一个柱面投影系数γ即可求出渗漏水病害实际面积。
2)当识别到的曲面是平面时,此时不需要进行投影转换。直接通过视场转换可以将图片尺寸转化为实际尺寸,图像中目标物体区域内像素个数测量值P与实际物体的面积大小S的比值和在该距离下相机整个视场范围内像素的个数Q与整个视场面积的比值是相等的,如式所示:
Figure BDA0001911692050000041
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,S是物体实际面积大小,Q是相机整个视场范围内像素的个数;α和β分别是相机的水平视场和垂直视场,由式所示在α、β、Q、P已知的情况下即可以求出目标物体区域的面积,即渗漏水病害实际面积。
3)当识别到的曲面是椭圆柱面时,采用椭圆柱面投影模型可以将平面还原为椭圆柱面。相机与所测目标的距离是通过激光测距的,而距离可以进行实时采集。假定照相机的运动都发生在X—Z平面,而且图像中心点就是光轴与图像平面的交点,现在要得到投影中心O点观察到的原始图像,即图像J在椭圆柱面空间K上的投影图像J’。设椭圆柱面半长轴为b,半短轴为c,b和c可以通过点云数据拟合测得。投影角为α,图像J宽度为W,图像高度为H。容易得到椭圆柱面图像的宽度W’为
Figure BDA0001911692050000042
高度仍为H。图像的像素坐标以图像平面中的最左上角像素为坐标原点。
对图像J上的任意一点P(x,y),在椭圆柱面图像J’上的对应点为P’(x’,y’),对点P沿X一Z平面和Y—Z的横截面分别投影,可得椭圆柱面投影变换公式:
Figure BDA0001911692050000043
Figure BDA0001911692050000044
Figure BDA0001911692050000045
α为每张图像所占的弧度角。椭圆柱面投影就是将一张二维的图像投影到三维的椭圆柱体上,不过在显示图像的时候依然是以二维的形式给出。其中,x,y为原图的坐标,x',y'为变换后图像的坐标,W和H为原图的宽和高,这里α为相机水平视角,我们通过设置这个参数来实现不同的投影效果,α取值为(0,π)之间。通过椭圆柱面投影公式,可以将e中检测到的渗漏水病害区域图片每一个像素点投影到椭圆柱面上去。
视场转换可以将图片尺寸转化为实际尺寸,图像中目标物体区域内像素个数测量值P与实际物体的面积大小S的比值和在该距离下相机整个视场范围内像素的个数Q与整个视场面积的比值是相等的,如式所示:
Figure BDA0001911692050000051
Figure BDA0001911692050000052
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,S是物体实际面积大小,Q是相机整个视场范围内像素的个数;α和β分别是相机的水平视场和垂直视场,γ是视场面积转化为椭圆柱面形隧道的投影面积修正系数。由式所示在α、β、Q、P已知的情况下即可以求出目标物体区域的面积。这样对获得的渗漏水图像面积乘以一个椭圆柱面投影系数γ即可求出渗漏水病害实际面积。
与现有技术相比较,具有如下显而易见的突出实质性特点和显著优点:
本发明对于地铁隧道渗漏水面积测量无需人工参与,提高工作效率,且能够对曲面形状进行识别,然后对检测到的渗漏水区域进行相应的投影转换,得到更精确的渗漏水面积。
附图说明
图1是本发明基于深度学习与视场投影模型的渗漏水面积检测与识别方法的总流程图。
图2是训练图片所做的标签图。
图3是神经网络结构和视场投影转换以及柱面投影示意图。
图4是通过神经网络框架检测出来的渗漏水图片。
图5是渗漏水图片的一个柱面投影图。
图6是训练迭代过程中的精确度变化过程。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案作进一步具体说明,
如图1所示,一种基于深度学习与视场投影模型的隧道渗漏水面积识别方法,具体包括如下步骤:
a.使用无人车进行隧道壁面视频和点云数据采集,其中防抖摄像机进行视频采集,三维激光扫描仪进行点云数据采集;
b.对采集视频中的训练图片进行数据增强;
c.对步骤b中进行数据增强后的图片制作标签,标注真实渗漏水区域,作为算法的参考基准。如图2所示;
d.通过设置初始化权重、学习率、批尺寸和迭代次数这些基本参数构建了一个适用于隧道渗漏水病害图像识别的深度学习网络框架。将步骤b中数据增强后的图像和步骤c中得到的标签图输入神经网络,训练神经网络框架;神经网络结构示意图如图3所示;
e.根据步骤d中得到的训练好的神经网络框架对步骤a中的采集到的图像进行检测,检测到图像上的渗漏水区域;如图4所示,对各种干扰下的渗漏水图像检测,与传统目标分割方法做了一个对比;
f.根据步骤a中采集到的点云数据采用基于随机抽样一致算法(RANSAC)的方法对曲面形状进行识别,判别出是圆柱曲面,还是椭圆柱曲面或者平面。本实例识别出来的为圆柱曲面。
g.对于步骤e中检测后的渗漏水病害区域图片,根据步骤f识别出来的曲面,进行相应曲面投影,并通过计算像素点的视场转换原理计算投影后的渗漏水病害区域真实面积。步骤f中识别出来的为圆柱曲面,故进行柱面投影,柱面投影如图5所示;
所述步骤c中的对数据增强后的图片制作标签,具体如下:
对原图片进行自适应阈值法分割,得到二值图像,其中黑色的为渗漏水区域,白色的为背景。然后再加修正后标签,接着将二值图像的黑色像素点转化为洋红色,白色像素点转化为红色,其中洋红色区域为训练的渗漏水区域,红色为背景边界修正。对于图像仍存在黑色像素点进行形态学处理,进一步得到可供训练的样本集,通过程序的迭代,可以得到大量可供训练的样本集。如图2中的第一排图像为原图,第二排图像为二值化图像,第三排为修正后的图像,第四排为第三排图像经过形态学处理,去除仍存在的黑色像素点后的图像。
所述步骤d中的训练神经网络,具体如下:
通过对原图像的多次卷积、池化运算获得图像抽象的高维特征信息,将抽象的特征图还原到原图像尺寸,这样得到每个像素的预测。然后通过总体误差函数度量网络输出的预测图与对应标签图之间的误差的对比,完成一次迭代中的正向推理运算。随后采用随机梯度下降方法对总体误差函数进行最小化,并通过反向传播算法将误差的梯度进行反向传递,实现权值的更新,完成一次迭代中的反向学习运算。反复进行正向推理和反向学习运算,验证损失值是否达到既定值。如果达到既定值,则使用验证集图像对网络进行交叉验证,当得到的交叉验证误差小时,则网络训练完成。否则调参重新进行交叉验证。如图6所示,经过11900次的迭代运算,误差值趋于收敛,得到神经网络的一组最优权值集。这组最优权值集经保存后,即为训练得到的模型。在训练和训练中获得了最好的验证数据集。可以看出,精确度从开始的0.67~0.92,到最后稳定的0.98~0.99,训练过程中每20此迭代为一batch,验证一次精确度。
所述步骤e中的对采集到的隧道图像进行检测,具体如下:
将采集到的图像输入到神经网络框架后,调用训练好的模型中的权重集便可对图像中的每个像素进行预测,此时只进行正向推理,不进行反向学习。属于渗漏水的像素被预测为前景像素,不属于渗漏水的像素(如管片拼缝、遮挡、管线、阴影等干扰物)被预测为背景像素,从而实现渗漏水病害的图像识别。
所述步骤g中的对渗漏水病害区域图片进行相应的曲面投影,并通过计算像素点的视场转换原理计算曲面投影后的渗漏水病害区域真实面积,具体如下:
因为识别出来的曲面形状为圆柱面,采用柱面投影模型将平面还原为柱面。相机与所测目标的距离是通过激光测距的,而距离可以进行实时采集。假定照相机的运动都发生在X—Z平面,而且图像中心点就是光轴与图像平面的交点,现在要得到投影中心O点观察到的原始图像,即图像J在柱面空间K上的柱面投影图像J’。设柱面半径为r,投影角为α,图像J宽度为W,图像高度为H。容易得到柱面图像的宽度W’为r*α,高度仍为H。图像的像素坐标均以图像平面中的最左上角像素为坐标原点。
对图像J上的任意一点P(x,y),在柱面图像J’上的对应点为P’(x’,y’),对点P沿X一Z平面和Y—Z的横截面分别投影,可得柱面投影变换公式:
Figure BDA0001911692050000071
Figure BDA0001911692050000072
Figure BDA0001911692050000073
r为拍摄焦距,α为每张图像所占的弧度角。圆柱投影就是将一张二维的图像投影到三维的圆柱体上,不过在显示图像的时候依然是以二维的形式给出。其中,x,y为原图的坐标,x',y'为变换后图像的坐标,W和H为原图的宽和高,这里α为相机水平视角,我们通过设置这个参数来实现不同的投影效果,α取值为(0,π)之间。通过柱面投影公式,可以将e中检测到的渗漏水病害区域图片每一个像素点投影到圆柱平面上去。检测出来的渗漏水病害图片得到的柱面投影图如图5所示。
视场转换可以将图片尺寸转化为实际尺寸,图像中目标物体区域内像素个数测量值P与实际物体的面积大小S的比值和在该距离下相机整个视场范围内像素的个数Q与整个视场面积的比值是相等的,如式所示:
Figure BDA0001911692050000081
Figure BDA0001911692050000082
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,S是物体实际面积大小,Q是相机整个视场范围内像素的个数;α和β分别是相机的水平视场和垂直视场,γ是视场面积转化为圆形隧道的投影面积修正系数,可以通过几何关系求出。由式所示在α、β、Q、P已知的情况下即可以求出目标物体区域的面积。这样对获得的渗漏水图像面积乘以一个柱面投影系数γ即可求出渗漏水病害实际面积。

Claims (5)

1.一种基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特征在于,具体包括如下步骤:
步骤1)采集待测区域的视频数据和点云数据;
步骤2)通过渗漏水图像识别神经网络对步骤1)采集的视频数据进行检测,得到渗漏水区域图片;
步骤3)对步骤1)采集的点云数据进行识别,得到曲面形状;
步骤4)根据步骤3)得到的曲面形状对步骤2)得到的漏水区域图片进行相应曲面形状投影,并计算投影后的渗漏水区域实际面积;
所述的步骤2)通过渗漏水图像识别神经网络对步骤1)采集的视频数据进行检测,得到渗漏水区域图片,具体检测步骤如下:
步骤2.1)采集历史渗漏水区域的视频数据和点云数据;
步骤2.2)对视频数据中的图片数据进行数据增强,得到增强图像;
步骤2.3)对增强图像中的渗漏水区域进行标注,作为标签;
步骤2.4)构建隧道渗漏水图像识别神经网络框架,并将增强图像和标签输入隧道渗漏水图像识别神经网络,训练隧道渗漏水图像识别神经网络框架,得到深度学习后的隧道渗漏水图像识别神经网络;
步骤2.5)将采集的视频数据输入到所述的深度学习后的隧道渗漏水图像识别神经网络,对图像中的渗漏水区域进行预测,属于渗漏水的像素被预测为前景像素,不属于渗漏水的像素被预测为背景像素,从而实现渗漏水病害的图像识别;
所述的步骤4)计算投影后的渗漏水区域实际面积,具体是:
步骤4.1)当识别到的曲面是圆柱面时,采用柱面投影模型将平面还原为柱面,小车运行时防抖摄像机的运动发生在X—Z平面,图像中心点就是光轴与图像平面的交点,为了得到投影中心O点观察到的原始图像,即图像J在柱面空间K上的柱面投影图像J’;设柱面半径为r,投影角为α,图像J宽度为W,图像高度为H;得到柱面图像的宽度W’为r*α,高度仍为H,图像的像素坐标均以图像平面中的最左上角像素为坐标原点;
对图像J上的任意一点P(x,y),在柱面图像J’上的对应点为P’(x’,y’),对点P沿X一Z平面和Y—Z的横截面分别投影,可得柱面投影变换公式:
Figure FDA0004057573830000021
Figure FDA0004057573830000022
Figure FDA0004057573830000023
其中,r为拍摄焦距,α为每张图像所占的弧度角,x,y为原图的坐标,x',y'为变换后图像的坐标,W和H为原图的宽和高,α为防抖摄像机水平视角,取值为(0,π);通过柱面投影公式,可以将e中检测到的渗漏水病害区域图片每一个像素点投影到圆柱平面上去;
计算渗漏水病害实际面积S,公式如下:
Figure FDA0004057573830000024
Figure FDA0004057573830000025
其中,h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,Q是防抖摄像机整个视场范围内像素的个数,α和β分别是防抖摄像机的水平视场和垂直视场,γ是视场面积转化为圆形隧道的投影面积修正系数;
步骤4.2)当识别到的曲面是平面时,计算渗漏水病害实际面积S,公式如下:
Figure FDA0004057573830000026
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,
步骤4.3)当识别到的曲面是椭圆柱面时,采用椭圆柱面投影模型将平面还原为椭圆柱面,小车运行时防抖摄像机的运动发生在X—Z平面,而且图像中心点就是光轴与图像平面的交点,为了得到投影中心O点观察到的原始图像,即图像J在椭圆柱面空间K上的投影图像J’;设椭圆柱面半长轴为b,半短轴为c,b和c可以通过点云数据拟合测得;投影角为α,图像J宽度为W,图像高度为H,得到椭圆柱面图像的宽度W’为
Figure FDA0004057573830000031
高度仍为H;图像的像素坐标以图像平面中的最左上角像素为坐标原点;
对图像J上的任意一点P(x,y),在椭圆柱面图像J’上的对应点为P’(x’,y’),对点P沿X一Z平面和Y—Z的横截面分别投影,可得椭圆柱面投影变换公式:
Figure FDA0004057573830000032
Figure FDA0004057573830000033
Figure FDA0004057573830000034
α为每张图像所占的弧度角;椭圆柱面投影就是将一张二维的图像投影到三维的椭圆柱体上;其中,x,y为原图的坐标,x',y'为变换后图像的坐标,W和H为原图的宽和高,这里α为防抖摄像机水平视角,α取值为(0,π)之间;通过椭圆柱面投影公式,可以将e中检测到的渗漏水病害区域图片每一个像素点投影到椭圆柱面上去;
计算渗漏水病害实际面积S,公式如下:
Figure FDA0004057573830000035
Figure FDA0004057573830000036
其中h是到物体表面的距离,P是图像中目标物体区域内像素个数测量值,Q是防抖摄像机整个视场范围内像素的个数;α和β分别是防抖摄像机的水平视场和垂直视场,γ是视场面积转化为椭圆柱面形隧道的投影面积修正系数;
所述步骤2.3)对增强图像中的渗漏水区域进行标注,作为标签,具体如下:
步骤2.3.1)对增强图像进行自适应阈值法分割,得到二值图像,其中,黑色像素点为渗漏水区域,白色像素点为背景区域;
步骤2.3.2)对二值图像修正后,对像素点进行标签;
步骤2.3.3)将二值图像的黑色像素点转化为洋红色像素点,白色像素点转化为红色像素点,其中,洋红色像素点为训练的渗漏水区域,红色像素点为背景边界修正;
步骤2.3.4)对于二值图像中仍存在的黑色像素点进行形态学处理,得到可供训练的样本集,通过迭代,得到可供训练的样本集;
所述步骤2.4)训练渗漏水图像识别神经网络框架,得到深度学习后的隧道渗漏水图像识别神经网络,具体是:
步骤2.4.1)通过对增强图像的多次卷积、池化运算获得图像抽象的高维特征信息;
步骤2.4.2)通过总体误差函数度量网络输出的预测图与对应标签图之间的误差的对比,完成一次迭代中的正向推理运算;
步骤2.4.3)采用随机梯度下降法对总体误差函数进行最小化,并通过反向传播算法将误差的梯度进行反向传递,实现权值的更新,完成一次迭代中的反向学习运算:
步骤2.4.4)反复步骤2.4.3)-2.4.4)直至损失值达到既定值,使用验证集图像对网络进行交叉验证,当得到的交叉验证误差小时,则网络训练完成,否则调节学习率和学习衰减率参数重新进行交叉验证。
2.根据权利要求1所述的基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特征在于,所述步骤2.4)构建的渗漏水图像识别神经网络框架包括初始化权重、学习率、批尺寸和迭代次数参数。
3.根据权利要求1所述的基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特征在于,所述的步骤2.5)不属于渗漏水的像素包括管片拼缝、遮挡、管线或阴影。
4.根据权利要求1所述的基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特征在于,所述的步骤3)对步骤1)采集的点云数据进行识别,得到曲面形状,具体是基于随机抽样一致算法(RANSAC),采集的待测区域为隧道侧面,主要有平面、椭圆柱面和圆柱面三种,从采集到的点云数据中,随机选择四点{p1(x1,y1,z1),p2(x2,y2,z2),p3(x3,y3,z3),p4(x4,y4,z4)},隧道的横截面为xz平面,随机选择四点中的三个点,确定一个平面和一个圆柱面;将这三个点代入到以下两个式子,确定平面的三个参数A、B和C和圆柱面的圆心坐标和半径参数:
Ay+Bz+C=x
(x-x0)2+(z-z0)2=r2
由随机选择的四个点,确定一个椭圆柱面,将这四个点代入到以下式子,确定椭圆柱面的参数
Figure FDA0004057573830000051
设定一个阈值ε,统计点云数据中到以上确定的平面,椭圆柱面和圆柱面距离小于阈值的点云个数,记为得分数,隧道侧面对应的曲面形状得分数必然远远大于其他两种形状,由此可以识别出曲面形状为平面、圆柱面或者椭圆柱面;
在识别出曲面形状后,多次从点云中反复抽取四个点,确定曲面模型,计算得分数,得到精确曲面模型。
5.根据权利要求1所述的基于深度学习与视场投影模型的渗漏水区域检测与识别方法,其特征在于,所述的步骤1)采集待测区域的视频数据和点云数据,具体是用防抖摄像机进行视频数据采集,用三维激光扫描仪进行点云数据采集。
CN201811555277.5A 2018-12-19 2018-12-19 基于深度学习与视场投影模型的渗漏水面积检测与识别方法 Active CN109615653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811555277.5A CN109615653B (zh) 2018-12-19 2018-12-19 基于深度学习与视场投影模型的渗漏水面积检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811555277.5A CN109615653B (zh) 2018-12-19 2018-12-19 基于深度学习与视场投影模型的渗漏水面积检测与识别方法

Publications (2)

Publication Number Publication Date
CN109615653A CN109615653A (zh) 2019-04-12
CN109615653B true CN109615653B (zh) 2023-05-05

Family

ID=66010580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811555277.5A Active CN109615653B (zh) 2018-12-19 2018-12-19 基于深度学习与视场投影模型的渗漏水面积检测与识别方法

Country Status (1)

Country Link
CN (1) CN109615653B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689042B (zh) * 2019-08-20 2022-05-13 中国矿业大学(北京) 隧道渗漏等级的识别方法和装置、存储介质、电子装置
CN110726643A (zh) * 2019-11-18 2020-01-24 辽宁机电职业技术学院 一种用于钻石密度测试的激光探测系统及探测方法
CN110909657A (zh) * 2019-11-19 2020-03-24 上海勘察设计研究院(集团)有限公司 一种隧道表观病害图像识别的方法
CN112990237B (zh) * 2019-12-02 2023-04-07 上海交通大学 基于深度学习的地铁隧道图像渗漏检测的方法
CN111144254A (zh) * 2019-12-18 2020-05-12 江河瑞通(北京)技术有限公司 城市内涝积水程度识别方法及装置
CN111141653B (zh) * 2019-12-30 2022-08-09 上海地铁维护保障有限公司 一种基于神经网络的隧道渗漏速率预测方法
CN111325747B (zh) * 2020-03-19 2023-07-11 北京城建勘测设计研究院有限责任公司 一种矩形隧道的病害检测方法及装置
CN111445539A (zh) * 2020-03-23 2020-07-24 九牧厨卫股份有限公司 一种阳台积水检测方法、处理装置及智能晾衣架系统
CN112070754A (zh) * 2020-09-11 2020-12-11 武汉百家云科技有限公司 一种隧道管片漏水检测方法、装置、电子设备及介质
CN112489108B (zh) * 2020-12-24 2023-08-01 中国科学院南海海洋研究所 一种远海珊瑚礁水下表面积反演重建的方法及装置
CN112927204B (zh) * 2021-02-25 2022-09-20 同济大学 一种基于关键渗水点识别的路面渗水性能评估方法
CN113269713B (zh) * 2021-04-07 2023-04-07 西南交通大学 隧道掌子面地下水出水形式智能识别方法及确定装置
CN116309791B (zh) * 2023-05-17 2023-10-27 南京星罗基因科技有限公司 一种禽类羽毛面积参数的检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102679914A (zh) * 2012-05-14 2012-09-19 同济大学 一种盾构隧道衬砌管片渗漏水面积的测量方法及装置
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108230344A (zh) * 2018-01-24 2018-06-29 上海岩土工程勘察设计研究院有限公司 一种隧道渗漏水病害自动识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102679914A (zh) * 2012-05-14 2012-09-19 同济大学 一种盾构隧道衬砌管片渗漏水面积的测量方法及装置
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN108230344A (zh) * 2018-01-24 2018-06-29 上海岩土工程勘察设计研究院有限公司 一种隧道渗漏水病害自动识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FP-Growth算法的盾构掘进参数与隧道管片渗漏关联性分析;吴惠明 等;《隧道建设》;20160531(第5期);全文 *

Also Published As

Publication number Publication date
CN109615653A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109615653B (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
US11551341B2 (en) Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN107154040B (zh) 一种隧道衬砌表面图像裂缝检测方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN110569704A (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN110766669B (zh) 一种基于多目视觉的管线测量方法
CN111144213B (zh) 一种对象检测方法和相关设备
CN109631912B (zh) 一种深空球形目标被动测距方法
CN111192194B (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN109470149B (zh) 一种管路位姿的测量方法及装置
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN112966542A (zh) 一种基于激光雷达的slam系统和方法
CN116258722B (zh) 基于图像处理的桥梁建筑智能检测方法
CN110851978B (zh) 一种基于可见性的摄像机位置优化方法
CN111127613B (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
Wang Automatic extraction of building outline from high resolution aerial imagery
CN113421236B (zh) 基于深度学习的建筑墙面渗漏水表观发育状况预测方法
CN104156977A (zh) 基于多线列时差扫描扩展采样的点目标运动速度探测方法
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN117011477B (zh) 一种基于bim的钢结构形变监测处理方法及系统
CN109671084A (zh) 一种工件形状的测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant