CN110197203B - 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 - Google Patents

基于宽度学习神经网络的桥梁路面裂缝分类识别方法 Download PDF

Info

Publication number
CN110197203B
CN110197203B CN201910380261.3A CN201910380261A CN110197203B CN 110197203 B CN110197203 B CN 110197203B CN 201910380261 A CN201910380261 A CN 201910380261A CN 110197203 B CN110197203 B CN 110197203B
Authority
CN
China
Prior art keywords
crack
image
bridge
width
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910380261.3A
Other languages
English (en)
Other versions
CN110197203A (zh
Inventor
郭黎
卜慎慎
廖宇
李晓艳
李润泽
江鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University for Nationalities
Original Assignee
Hubei University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University for Nationalities filed Critical Hubei University for Nationalities
Priority to CN201910380261.3A priority Critical patent/CN110197203B/zh
Publication of CN110197203A publication Critical patent/CN110197203A/zh
Application granted granted Critical
Publication of CN110197203B publication Critical patent/CN110197203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于宽度学习神经网络的桥梁路面裂缝分类识别方法,属于图像处理和计算机视觉领域。利用宽度学习神经网络同时实现桥梁裂缝位置和裂缝属性的准确识别分类,主要解决目前基于宽度学习神经网络的桥梁裂缝的检测方法无法直接获取裂缝的宽度和长度信息的问题以及将PC端和手机端的结合来进行桥梁裂缝的分类识别,给桥梁裂缝的分类识别带来了更准确、更便捷、可靠性更高的方法,提高了桥梁裂缝检测的效率以及检测结果的准确性和稳定性。

Description

基于宽度学习神经网络的桥梁路面裂缝分类识别方法
技术领域
本发明属于图像处理和计算机视觉领域,涉及基于宽度学习神经网络的桥梁路面裂缝分类识别方法。
背景技术
桥梁作为道路、公路、铁路等交通系统的枢纽,需要定期的对其健康状况进行检测和评估。通常混凝土结构引起病害的主要表现形式有裂缝、变形、腐蚀等等。而且桥梁通常大多是由混凝土构成,由调查得知,90%以上的混凝土桥梁的损坏是由桥梁裂缝造成的,桥梁表面出现裂缝不仅意味着桥梁内部出现了结构性的损伤,能够有效的反映结构当前的工作状态,而且外界产生的水汽就比较容易进入桥梁内部,从而加速钢筋等内部结构的腐蚀、材料碳化以及材料变形等;及时检测、捕捉、识别分类桥梁表面的裂缝,对于预示或者及时发现工程险情和后期桥梁的修补,控制裂缝的产生、扩展,并根据不同桥梁裂缝进行不同的预防工作,保证桥梁的可靠运营以及延长桥梁的使用寿命具有非常重要的意义。
目前的检测方法主要为人工检测、大型桥梁检测车检测为主,存在很多不足之处:
(1)安全性低:属于高空作业,而且检测人员需要下到桥梁底下进行检测,安全没有保障;
(2)检测效率低:检测效率会受到桥底环境复杂程度和质检工作者的经验和体力影响,比较耗时;
(3)检测精度低:主要以人眼进行观察检测,容易受到人的主观因素影响;
(4)劳动强度大:桥梁多,检测工作量大,单纯靠人工完成,强度比较大;
(5)成本高:需要专业人士操作,使用大量人力物力进行检测,花费高;
(6)信息化程度低:无法精确建立桥梁裂缝历史数据,不便于危险桥梁的管理和维护,亦无法给政府管理部门提供决策支撑信息。
上述不足导致目前桥梁裂缝的检测现状完全不能适应当下和未来桥梁的建设与发展。
近几年由于人们对裂缝特征的不同理解,使得人们提出的裂缝检测方法也是各种各样,但大部分原理基本特征是一致的,而且算法的流程也大致相同:预处理,裂缝区域检测与分类分割,后处理与特征描述。裂缝作为一种看似简单,却因为背景及本身结构特征而具有多变性和复杂性的目标,现有的桥梁裂缝检测方法仍然存在很多缺陷,远不能满足其需求。
总而言之,用于检测桥梁裂缝的特征多种多样,但是简单而又高效的桥梁裂缝的检测还是一个难点,如何快速高效精准的提取桥梁裂缝结构特征都是具有挑战性的问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于宽度学习神经网络的桥梁路面裂缝分类识别方法。
为达到上述目的,本发明提供如下技术方案:
一种基于宽度学习神经网络的桥梁裂缝分类识别方法,该方法包括以下步骤:
步骤一、创建宽度学习图像训练集;
步骤二、训练宽度学习神经网络模型;
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像;
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值;
步骤五、根据检测结果通过输出病害记录结果,若待检测桥梁路面图像中存在裂缝,则记录图像名称、裂缝的坐标信息以及裂缝的宽度值和长度值;若待检测图像中没有裂缝,则就不需要记录;
步骤六、将pc端训练好的模型导入到移动端再到车载系统。
进一步,所述步骤一包括:
S11:采集桥梁路面图像:通过移动拍摄设备拍摄桥梁路面表面得到桥梁路面图像;
S12:将桥梁路面视频序列转变为图像序列,通过人工筛查桥梁图像选出足够数量张的裂缝图像和非裂缝图像,并且调整图像大小;桥梁路面图像的格式与原始桥梁路面图像需要保持一致;原始图像记为I,宽和高记为(W,H),调整之后的图像记为I’,宽和高记为(W’,H’);
S13:使用MATLAB软件打开调整大小后的桥梁裂缝图像,并通过MATLAB筛选出裂缝区域记为Rc,非裂缝区域记为Ri;
S14:对选出的裂缝区域和非裂缝区域进行不同颜色填充,颜色填充完成后,保存为训练集标签图像,此时图像格式要和原始桥梁裂缝图片格式一致,宽度和高度记为(W’,H’)。
进一步,所述步骤二包括:
S21:搭建宽度学习神经网络结构:宽度学习神经网络通过把特征节点层和增强节点层连接形成网络其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmax loss函数,激活函数选择S型Sigmoid函数;为防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减weight decay L1,L2正则化项;
S22:选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
S23:选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练。
进一步,所述步骤三包括:
S31:选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求要与宽度学习训练集图像保持一致;
S32:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像Il。
进一步,所述步骤四包括:
S41:把预测标签图像通过使用双三次插值的方法,把其大小调整到桥梁原始图片大小(w,h),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
S42:运用宽度神经网络分类器在每个图像块中拟合一条线段,通过图像块中是否存在拟合出来的线段,来定位裂缝所占区域;遍历预测标签图像Q1中的所有连通区域,即裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并来计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
S43:通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式:
Figure BDA0002053147470000031
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
S44:计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
Figure BDA0002053147470000032
S45:计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns1,;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Figure BDA0002053147470000041
Wp1 i=cos(θs i)*Do
Do=|Ps2(i).y-Ps(j).y|
j={j|Ps2(i).x=Ps(j).x}
其中,i∈[1,Ns1],j∈[1,Ns];
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
进一步,所述步骤五包括:
根据检测结果输出得出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录;
另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取0.2mm/pixel。
进一步,所述步骤六包括:
S61:首先在pc端训练模型的时候要模型保存为pb模型;
S62:开始把pb模型移植到Android Studio上;
S63:在Android Studio中调用模型第三大步地模型导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
本发明的有益效果在于:
(1)本发明能够直接对于桥梁裂缝的识别与分类,简化了桥梁裂缝检测流程,效率更高准确性更强。
(2)本发明使用一种基于宽度学习神经网络的桥梁裂缝的识别分类方法,运用宽度神经网络分类器进行裂缝识别,准确性和鲁棒性更高。
(3)本发明能够将PC机和移动端结合,给桥梁裂缝的检测带来了更多的方便,这对桥梁裂缝的检测和安全评估带来了更多便利和参考价值。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明基于宽度学习神经网络桥梁裂缝识别分类方法的流程图;
图2为基于宽度学习神经网络架构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
如图1所示,本发明是一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述的桥梁裂缝分类识别方法包括以下步骤:
步骤一、创建宽度学习图像训练集
对于所述步骤一的具体操作如下:
(1)采集隧道图像。通过移动检测装备拍摄隧道表面得到单通道的隧道图像,其分辨率一般要求不低于100万像素,图像的清晰度要求足够高,图像中的裂缝最小宽度不低于1像素;
(2)通过人工筛查隧道图像,选出2万张裂缝图像2万张非裂缝图像,并调整图像大小,图像格式与原始隧道图像一致。原始隧道图像记为I,宽和高记为(W,H),调整后的图像记为I’,宽和高记为(W’,H’);
其中图像的宽和高根据相机的分辨率来设定,(W,H)—般为(2560,2048),(W’,H’)设为(64,64);
(3)使用MATLAB软件打开调整大小后的裂缝图像,选出裂缝区域,记为Rc,非裂缝区域记为Ri;
(4)选出的裂缝区域Rc记为1,并设置裂缝区域填充颜色为白色。非裂缝区域Ri标记为0,并设置非裂缝区域填充颜色为黑色;
(5)对选出的裂缝区域和非裂缝区域进行不同颜色填充,裂缝和非裂缝区域颜色填充完成后,保存为训练集标签图像,记为L其格式与原始隧道图像I一致,大小为(W’,H’),图像训练集分成训练集、验证集和测试集三个部分,分配比例设为0.7:0.2:0.1;
步骤二,训练宽度学习神经网络模型.
对于步骤二所述具体操作如下:
(1)如图2所示,搭建宽度学习神经网络结构:宽度学习神经网络通过把(特征节点层和增强节点层连接形成网络其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmax loss函数,激活函数选择S型(Sigmoid)函数。为了防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减(weight decay)L1,L2正则化项。
(2)选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
(3)选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练。
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像,记做I1。
对于步骤三所述具体操作如下:
(1)选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求要与宽度学习训练集图像保持一致;
(2)使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像I1。
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值。
对于步骤四所述具体操作如下:
(1)把预测标签图像通过使用双三次插值的方法,把其大小调整到桥梁原始图片大小(w,h),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
(2)运用宽度神经网络分类器在每个图像块中拟合一条线段,通过图像块中是否存在拟合出来的线段,来定位裂缝所占区域。遍历预测标签图像Q1中的所有连通区域,也就是裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并来计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
(3)通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式所示:
Figure BDA0002053147470000071
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
(4)计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
Figure BDA0002053147470000072
(5)计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns1,;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下所示:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算他们相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Figure BDA0002053147470000081
Wp1 i=cos(θs i)*Do (4)
Do=|Ps2(i).y-Ps(j).y| (5)
j={j|Ps2(i).x=Ps(j).x} (6)
其中,i∈[1,Ns 1],j∈[1,N s]
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
步骤五、根据检测结果输出得出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录。另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,其计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取为0.2mm/pixel。
步骤六、将pc端训练好的模型导入到移动端导入车载:
对于步骤六所述具体操作如下:
(1)首先在pc端训练模型的时候要把模型保存为pb模型
(2)开始把pb模型移植到Android Studio上
(3)在Android Studio中调用模型第三大步地模型导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:该方法包括以下步骤:
步骤一、创建宽度学习图像训练集;
步骤二、训练宽度学习神经网络模型;
步骤三、使用训练好的神经网络模型对待检测图像进行检测并输出预测标签图像;
步骤四、根据预测标签图像输出检测结果,包括图像类别、裂缝的坐标信息以及裂缝的像素级宽度值和长度值;
步骤五、根据检测结果输出病害记录结果,若待检测桥梁路面图像中存在裂缝,则记录图像名称、裂缝的坐标信息以及裂缝的宽度值和长度值;若待检测图像中没有裂缝,则就不需要记录;
步骤六、将pc端训练好的模型导入到移动端再到车载系统;
所述步骤一包括:
S11:采集桥梁路面图像:通过移动拍摄设备拍摄桥梁路面表面得到桥梁路面图像;
S12:通过人工筛查桥梁图像选出若干张的裂缝图像和非裂缝图像,并且调整图像大小;桥梁路面图像的格式与原始桥梁路面图像需要保持一致;原始图像记为I,宽和高记为(W,H),调整之后的图像记为I’,宽和高记为(W’,H’);
S13:使用MATLAB软件打开调整大小后的桥梁裂缝图像,并通过MATLAB筛选出裂缝区域记为Rc,非裂缝区域记为Ri;
S14:对选出的裂缝区域和非裂缝区域进行不同颜色填充,颜色填充完成后,保存为训练集标签图像,此时图像格式要和原始桥梁裂缝图片格式一致,宽度和高度记为(W’,H’);
所述步骤二包括:
S21:搭建宽度学习神经网络结构:宽度学习神经网络通过把特征节点层和增强节点层连接形成网络,其权重参数通过伪逆来求解,宽度学习神经网络的代价函数选择softmaxloss函数,激活函数选择S型Sigmoid函数;为防止宽度学习神经网络模型过拟合,在代价函数中加入权值衰减weight decay L1,L2正则化项;
S22:选择训练策略:宽度学习神经网络训练使用求L2正则化求伪逆方法进行优化求解,实现加速学习过程;
S23:选择机器学习库:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构,并根据已选择的训练策略和图像训练集进行训练;
所述步骤三包括:
S31:选择一张桥梁路面图像作为待检测图像,并通过使用双线性插值的方法把待检测图像大小调至(W’,H’)像素,其中待检测图像采集要求与宽度学习训练集图像保持一致;
S32:使用机器学习框架tensorflow实现以上所述的宽度学习神经网络结构模型,对待检测图像进行推理预测,输出预测标签图像Il;
所述步骤四包括:
S41:通过对预测标签图像使用双三次插值的方法,把其大小调整到桥梁原始图片大小(W,H),把调整后的预测标签图像记成Q1,它的格式和原始桥梁图像的格式保持一致;
S42:运用宽度神经网络分类器在每个图像块中拟合一条线段,通过判断图像块中是否存在拟合出来的线段,来定位裂缝所占区域;遍历预测标签图像Q1中的所有连通区域,即裂缝区域,使用连通域面积最小化的方法来提取裂缝区域的外接矩形,并计算外接矩形的宽和高的比值,记为Bhw;若Bhw大于或者等于线性判定阈值,则标记为有效裂缝区域;如果Bhw小于线性判定阈值,就标记为无效裂缝区域,其中线性判定阈值记为Ti;如果预测标签图像Q1中不存在有效裂缝区域,图像类别Class设为0;反之图像类别Class设为1;
S43:通过遍历有效裂缝区域,提取其轮廓点坐标集,记为Ps,轮廓点坐标的个数记为Ns,并计算它外接矩形长边的角度,记为θ;计算方法如下式:
Figure FDA0003591677460000021
其中,P1(x1,y1)和P2(x2,y2)是外接矩形长边的两个端点坐标;
S44:计算桥梁裂缝的像素级长度:对桥梁裂缝区域的轮廓点坐标集Ps进行抽样,抽样间隔记为N1,抽样后得到的轮廓点坐标的个数记为Ns1;抽样后的轮廓点坐标集记为Ps1并计算桥梁裂缝的像素级长度值Lp,计算方法如下:
Figure FDA0003591677460000022
S45:计算桥梁裂缝的像素级宽度:抽样间隔记为N2,对裂缝区域的轮廓点坐标集Ps进行抽样,抽样后的轮廓点坐标集记为Ps2,轮廓点坐标的个数记为Ns2;根据抽样后的轮廓点坐标集Ps2计算裂缝的像素级宽度值Wp,具体的计算方法步骤如下:
①先把抽样后的各轮廓点位置的裂缝像素级宽度值初始化为0;
②遍历抽样后的轮廓点坐标集Ps2,计算相邻两点的角度值,记做θs;比较θ和θs,如果两者间的误差绝对值大于或者等于角度偏差阈值,那么就放弃计算当前轮廓点位置的裂缝的像素级宽度值,继续遍历下一个轮廓点,角度偏差阈值记为T;如果两者间的误差绝对值小于角度偏差阈值,则计算出当前轮廓点位置的裂缝的像素级宽度值;各轮廓点位置的桥梁裂缝的像素级宽值记为Wp1,方法如下:
Figure FDA0003591677460000031
Wp1 i=cos(θs i)*Do
Do=|Ps2(i).y-Ps(j).y|
j={j|Ps2(i).x=Ps(j).x}
其中,i∈[1,Ns2],j∈[1,Ns];
③桥梁裂缝的像素级宽度值做过处理后:首先去除Wp1中的零值,然后再计算Wp1的平均值,并且把此平均值作为最终的裂缝的像素级宽度值Wp。
2.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤五包括:
根据检测结果输出裂缝记录结果,如果待检测图像中存在裂缝,那么就把图像的名称和裂缝的坐标信息Psl以及裂缝的实际宽度值和长度值记录下来;如果待检测图像中没有裂缝,就不需要记录;
另外其中裂缝的实际长度值和宽度值分别记为Lr、Wr,计算方法为:
Wr=Wp×a
Lr=Lp×a
其中,a是尺度变换系数,表示图像中单个像素对应的实际距离值,取0.2mm/pixel。
3.根据权利要求1所述的一种基于宽度学习神经网络的桥梁裂缝分类识别方法,其特征在于:所述步骤六包括:
S61:在pc端训练模型的时候将模型保存为pb模型;
S62:把pb模型移植到Android Studio上;
S63:在Android Studio中调用模型,将训练好的裂缝宽度识别模型逐步地导入手机上,实现桥梁路面裂缝损伤的在线实时检测识别分类。
CN201910380261.3A 2019-05-08 2019-05-08 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 Active CN110197203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910380261.3A CN110197203B (zh) 2019-05-08 2019-05-08 基于宽度学习神经网络的桥梁路面裂缝分类识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910380261.3A CN110197203B (zh) 2019-05-08 2019-05-08 基于宽度学习神经网络的桥梁路面裂缝分类识别方法

Publications (2)

Publication Number Publication Date
CN110197203A CN110197203A (zh) 2019-09-03
CN110197203B true CN110197203B (zh) 2022-06-10

Family

ID=67752482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910380261.3A Active CN110197203B (zh) 2019-05-08 2019-05-08 基于宽度学习神经网络的桥梁路面裂缝分类识别方法

Country Status (1)

Country Link
CN (1) CN110197203B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046936A (zh) * 2019-12-05 2020-04-21 湖北民族大学 基于级联宽度神经网络桥梁裂缝分类识别方法
CN111160198B (zh) * 2019-12-23 2023-06-27 北方工业大学 基于宽度学习的物体识别方法及系统
CN111401827B (zh) * 2020-02-26 2023-04-07 山西省智慧交通研究院有限公司 一种桥梁病害数字化采集系统
CN111626092B (zh) * 2020-03-26 2023-04-07 陕西陕北矿业韩家湾煤炭有限公司 一种基于机器学习的无人机影像地裂缝识别及提取方法
CN111652842B (zh) * 2020-04-26 2021-05-11 佛山读图科技有限公司 高速西林瓶轧盖生产线实时视觉检测方法及系统
CN111598845A (zh) * 2020-04-26 2020-08-28 北京科技大学 基于深度学习与neo-6m定位模块的路面裂缝检测与定位的方法
CN111833356B (zh) * 2020-06-15 2023-02-28 五邑大学 脑部胶质瘤图像分级方法、装置及存储介质
CN111795978B (zh) * 2020-09-08 2020-12-04 湖南大学 一种钢桥结构健康状态评估方法、装置、设备及存储介质
CN112749733A (zh) * 2020-11-27 2021-05-04 江西省交通科学研究院 一种基于混合模型及图像金字塔的桥梁病害识别方法
CN112802011A (zh) * 2021-02-25 2021-05-14 上海电机学院 一种基于vgg-bls的风机叶片缺陷检测方法
CN113033634B (zh) * 2021-03-12 2022-11-22 重庆交通职业学院 一种基于机器学习的道路材料微图像处理方法和装置
CN113486721B (zh) * 2021-06-09 2023-08-29 北京科技大学 一种基于滚动优化裂缝分类识别模型的路面裂缝检测方法
CN113537016B (zh) * 2021-07-06 2023-01-06 南昌市微轲联信息技术有限公司 一种道路巡查中道路损伤自动检测预警的方法
CN114663750B (zh) * 2022-02-23 2023-03-03 无锡雪浪数制科技有限公司 一种基于机器视觉与深度学习的海缆填充条断裂识别方法
CN114511568B (zh) * 2022-04-20 2022-07-22 西安博康硕达网络科技有限公司 基于无人机的高速公路桥梁检修方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN109271885A (zh) * 2018-08-29 2019-01-25 广东工业大学 一种基于宽度学习的鸟巢识别方法
CN109492625A (zh) * 2018-12-29 2019-03-19 中国地质大学(武汉) 一种基于宽度学习的人脸识别考勤方法
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910186A (zh) * 2017-01-13 2017-06-30 陕西师范大学 一种基于cnn深度学习的桥梁裂缝检测定位方法
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法
CN108229461A (zh) * 2018-01-16 2018-06-29 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道裂缝快速识别方法
CN109271885A (zh) * 2018-08-29 2019-01-25 广东工业大学 一种基于宽度学习的鸟巢识别方法
CN109522838A (zh) * 2018-11-09 2019-03-26 大连海事大学 一种基于宽度学习的安全帽图像识别算法
CN109492625A (zh) * 2018-12-29 2019-03-19 中国地质大学(武汉) 一种基于宽度学习的人脸识别考勤方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture;C. L. Philip Chen等;《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》;20180131;第29卷(第1期);第10-24页 *
宽度学习系统:一种不需要深度结构的高效增量学习系统;广西人工智能学会;《http://www.gxaai.com/index.php?m=content&c=index&a=show&catid=27&id=89》;20180926;第1-4页 *

Also Published As

Publication number Publication date
CN110197203A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197203B (zh) 基于宽度学习神经网络的桥梁路面裂缝分类识别方法
JP6829575B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN106683073B (zh) 一种车牌的检测方法及摄像机和服务器
CN110097087B (zh) 一种自动钢筋捆扎位置识别方法
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
CN110991466A (zh) 一种基于新型视觉传感设备的高速公路路面状况检测系统
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112819094A (zh) 一种基于结构相似度度量的目标检测与识别方法
Bello-Salau et al. Image processing techniques for automated road defect detection: A survey
JP6811217B2 (ja) コンクリート表面上のひび割れ特定方法、ひび割れ特定装置、ひび割れ特定システム及びプログラム
CN114689600A (zh) 一种桥梁混凝土结构表面裂缝检测方法及系统
US11587299B2 (en) Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
CN111046936A (zh) 基于级联宽度神经网络桥梁裂缝分类识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
WO2022104798A1 (zh) 基于5g的无人驾驶电子交警执勤系统
CN112749741B (zh) 一种基于深度学习的手闸紧固故障识别方法
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
CN111307267A (zh) 一种基于同心圆检测的导线舞动监测方法
CN116343100A (zh) 一种基于自监督学习的目标识别方法及系统
CN111583341B (zh) 云台像机移位检测方法
CN116543327A (zh) 作业人员工种识别的方法、装置、计算机设备及存储介质
CN110969103B (zh) 一种基于ptz相机的高速公路路面病害长度测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant