CN110910373B - 正交异性钢桥面板疲劳裂纹检测图像的识别方法 - Google Patents

正交异性钢桥面板疲劳裂纹检测图像的识别方法 Download PDF

Info

Publication number
CN110910373B
CN110910373B CN201911164153.9A CN201911164153A CN110910373B CN 110910373 B CN110910373 B CN 110910373B CN 201911164153 A CN201911164153 A CN 201911164153A CN 110910373 B CN110910373 B CN 110910373B
Authority
CN
China
Prior art keywords
image
defect
images
fatigue crack
steel bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911164153.9A
Other languages
English (en)
Other versions
CN110910373A (zh
Inventor
勾红叶
韩冰
王君明
王海波
杨彪
魏莹莹
唐勇
吴再新
张伟勇
徐代宏
魏贤奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201911164153.9A priority Critical patent/CN110910373B/zh
Publication of CN110910373A publication Critical patent/CN110910373A/zh
Application granted granted Critical
Publication of CN110910373B publication Critical patent/CN110910373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了正交异性钢桥面板疲劳裂纹检测图像的识别方法，包括以下步骤：步骤1、筛选出超声波相控阵检测仪采用同一显示成像方式采集的正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；步骤2、通过加权算法将筛选出的缺陷图像处理成二维灰度图像；步骤3、基于图像颜色信息对处理成的二维灰度图像进行缺陷定位和截取；步骤4、将缺陷定位并截取后所有的图像缩放至相同的尺寸；步骤5、采用训练的Faster R‑CNN网络模型分别对缩放至相同尺寸的图像进行识别，判定出该显示成像方式中各个缺陷图像的缺陷类型是否为疲劳裂纹缺陷，若是则输出结果为疲劳裂纹，否则输出结果为其它类型缺陷。本发明应用时使得识别结果更为可靠，提高了疲劳裂纹的检出率。

Description

正交异性钢桥面板疲劳裂纹检测图像的识别方法
技术领域
本发明涉及钢结构检测识别技术，具体是正交异性钢桥面板疲劳裂纹检测图像的识别方法。
背景技术
正交异性钢桥面板由于其突出的结构和力学性能优点而被广泛应用于当前的桥梁设计和建造中。然而由于其结构复杂，使得正交异性钢桥面板在荷载的长期作用下易于产生疲劳裂纹，且疲劳裂纹一旦形成就会不断扩展，直至贯穿整个桥面板结构，严重破坏了结构的完整性及承载能力。目前，正交异性钢桥面板疲劳裂纹的形成呈现出普遍性、早发性、多发性的特征，若不能及时发现并维修整治，将会降低桥梁的使用寿命，严重时会影响桥上行车行人的生命安全。
现今钢桥缺陷的检测手段众多，但针对正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹检测，当前比较先进的检测技术为超声波相控阵检测技术，其特点是无需移动探头，按照一定规则来控制阵列晶片的声发射，即可调节控制焦点的位置和聚焦的方向。该技术用于缺陷检测时，其检测范围更大，操作更灵活，检测效果更佳。
检测疲劳裂纹后需对其进行定性识别，目前正交异性钢桥疲劳裂纹的定性识别主要依靠检测人员依据超声波扫描图像目视判断，这就要求检测人员必须经过严格的检测培训，且具有丰富的检测经验，能通过不同缺陷的图像特征和同一缺陷的不同扫描图像特征来进行综合定性判断。其缺点是受人的主观因素影响较大，检测效率较低。
发明内容
本发明的目的在于解决目前正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹的定性识别时存在检测效率低的问题，提供了正交异性钢桥面板疲劳裂纹检测图像的识别方法，其应用时能提高正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹检出率。
本发明的目的主要通过以下技术方案实现：正交异性钢桥面板疲劳裂纹检测图像的识别方法，包括依次进行的以下步骤：
步骤1、筛选出超声波相控阵检测仪采用同一显示成像方式采集的正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；
步骤2、通过加权算法将筛选出的缺陷图像处理成二维灰度图像；
步骤3、基于图像颜色信息对处理成的二维灰度图像进行缺陷定位和截取；
步骤4、将缺陷定位并截取后所有的图像缩放至相同的尺寸；
步骤5、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的图像进行识别，判定出该显示成像方式中各个缺陷图像的缺陷类型是否为疲劳裂纹缺陷，若是则输出结果为疲劳裂纹，否则输出结果为其它类型缺陷。
本发明通过筛选出超声波相控阵成像技术采集缺陷图像中识别所用的缺陷图像，剔除其它不用的图像，然后对采集的图像进行灰度化处理，能提高计算速度。在进行灰度处理后，对图像中的缺陷进行自动定位并截取，对截取后的缺陷图像进行尺寸归一化处理，再采用训练好的Faster R-CNN神经网络模型进行疲劳裂纹识别。本发明在正交异性钢桥面板疲劳裂纹的识别中是一种全新的方法，将超声相控检测缺陷图像的颜色信息用来进行缺陷定位，使得识别结果更为可靠，提高了缺陷的定位精度。
本发明通过加权算法将原来的真彩色RGB(R，G，B)图像中的R，G，B统一用灰度值(Gray)替换，形成新的颜色RGB(Gray，Gray，Gray)，用它替换原来的RGB(R，G，B)就处理成需要的二维灰度图了，这有助于提高计算速率。
由于图像灰度化处理后缺陷区颜色和非缺陷区颜色对比较为明显，因此本发明利用该特点设计出基于颜色特征的算法对缺陷进行定位。在分析原始扫描图像灰度图后，发明人发现缺陷的灰度值和非缺陷的灰度值有突变，因而根据这一特征进行定位。
本发明通过步骤3缺陷定位截取出来的图片有大有小，尺寸不统一，为保证计算结果的准确度，减小误差并提高计算速度，步骤4中通过尺寸缩放对截取出来的图片实现尺寸的归一化处理。本发明通过缺陷定位，然后截取缺陷图像，能排除大量无关信息，提高计算速度和识别率。
本发明采用的Faster R-CNN网络模型是使用神经网络方法对处理好的图像提取图像特征进行深度学习，得到可用于疲劳裂纹识别的模型。其中，进行深度学习训练和识别验证采集的图像是已知缺陷类型的图像，缺陷包括裂纹、夹渣、气孔、未焊透和未熔合这五种常见类型。
进一步的，所述步骤1筛选缺陷图像时将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码，其中，编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D；所述步骤1中通过输入编码中的编号A、B、C、D来筛选B扫图像或C扫图像，剔除其余三种显示成像方式采集的图像。本发明对采集的同一缺陷的不同图像进行编码，再筛选出识别所用的缺陷图像，每个图像的编码作为该图像的文件名，通过图像编码，使得图像筛选更加便捷。本发明通过对文件名进行搜索，若搜索结果为文件名不含本发明所采用的显示成像方式的字母，则该图像被剔除，并终止识别过程；若搜索结果含本发明所采用的显示成像方式的字母，则该图像进入相应的识别通道。
进一步的，所述步骤3具体包括如下步骤：
步骤3.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；
步骤3.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；
步骤3.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。本发明通过确定截取图像长宽比截取一个矩形区域，矩形区域内的图像为定位的缺陷图像。如此，本发明缺陷定位时截取后同一类图像的长宽比是确定的，因此步骤6中只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。
进一步的，所述步骤3.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤3.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。
进一步的，所述Faster R-CNN网络模型的训练包括以下步骤：
步骤5.11、采集疲劳裂纹扫描图像样本；
步骤5.12、采用ImageNet训练RPN网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；
步骤5.13、利用ImageNet初始化Fast R-CNN，将RPN提取得到的特征目标送入FastR-CNN训练出一个检测网络；
步骤5.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；
步骤5.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；
步骤5.16、通过迭代执行步骤5.12～步骤5.15直至训练结束，得到Faster R-CNN识别网络最终模型。
进一步的，所述步骤5中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。
进一步的，所述步骤5之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。数据量的多少会影响识别模型的精确度，将每次识别后的疲劳裂纹图像放入原有的数据库中，这样会增加裂纹图像的数量，丰富疲劳裂纹的形式，通过不断的学习训练就会使得识别模型更精确、更可靠。本发明通过不断对疲劳裂纹识别模型进行修正，能进一步提升识别率。本发明应用时，其余的夹渣、气孔、未焊透和未熔合等缺陷都可以通过相同的方法进行识别判断。
综上所述，本发明与现有技术相比具有以下有益效果：
(1)本发明在疲劳裂纹的识别中是一种全新的方法，将缺陷图像进行编码、筛选，极大提高了图像处理速度；基于超声相控检测缺陷图像的颜色信息进行缺陷定位，提高了缺陷的定位精度；本发明应用时能使识别结果更为可靠，能提高疲劳裂纹的检出率。
(2)本发明能够快速、准确的判定测得的缺陷是否属于裂纹缺陷，从而帮助运营维护机构更详细的掌握运营钢桥的疲劳性能和安全性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一个具体实施例的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：
如图1所示，正交异性钢桥面板疲劳裂纹检测图像的识别方法，包括依次进行的以下步骤：步骤1、图像筛选和剔除；步骤2、灰度处理；步骤3、缺陷定位和截取；步骤4、图像尺寸归一化；步骤5、采用训练的Faster R-CNN网络模型进行疲劳裂纹识别。
本实施例的步骤1包括以下步骤：筛选出超声波相控阵检测仪采用同一显示成像方式采集的正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像。本实施例采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像。本实施例的超声波相控阵检测仪采用汕头市超声仪器研究所有限公司的SyncScan 16P超声相控阵成像仪器或美国奥林巴斯公司的OmniScan_MX2相控阵二代仪器。其中，A扫、B扫、C扫和D扫为不同显示方式显示的图像。A扫描显示是一种波形显示，仪器屏幕的横坐标代表声波的传播时间(或距离)，纵坐标代表反射波的幅度。B扫、C扫和D扫显示图像实质上是检测工件的不同视图，B扫描显示是工件厚度方向的投影图像显示(侧视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表工件厚度；C扫描显示是工件底面方向的投影图像显示(顶视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表扫描的宽度。D扫描显示是工件端面方向的投影图像显示，它与B显示类似，其视图与B显示方向垂直若B显示的是侧视图，则D显示的即为前视图。U肋焊缝处出现在钢桥顶板的缺陷检测图像先存储在检测仪中，待检测完成后连接计算机导出所有的缺陷图像。
本实施例的步骤1筛选缺陷图像时将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码，其中，编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D。步骤1中通过输入编码中的编号A、B、C、D来筛选用于识别的图像，剔除其余三种显示成像方式采集的图像。本实施例在进行图像编码时，第一组缺陷检测图像的编码为A1、B1、C1及D1，第二组缺陷检测图像的编码为A2、B2、C2及D2，……，第n组缺陷检测图像的编码为An、Bn、Cn及Dn。
因每种成像模式形成的图像包含的缺陷信息不同，图像越多，包含的缺陷信息越多。在人工识别时，为保证判断准确性，需要综合几种扫描图像进行判别。每种仪器所具有的显示模式选择种类不同，不过一般都具有A扫描显示、A+B扫描显示、A+C扫描显示、A+D扫描显示、A+B+C扫描及A+B+C+D扫描显示。本实施例考虑了最复杂的显示模式，即A+B+C+D扫描成像，这就需要对不用于图像识别的其它类型扫描图像进行剔除，以便降低后续处理的工作量。本实施例根据图像命名特征对图像进行筛选分类和剔除，使筛选的图像进入对应的处理通道。如输入图像后对文件名进行搜索，若搜索结果为文件名不含本发明所采用的显示成像方式的字母，则该图像被剔除，并终止识别过程；若搜索结果含本发明所采用的显示成像方式的字母，则该图像进入相应的识别通道。
A扫描成像是一维显示；B扫描成像是二维显示，是一系列A扫显示的叠加；C扫描成像是二维显示，成像范围广；D扫成像是二维显示，根据扫查方向的变化，B扫也可形成D扫形成的视图。相对于一维显示，二维显示图像包含更多的缺陷特征信息，且大多数仪器只用A扫、B扫和C扫三种成像方式即可达到扫查目的，所以本实施例选择B扫和C扫两种显示成像方式形成的图像不仅具有代表性，还能达到包含绝大多数的缺陷特征信息，保证识别的精准度和可靠性的目的。
本实施例的步骤2具体包括以下步骤：通过加权算法将筛选出的图像处理成二维灰度图像。将彩色图像转化为灰度图像的过程称为图像灰度化。在计算机中，R、G、B每个分量的取值范围都为[0，255]，因此一个像素点可以有1600多万种取值。特别地，当三个颜色分量的取值相同时原始的彩色图像就变为灰度图像，灰度图像中一个像素点Gray取值的变化范围为[0，255]，相比灰度变化之前，极大地降低了存储空间需求。
图像的加权算法计算公式为：
Gray(x,y)＝ωR*R(x,y)+ωG*G(x,y)+ωB*B(x,y)
式中，R、G、B每个分量的取值范围都为[0，255]；Gray取值的变化范围为[0，255]；wR、wG、wB分别为R、G、B的权值，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此有wG>wR>wB，一般情况下，根据经验，当wG＝0.299，wR＝0.587，wB＝0.114时，得到的灰度图像效果最好；其中，(x，y)为图像中像素坐标。
本实施例的步骤3包括以下步骤：基于图像颜色信息对处理为二维灰度图像的B扫图像或C扫图像进行缺陷定位和截取。在具体实施时，具体操作步骤为：步骤3.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；步骤3.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；步骤3.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。
本实施例步骤3.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤3.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。步骤3.1中，在水平方向上进行一阶差分运算，来找到灰度值突变的部分。对初步提取后得到的图像灰度f(x，y)进行水平方向一阶差分得到g(x，y)，即：
g(x,y)＝f(x,y)-f(x,y+1)
其中，(x，y)为图像中像素坐标。缺陷竖直方向定位采用与水平方向上相同的方法从竖直方向上对缺陷图像实行定位，同样对缺陷图像纵向进行一阶差分运算。
本实施例的步骤4具体包括以下步骤：将缺陷定位并截取后所有的图像缩放至相同的尺寸。如果图像尺寸很大，匹配的特征点数量会很多，不仅会使匹配速度变慢，而且匹配准确率也不会有所提高。如果图像尺寸很小，匹配的特征点数量会很少，那么对于区分不同缺陷的关键区域对应的梯度特征点的数量会变少，从而不能很好地区分不同缺陷，降低疲劳裂纹的识别准确率。为保证计算结果的准确度，减小误差并提高计算速度，需要对截取出来的图片进行尺寸的归一化处理，所以这里需要将所有的图像处理为相同尺寸。本实施例步骤4进行图像尺寸归一化处理时，通过具体实验得出缩放比例。由于截取后同一类图像的长宽比是确定的，因此只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。本实施例在对图像进行尺寸归一化处理时，确定边界以后，就能根据边界坐标计算出缺陷各边界的长度，将最大边界值作为截取图像的长度值；然后，依据确定的长宽比以及缺陷边界最大值计算截取图像的宽度值；最后，根据最终得到的宽度值和长处值截取一个包含缺陷的矩形图像。其中，长宽比应根据具体情况及试验结果确定。根据边长值求得宽度值的计算公式为W＝L×α，其中，W为宽度值，L为长度值，α为确定的宽长比。
本实施例的步骤5具体包括以下步骤：采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的图像进行识别，判定出该显示成像方式中各个缺陷图像的缺陷类型是否为疲劳裂纹缺陷，若是则输出结果为疲劳裂纹，否则输出结果为其它类型缺陷。步骤5中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。其中，置信度即某类缺陷的可能性(0～1)，通过缺陷置信度对缺陷进行判断，高于置信度阈值则判定为该类型缺陷，低于置信度阈值则判定为其它类型缺陷。实验时使识别网络最终模型具有最佳缺陷识别率的置信度阈值即为设置的缺陷置信度。本实施例在步骤5之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。
Faster R-CNN(Faster Region-based Convolutional Neural Network，高速区域神经网络)网络模型的训练包括以下步骤：步骤5.11、采集疲劳裂纹扫描图像样本；步骤5.12、采用ImageNet训练RPN(Region Proposal Networks)网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；步骤5.13、利用ImageNet初始化Fast R-CNN(Fast Region-based Convolutional Neural Networks，快速区域神经网络)，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；步骤5.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；步骤5.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；步骤5.16、通过迭代执行步骤5.12～步骤5.15直至训练结束，得到Faster R-CNN识别网络最终模型。
本实施例用于对正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹进行定性识别时，能快速且准确的识别正交异性钢桥面板由于疲劳开裂形成的裂纹，能提高正交异性钢桥疲劳裂纹的检出率。如此，本领域的检测人员能够更高效、更准确、更合理的对正交异性钢桥疲劳裂纹及其它类型缺陷进行识别判断。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，包括依次进行的以下步骤：
步骤1、筛选出由超声波相控阵检测仪在同一显示成像方式下采集的出现在钢桥顶板的正交异性钢桥U肋焊缝处的缺陷图像；
步骤2、通过加权算法将筛选出的缺陷图像处理成二维灰度图像；
步骤3、基于图像颜色信息对处理成的二维灰度图像进行缺陷定位和截取；在缺陷定位时，基于超声相控检测缺陷图像的颜色信息进行缺陷定位，并确保截取后同一类图像的长宽比是确定的；
步骤4、通过实验得出缩放比例，然后将缺陷定位并截取后所有的图像缩放至相同的尺寸；由于截取后同一类图像的长宽比是确定的，因此只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像；
步骤5、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的图像进行识别，判定出该识别的显示成像方式中各个缺陷图像的类型是否为疲劳裂纹缺陷，若是则输出结果为疲劳裂纹，否则输出结果为其它类型缺陷；
所述步骤3具体包括如下步骤：
步骤3.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；
步骤3.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；
步骤3.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。
2.根据权利要求1所述的正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，在所述步骤1中筛选缺陷图像时，将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码，其中，编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D；所述步骤1中通过输入编码中的编号A、B、C、D来筛选B扫图像或C扫图像，剔除其余三种显示成像方式采集的图像。
3.根据权利要求1所述的正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，所述步骤3.2中在定位上下边界时，先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤3.2中在定位左右边界时，先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。
4.根据权利要求1所述的正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，所述Faster R-CNN网络模型的训练包括以下步骤：
步骤5.11、采集疲劳裂纹扫描图像样本；
步骤5.12、采用ImageNet训练RPN网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；
步骤5.13、利用ImageNet初始化Fast R-CNN，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；
步骤5.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；
步骤5.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；步骤5.16、通过迭代执行步骤5.12～步骤5.15直至训练结束，得到Faster R-CNN识别网络最终模型。
5.根据权利要求1所述的正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，所述步骤5中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。
6.根据权利要求5所述的正交异性钢桥面板疲劳裂纹检测图像的识别方法，其特征在于，所述步骤5之后还包括以下步骤：将疲劳裂纹的最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。
CN201911164153.9A 2019-11-25 2019-11-25 正交异性钢桥面板疲劳裂纹检测图像的识别方法 Active CN110910373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164153.9A CN110910373B (zh) 2019-11-25 2019-11-25 正交异性钢桥面板疲劳裂纹检测图像的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164153.9A CN110910373B (zh) 2019-11-25 2019-11-25 正交异性钢桥面板疲劳裂纹检测图像的识别方法

Publications (2)

Publication Number Publication Date
CN110910373A CN110910373A (zh) 2020-03-24
CN110910373B true CN110910373B (zh) 2023-01-24

Family

ID=69819172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164153.9A Active CN110910373B (zh) 2019-11-25 2019-11-25 正交异性钢桥面板疲劳裂纹检测图像的识别方法

Country Status (1)

Country Link
CN (1) CN110910373B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152492B (zh) * 2023-08-08 2024-04-19 广东省公路建设有限公司湾区特大桥养护技术中心 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105259252A (zh) * 2015-10-15 2016-01-20 浙江大学 超声相控阵检测聚乙烯电熔接头缺陷类型自动识别方法
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN108629775A (zh) * 2018-05-14 2018-10-09 华中科技大学 一种热态高速线材表面图像处理方法
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104616295B (zh) * 2015-01-23 2017-09-26 河南理工大学 新闻图像中水平标题字幕的简单快速定位方法
CN105719305B (zh) * 2016-01-25 2018-10-19 成都国铁电气设备有限公司 接触网中组件脱落缺陷识别方法及系统
CN106023158B (zh) * 2016-05-10 2018-09-18 浙江科技学院 Sd-oct图像的淡水无核珍珠珍珠质层缺陷识别方法
CN107977973B (zh) * 2016-10-25 2020-08-11 北京东软医疗设备有限公司 一种获取医疗诊断图像中限束器照射野边界的方法及装置
EP3382386B1 (en) * 2017-03-29 2020-10-14 Fujitsu Limited Defect detection using ultrasound scan data
CN106952260B (zh) * 2017-03-31 2020-06-23 深圳华中科技大学研究院 一种基于cis图像采集的太阳能电池片缺陷检测系统和方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN109239206B (zh) * 2018-06-20 2023-05-23 诸暨市逍遥管道科技有限公司 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
CN109613010A (zh) * 2019-01-30 2019-04-12 西南交通大学 正交异性钢桥面板疲劳裂纹检测系统
CN110211097B (zh) * 2019-05-14 2021-06-08 河海大学 一种基于Faster R-CNN参数迁移的裂缝图像检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105259252A (zh) * 2015-10-15 2016-01-20 浙江大学 超声相控阵检测聚乙烯电熔接头缺陷类型自动识别方法
CN105931227A (zh) * 2016-04-14 2016-09-07 北京工业大学 一种基于图像灰度b扫曲线的焊缝表面缺陷特征提取方法
CN108629775A (zh) * 2018-05-14 2018-10-09 华中科技大学 一种热态高速线材表面图像处理方法
CN110097053A (zh) * 2019-04-24 2019-08-06 上海电力学院 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法

Also Published As

Publication number Publication date
CN110910373A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
CN110378879B (zh) 一种桥梁裂缝检测方法
CN111060601B (zh) 基于深度学习的焊缝超声相控阵检测数据智能分析方法
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
Wang et al. Automatic identification of different types of welding defects in radiographic images
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
CN108846397A (zh) 一种基于图像处理的电缆半导电层自动检测方法
CN116990323B (zh) 一种高精密印刷版视觉检测系统
CN105184225B (zh) 一种多国纸币图像识别方法和装置
CN113129268B (zh) 一种飞机铆接墩头质量检测方法
CN111325738B (zh) 一种用于横穿孔周边裂纹的智能检测方法及系统
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN115184380A (zh) 基于机器视觉的印刷电路板焊点异常检测方法
CN112964712A (zh) 一种快速检测沥青路面状态的方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN113781458A (zh) 一种基于人工智能的识别方法
CN110910373B (zh) 正交异性钢桥面板疲劳裂纹检测图像的识别方法
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN115601359A (zh) 一种焊缝检测方法及装置
CN110988140B (zh) 一种正交异性钢桥面板疲劳裂纹智能识别方法
CN116883831A (zh) 一种被遮挡的隧道表面裂缝识别方法
Sutcliffe et al. Automatic defect recognition of single-v welds using full matrix capture data, computer vision and multi-layer perceptron artificial neural networks
CN114972153A (zh) 一种基于深度学习的桥梁振动位移视觉测量方法及系统
CN112767365A (zh) 一种探伤方法
CN108760675A (zh) 一种太赫兹异常光谱识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant