CN110988140A - 一种正交异性钢桥面板疲劳裂纹智能识别方法 - Google Patents

一种正交异性钢桥面板疲劳裂纹智能识别方法 Download PDF

Info

Publication number
CN110988140A
CN110988140A CN201911164585.XA CN201911164585A CN110988140A CN 110988140 A CN110988140 A CN 110988140A CN 201911164585 A CN201911164585 A CN 201911164585A CN 110988140 A CN110988140 A CN 110988140A
Authority
CN
China
Prior art keywords
image
defect
scanning
images
scan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911164585.XA
Other languages
English (en)
Other versions
CN110988140B (zh
Inventor
勾红叶
韩冰
王君明
王海波
杨彪
魏莹莹
唐勇
吴再新
张伟勇
徐代宏
魏贤奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Sichuan Intercity Railway Co Ltd
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN201911164585.XA priority Critical patent/CN110988140B/zh
Publication of CN110988140A publication Critical patent/CN110988140A/zh
Application granted granted Critical
Publication of CN110988140B publication Critical patent/CN110988140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0609—Display arrangements, e.g. colour displays
    • G01N29/0645—Display representation or displayed parameters, e.g. A-, B- or C-Scan
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/22—Details, e.g. general constructional or apparatus details
    • G01N29/26—Arrangements for orientation or scanning by relative movement of the head and the sensor
    • G01N29/262—Arrangements for orientation or scanning by relative movement of the head and the sensor by electronic orientation or focusing, e.g. with phased arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4445—Classification of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4454—Signal recognition, e.g. specific values or portions, signal events, signatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0234—Metals, e.g. steel
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/263—Surfaces
    • G01N2291/2632—Surfaces flat
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G01N2291/2675—Seam, butt welding

Abstract

本发明公开了一种正交异性钢桥面板疲劳裂纹智能识别方法，包括依次进行的以下步骤：步骤1、图像采集；步骤2、图像编码；步骤3、图像筛选和剔除；步骤4、灰度处理；步骤5、缺陷定位和截取；步骤6、图像尺寸归一化；步骤7、采用训练的Faster R‑CNN网络模型进行疲劳裂纹识别；步骤8、综合步骤7的识别结果输出最终识别结果。本发明应用时使得识别结果更为可靠，提高了疲劳裂纹的检出率，降低了错判和漏判的发生率。

Description

一种正交异性钢桥面板疲劳裂纹智能识别方法
技术领域
本发明涉及钢结构检测识别技术，具体是一种正交异性钢桥面板疲劳裂纹智能识别方法。
背景技术
正交异性钢桥面板由于其突出的结构和力学性能优点而被广泛应用于当前的桥梁设计和建造中。然而由于其结构复杂，使得正交异性钢桥面板在荷载的长期作用下易于产生疲劳裂纹，且疲劳裂纹一旦形成就会不断扩展，直至贯穿整个桥面板结构，严重破坏了结构的完整性及承载能力。目前，正交异性钢桥面板疲劳裂纹的形成呈现出普遍性、早发性、多发性的特征，若不能及时发现并维修整治，将会降低桥梁的使用寿命，严重时会影响桥上行车行人的生命安全。
现今钢桥缺陷的检测手段众多，但针对正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹检测，当前比较先进的检测技术为超声波相控阵检测技术，其特点是无需移动探头，按照一定规则来控制阵列晶片的声发射，即可调节控制焦点的位置和聚焦的方向。该技术用于缺陷检测时，其检测范围更大，操作更灵活，检测效果更佳。
检测疲劳裂纹后需对其进行定性识别，目前正交异性钢桥疲劳裂纹的定性识别主要依靠检测人员依据超声波扫描图像目视判断，这就要求检测人员必须经过严格的检测培训，且具有丰富的检测经验，能通过不同缺陷的图像特征和同一缺陷的不同扫描图像特征来进行综合定性判断。其缺点是受人的主观因素影响较大，检测效率较低，检测不能全覆盖，漏检率和误判率较高，可靠性得不到有效保证。
发明内容
本发明的目的在于解决目前正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹的定性识别时存在检测效率低，漏检率和误判率较高，可靠性得不到有效保证的问题，提供了一种正交异性钢桥面板疲劳裂纹智能识别方法，其应用时能提高正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹检出率，同时能提升可靠性。
本发明的目的主要通过以下技术方案实现：一种正交异性钢桥面板疲劳裂纹智能识别方法，包括依次进行的以下步骤：
步骤1、采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；
步骤2、将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码；
步骤3、根据图像编码规则分别筛选出B扫图像和C扫图像；
步骤4、通过加权算法将筛选出的B扫图像和C扫图像处理成二维灰度图像；
步骤5、基于图像颜色信息对处理为二维灰度图像的B扫图像和C扫图像进行缺陷定位和截取；
步骤6、将缺陷定位并截取后所有的B扫图像缩放至相同的尺寸，将缺陷定位并截取后所有的C扫图像缩放至相同的尺寸；
步骤7、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的B扫图像和缩放至相同尺寸的C扫图像进行识别，判定出B扫图像中各个编码对应的缺陷图像和C扫图像中各个编码对应的缺陷图像的缺陷类型是否为疲劳裂纹缺陷；
步骤8、根据每组的B扫图像识别结果和C扫图像识别结果输出该组的最终识别结果；其中，每组的B扫图像识别结果和C扫图像识别结果至少有一个为疲劳裂纹缺陷时，则输出最终结果为疲劳裂纹，否则分别输出该组的B扫图像识别结果和C扫图像识别结果。
本发明采用超声波相控阵成像技术采集缺陷图像，对采集的同一缺陷的不同图像进行编码，再筛选出识别所用的B扫和C扫缺陷图像，剔除其它不用的图像，然后对采集的图像进行灰度化处理以提高计算速度。在进行灰度处理后，对B扫和C扫图像中的缺陷进行自动定位并截取，对截取后的缺陷图像进行尺寸归一化处理，再采用训练好的Faster R-CNN神经网络模型进行疲劳裂纹识别，综合同一缺陷的B扫和C扫图像识别结果进行判断。本发明在正交异性钢桥面板疲劳裂纹的识别中是一种全新的方法，将超声相控检测缺陷图像的颜色信息用来进行缺陷定位，使得识别结果更为可靠，提高了缺陷的定位精度；通过B扫和C扫识别结果的综合判断，提高了疲劳裂纹的检出率，降低了错判和漏判的发生率。本发明中每个图像的编码作为该图像的文件名，通过步骤2进行图像编码，以便于步骤3中对B扫图像和C扫图像进行筛选，以及步骤4～步骤7对B扫图像和C扫图像分别处理，保证步骤8能根据同一缺陷的不同成像的识别结果进行综合判断，得出该缺陷是否为疲劳裂纹的结论。
本发明通过加权算法将原来的真彩色RGB(R，G，B)图像中的R，G，B统一用灰度值(Gray)替换，形成新的颜色RGB(Gray，Gray，Gray)，用它替换原来的RGB(R，G，B)就处理成需要的二维灰度图了，这有助于提高计算速率。
由于图像灰度化处理后缺陷区颜色和非缺陷区颜色对比较为明显，因此本发明利用该特点设计出基于颜色特征的算法对缺陷进行定位。在分析原始扫描图像灰度图后，发明人发现缺陷的灰度值和非缺陷的灰度值有突变，因而根据这一特征进行定位。
本发明通过步骤5缺陷定位截取出来的图片有大有小，尺寸不统一，为保证计算结果的准确度，减小误差并提高计算速度，步骤6中通过尺寸缩放对截取出来的图片实现尺寸的归一化处理。本发明通过缺陷定位，然后截取缺陷图像，能排除大量无关信息，提高计算速度和识别率。
本发明采用的Faster R-CNN网络模型是使用神经网络方法对处理好的图像提取图像特征进行深度学习，得到可用于疲劳裂纹识别的模型。其中，进行深度学习训练和识别验证采集的图像是已知缺陷类型的图像，缺陷包括裂纹、夹渣、气孔、未焊透和未熔合这五种常见类型。
进一步的，所述步骤2中编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D，所述步骤3中输入编码中的编号A、B、C、D来筛选B扫图像和C扫图像，剔除A扫图像和D扫图像。本发明通过对文件名进行搜索，若搜索结果为文件名含A或D，则该图像被剔除，并终止识别过程；若搜索结果为文件名含B或C，则该图像进入相应的识别通道。
进一步的，所述步骤5具体包括如下步骤：
步骤5.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；
步骤5.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；
步骤5.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。本发明通过确定截取图像长宽比截取一个矩形区域，矩形区域内的图像为定位的缺陷图像。如此，本发明缺陷定位时截取后同一类图像的长宽比是确定的，因此步骤6中只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。
进一步的，所述步骤5.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤5.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。
进一步的，所述Faster R-CNN网络模型的训练包括以下步骤：
步骤7.11、采集疲劳裂纹扫描图像样本；
步骤7.12、采用ImageNet训练RPN网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；
步骤7.13、利用ImageNet初始化Fast R-CNN，将RPN提取得到的特征目标送入FastR-CNN训练出一个检测网络；
步骤7.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；
步骤7.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；
步骤7.16、通过迭代执行步骤7.12～步骤7.15直至训练结束，得到Faster R-CNN识别网络最终模型。
进一步的，所述步骤7中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。
进一步的，所述步骤8之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。数据量的多少会影响识别模型的精确度，将每次识别后的疲劳裂纹图像放入原有的数据库中，这样会增加裂纹图像的数量，丰富疲劳裂纹的形式，通过不断的学习训练就会使得识别模型更精确、更可靠。本发明通过不断对疲劳裂纹识别模型进行修正，能进一步提升识别率。本发明应用时，其余的夹渣、气孔、未焊透和未熔合等缺陷都可以通过相同的方法进行识别判断。
综上所述，本发明与现有技术相比具有以下有益效果：
(1)本发明在疲劳裂纹的识别中是一种全新的方法，将缺陷图像进行编码、筛选，极大提高了图像处理速度；基于超声相控检测缺陷图像的颜色信息进行缺陷定位，提高了缺陷的定位精度；通过B扫和C扫识别结果的综合判断，使得识别结果更为可靠，提高了疲劳裂纹的检出率，降低了错判和漏判的发生率。
(2)本发明能够快速、准确的判定测得的缺陷是否属于裂纹缺陷，从而帮助运营维护机构更详细的掌握运营钢桥的疲劳性能和安全性。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一个具体实施例的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：
如图1所示，一种正交异性钢桥面板疲劳裂纹智能识别方法，包括依次进行的以下步骤：步骤1、图像采集；步骤2、图像编码；步骤3、图像筛选和剔除；步骤4、灰度处理；步骤5、缺陷定位和截取；步骤6、图像尺寸归一化；步骤7、采用训练的Faster R-CNN网络模型进行疲劳裂纹识别；步骤8、综合步骤7的识别结果输出最终识别结果。
本实施例的步骤1具体包括以下步骤：采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像。本实施例的超声波相控阵检测仪采用汕头市超声仪器研究所有限公司的SyncScan16P超声相控阵成像仪器或美国奥林巴斯公司的OmniScan_MX2相控阵二代仪器。其中，A扫、B扫、C扫和D扫为不同显示方式显示的图像。A扫描显示是一种波形显示，仪器屏幕的横坐标代表声波的传播时间(或距离)，纵坐标代表反射波的幅度。B扫、C扫和D扫显示图像实质上是检测工件的不同视图，B扫描显示是工件厚度方向的投影图像显示(侧视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表工件厚度；C扫描显示是工件底面方向的投影图像显示(顶视图)，仪器屏幕的横坐标代表扫查距离，纵坐标代表扫描的宽度。D扫描显示是工件端面方向的投影图像显示，它与B显示类似，其视图与B显示方向垂直若B显示的是侧视图，则D显示的即为前视图。U肋焊缝处出现在钢桥顶板的缺陷检测图像先存储在检测仪中，待检测完成后连接计算机导出所有的缺陷图像。
A扫描成像是一维显示；B扫描成像是二维显示，是一系列A扫显示的叠加；C扫描成像是二维显示，成像范围广；D扫成像是二维显示，根据扫查方向的变化，B扫也可形成D扫形成的视图。相对于一维显示，二维显示图像包含更多的缺陷特征信息，且大多数仪器只用A扫、B扫和C扫三种成像方式即可达到扫查目的，所以本实施例选择B扫和C扫两种显示成像方式形成的图像不仅具有代表性，还能达到包含绝大多数的缺陷特征信息，保证识别的精准度和可靠性的目的。
本实施例的步骤2具体包括以下步骤：将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码。步骤2中编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D。本实施例的步骤2在进行图像编码时，第一组缺陷检测图像的编码为A1、B1、C1及D1，第二组缺陷检测图像的编码为A2、B2、C2及D2，……，第n组缺陷检测图像的编码为An、Bn、Cn及Dn。
本实施例的步骤3具体包括以下步骤：根据图像编码规则分别筛选出B扫图像和C扫图像。步骤3中输入编码中的编号A、B、C、D来筛选B扫图像和C扫图像，剔除A扫图像和D扫图像。因每种成像模式形成的图像包含的缺陷信息不同，图像越多，包含的缺陷信息越多。在人工识别时，为保证判断准确性，需要综合几种扫描图像进行判别。每种仪器所具有的显示模式选择种类不同，不过一般都具有A扫描显示、A+B扫描显示、A+C扫描显示、A+D扫描显示、A+B+C扫描及A+B+C+D扫描显示。在对相控阵检测结果进行分析的时候，一般采用多视图，不管是哪种显示模式，在采集需要的B和C扫描显示图像时，都不可避免会采集A扫描显示图像，且都存储在同一个文件夹。所以本实施例考虑了最复杂的显示模式，即A+B+C+D扫描成像，这就需要对非B扫描成像和非C扫描成像进行剔除，以便降低后续处理的工作量。本实施例根据图像命名特征对图像进行筛选分类和剔除，使筛选的图像进入对应的处理通道。如输入图像后对文件名进行搜索，若搜索结果为文件名含A或D，则该图像被剔除，并终止识别过程；若搜索结果为文件名含B或C，则该图像进入相应的识别通道。
本实施例的步骤4具体包括以下步骤：通过加权算法将筛选出的B扫图像和C扫图像处理成二维灰度图像。将彩色图像转化为灰度图像的过程称为图像灰度化。在计算机中，R、G、B每个分量的取值范围都为[0，255]，因此一个像素点可以有1600多万种取值。特别地，当三个颜色分量的取值相同时原始的彩色图像就变为灰度图像，灰度图像中一个像素点Gray取值的变化范围为[0，255]，相比灰度变化之前，极大地降低了存储空间需求。
图像的加权算法计算公式为：
Gray(x,y)＝ωR*R(x,y)+ωG*G(x,y)+ωB*B(x,y)
式中，R、G、B每个分量的取值范围都为[0，255]；Gray取值的变化范围为[0，255]；wR、wG、wB分别为R、G、B的权值，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此有wG>wR>wB，一般情况下，根据经验，当wG＝0.299，wR＝0.587，wB＝0.114时，得到的灰度图像效果最好；其中，(x，y)为图像中像素坐标。
本实施例的步骤5包括以下步骤：基于图像颜色信息对处理为二维灰度图像的B扫图像和C扫图像进行缺陷定位。在具体实施时，具体操作步骤为：步骤5.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；步骤5.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；步骤5.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。
本实施例步骤5.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤5.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。步骤5.1中，在水平方向上进行一阶差分运算，来找到灰度值突变的部分。对初步提取后得到的图像灰度f(x，y)进行水平方向一阶差分得到g(x，y)，即：
g(x,y)＝|f(x,y)-f(x,y+1)|
其中，(x，y)为图像中像素坐标。缺陷竖直方向定位采用与水平方向上相同的方法从竖直方向上对缺陷图像实行定位，同样对缺陷图像纵向进行一阶差分运算。
本实施例的步骤6具体包括以下步骤：将缺陷定位并截取后所有的B扫图像缩放至相同的尺寸，将缺陷定位并截取后所有的C扫图像缩放至相同的尺寸。
如果图像尺寸很大，匹配的特征点数量会很多，不仅会使匹配速度变慢，而且匹配准确率也不会有所提高。如果图像尺寸很小，匹配的特征点数量会很少，那么对于区分不同缺陷的关键区域对应的梯度特征点的数量会变少，从而不能很好地区分不同缺陷，降低疲劳裂纹的识别准确率。为保证计算结果的准确度，减小误差并提高计算速度，需要对截取出来的图片进行尺寸的归一化处理，所以这里需要将所有的B扫图像处理为相同尺寸和把所有的C扫图像处理为相同尺寸。本实施例步骤6进行图像尺寸归一化处理时，通过具体实验得出缩放比例。由于截取后同一类图像的长宽比是确定的，因此只需要确定一个合适的图像缩放系数进行缩放，就能把一类图像变为统一标准的图像。其中，此处所述的一类图像分别指从B扫显示成像的灰度图上截取出来的图像和C扫显示成像的灰度图上截取出来的图像，即所有从B扫显示图像的灰度图上截取出来的图像具有相同的长宽比，所有从C扫显示图像的灰度图上截取出来的图像具有相同的长宽比。本实施例在对B扫和C扫图像进行尺寸归一化处理时，确定边界以后，就能根据边界坐标计算出缺陷各边界的长度，将最大边界值作为截取图像的长度值；然后，依据确定的长宽比以及缺陷边界最大值计算截取图像的宽度值；最后，根据最终得到的宽度值和长处值截取一个包含缺陷的矩形图像。其中，长宽比应根据具体情况及试验结果确定。根据边长值求得宽度值的计算公式为W＝L×α，其中，W为宽度值，L为长度值，α为确定的宽长比。
本实施例的步骤7具体包括以下步骤：采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的B扫图像和缩放至相同尺寸的C扫图像进行识别，判定出B扫图像中各个编码对应的缺陷图像和C扫图像中各个编码对应的缺陷图像的缺陷类型是否为疲劳裂纹缺陷。步骤7中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。其中，置信度即某类缺陷的可能性(0～1)，通过缺陷置信度对缺陷进行判断，高于置信度阈值则判定为该类型缺陷，低于置信度阈值则判定为其它类型缺陷。实验时使识别网络最终模型具有最佳缺陷识别率的置信度阈值即为设置的缺陷置信度。
Faster R-CNN(Faster Region-based Convolutional Neural Network，高速区域神经网络)网络模型的训练包括以下步骤：步骤7.11、采集疲劳裂纹扫描图像样本；步骤7.12、采用ImageNet训练RPN(Region Proposal Networks)网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；步骤7.13、利用ImageNet初始化Fast R-CNN(Fast Region-based Convolutional Neural Networks，快速区域神经网络)，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；步骤7.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；步骤7.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；步骤7.16、通过迭代执行步骤7.12～步骤7.15直至训练结束，得到Faster R-CNN识别网络最终模型。
本实施例的步骤8具体包括以下步骤：根据每组的B扫图像识别结果和C扫图像识别结果输出该组的最终识别结果；其中，每组的B扫图像识别结果和C扫图像识别结果至少有一个为疲劳裂纹缺陷时，则输出最终结果为疲劳裂纹，否则分别输出该组的B扫图像识别结果和C扫图像识别结果。本实施例在步骤8之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。
本实施例用于对正交异性钢桥U肋焊缝处出现在钢桥顶板的疲劳裂纹进行定性识别时，能快速且准确的识别正交异性钢桥面板由于疲劳开裂形成的裂纹，能提高正交异性钢桥疲劳裂纹的检出率，同时使可靠性得到有效保证。如此，本领域的检测人员能够更高效、更准确、更合理的对正交异性钢桥疲劳裂纹及其它类型缺陷进行识别判断，降低了缺陷类型的错判和漏判率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，包括依次进行的以下步骤：
步骤1、采用超声波相控阵检测仪检测正交异性钢桥，并使用A扫、B扫、C扫及D扫显示成像方式采集正交异性钢桥U肋焊缝处出现在钢桥顶板的缺陷图像；
步骤2、将同一缺陷在不同扫描成像方式下所形成的图像编为相同的组号，同一组间的不同图像根据扫描成像方式和组号进行编码；
步骤3、根据图像编码规则分别筛选出B扫图像和C扫图像；
步骤4、通过加权算法将筛选出的B扫图像和C扫图像处理成二维灰度图像；
步骤5、基于图像颜色信息对处理为二维灰度图像的B扫图像和C扫图像进行缺陷定位和截取；
步骤6、将缺陷定位并截取后所有的B扫图像缩放至相同的尺寸，将缺陷定位并截取后所有的C扫图像缩放至相同的尺寸；
步骤7、采用训练的Faster R-CNN网络模型分别对缩放至相同尺寸的B扫图像和缩放至相同尺寸的C扫图像进行识别，判定出B扫图像中各个编码对应的缺陷图像和C扫图像中各个编码对应的缺陷图像的缺陷类型是否为疲劳裂纹缺陷；
步骤8、根据每组的B扫图像识别结果和C扫图像识别结果输出该组的最终识别结果；其中，每组的B扫图像识别结果和C扫图像识别结果至少有一个为疲劳裂纹缺陷时，则输出最终结果为疲劳裂纹，否则分别输出该组的B扫图像识别结果和C扫图像识别结果。
2.根据权利要求1所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述步骤2中编码时A扫、B扫、C扫及D扫四种扫描成像方式分别对应的编号为A、B、C、D，所述步骤3中输入编码中的编号A、B、C、D来筛选B扫图像和C扫图像，剔除A扫图像和D扫图像。
3.根据权利要求1所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述步骤5具体包括如下步骤：
步骤5.1、分别在水平方向和竖直方向对二维灰度图像进行一阶差分运算，获得各个点的灰度变化值；
步骤5.2、对图像上各点的灰度变化值进行搜索，并定位缺陷上下左右边界；
步骤5.3、根据边界坐标计算出缺陷各边界的长度，再根据最宽和最长处值截取一个包含缺陷的矩形图像。
4.根据权利要求3所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述步骤5.2定位上下边界时先从图像上方至下方进行查找，首个差分值不为零的点即为定位的缺陷图像上边缘，然后再从图像下方至上方查找，首个不为零的点即为定位的缺陷图像下边缘；所述步骤5.2定位左右边界时先从图像左方至右方进行查找，首个差分值不为零的点即为定位的缺陷图像左边缘，然后再从图像右方至左方查找，首个不为零的点即为定位的缺陷图像右边缘。
5.根据权利要求1所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述Faster R-CNN网络模型的训练包括以下步骤：
步骤7.11、采集疲劳裂纹扫描图像样本；
步骤7.12、采用ImageNet训练RPN网络并初始化RPN网络中各卷积神经网络层的权值，之后利用训练好的RPN网络提取训练集上的候选区域；
步骤7.13、利用ImageNet初始化Fast R-CNN，将RPN提取得到的特征目标送入Fast R-CNN训练出一个检测网络；
步骤7.14、用检测网络训练RPN，固定Fast R-CNN与RPN共用的卷积层参数，只微调RPN独有的卷积层和其它层的相关参数；
步骤7.15、保持Fast R-CNN与RPN共享的卷积层参数不变，只训练Fast R-CNN独有的层；
步骤7.16、通过迭代执行步骤7.12～步骤7.15直至训练结束，得到Faster R-CNN识别网络最终模型。
6.根据权利要求1所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述步骤7中疲劳裂纹的识别包括以下步骤：设置裂纹的置信度阈值，当识别过程中计算出的缺陷置信度高于裂纹的置信度阈值时，判定该缺陷为疲劳裂纹，否则判定为其它类型缺陷。
7.根据权利要求1～6中任意一项所述的一种正交异性钢桥面板疲劳裂纹智能识别方法，其特征在于，所述步骤8之后还包括以下步骤：将最终识别结果放入Faster R-CNN网络模型中进行深度学习，以对模型进行修正。
CN201911164585.XA 2019-11-25 2019-11-25 一种正交异性钢桥面板疲劳裂纹智能识别方法 Active CN110988140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911164585.XA CN110988140B (zh) 2019-11-25 2019-11-25 一种正交异性钢桥面板疲劳裂纹智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911164585.XA CN110988140B (zh) 2019-11-25 2019-11-25 一种正交异性钢桥面板疲劳裂纹智能识别方法

Publications (2)

Publication Number Publication Date
CN110988140A true CN110988140A (zh) 2020-04-10
CN110988140B CN110988140B (zh) 2021-10-01

Family

ID=70086431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911164585.XA Active CN110988140B (zh) 2019-11-25 2019-11-25 一种正交异性钢桥面板疲劳裂纹智能识别方法

Country Status (1)

Country Link
CN (1) CN110988140B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113219048A (zh) * 2021-07-09 2021-08-06 西南交通大学 一种基于涡流与数字孪生技术的钢桥损伤检测系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403702A (zh) * 2008-11-17 2009-04-08 天津理工大学 一种飞机地面强度试验中疲劳裂纹智能监测方法及装置
CN105510344A (zh) * 2015-11-24 2016-04-20 昆明理工大学 一种区域内输电铁塔新增裂纹检测方法
CN105798927A (zh) * 2016-05-23 2016-07-27 广东工业大学 基于图像的坩埚缺陷磨削加工方法及应用其的加工系统
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN109115812A (zh) * 2018-08-23 2019-01-01 中国石油大学(北京) 一种焊缝底片缺陷识别方法及系统
CN109239206A (zh) * 2018-06-20 2019-01-18 诸暨市逍遥管道科技有限公司 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
CN109490416A (zh) * 2018-12-10 2019-03-19 上海市东方海事工程技术有限公司 一种应用于双轨式钢轨探伤的焊缝识别方法
CN109613010A (zh) * 2019-01-30 2019-04-12 西南交通大学 正交异性钢桥面板疲劳裂纹检测系统
US20190234912A1 (en) * 2015-12-31 2019-08-01 VeriPhase, Inc. Ultrasonic weld analysis for orthotropic steel decking systems in bridges
CN110108715A (zh) * 2019-05-06 2019-08-09 哈尔滨理工大学 一种透明平行平板的缺陷检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN110320285A (zh) * 2019-07-08 2019-10-11 创新奇智(青岛)科技有限公司 一种基于超声波信号的钢轨缺陷识别方法、系统及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101403702A (zh) * 2008-11-17 2009-04-08 天津理工大学 一种飞机地面强度试验中疲劳裂纹智能监测方法及装置
CN105510344A (zh) * 2015-11-24 2016-04-20 昆明理工大学 一种区域内输电铁塔新增裂纹检测方法
US20190234912A1 (en) * 2015-12-31 2019-08-01 VeriPhase, Inc. Ultrasonic weld analysis for orthotropic steel decking systems in bridges
CN105798927A (zh) * 2016-05-23 2016-07-27 广东工业大学 基于图像的坩埚缺陷磨削加工方法及应用其的加工系统
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN109239206A (zh) * 2018-06-20 2019-01-18 诸暨市逍遥管道科技有限公司 缺陷自动识别辅助电熔接头智能相控阵的超声检测方法
CN109115812A (zh) * 2018-08-23 2019-01-01 中国石油大学(北京) 一种焊缝底片缺陷识别方法及系统
CN109490416A (zh) * 2018-12-10 2019-03-19 上海市东方海事工程技术有限公司 一种应用于双轨式钢轨探伤的焊缝识别方法
CN109613010A (zh) * 2019-01-30 2019-04-12 西南交通大学 正交异性钢桥面板疲劳裂纹检测系统
CN110108715A (zh) * 2019-05-06 2019-08-09 哈尔滨理工大学 一种透明平行平板的缺陷检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN110320285A (zh) * 2019-07-08 2019-10-11 创新奇智(青岛)科技有限公司 一种基于超声波信号的钢轨缺陷识别方法、系统及电子设备

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
SHANG LIDAN等: "Detection of rail surface defects based on CNN image recognition and classification", 《INTERNATIONAL CONFERENCE ON ADVANCED COMMUNICATIONS TECHNOLOGY(ICACT2018)》 *
XU YANG等: "Surface fatigue crack identification in steel box girder of bridges by a deep fusion convolutional neural network based on consumer-grade camera images", 《STRUCTURAL HEALTH MONITORING》 *
冯其强等: "《数字工业摄影测量技术及应用》", 31 May 2013, 测绘出版社 *
李恩林等: "超声波B/C扫描成像系统", 《沈阳工业大学学报》 *
杨顺辽等: "《数字信号处理实现与实践》", 30 September 2011, 华中科技大学出版社 *
沈祯杰等: "基于背景差分法在焊缝缺陷检测中的应用", 《无锡职业技术学院学报》 *
胡文刚等: "基于超声信号和图像融合的焊缝缺陷识别", 《焊接学报》 *
赵小川等: "《MATLAB数字图像处理》", 30 September 2015, 北京航空航天大学出版社 *
雷毅: "《材料成型设备微机控制技术》", 31 August 2015, 中国石油大学出版社 *
高扬清等: "超声相控阵PE检测图像缺陷定位算法研究", 《信息技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113219048A (zh) * 2021-07-09 2021-08-06 西南交通大学 一种基于涡流与数字孪生技术的钢桥损伤检测系统及方法
CN113219048B (zh) * 2021-07-09 2021-09-14 西南交通大学 一种基于涡流与数字孪生技术的钢桥损伤检测系统及方法

Also Published As

Publication number Publication date
CN110988140B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
CN110378879B (zh) 一种桥梁裂缝检测方法
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
CN111060601B (zh) 基于深度学习的焊缝超声相控阵检测数据智能分析方法
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
CN113129268B (zh) 一种飞机铆接墩头质量检测方法
CN108846397A (zh) 一种基于图像处理的电缆半导电层自动检测方法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
CN111325738B (zh) 一种用于横穿孔周边裂纹的智能检测方法及系统
CN111754463A (zh) 一种基于卷积神经网络的无砟轨道ca砂浆层缺陷检测方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN113781458A (zh) 一种基于人工智能的识别方法
CN110988140B (zh) 一种正交异性钢桥面板疲劳裂纹智能识别方法
CN114881987A (zh) 基于改进YOLOv5的热压导光板缺陷可视化检测方法
CN110910373B (zh) 正交异性钢桥面板疲劳裂纹检测图像的识别方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115601359A (zh) 一种焊缝检测方法及装置
Chen et al. Automatic recognition of weld defects in TOFD D-scan images based on faster R-CNN
CN111062437A (zh) 一种基于深度学习的桥梁结构病害自动目标检测模型
Sutcliffe et al. Automatic defect recognition of single-v welds using full matrix capture data, computer vision and multi-layer perceptron artificial neural networks
CN114937004A (zh) 一种基于计算机视觉的机械零件表面气孔缺陷检测方法
CN112767365A (zh) 一种探伤方法
CN116798036B (zh) 用于识别和校验答题卡客观题识别结果的方法及装置
CN117474915B (zh) 一种异常检测方法、电子设备及存储介质
CN104751137B (zh) 钢材韧窝图像深度均匀度的自动测量、分类方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220427

Address after: 610000 North 1st section of 2nd Ring Road, Jinniu District, Chengdu City, Sichuan Province

Patentee after: SOUTHWEST JIAOTONG University

Patentee after: South Sichuan Intercity Railway Co., Ltd

Address before: 610000 North 1st section of 2nd Ring Road, Jinniu District, Chengdu City, Sichuan Province

Patentee before: SOUTHWEST JIAOTONG University

TR01 Transfer of patent right