CN117152492A - 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 - Google Patents

钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 Download PDF

Info

Publication number
CN117152492A
CN117152492A CN202310990195.8A CN202310990195A CN117152492A CN 117152492 A CN117152492 A CN 117152492A CN 202310990195 A CN202310990195 A CN 202310990195A CN 117152492 A CN117152492 A CN 117152492A
Authority
CN
China
Prior art keywords
image
vulnerable part
box girder
steel box
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310990195.8A
Other languages
English (en)
Other versions
CN117152492B (zh
Inventor
邹威
樊健生
李毅
刘宇飞
李彦兵
岳岩
许杨铭
付佰勇
朱尧于
黎伟捷
刘涛
黎啸宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bay Area Super Major Bridge Maintenance Technology Center Of Guangdong Highway Construction Co ltd
Tsinghua University
CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd
Original Assignee
Bay Area Super Major Bridge Maintenance Technology Center Of Guangdong Highway Construction Co ltd
Tsinghua University
CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bay Area Super Major Bridge Maintenance Technology Center Of Guangdong Highway Construction Co ltd, Tsinghua University, CCCC Highway Long Bridge Construction National Engineering Research Center Co Ltd filed Critical Bay Area Super Major Bridge Maintenance Technology Center Of Guangdong Highway Construction Co ltd
Priority to CN202310990195.8A priority Critical patent/CN117152492B/zh
Publication of CN117152492A publication Critical patent/CN117152492A/zh
Application granted granted Critical
Publication of CN117152492B publication Critical patent/CN117152492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质，所述方法包括：对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将图像分类为非易损部位图像和易损部位图像；利用疲劳裂纹识别增强算法对非易损部位图像和易损部位图像分别进行疲劳裂纹识别。本发明能够识别出钢箱梁内的细小疲劳裂纹，同时提高了裂纹检测的效率与准确性。

Description

钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质
技术领域
本发明涉及结构健康检测技术领域，特别是涉及一种钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及计算机可读存储介质。
背景技术
钢箱梁以其自重轻、刚度大、施工方便、回收利用率高等优点，在大跨径钢桥中广泛应用。而由于正交异性钢桥面板存在初始缺陷、焊接残余应力、疲劳荷载等原因，疲劳裂纹在钢箱梁中普遍存在，导致钢箱梁的安全性和服务性能降低。因此，按照桥梁检测技术规范的要求，应对钢箱梁进行定期检查。
传统的检查方式是人工巡检，由于钢箱梁内部构造复杂、障碍众多，疲劳裂纹尺寸极小且多存在于顶板及底板处，人工巡检普遍存在效率低下、检查不全面等问题，为桥梁安全埋下隐患。
目前，除传统的人工巡检外，结构健康检测的方法主要有湍流探伤、超声波监测、声发射测试等，这些方法耗时耗力，需要专业仪器和操作人员，在大规模检查中难以应用；针对钢箱梁内部的病害检测，主要依靠小型移动机器人搭载摄像头等传感器进行检测，检测效率有限，对光照条件需求高，且受机器人本身尺寸的限制，对较高或较低处检测能力较弱，而疲劳裂纹恰恰多发于顶板和底板。
发明内容
为了解决上述现有技术的不足，本发明提供了一种钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及计算机可读存储介质。
本发明的第一个目的在于提供一种钢箱梁内疲劳裂纹的识别方法。
本发明的第二个目的在于提供一种钢箱梁内疲劳裂纹的识别系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种计算机可读存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种钢箱梁内疲劳裂纹的识别方法，所述方法包括：
对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
进一步的，在获得钢箱梁内部的三维点云模型后，将三维点云模型与钢箱梁BIM模型点云进行配准，剔除点云中的障碍物；
在将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配前，根据RGB相机拍摄的图像，识别出包含有管线或消防设施的图像并剔除。
进一步的，所述运动轨迹包括拍摄每张图像时RGB相机的位置与朝向；
所述将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像，包括：
将点云模型转化成带有法向量与平面属性的网格模型；
若拍摄图像时RGB相机的视线与网格模型的易损部位相交，则拍摄的图像为易损部位图像，否则为非易损部位图像；其中，所述视线为从RGB相机所在位置沿RGB相机朝向的射线。
进一步的，所述裂纹识别算法为卷积神经网络。
进一步的，在对分类的图像进行疲劳裂纹识别前，对卷积神经网络进行训练，利用训练好的卷积神经网络对分类的图像进行疲劳裂纹识别。
进一步的，所述卷积神经网络包括两个卷积神经网络，分别为第一卷积神经网络和第二卷积神经网络；将第一卷积神经网络和第二卷积神经网络分别作为非易损部位病害识别模型和易损部位病害识别模型；
所述对卷积神经网络进行训练，利用训练好的卷积神经网络对分类的图像进行疲劳裂纹识别，包括：
将获取的多张非易损部位图像中的每一个图像进行降采样处理，将处理后的图像作为非易损部位病害图像数据集；利用非易损部位病害图像数据集训练非易损部位病害识别模型，得到训练好的非易损部位病害识别模型；
将获取的多张易损部位图像作为易损部位病害图像数据集；利用易损部位病害图像数据集训练易损部位病害识别模型，得到训练好的易损部位病害识别模型；
对于非易损部位的图像，利用训练好的非易损部位病害识别模型对降采样处理后的图像进行疲劳裂纹识别；对易损部位的图像，直接利用训练好的易损部位病害识别模型进行疲劳裂纹识别。
进一步的，识别结果包括疲劳裂纹的类别和位置，所述位置包括定位、尺寸以及形状。
本发明的第二个目的可以通过采取如下技术方案达到：
一种钢箱梁内疲劳裂纹的识别系统，所述系统包括：
获取模块，用于对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
分割模块，用于对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
分类模块，用于将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
识别模块，用于利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的识别方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序程序被处理器执行时，实现上述的识别方法。
本发明相对于现有技术具有如下的有益效果：
本发明提出的钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及计算机可读存储介质，通过对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。本发明根据正交异性钢桥面板钢箱梁的构造与疲劳特性，首先通过对获得的钢箱梁内部的三维点云模型采用深度学习点云分割识别出属于易损部位的点云；然后根据点云分割的结果与拍摄图像时的运动轨迹，将拍摄的图像分为易损部位图像和非易损部位图像；根据易损部位图像和非易损部位图像，采取有针对性的病害识别方法，从而识别出钢箱梁内的细小疲劳裂纹，同时提高了疲劳裂纹检测的效率与准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的钢箱梁内疲劳裂纹的识别方法的简易流程图。
图2为本发明实施例1的钢箱梁内疲劳裂纹的识别方法的具体流程图。
图3为本发明实施例1的正交异性钢桥面板钢箱梁内部的结构示意图。
图4为本发明实施例2的钢箱梁内疲劳裂纹的识别系统的结构框图。
图5为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1：
如图1、2所示，本实施例提供的一种钢箱梁内疲劳裂纹的识别方法，主要针对大跨径钢箱梁桥钢箱梁，包括以下步骤：
S101、对钢箱梁内部进行三维建图与图像采集。
使用Visual-SFM技术对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，即通过相机拍摄箱内图像，通过特征匹配的方式将二维图像还原为三维信息；在扫描的同时使用RGB相机拍摄箱内表面图像，即两项采集同时进行。
优选地，将获得的三维点云模型与钢箱梁BIM模型点云进行配准，剔除点云中的管线、消防设施等障碍物，并对变形进行检测。
其中，剔除点云中的管线、消防设施等障碍物是用于消除这些设施在后续易损部位判别、图像分类中造成的干扰，以提高识别方法的鲁棒性。变形与裂纹都会对结构安全带来危险的病害，同样需要检测。
S102、对三维点云模型进行点云分割与分类。
对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云。其中，构造部位主要包括：U肋、焊缝、横隔板开孔等，参见图3所示。
S103、根据图像采集的运动轨迹和点云分割结果，对采集的图像分类。
优选地，针对RGB相机拍摄的图像，利用预先训练好的卷积神经网络识别出包含有管线或消防设施等的图像并剔除。后续步骤对剔除的图像不处理，仅对保留的图像进行处理。
将RGB相机在采集箱内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将图像分为易损部位图像和非易损部位图像，具体包括：
将三维点云模型转化成带有法向量与平面属性的网格模型，判断拍摄图像时相机的视线与网格模型的哪个部位相交，若与易损部位相交，则拍摄的图像为易损部位图像，否则为非易损部位图像。
优选地，RGB相机可以为搭载惯性测量单元(IMU)的RGB相机，从IMU的数据中还原出RGB相机在采集箱内拍摄图像时的运动轨迹，其中运动轨迹包括拍摄每张图像时相机的位置与朝向。上述视线即为从相机所在位置沿相机朝向的射线。
S104、采用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别。
在本实施例中，利用基于深度学习的疲劳裂纹识别增强算法对易损部位图像和非易损部位图像进行疲劳裂纹识别，识别出疲劳裂纹的类别和位置，具体包括：
对非易损部位的图像进行降采样处理，利用裂缝识别算法对降采样处理后的图像进行识别；对易损部位的图像不进行降采样处理，利用裂缝识别算法直接对图像进行识别。
通过对非易损部位的图像进行降采样处理，以提高识别速度；对易损部位的图像不进行降采样处理，以保证识别准确。
具体地，裂缝识别算法可以为卷积神经网络(CNN)或者视觉transformer(VIT)以及其他。
本实施例中的裂缝识别算法采用卷积神经网络。
优选地，本实施例为了提高裂缝识别算法检测的准确率，利用数据集对裂缝识别算法进行训练。
具体地，裂缝识别算法包括两个卷积神经网络：第一卷积神经网络和第二卷积神经网络，利用两个卷积神经网络分别识别出非易损部位图像和易损部位图像中疲劳裂纹的类别和位置。其中，将第一卷积神经网络作为非易损部位病害识别模型，将第二卷积神经网络作为易损部位病害识别模型。
对非易损部位病害识别模型和易损部位病害识别模型进行训练，具体包括：
(1)获取数据集。
将获取的多张非易损部位图像中的每一个图像进行降采样处理，将处理后的图像作为非易损部位病害图像数据集；
将获取的多张易损部位图像作为易损部位病害图像数据集；
(2)利用数据集对相应的病害识别模型进行训练。
利用非易损部位病害图像数据集训练非易损部位病害识别模型，得到训练好的非易损部位病害识别模型；
利用易损部位病害图像数据集训练易损部位病害识别模型，得到训练好的易损部位病害识别模型。
具体地，非易损部位病害识别模型对非易损部位的裂纹形态具有较好的识别能力，并对非易损部位的干扰项如管线阴影、划痕、施工标记等具有较强的抵抗能力；而易损部位病害识别模型针对易损部位的裂纹形态有较好的识别能力，并对易损部位的干扰项如焊缝阴影、横隔板开孔边缘等具有较强的抵抗能力。
对于从箱内采集到的图像按照分类的不同分别输入对应的病害识别模型中，即：若为非易损部位的图像，则进行降采样处理，并将降采样处理后的图像输入训练好的非易损部位病害识别模型进行疲劳裂纹识别；若为易损部位的图像，则将图像直接输入训练好的易损部位病害识别模型进行疲劳裂纹识别。
本实施例中的位置包括疲劳裂纹的定位、尺寸及形状。实际上识别出的是某张图像中哪些像素点属于疲劳裂纹，从这些像素点的位置、相对位置以及数量等可以得到上述信息。
S105、识别结果整理。
本实施例将上述病害识别的结果整理成检测报告输出。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种钢箱梁内疲劳裂纹的识别系统，该系统包括获取模块401、分割模块402、分类模块403和识别模块404，各个模块的具体功能如下：
获取模块401，用于对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
分割模块402，用于对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
分类模块403，用于将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
识别模块404，用于利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机、服务器等，如图5所示，包括通过系统总线501连接的处理器502、存储器、输入装置503、显示器504和网络接口505，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质506和内存储器507，该非易失性存储介质506存储有操作系统、计算机程序和数据库，该内存储器507为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器502执行存储器存储的计算机程序时，实现上述实施例1的识别方法，如下：
对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
实施例4：
本实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的识别方法，如下：
对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明提供的钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及计算机可读存储介质，通过使用Visual-SFM等三维建图手段对钢箱梁内部进行三维重建，在扫描的同时使用RGB相机采集箱内表面的图像。建图后，采用深度学习点云分割识别出钢箱梁三维点云中易发生疲劳裂纹的关键部位；将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将图像分类为非易损部位图像和易损部位图像；使用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，具体包括：对在非易损/裂部位采集的图像进行降采样处理后，利用疲劳裂纹识别增强算法进行识别，以提高识别效率；而对在易损/裂部位采集的图像不进行降采样处理，以确保识别结果准确。本发明根据正交异性钢桥面板钢箱梁的构造与疲劳特性，采取有针对性的病害检测增强算法与识别机制，提高了裂纹检测的效率与准确性。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种钢箱梁内疲劳裂纹的识别方法，其特征在于，所述方法包括：
对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
2.根据权利要求1所述的识别方法，其特征在于，在获得钢箱梁内部的三维点云模型后，将三维点云模型与钢箱梁BIM模型点云进行配准，剔除点云中的障碍物；
在将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配前，根据RGB相机拍摄的图像，识别出包含有管线或消防设施的图像并剔除。
3.根据权利要求1或2任一项所述的识别方法，其特征在于，所述运动轨迹包括拍摄每张图像时RGB相机的位置与朝向；
所述将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像，包括：
将点云模型转化成带有法向量与平面属性的网格模型；
若拍摄图像时RGB相机的视线与网格模型的易损部位相交，则拍摄的图像为易损部位图像，否则为非易损部位图像；其中，所述视线为从RGB相机所在位置沿RGB相机朝向的射线。
4.根据权利要求1或2任一项所述的识别方法，其特征在于，所述裂纹识别算法为卷积神经网络。
5.根据权利要求4所述的识别方法，其特征在于，在对分类的图像进行疲劳裂纹识别前，对卷积神经网络进行训练，利用训练好的卷积神经网络对分类的图像进行疲劳裂纹识别。
6.根据权利要求5所述的识别方法，其特征在于，所述卷积神经网络包括两个卷积神经网络，分别为第一卷积神经网络和第二卷积神经网络；将第一卷积神经网络和第二卷积神经网络分别作为非易损部位病害识别模型和易损部位病害识别模型；
所述对卷积神经网络进行训练，利用训练好的卷积神经网络对分类的图像进行疲劳裂纹识别，包括：
将获取的多张非易损部位图像中的每一个图像进行降采样处理，将处理后的图像作为非易损部位病害图像数据集；利用非易损部位病害图像数据集训练非易损部位病害识别模型，得到训练好的非易损部位病害识别模型；
将获取的多张易损部位图像作为易损部位病害图像数据集；利用易损部位病害图像数据集训练易损部位病害识别模型，得到训练好的易损部位病害识别模型；
对于非易损部位的图像，利用训练好的非易损部位病害识别模型对降采样处理后的图像进行疲劳裂纹识别；对易损部位的图像，直接利用训练好的易损部位病害识别模型进行疲劳裂纹识别。
7.根据权利要求1或2任一项所述的识别方法，其特征在于，识别结果包括疲劳裂纹的类别和位置，所述位置包括定位、尺寸以及形状。
8.一种钢箱梁内疲劳裂纹的识别系统，其特征在于，所述系统包括：
获取模块，用于对钢箱梁内部进行扫描以获得钢箱梁内部的三维点云模型，在扫描的同时使用RGB相机拍摄钢箱梁内表面的图像；
分割模块，用于对三维点云模型进行网格分割，根据每个网格所属构造部位进行分类，识别出属于易损部位的点云；
分类模块，用于将RGB相机在钢箱梁内拍摄图像时的运动轨迹与点云分割结果匹配，根据匹配结果将所述图像分类为非易损部位图像和易损部位图像；
识别模块，用于利用疲劳裂纹识别增强算法对分类的图像进行疲劳裂纹识别，包括：对非易损部位图像进行降采样处理，利用裂纹识别算法对降采样处理后的图像进行疲劳裂纹识别；对易损部位图像不进行降采样处理，直接利用裂纹识别算法进行疲劳裂纹识别。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-7任一项所述的识别方法。
CN202310990195.8A 2023-08-08 2023-08-08 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质 Active CN117152492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310990195.8A CN117152492B (zh) 2023-08-08 2023-08-08 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310990195.8A CN117152492B (zh) 2023-08-08 2023-08-08 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN117152492A true CN117152492A (zh) 2023-12-01
CN117152492B CN117152492B (zh) 2024-04-19

Family

ID=88909050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310990195.8A Active CN117152492B (zh) 2023-08-08 2023-08-08 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN117152492B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222759A (zh) * 2019-06-03 2019-09-10 中国医科大学附属第一医院 一种冠状动脉易损斑块自动识别系统
CN110910373A (zh) * 2019-11-25 2020-03-24 西南交通大学 正交异性钢桥面板疲劳裂纹检测图像的识别方法
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法
CN113065624A (zh) * 2021-04-14 2021-07-02 中南大学 一种正交异性钢桥面板疲劳裂纹无损检测系统与方法
CN115713488A (zh) * 2022-10-27 2023-02-24 浙江大学 基于实例分割的桥梁表观病害像素级识别方法和系统
CN115797350A (zh) * 2023-02-07 2023-03-14 清华大学 桥梁病害检测方法、装置、计算机设备和存储介质
CN116052105A (zh) * 2023-02-09 2023-05-02 中咨数据有限公司 路面裂缝识别分类及面积计算方法、系统、设备及终端
CN116091431A (zh) * 2022-12-30 2023-05-09 清华大学 箱梁病害检测方法、装置、计算机设备和存储介质
CN116152697A (zh) * 2022-11-28 2023-05-23 湖南中登科技有限公司 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN116452944A (zh) * 2023-03-03 2023-07-18 江南大学 一种表面裂纹识别方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199538A1 (zh) * 2019-04-04 2020-10-08 中设设计集团股份有限公司 基于图像监控数据的桥梁关键构件病害预警系统及方法
CN110222759A (zh) * 2019-06-03 2019-09-10 中国医科大学附属第一医院 一种冠状动脉易损斑块自动识别系统
CN110910373A (zh) * 2019-11-25 2020-03-24 西南交通大学 正交异性钢桥面板疲劳裂纹检测图像的识别方法
CN113065624A (zh) * 2021-04-14 2021-07-02 中南大学 一种正交异性钢桥面板疲劳裂纹无损检测系统与方法
CN115713488A (zh) * 2022-10-27 2023-02-24 浙江大学 基于实例分割的桥梁表观病害像素级识别方法和系统
CN116152697A (zh) * 2022-11-28 2023-05-23 湖南中登科技有限公司 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN116091431A (zh) * 2022-12-30 2023-05-09 清华大学 箱梁病害检测方法、装置、计算机设备和存储介质
CN115797350A (zh) * 2023-02-07 2023-03-14 清华大学 桥梁病害检测方法、装置、计算机设备和存储介质
CN116052105A (zh) * 2023-02-09 2023-05-02 中咨数据有限公司 路面裂缝识别分类及面积计算方法、系统、设备及终端
CN116452944A (zh) * 2023-03-03 2023-07-18 江南大学 一种表面裂纹识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BAO-LUO LI, ET AL.: "A grid-based classification and box-based detection fusion model for asphalt pavement crack", COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING, 21 December 2022 (2022-12-21), pages 2279 - 2299 *
于丽波;艾军;董延超;: "基于条件随机场的钢箱梁正交异性板疲劳微裂纹检测", 中国测试, no. 05, 31 May 2019 (2019-05-31), pages 21 - 29 *
杨云涛: "基于数字图像相关技术的钢构件损伤观测与疲劳评估研究", 工程科技Ⅱ辑, 31 July 2023 (2023-07-31), pages 034 - 148 *

Also Published As

Publication number Publication date
CN117152492B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
Li et al. Automatic defect detection of metro tunnel surfaces using a vision-based inspection system
Qu et al. Crack detection of concrete pavement with cross-entropy loss function and improved VGG16 network model
Sampedro et al. Deep learning-based system for automatic recognition and diagnosis of electrical insulator strings
Huynh Vision-based autonomous bolt-looseness detection method for splice connections: Design, lab-scale evaluation, and field application
Dorafshan et al. Deep learning neural networks for sUAS-assisted structural inspections: Feasibility and application
CN113129266B (zh) 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
US20180357788A1 (en) UAV Inspection Method for Power Line Based on Human Visual System
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
CN111797890A (zh) 一种用于检测输电线路设备缺陷的方法及系统
CN109993734A (zh) 用于输出信息的方法和装置
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN107782733A (zh) 金属表面缺陷的图像识别无损检测装置及方法
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN109816626A (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN115131330A (zh) 多源传感器融合的钢轨表面缺陷检测与测量方法及系统
Fondevik et al. Image segmentation of corrosion damages in industrial inspections
CN115423995A (zh) 一种轻量化幕墙裂纹目标检测方法及系统、安全预警系统
Ko et al. ABECIS: An automated building exterior crack inspection system using UAVs, open-source deep learning and photogrammetry
Naddaf-Sh et al. Real‐Time Explainable Multiclass Object Detection for Quality Assessment in 2‐Dimensional Radiography Images
CN117152492B (zh) 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质
Mumbelli et al. An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing
Xu et al. Image-based intelligent detection of typical defects of complex subway tunnel surface
CN115546099A (zh) 一种基于卷积神经网络的锻件探伤缺陷检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant