CN117523470B - 一种钢结构疲劳裂缝识别方法及系统 - Google Patents
一种钢结构疲劳裂缝识别方法及系统 Download PDFInfo
- Publication number
- CN117523470B CN117523470B CN202310163487.4A CN202310163487A CN117523470B CN 117523470 B CN117523470 B CN 117523470B CN 202310163487 A CN202310163487 A CN 202310163487A CN 117523470 B CN117523470 B CN 117523470B
- Authority
- CN
- China
- Prior art keywords
- crack
- steel structure
- scale
- real
- pixel segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 124
- 239000010959 steel Substances 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 119
- 238000010586 diagram Methods 0.000 claims abstract description 67
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000003709 image segmentation Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 35
- 238000011161 development Methods 0.000 claims description 24
- 230000018109 developmental process Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 14
- 238000004445 quantitative analysis Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000004048 modification Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明公开了一种钢结构疲劳裂缝识别方法及系统，包括获取待监测钢结构预设区域的实时图像分割，得到若干实时图像子图；利用预设的裂缝像素分割卷积神经网络，对实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；利用预设的标尺像素分割卷积神经网络，对实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；对裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；根据单像素宽度的裂缝识别结果与标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值；本发明所述的疲劳裂缝识别方法过程简单，识别结果满足定量分析的要求；满足不间断的自动识别需求，具有监测周期短的优势。
Description
技术领域
本发明属于建筑构件裂缝识别及监测技术领域，特别涉及一种钢结构疲劳裂缝识别方法及系统。
背景技术
目前，钢结构因其优异的力学性能在工业建筑中得到了广泛应用；钢结构构件在动荷载作用下，高应力或高应变的局部区域易萌生疲劳裂缝，造成安全隐患，疲劳裂缝不断扩展，最终可能导致构件丧失承载能力；因此，需要将钢结构构件的疲劳裂缝产生与发展纳入受控范围，实时监测新增疲劳裂缝与既有疲劳裂缝的发展，高精度的实时疲劳裂缝数据可帮助追踪疲劳裂缝增长速率，评估其风险等级，为预测构件剩余寿命提供数据支持。
现有技术中，对钢结构构件的疲劳裂缝识别与监测主要依靠人工巡检，存在如下难点：工业生产中监测环境恶劣，隐蔽处疲劳裂缝难以探查，存在漏检的风险；且常规监测难以精准确定疲劳裂缝的初始萌生时间，难以追踪疲劳裂缝的发展时间；同时，由于疲劳裂缝形态弯曲各异，疲劳裂缝长度通常采用在疲劳裂缝旁边粘贴标尺图片的方式来进行人工估算，并未解决疲劳裂缝长度自动、精确测量的问题，导致采集到的疲劳裂缝数据只能进行定性判断，难以用作定量分析；其次，监测人员专业性良莠不齐，对疲劳裂缝性质的判断主观性强，不同监测人员给出的监测结果不尽相同。
目前，也有采用图像识别方法对钢结构构件的疲劳裂缝进行识别，传统的图像识别方法通过对疲劳裂缝区域像素点进行抽取，提取出疲劳裂缝形态；但现场情况复杂，存在光线、灰尘及其余干扰因素，导致疲劳裂缝识别不全、识别缺失，疲劳裂缝识别的准确性与完整性难以保证；其次，通过识别疲劳裂缝像素占位估计疲劳裂缝长度，当拍摄裂缝照片的角度、远近不同，均会影响疲劳裂缝长度的估计，在实际操作中存在相当的难度。
综上，目前针对钢结构构件的疲劳裂缝识别的困难性，以保证识别出疲劳裂缝的准确完整、精确计算疲劳裂缝长度成为亟待解决的问题。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种钢结构疲劳裂缝识别方法及系统，以解决现有对钢结构构件的疲劳裂缝识别的困难性的技术问题，实现疲劳裂缝的准确完整识别、精确计算疲劳裂缝长度。
为达到上述目的，本发明采用的技术方案为：
本发明提供了一种钢结构疲劳裂缝识别方法，包括：
获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据；
对所述待监测钢结构预设区域的实时图像进行分割，得到若干实时图像子图；
利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；
利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；
对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；
根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值。
进一步的，获取待监测钢结构预设区域的实时图像的过程，具体如下：
利用图像采集设备，对待监测钢结构预设区域的图像进行实时采集，得到待监测钢结构预设区域的实时图像；其中，采用在待监测钢结构预设区域内设置有真实标尺，且所述真实标尺位于所述图像采集设备的图像采集视野范围内。
进一步的，所述真实标尺为预设尺寸的方形块结构。
进一步的，预设的裂缝像素分割卷积神经网络的构建过程，具体如下：
获取基准钢结构的疲劳裂缝样本数据；其中，所述基准钢结构与待监测钢结构的结构类型相同；
将所述基准钢结构的疲劳裂缝样本数据引入至混凝土裂缝数据库中，并经过数据增强处理后，得到疲劳裂缝图像训练数据；
基于U-Net，构建第一像素分割卷积神经网络，并利用所述疲劳裂缝图像训练数据进行训练，得到所述预设的裂缝像素分割卷积神经网络。
进一步的，所述预设的标尺像素分割卷积神经网络的构建过程，具体如下：
随机生成虚拟标尺；其中，所述虚拟标尺的大小、布设位置及旋转角度均采用随机方式生成；
将所述虚拟标尺添加至所述疲劳裂缝图像训练数据中，得到虚拟标尺图像训练数据；
基于U-Net，构建第二像素分割卷积神经网络，并利用所述虚拟标尺图像训练数据进行训练，得到所述预设的标尺像素分割卷积神经网络。
进一步的，所述第一像素分割卷积神经网络和所述第二像素分割卷积神经网络的结构相同，均包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
进一步的，所述当前时刻的裂缝长度估计值为：
其中，L为当前时刻的裂缝长度估计值；X为单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；Y为所述标尺像素分割热点图中被识别为标尺的像素个数；d为标尺的实际边长尺寸。
进一步的，根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值之后，还包括裂缝发展预警步骤；
其中，所述裂缝发展预警步骤，具体为：
将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
本发明还提供了一种钢结构疲劳裂缝识别系统，包括：
图像采集模块，用于获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据；
图像分割模块，用于对所述待监测钢结构预设区域的实时图像进行分割，得到若干实时图像子图；
裂缝像素识别模块，用于利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；
标尺像素识别模块，用于利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；
骨骼化处理模块，用于对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；
裂缝长度计算模块，用于根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值。
进一步的，还包括：裂缝发展预警模块，用于将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
与现有技术相比，本发明的有益效果为：
本发明提供了一种钢结构疲劳裂缝识别方法及系统，通过预设的裂缝像素分割卷积神经网络和预设的标尺像素卷积神经网络分别对实时图像子图中的裂缝像素和标尺像素进行识别，以获取裂缝像素分割热点图和标尺像素分割热点图；通过对裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果，实现钢结构疲劳裂缝识别，避免光线等干扰因素的影响，确保了疲劳裂缝识别结果的完整性和准确性；根据单像素宽度的裂缝识别结果与标尺像素分割热点图进行裂缝长度计算，实现对钢结构疲劳裂缝长度的精确计算，精度可达0.1mm；本发明所述的疲劳裂缝识别方法过程简单，识别结果满足定量分析的要求；无需人工巡检，避免人为主观判断而引起较大的识别误差；同时，满足24h全天候不间断的自动识别及监测需求，具有监测周期短的优势，且能够有效追踪疲劳裂缝的萌生时间和发展过程，监测成本低。
进一步的，通过随机生成虚拟标尺，并将虚拟标尺添加至疲劳裂缝图像训练数据中，以获取具有多个虚拟标尺的标尺图像训练数据，无需重复采集现场数据，适应不同实时图像中的标尺像素的识别；同时，便于对虚拟标尺的添加和变换，避免采集大量现场数据，有效降低了监测成本，并提高了疲劳裂缝的识别效率。
进一步的，将当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，并根据对比结果生成裂缝发展预警信息，实现通过精确识别的疲劳裂缝的长度与监测间隔时间，可精确推算裂缝发展速率，满足对疲劳裂缝的发展进行自动预警。
附图说明
图1为本发明所述的钢结构疲劳裂缝识别方法的流程图；
图2为实施例中裂缝像素分割热点图；
图3为实施例中单像素宽度的裂缝识别结果图；
图4为实施例中的attention掩膜施加图；
图5为实施例中的modification掩膜施加图；
图6为实施例中标尺像素分割热点图。
具体实施方式
为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如附图1所示，本发明提供了一种钢结构疲劳裂缝识别方法，包括以下步骤：
步骤1、获取待监测钢结构预设区域的实时图像。其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据。
具体的，获取待监测钢结构预设区域的实时图像的过程，具体如下：
利用图像采集设备，对待监测钢结构预设区域的图像进行实时采集，得到待监测钢结构预设区域的实时图像；其中，采用在待监测钢结构预设区域内设置有真实标尺，且所述真实标尺位于所述图像采集设备的图像采集视野范围内。
本发明中，对待监测钢结构预设区域的图像进行实时采集时，图像的实时采集频率采用人工设定，以满足不同钢结构疲劳裂缝的观测识别要求；所述真实标尺为预设尺寸的方形块结构，所述真实标尺粘贴在待监测钢结构预设区域内；优选的，所述真实标尺位于待监测钢结构预设区域的中心附近。
步骤2、对所述待监测钢结构预设区域的实时图像进行分割，以降低图像分辨率，得到若干实时图像子图。具体的，利用python程序命令，对待监测钢结构预设区域的实时图像进行裁剪，以将较高分辨率的实时图像裁剪为若干较低分辨率的实时图像子图。
步骤3、利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图。
其中，所述预设的裂缝像素分割卷积神经网络的构建过程，具体包括以下步骤：
步骤31、获取基准钢结构的疲劳裂缝样本数据；其中，所述基准钢结构与待监测钢结构的结构类型相同。
步骤32、将所述基准钢结构的疲劳裂缝样板数据引入至混凝土裂缝数据库中，并经过数据增强处理后，得到疲劳裂缝图像训练数据；其中，所述数据增强处理采用对图像进行翻转、随机剪裁及缩放的处理方式；其中，所述翻转包括水平翻转或竖直翻转。
步骤33、基于U-Net，构建第一像素分割卷积神经网络，并利用所述疲劳裂缝图像训练数据进行训练，得到所述预设的裂缝像素分割卷积神经网络；其中，所述第一像素分割卷积神经网络包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
步骤4、利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图。
其中，所述预设的标尺像素分割卷积神经网络的构建过程，具体包括以下步骤：
步骤41、随机生成虚拟标尺；其中，所述虚拟标尺的大小、布设位置及旋转角度均采用随机方式生成；并且，所述虚拟标尺的颜色与真实标尺的颜色相同。
步骤42、将所述虚拟标尺添加至所述疲劳裂缝图像训练数据中，得到虚拟标尺图像训练数据。
步骤43、基于U-Net，构建第二像素分割卷积神经网络，并利用所述虚拟标尺图像训练数据进行训练，得到所述预设的标尺像素分割卷积神经网络；其中，所述第二像素分割卷积神经网络的结构与所述第一像素分割卷积神经网络的结构相同；同样的，所述第二像素分割卷积神经网络包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
步骤5、对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果。具体的，利用基于python程序命令的Opencv-skeleton函数，对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果。
步骤6、对所述单像素宽度的裂缝识别结果进行核查，判断是否出现疲劳裂缝的漏检或误检的现象；若是，则对所述裂缝分割热点图添加掩膜，并引入基于掩膜的注意力机制对疲劳裂缝进行重新识别，得到更新后的单像素宽度的裂缝识别结果。
对所述单像素宽度的裂缝识别结果进行核查，判断是否出现疲劳裂缝的漏检或误检的现象的过程，具体如下：
对待监测钢结构预设区域的疲劳裂缝进行实际观测，得到疲劳裂缝的真实观测结果；将所述单像素宽度的裂缝识别结果与所述疲劳裂缝的真实观测结果进行对比，若所述单像素宽度的裂缝识别结果与所述疲劳裂缝的真实观测结果不一致，则所述单像素宽度裂缝识别结果存在漏检或误检现象。
对所述裂缝分割热点图添加掩膜，并引入基于掩膜的注意力机制对疲劳裂缝进行重新识别，得到更新后的单像素宽度的裂缝识别结果的过程，具体如下：
在所述裂缝像素分割热点图中添加attention掩膜，得到attention掩膜施加图，或在所述裂缝像素分割热点图中添加modification掩膜，得到modification掩膜施加图；之后，对所述attention掩膜施加图或modification掩膜施加图进行骨骼化处理，得到更新后的单像素宽度的裂缝识别结果。
本发明中，在所述裂缝像素分割热点图中添加attention掩膜，得到attention掩膜施加图的过程，具体为：将所述attention掩膜乘于所述裂缝像素分割热点图，得到所述attention掩膜施加图；在所述裂缝像素分割热点图中添加modification掩膜，得到modification掩膜施加图的过程，具体为：将所述modification掩膜加于所述裂缝像素分割热点图，得到所述modification掩膜施加图。
其中，所述attention掩膜与所述modification掩膜均为二值化掩膜图；所述attention掩膜用于划定裂缝预测区域，所述attention掩膜中所划定的可能裂缝区域的输出像素值为1，否则输出像素值为0；所述modification掩膜用于修补裂缝，所述modification掩膜中表示要增加的裂缝的输出像素值为1，否则输出像素值为0。
步骤7、根据所述单像素宽度的裂缝识别结果或所述更新后的单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值。
其中，所述当前时刻的裂缝长度估计值为：
其中，L为当前时刻的裂缝长度估计值；X为单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；X1为更新后的单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；Y为标尺像素分割热点图中被识别为标尺的像素个数；d为标尺的实际边长尺寸。
步骤8、将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
具体的，将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，若所述当前时刻的裂缝长度估计值大于上一时刻的裂缝长度估计值，则生成裂缝发展预警信息，以提示待监测钢结构预设区域的疲劳裂缝增长。
本发明所述的钢结构疲劳裂缝识别方法，通过对裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果，实现钢结构疲劳裂缝识别，避免光线等干扰因素的影响，确保了疲劳裂缝识别结果的完整性和准确性；根据单像素宽度的裂缝识别结果与标尺像素分割热点图进行裂缝长度计算，实现对钢结构疲劳裂缝长度的精确计算。
本发明中，所述待监测钢结构预设区域的实时图像利用预先架设的图像采集设备，按照预设的采集频率，待监测钢结构预设区域的图像进行实时采集；即，在间隔预设时间后重复对所述待监测钢结构预设区域进行图像采集；并根据所述待监测钢结构预设区域的实时图像实现对待监测钢结构预设区域的疲劳裂缝的识别监测；根据相邻时刻的裂缝长度估计值以及相邻时刻的间隔时间，能够精确推算疲劳裂缝的发展速率。
本发明中，将随机生成的虚拟标尺添加至所述疲劳裂缝图像训练数据中，避免采集大量训练数据的高成本及低效率问题，以获得标尺虚拟数据库；利用所述标尺虚拟数据库，对第二像素分割卷积神经网络进行训练，得到所述预设的标尺像素分割卷积神经网络，能够适应不同图像中的标尺识别；无需重复采集现场数据，便可进行多种真实标尺的识别；同时，便于虚拟标尺的添加及变换。
本发明中，对所述裂缝分割热点图添加掩膜，并引入基于掩膜的注意力机制对疲劳裂缝进行重新识别，得到更新后的单像素宽度的裂缝识别结果的过程，以掩膜为依据建立注意力机制，对掩膜区域进行重点识别，实现最大程度的排除干扰因素的影响，保证裂缝识别的准确性及完整性，有效提高了对于疲劳裂缝的识别率；其中，所述的干扰因素包括但不限于光线、灰尘以及非结构性裂缝。
本发明还提供了一种钢结构疲劳裂缝识别，包括图像采集模块、图像分割模块、裂缝像素识别模块、标尺像素识别模块、骨骼化处理模块、裂缝长度计算模块、识别结果核查模块及裂缝发展预警模块。
本发明中，所述图像采集模块，用于获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据；所述图像分割模块，用于对所述待监测钢结构预设区域的实时图像进行分割，以降低图像分辨率，得到若干实时图像子图；所述裂缝像素识别模块，用于利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；所述标尺像素识别模块，用于利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；所述骨骼化处理模块，用于对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；所述识别结果核查模块，用于对所述单像素宽度的裂缝识别结果进行核查，判断识别结果是否出现漏检或误检的现象，若是，则对所述裂缝分割热点图添加掩膜，并引入基于掩膜的注意力机制对疲劳裂缝进行重新识别，得到更新后的单像素宽度的裂缝识别结果；所述裂缝长度计算模块，用于根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值；所述裂缝发展预警模块，用于将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
实施例
以下对某建筑钢结构疲劳裂缝识别与监测过程为例。
本实施例提供了一种钢结构疲劳裂缝识别方法，具体包括以下步骤：
步骤1、构建裂缝像素分割卷积神经网络，得到预设的裂缝像素分割卷积神经网络；其中，所述预设的裂缝像素分割卷积神经网络的构建过程，具体如下：
步骤11、获取基准钢结构的疲劳裂缝样本数据；其中，所述基准钢结构与待监测钢结构的结构类型相同。
步骤12、将所述基准钢结构的疲劳裂缝样本数据引入至混凝土裂缝数据库中，并经过数据增强处理后，得到疲劳裂缝图像训练数据。所述数据增强处理采用水平翻转或竖直翻转、随机剪裁及缩放的方式；其中，所述疲劳裂缝图像训练数据中图像的大小为224×224×3。
由于实际建筑钢结构中疲劳裂缝样本的稀缺性，本实施例依赖于混凝土裂缝数据库，采用在所述混凝土裂缝数据库中加入所述基准钢结构的疲劳裂缝样本数据，构建得到疲劳裂缝图像训练数据；其中，所述基准钢结构的疲劳裂缝样本数据的采集过程，采用对基准钢结构的疲劳裂缝进行多角度、多距离的拍摄采集方式，以确保样本数据的容量。
步骤13、基于U-Net，构建第一像素分割卷积神经网络，并利用所述疲劳裂缝图像训练数据进行训练，获取并保存第一像素分割卷积神经网络的模型结构及模型参数，得到所述预设的裂缝像素分割卷积神经网络；其中，所述第一像素分割卷积神经网络包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
步骤2、构建标尺像素分割卷积神经网络，得到预设的标尺像素分割卷积神经网络；其中，所述预设的标尺像素分割卷积神经网络的构建过程，具体如下：
步骤21、随机生成虚拟标尺；其中，所述虚拟标尺的大小、布设位置及旋转角度均采用随机方式生成；并且所述虚拟标尺的颜色与真实标尺的颜色相同；所述虚拟标尺通过随机生成的方式获得，以满足标尺像素分割卷积神经网络适应不同实时图像中的标尺像素的识别要求。
步骤22、将所述虚拟标尺添加至所述疲劳裂缝图像训练数据中，得到虚拟标尺图像训练数据。
步骤23、基于U-Net，构建第二像素分割卷积神经网络，并利用所述虚拟标尺图像训练数据进行训练，获取并保存第二像素分割卷积神经网络的模型结构及参数，得到所述预设的标尺像素分割卷积神经网络；其中，所述第二像素分割卷积神经网络包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
步骤3、获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据。
步骤3中，获取待监测钢结构预设区域的实时图像的过程，具体包括以下步骤：
在待监测钢结构预设区域内设置真实标尺，以用于估计待监测钢结构预设区域内疲劳裂缝的长度；其中，所述真实标尺为长×宽=3×3cm的方形块结构，所述真实标尺粘贴在待监测钢结构预设区域的中心附近。
架设图像采集设备，利用所述图像采集设备对待监测钢结构预设区域的图像进行实时采集，得到待监测钢结构预设区域的实时图像；其中，所述图像采集设备为网络摄像机，所述网络摄像机的图像采集频率预先设定好。
步骤4、对所述待监测钢结构预设区域的实时图像进行分割，得到若干实时图像子图；其中，对所述待监测钢结构预设区域的实时图像进行分割的过程中，利用python程序命令将较高分辨率的实时图像裁剪为若干较低分辨率的实时图像子图；其中，所述实时图像子图的图像大小为224×224×3。
步骤5、利用所述预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；如附图2所示，附图2中给出了裂缝像素分割热点图；从附图2中可以看出对所述实时图像子图中的裂缝像素进行识别与分割，实现将有概率属于裂缝的像素点被标记出来。
步骤6、对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果。如附图3所示，附图3中给出了单像素宽度的裂缝识别结果图；从附图3中给出看出通过对所述裂缝像素分割热点图进行骨骼化处理，在删除多余的像素点后，裂缝的骨架能够更贴近于该裂缝的真实结构。
步骤7、对所述单像素宽度的裂缝识别结果进行核查，判断是否出现疲劳裂缝的漏检或误检现象；若是，则对所述裂缝分割热点图添加掩膜，并引入基于掩膜的注意力机制对疲劳裂缝进行重新识别，得到更新后的单像素宽度的裂缝识别结果。
具体包括以下步骤：
步骤71、对待监测钢结构预设区域的疲劳裂缝进行实际观测，得到疲劳裂缝的真实观测结果。
步骤72、将所述单像素宽度的裂缝识别结果与所述疲劳裂缝的真实观测结果进行对比，若所述单像素宽度的裂缝识别结果与所述疲劳裂缝的真实观测结果不一致，则所述单像素宽度裂缝识别结果存在漏检或误检现象。
步骤73、将attention掩膜乘于所述裂缝像素分割热点图，得到attention掩膜施加图；如附图4所述，附图4中给出了attention掩膜施加图；从附图4中可以看出attention掩膜的施加范围为裂缝存在及裂缝未来可能存在的区域；对所述attention掩膜施加图进行骨骼化处理，得到更新后的单像素宽度的裂缝识别结果，有效提高了疲劳裂缝的识别率。
本实施例中，针对步骤73的操作还提供了另一种实现方式，具体为：将modification掩膜加于所述裂缝像素分割热点图，得到modification掩膜施加图；如附图5所述，附图5中给出了modification掩膜施加图；从附图5中可以看出modification掩膜的施加范围为裂缝存在但并未被识别出的区域；对所述modification掩膜施加图进行骨骼化处理，得到更新后的单像素宽度的裂缝识别结果。
本实施例中，所述attention掩膜与所述modification掩膜均为二值化掩膜图；所述attention掩膜用于划定裂缝预测区域，所述attention掩膜中所划定的可能裂缝区域的输出像素值为1，否则输出像素值为0；所述modification掩膜用于修补裂缝，所述modification掩膜中表示要增加的裂缝的输出像素值为1，否则输出像素值为0。
步骤8、利用所述预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；如附图6所示，附图6中给出了标尺像素分割热点图；从附图6中可以看出对所述实时图像子图中的标尺像素进行识别与分割，实现将有概率属于标尺的像素点被标记出来。
步骤9、根据所述单像素宽度的裂缝识别结果或所述更新后的单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值。
其中，所述当前时刻的裂缝长度估计值为：
其中，L为当前时刻的裂缝长度估计值；X为单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；X1为更新后的单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；Y为标尺像素分割热点图中被识别为标尺的像素个数；d为标尺的实际边长尺寸。
步骤10、将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，若所述当前时刻的裂缝长度估计值大于上一时刻的裂缝长度估计值，则生成裂缝发展预警信息，以提示所述待监测钢结构预设区域内的疲劳裂缝出现增长现象。
本实施例提供的一种钢结构疲劳裂缝识别系统中相关部分的说明可以参见本实施例所述的一种钢结构疲劳裂缝识别方法中对应部分的详细说明，在此不再赘述。
上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。
Claims (9)
1.一种钢结构疲劳裂缝识别方法，其特征在于，包括：
获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据；
对所述待监测钢结构预设区域的实时图像进行分割，得到若干实时图像子图；
利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；
利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；
对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；
根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值；
其中，所述当前时刻的裂缝长度估计值为：
其中，L为当前时刻的裂缝长度估计值；X为单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；Y为所述标尺像素分割热点图中被识别为标尺的像素个数；d为标尺的实际边长尺寸。
2.根据权利要求1所述的一种钢结构疲劳裂缝识别方法，其特征在于，获取待监测钢结构预设区域的实时图像的过程，具体如下：
利用图像采集设备，对待监测钢结构预设区域的图像进行实时采集，得到待监测钢结构预设区域的实时图像；
其中，采用在待监测钢结构预设区域内设置有真实标尺，且所述真实标尺位于所述图像采集设备的图像采集视野范围内。
3.根据权利要求2所述的一种钢结构疲劳裂缝识别方法，其特征在于，所述真实标尺为预设尺寸的方形块结构。
4.根据权利要求1所述的一种钢结构疲劳裂缝识别方法，其特征在于，预设的裂缝像素分割卷积神经网络的构建过程，具体如下：
获取基准钢结构的疲劳裂缝样本数据；其中，所述基准钢结构与待监测钢结构的结构类型相同；
将所述基准钢结构的疲劳裂缝样本数据引入至混凝土裂缝数据库中，并经过数据增强处理后，得到疲劳裂缝图像训练数据；
基于U-Net，构建第一像素分割卷积神经网络，并利用所述疲劳裂缝图像训练数据进行训练，得到所述预设的裂缝像素分割卷积神经网络。
5.根据权利要求4所述的一种钢结构疲劳裂缝识别方法，其特征在于，所述预设的标尺像素分割卷积神经网络的构建过程，具体如下：
随机生成虚拟标尺；其中，所述虚拟标尺的大小、布设位置及旋转角度均采用随机方式生成；
将所述虚拟标尺添加至所述疲劳裂缝图像训练数据中，得到虚拟标尺图像训练数据；
基于U-Net，构建第二像素分割卷积神经网络，并利用所述虚拟标尺图像训练数据进行训练，得到所述预设的标尺像素分割卷积神经网络。
6.根据权利要求5所述的一种钢结构疲劳裂缝识别方法，其特征在于，所述第一像素分割卷积神经网络和所述第二像素分割卷积神经网络的结构相同，均包括依次相连的输入层、卷积层、池化层、上采样层、dropout层、ReLU激活层、Sigmoid函数模块及输出层。
7.根据权利要求1所述的一种钢结构疲劳裂缝识别方法，其特征在于，根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值之后，还包括裂缝发展预警步骤；
其中，所述裂缝发展预警步骤，具体为：
将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
8.一种钢结构疲劳裂缝识别系统，其特征在于，包括：
图像采集模块，用于获取待监测钢结构预设区域的实时图像；其中，所述待监测钢结构预设区域的实时图像包括待监测钢结构预设区域的疲劳裂缝图像数据及待监测钢结构预设区域的标尺图像数据；
图像分割模块，用于对所述待监测钢结构预设区域的实时图像进行分割，以降低图像分辨率，得到若干实时图像子图；
裂缝像素识别模块，用于利用预设的裂缝像素分割卷积神经网络，对所述实时图像子图中的裂缝像素进行识别与分割，得到裂缝像素分割热点图；
标尺像素识别模块，用于利用预设的标尺像素分割卷积神经网络，对所述实时图像子图中的标尺像素进行识别与分割，得到标尺像素分割热点图；
骨骼化处理模块，用于对所述裂缝像素分割热点图进行骨骼化处理，得到单像素宽度的裂缝识别结果；
裂缝长度计算模块，用于根据所述单像素宽度的裂缝识别结果与所述标尺像素分割热点图，进行裂缝长度计算，得到当前时刻的裂缝长度估计值；
其中，所述当前时刻的裂缝长度估计值为：
其中，L为当前时刻的裂缝长度估计值；X为单像素宽度的裂缝识别结果中被识别为裂缝的像素个数；Y为所述标尺像素分割热点图中被识别为标尺的像素个数；d为标尺的实际边长尺寸。
9.根据权利要求8所述的一种钢结构疲劳裂缝识别系统，其特征在于，还包括：
裂缝发展预警模块，用于将所述当前时刻的裂缝长度估计值与上一时刻的裂缝长度估计值进行对比，根据对比结果，生成裂缝发展预警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163487.4A CN117523470B (zh) | 2023-02-24 | 一种钢结构疲劳裂缝识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310163487.4A CN117523470B (zh) | 2023-02-24 | 一种钢结构疲劳裂缝识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523470A CN117523470A (zh) | 2024-02-06 |
| CN117523470B true CN117523470B (zh) | 2024-06-07 |
Family
ID=
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480611A (zh) * | 2017-07-31 | 2017-12-15 | 浙江大学 | 一种基于深度学习卷积神经网络的裂缝识别方法 |
| KR102302899B1 (ko) * | 2021-03-18 | 2021-09-16 | (주)한맥기술 | 구조물의 균열길이 점검을 위한 안전진단장치 |
| CN113739661A (zh) * | 2021-08-24 | 2021-12-03 | 同济大学 | 一种测量标尺和检测构件表面裂缝的方法 |
| CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
| CN114693615A (zh) * | 2022-03-17 | 2022-07-01 | 常州工学院 | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 |
| CN114897790A (zh) * | 2022-04-15 | 2022-08-12 | 合肥工业大学 | 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 |
| CN115187539A (zh) * | 2022-07-06 | 2022-10-14 | 中南大学 | 一种裂缝识别方法、装置、介质及设备 |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107480611A (zh) * | 2017-07-31 | 2017-12-15 | 浙江大学 | 一种基于深度学习卷积神经网络的裂缝识别方法 |
| KR102302899B1 (ko) * | 2021-03-18 | 2021-09-16 | (주)한맥기술 | 구조물의 균열길이 점검을 위한 안전진단장치 |
| CN113739661A (zh) * | 2021-08-24 | 2021-12-03 | 同济大学 | 一种测量标尺和检测构件表面裂缝的方法 |
| CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
| CN114693615A (zh) * | 2022-03-17 | 2022-07-01 | 常州工学院 | 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 |
| CN114897790A (zh) * | 2022-04-15 | 2022-08-12 | 合肥工业大学 | 基于深度学习的钢筋混凝土构件表面裂缝的快速识别方法 |
| CN115187539A (zh) * | 2022-07-06 | 2022-10-14 | 中南大学 | 一种裂缝识别方法、装置、介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| A neural network ensemble method for effective crack segmentation using fully convolutional networks and multi-scale structured forests;Sen Wang 等;Machine Vision and Applications;20200902;第31卷(第60期);1-18 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Akagic et al. | Pothole detection: An efficient vision based method using rgb color space image segmentation | |
| CN110222701B (zh) | 一种桥梁病害自动识别方法 | |
| CN109858367B (zh) | 工人通过支撑不安全行为的视觉自动化检测方法及系统 | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN112700444B (zh) | 基于自注意力与中心点回归模型的桥梁螺栓检测方法 | |
| CN113592828B (zh) | 基于工业内窥镜的无损检测方法及系统 | |
| Truong-Hong et al. | Framework for bridge inspection with laser scanning | |
| CN110503638B (zh) | 螺旋胶质量在线检测方法 | |
| CN108711148A (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN114705689A (zh) | 一种基于无人机的建筑物外立面裂缝检测方法及系统 | |
| CN115797354A (zh) | 用于检测激光焊接焊缝外观缺陷的方法 | |
| CN115993096A (zh) | 一种高层建筑变形测量方法 | |
| CN115995056A (zh) | 一种基于深度学习的桥梁病害自动识别方法 | |
| Bruno et al. | Decay detection in historic buildings through image-based deep learning | |
| Adhikari et al. | Automated prediction of condition state rating in bridge inspection | |
| Ko et al. | Developing a Free and Open-Source Semi-Automated Building Exterior Crack Inspection Software for Construction and Facility Managers | |
| CN113762247A (zh) | 一种基于显著实例分割算法的道路裂缝自动检测方法 | |
| CN117523470B (zh) | 一种钢结构疲劳裂缝识别方法及系统 | |
| CN117150838A (zh) | 一种基于视觉信息与物理融合的裂纹损伤智能评估方法 | |
| CN117523470A (zh) | 一种钢结构疲劳裂缝识别方法及系统 | |
| CN113899746B (zh) | 一种基于dic的钢结构疲劳裂纹扩展形态测量方法 | |
| Xu et al. | Intelligent corrosion detection and rating based on faster region-based convolutional neural network | |
| CN116183622A (zh) | 一种基于点云信息的地铁渗漏水检测方法 | |
| Koch et al. | Machine vision techniques for condition assessment of civil infrastructure | |
| CN115082650A (zh) | 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240512 Address after: 710055 Yanta Road 13, Xi'an City, Shaanxi Province Applicant after: XIAN University OF ARCHITECTURE AND TECHNOLOG Country or region after: China Address before: Room 1301, Unit 1, Building 1, Time International, Taiyi City, Beilin District, Xi'an City, Shaanxi Province, 710055 Applicant before: Xi'an Jianke University Smart Operation and Maintenance Technology Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant |