CN114693615A - 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 - Google Patents

一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 Download PDF

Info

Publication number
CN114693615A
CN114693615A CN202210261682.6A CN202210261682A CN114693615A CN 114693615 A CN114693615 A CN 114693615A CN 202210261682 A CN202210261682 A CN 202210261682A CN 114693615 A CN114693615 A CN 114693615A
Authority
CN
China
Prior art keywords
crack
image
data
concrete bridge
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210261682.6A
Other languages
English (en)
Inventor
邓江桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Institute of Technology
Original Assignee
Changzhou Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Institute of Technology filed Critical Changzhou Institute of Technology
Priority to CN202210261682.6A priority Critical patent/CN114693615A/zh
Publication of CN114693615A publication Critical patent/CN114693615A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习技术在混凝土桥梁裂缝实时检测中的运用，具体是一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，以基于计算机视觉新算法的混凝土桥梁裂缝损伤识别和量化为技术背景，以深度学习和图像处理方法理论为基础，采用损伤数据集设计、神经网络架构搭建和损伤特征分割与量化相结合的方法，对具有多尺度复杂背景噪声特征的真实混凝土桥梁裂缝图像进行识别检测，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；步骤三，使用轻量级注意力机制深度学习算法优化；步骤四，混凝土裂缝特征量化。

Description

一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法
技术领域
本发明涉及深度学习技术在混凝土桥梁裂缝实时检测中的运用，具体是一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法。
背景技术
近年来，我国桥梁数量快速增长，与此同时，越来越多的桥梁逐渐进入了养护维修阶段。有关专家认为桥梁使用超过25年以上则进入老化期，据统计，我国桥梁总数的40％已经属于“老龄”桥梁。其数量随着时间的推移还在不断增长，屡屡发生的桥梁事故也频频敲响了警钟，桥梁管理者对桥梁的养护已日益重视。随着我国城市建设以及基础设施快速发展，面对庞大的混凝土材料的投入使用，其耐久性问题，已经成为影响经济发展和人民生命安全的重要因素。据统计，由于受到疲劳应力和循环负荷的影响，混凝土桥梁的损坏有76％以上都是由裂缝引起的，这也是诱发桥梁坍塌的根本性因素。特定裂缝的位置和形态能提供有关结构内部损坏、退化和潜在风险的大量信息。因此，进行混凝土桥梁裂缝检测和桥梁状况评估在结构养维护阶段是很有必要的。
随着人工智能在土木工程领域的快速发展，其主要分支计算机视觉技术已成为桥梁系统中结构健康监测的重要组成部分。区别于主观性很高的传统人工目测检查的方法，计算机能够通过图像或视频进行裂缝损伤识别和场景理解，以获取图像中包含的损伤信息和知识。随着航拍、遥感技术产业化程度的飞速发展，人工智能结合无人机技术在桥梁损伤识别检测中的应用受到了广泛关注。
然而，人工智能在土木工程领域的研究和应用仍处于起步阶段，从计算机视觉算法角度看，基于图像的裂缝检测和识别方法的主要挑战是裂缝的随机形状和不规则大小、不均匀像素强度、复杂拓扑、低对比度以及各种图像背景噪声，例如手写标记(图1a)、不规则的照明条件(图1b)、阴影(图1c)、瑕疵和图像中的混凝土溅点(图1d)等。现有的相关研究只局限于图像识别算法中的单一损伤识别和特征提取，在多尺度复杂背景下基于图像的裂缝损伤特征识别的尝试较少，而且准确度大多数都需要在可控环境下才能保证。
卷积神经网络(Convolutional Neural Networks,CNNs)在物体检测领域受到越来越多的关注，主要是因为CNNs能够通过训练来学习图像中不同层次的特征属性，并从图像中可靠地无接触式识别目标物体。如图2所示，Cha等使用了CNN的深层架构来检测混凝土裂缝，同时考虑了不断变化的现实世界环境情况(例如，光照和阴影变化)对图像算法预测的影响。梁雪慧等提出了基于Google Net的改进CNN模型来对桥梁裂缝进行识别的方法，并通过对光照不足时低质量的裂缝照片进行了图像增强预处理操作以保证算法的训练质量。该神经网络算法最后通过滑动窗口来对裂缝进行定位。但是，基于滑动窗口定位的方法的通用性不强，往往取决于预先确定窗口的大小来对损伤进行定位。如果裂缝尺寸大小发生改变，算法损伤检测的鲁棒性和准确度可能会因此降低。
近年来基于区域的卷积神经网络(Region-based CNN,R-CNN)的研究拓展到了结构损伤检测领域中，通过对图像的选择性搜索，用矩形框来确定图像上目标的具体位置。Cha等使用了一个端到端(endtoend)快速区域卷积神经网络(FasterR-CNN)来提供具有检测置信度的边界框，从图像中检测出五种类型的结构损伤，其检测结果具有较高的精确度。邓江桦等使用了一个改进的FasterR-CNN对具有复杂背景的真实混凝土裂缝现场图像进行区域损伤检测，成功实现了在手写标注背景干扰下真实裂缝的定位识别。基于FasterR-CNN和无人机，Ali等提出了一种在没有全球定位系统(Global Positioning System,GPS)信号的地区准实时地检测多种结构损伤方法，来检测裂缝、腐蚀和螺栓松动。Redmon等提出了适用于移动和实时目标检测的分类边界框预测框架算法模型(YouOnlyLookOnce,YOLO)，该算法的图像目标分类检测速度较其他算法有明显提高。邓江桦等采用了具有锚箱功能的YOLOv2神经网络架构从带有手写标注的复杂真实现场图像中成功检测出混凝土裂缝的具体位置和方向。
随着计算机运算速度和算法计算效率的提升，裂缝损伤研究也从图像层面的目标区域检测逐渐过渡到像素级别的密集语义分割，基于边界框识别和图像处理的两阶段裂缝识别方法得到了广泛的研究。如图3所示，Liu等使用YOLOv3和U-net设计了一个两阶段路面裂缝检测和分割模型，有效地检测出具有照明条件、阴影和人行道划线等多噪声图像中的所有四种路面裂缝。Zhang和Yuen利用公开裂缝数据集研发了一个具有增量学习能力的基于融合特征的广泛学习系统分两步检测和分割混凝土裂缝，该系统大大减少了模型的计算和训练时间。在他们的研究中，通过已训练的神经网络模型来选择包含裂缝的窗口，如图4b所示。然后选定的窗口通过阈值和中值滤波器进行裂缝的像素级分割处理，根据它们的坐标信息每个窗口的分割结果会在与原始图像相同大小的白色掩模上显示，如图4c所示。但是，上述神经网络算法大多数只能够检测和分割裂缝，无法提供工程师所需要的损伤定量信息，例如裂缝的长度和宽度。
迁移学习(TransferLearning)是一种新型的深度神经网络优化机制，其本质是通过将以前训练过的神经网络模型重新用于新的数据集，使得可以用较少的训练数据和较低的硬件要求对新的目标检测算法进行充分的训练。Zarski等使用了一种基于模型剪枝(Pruning)和迁移学习的新方法，通过之前在大型公共数据集上训练过的CNNs算法对混凝土裂缝进行分类，此方法显著降低了分类推理时间，同时提高了分类的精度，实现了在单板计算机上的实时操作。刘智勇使用了实例分割模型(MaskR-CNN)对公开数据集(MicrosoftCommonObjectsinContext,MSCOCO)进行迁移学习，以用于对混凝土道路表面裂缝损伤的自动检测识别和定位。但是，基于迁移学习方法的一个棘手的问题是负迁移(NegativeTransfer)问题，它会由于重用了对目标域数据集整体准确性产生负面影响的原始算法部分，导致预测神经网络准确性的降低。
深度学习中的注意力机制(AttentionMechanism)从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。Karaaslan等使用了半监督注意力引导的目标检测网络(SingleShotMultiBoxDetector,SSD)和图像分割深度网络SegNet双算法对桥梁裂缝、剥蚀等损伤进行半自动识别与分割。如图5所示，在人工监督的帮助下来进行损伤的定位和对该具体损伤进行局部区域的像素级量化，算法结果表明特征提取的效率和准确度有了显著的提高。蔡逢煌等提出了基于YOLOv3和注意力机制的轻量级桥梁表面裂缝检测算法，通过提高算法的处理效率和准确性，实现了从图像中快速地筛选出裂缝信息。Pan等开发了一个具有自注意力机制的空间通道层次网络对混凝土裂缝进行像素级的检测，与其他分割模型相比，其平均交并比(MeanIntersectionover Union,mIoU)有所提高。Cui等提出了一种改进的注意力机制全卷积神经网络模型(Att-Unet)实现了端到端的像素级裂缝分割，通过聚焦关键区域和重构语义，显著提高该模型提取裂缝多尺度特征的能力。
随着计算机视觉算法的快速发展，基于图像的损伤识别已经不能满足工程师对桥梁结构状况评估的需求。因此，结合深度学习算法与图像后处理技术对混凝土裂缝损伤进行进一步量化已经成为一个新的研究热点。Asjod等提出了一种基于图像的裂缝特征的提取方法——弧长法(Arc Length Method)，对裂缝宽度、长度和其延伸方向角度等特征进行了测量，并能有效地跟踪桥梁裂缝的形状变化。Wang等使用了拉普拉斯方程(Laplace’sEquation)来定义裂缝的宽度，并使用二元裂缝图像对路面裂缝进行了定量分析。但是，实现基于传统图像处理方法精确测量的前提是需要有均匀照明的受控环境，图像背景中的任何不利因素和噪声都会对量化结果产生很大的负面影响。另外，这些传统图像处理方法对裂缝损伤的检测和量化是非常主观的，这些方法在很大程度上依赖于对预先主观确定好的阈值参数的调控。
在基于深度学习损伤识别与量化方面，深度全卷积网络(Fully ConvolutionalNetwork,FCN)被广泛地用来对混凝土裂缝进行像素级的检测和分割，该模型具有良好的准确性和计算效率。杨杰文等提出了一种结合U-net和Haar-like算法的卷积神经网络深度学习模型，对桥梁裂缝的面积、长度和平均宽度进行了定量计算。Tong等通过透地雷达(Ground Penetrating Radar,GPR)和CNN对道路隐蔽裂缝进行了自动地识别、定位和长度测量，并对裂缝进行三维重建。Ni等提出了一种基于深度学习的双阶段定量裂缝宽度测量方法。在检测和映射阶段，双尺度卷积神经网络对复杂场景图像中的裂缝进行了高精准度地检测，并进一步开发了一种基于Zernike矩计算薄裂缝宽度的方法。但是，该方法由于神经网络训练时间过长和缺乏对各种场景下图像的测试，如弱光下的图像等局限性，并不适合实时成像和检测方面的应用。此外，Kim和Cho采用了MaskR-CNN来检测和分割混凝土裂缝，并使用形态学算法对检测到的裂缝掩模(Mask)进行量化。然而此算法并没有成功捕获宽度小于0.3毫米的混凝土裂缝，而且误差比较大。如图6所示，Kang等提出了一种集成了FasterR-CNN、管状渗流场(Tubularity Flow Field,TuFF)和距离变换法(DistanceTransform Method,DTM)的三步法，分别对具有复杂背景的混凝土裂缝进行识别、分割和量化，该方法结果表明裂缝长度量化结果的准确性可以高达93％。但是，由于这种方法在很大程度上依赖于FasterR-CNN和TuFF上超参数的调整，算法的量化结果明显受到源图像和不同环境的影响。另外，量化结果仍然是以像素为单位呈现的。
由以上综述可见，国内外对基于计算机视觉神经网络的结构损伤特征识别和量化均取得了一定的进展。但是，大部分的神经网络架构不完全考虑真实复杂场景下的混凝土桥梁结构裂缝损伤的检测及其量化，而且算法模型容易受图像中无关信息或与裂缝特征相似的伪目标的严重干扰，造成错误目标检测识别。另外，有标记的、数量大的和标志性的真实混凝土桥梁裂缝数据集还比较缺少，而深度卷积神经网络的性能与数据集的大小相关性有直接关系。实际应用中未能实现实时分割问题是混凝土桥梁裂缝损伤自动检测的一个“卡脖子”的关键问题。因此，本项技术以基于领域自适应和注意力机制的轻量级深度学习新算法架构为特色，对样本受限和复杂环境下的混凝土桥梁结构裂缝进行高效和精准的图像分割以及特征量化提取。同时采用实验方法实现损伤量化结果从像素到毫米单位的转换。
综上所述，可以看出目前现有技术中，具有多尺度复杂背景的真实裂缝损伤图像数据集还未形成；其次，基于迁移学习和注意力机制的编码器和解码器神经网络架构的思路方法还没有充分开发利用，对算法的实时数据处理和图像损伤分割能力还有待提升；再者，像素级图像后处理方法对裂缝特征提取的影响还需要进一步改善，并且，损伤的量化结果依然基于像素级别，对实际测量毫米单位的转换尚未解决。
发明内容
本发明的目的在于提供一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，以基于计算机视觉新算法的混凝土桥梁裂缝损伤识别和量化为技术背景，以深度学习和图像处理方法理论为基础，采用损伤数据集设计、神经网络架构搭建和损伤特征分割与量化相结合的方法，对具有多尺度复杂背景噪声特征的真实混凝土桥梁裂缝图像进行识别检测。
为实现上述目的，本发明提供如下技术方案：一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；
包括数据集建立，具体采用不同来源的真实现场混凝土桥梁裂缝数据图像作为部分原始数据图像，然后通过预处理分析来确定训练、验证和测试集的布置，然后使用MATLAB对裁剪后尺寸为512×512像素的裂缝损伤图像数据集进行像素点标注；研究现场采集到的数据集中具有混凝土桥梁结构裂缝以及复杂手写标注背景的图像，分析其图像的基本特征、结构损伤的种类以及结构裂缝在图片中呈现的大小、数量对神经网络算法目标检测鲁棒性的影响；
包括混凝土桥梁裂缝图像的数据增强，具体采用有监督的图像数据增强和基于生成对抗网络的无监督数据增强两种数据增强方法；
其中有监督的图像数据增强是指在样本受限的条件下，数据增强在不实质性增加数据的情况下，让有限的初始图像数据产生等价于更多数据的价值；
首先，通过MATLAB或者ImageJ图像处理软件导入初始设计的混凝土桥梁裂缝图像数据集，对其进行单样本的几何变换，包括翻转，旋转，移位，裁剪，变形和缩放；然后通过颜色变换数据增强法对数据集进行包括亮度、噪声、模糊、颜色变换、擦除和填充处理；
其中基于生成对抗网络的无监督数据增强是指通过生成对抗网络模型学习图像数据的分布，随机生成与训练数据集分布一致的图片，通过利用生成对抗网络模型中的生成器与判别器之间的交替优化训练，采用适当的超参数调优和足够的训练迭代次数，生成器网络和判别器网络将同时收敛直到描述伪造数据的分布和取样真实数据的分布相一致的点，最终得到改进的生成模型；然后使用这个生成模型去生成更多具有复杂背景环境的真实混凝土桥梁裂缝数据以实现无监督数据增强；
步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；
包括基于领域自适应编码器和解码器架构的裂缝检测和识别，利用领域自适应迁移学习方法的目标是将数据分布不同的源域和目标域的数据映射到一个共同的特征空间中，并使它们在空间中尽可能接近，从而减少对目标域数据标注的过度依赖；通过最小化源分布和目标分布之间的距离，建立一个中间域进行深度神经网络的训练，以提高提取域不变特征的能力；
MK-MMD通过多个核的线性组合得到最优核，最终得到域判别损失，其平方公式定义为：
Figure BDA0003550707160000081
其中，其中Hk表示具有特征核k的再生核希尔伯特空间，Ds为源域数据，Dt为目标域数据；
采用的编码器和解码器神经网络架构进行裂缝损伤分割；编码器拟采用预训练好的深度残差网络为基础网络模型进行迁移学习，并通过残差学习机制以解决深度网络训练过程中的退化问题；该深度网络模型由卷积运算器来获取图像局域特征、通过最大池化运算器对特征图进行下采样、可学习的Swish非线性激活函数和批量归一化对训练图像的分布归一化以加速学习运算函数组成；然后，通过解码器的上采样模块对缩小后的特征图进行卷积处理，使输出与输入图像的大小相匹配来弥补细节损失，以实现在复杂场景中对混凝土桥梁裂缝特征进行精准像素级分割；
使用focal-Tversky损失函数进行数据模型训练，以解决数据集不均衡和图像背景复杂度高的问题，采用自适应矩估计优化器，通过利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；超参数如一阶矩、二阶矩和dropout比率分别拟定为0.9、0.999和0.2；初始学习率拟定为0.005，以保持稳定的神经网络训练过程；其中focal-Tversky总损失函数的表达式为：
Figure BDA0003550707160000091
focal-Tversky总损失＝(1-TL)γ+Ldom (3)
其中TL为Tversky损失；Ldom为域判别损失，由方程式(1)计算；α、β、γ和S为超参数，拟定为0.5，0.5，1.3和1；TP、FP、和FN为真正例，假真例和假负例；
步骤三，使用轻量级注意力机制深度学习算法优化；
在编码器和解码器架构上附加两种类型的注意力模块，分别对空间和通道维度的语义相互依赖关系进行建模；位置注意模块通过对不考虑距离大小的所有位置特征的加权，选择性地聚合每个位置的特征，来实现相似特征的相互关联；同时，利用通道注意模块整合所有通道映射之间的关联特征来选择性地强调相互依赖的通道映射；通过编码器中的卷积层来转换两个注意力模块的输出和进行逐元素求和以完成特征融合，并在最后一个卷积层生成最终的预测图；
引入分解因子卷积块，通过更适当的方式处理远程依赖关系和短距离的特征来构建轻量级且高效的特征提取网络；通过扩大感受野的空洞卷积来设计分解卷积块是实现轻量级分割的一种有效方法；拟开发的分解因子卷积块首先处理短距离和空间信息较少的特征，在两个拆分组中使用一维分解卷积，并在通道中完全连接，因此分解卷积大大减少了参数和计算量；分解因子卷积块使用具有更大空洞的二维卷积核来扩大感受野，和利用深度可分离卷积来减少参数和计算量，从而实现更轻量、更高效和更强大的特征提取；
步骤四，混凝土裂缝特征量化；
包括裂缝损伤在复杂背景下的图像形态学后处理方法
图像后处理方法对分割后的裂缝图片进行有效的去噪处理，通过一系列图像去噪、二值化图像分割法和图像形态学处理方法对算法像素级分割后的图像进行处理，通过使用MATLAB内置函数"bw"将输入的分割图像转换为二进制图像，分别表示"0"或"1"的黑色或白色；然后，分别采用形态学图像处理方法的开运算和闭运算，对生成的二值化图像中间断不连续裂缝进行连接重建，以保证获得完整而连续的裂缝区域和一个连续的裂缝精确形态特征；最后通过形态学处理对二值化图像进行边界提取，骨架提取，孔洞填充，角点提取并最终实现图像重建；
包括混凝土裂缝特征的像素量化
利用MATLAB或者Image J图像处理软件通过使用阈值法来识别图像中组群的连接像素，然后对经过后处理的二值化裂缝图像进行研究，以建立裂缝损伤特征模型，实现混凝土桥梁裂缝长度和宽度的像素级量化；
为计算裂缝的长度，通过中心线骨骼化程序提取裂缝损伤结构骨骼中轴线长度，此长度即为混凝土裂缝的线性长度；然后，基于二值化图像裂缝的像素点求和，计算裂缝像素面积，利用裂缝长度和面积结果，计算裂缝的像素级平均宽度；
包括实验实现毫米单位转换研究
利用采集的不同大小和形态的裂缝图像，采用图片比例尺来确定目标像素、拍摄距离和拍摄角度之间的关系，最终确定回归函数以用于像素单位到毫米单位的转换。
作为优选，所述生成器网络由一个编码器组成，该编码器获取输入图像，还图像来自之前准备的初始裂缝数据集，将其向下映射到生成增强图像的解码器网络；判别器网络经过训练以区分来自真实分布的样本和假分布样本，真实分布的样本来自同一类的其他真实图像，假分布样本是从生成器网络生成的图像；通过对抗性训练来引导生成器网络从旧图像中生成新的裂缝图像。
作为优选，采用多核最大平均差异方法分别计算两个域不同尺度的特征距离。
作为优选，注意力模块可以直接嵌入到拟开发的编码器网络结构中，从而可以有效地增强特征表示，以在复杂混凝土桥梁环境下实现更精确的分割结果。
与现有技术相比，本发明的基于域适应的深度学习混凝土桥梁裂缝实时检测方法具有如下优点：
1)通过生成对抗网络对混凝土桥梁裂缝损伤小样本数据集进行无监督数据增强，设计合理的真实混凝土桥梁裂缝损伤数据集。
2)利用领域自适应的迁移学习方法和基于注意力机制的轻量级解码器和编码器新网络架构作为实时混凝土桥梁裂缝损伤检测算法，确保复杂背景下裂缝损伤特征得到高效和精准的提取，并提升算法实时目标检测性能。
3)通过建立混凝土桥梁裂缝长度和宽度等量化指标的精确计算体系，实现不同图像背景噪声条件下(不同的环境、目标、照明等)的裂缝特征提取与量化，并采用合理实验验证算法鲁棒性和实现量化结果从像素到毫米单位的转换。
附图说明
图1为桥梁的复杂背景示意图；
图1a为手写标记；图1b为不规则照明；图1c为阴影；图1d为混凝土溅点；
图2为基于CNN的裂缝损伤检测原理图；
图2a为CNN神经网络架构；图2b为使用经过训练的CNN对带光线阴影裂缝图像进行扫描预测的结构；
图3为自动路面裂缝检测结果图；
图3a为纵向裂缝；图3b为横向裂缝；图3c为疲劳或鳄鱼裂缝；图3d为块状裂缝；
图4为算法分隔结果图；
图4a为原始图像；图4b为FF-BLS分类结果图；图4c为分割结果图；图4d为裂缝直接在原始图像上分割；
图5为SSD+SegNet算法结果图；
图5a为注意引导分割有效性比较：未使用注意力引导(左)；使用注意力引导(右)；
图5b为更多损伤识别与分割结果；
图6为裂纹检测和量化三步法流程图；
图7为混凝土裂缝损伤部分数据集图像展示图；
图7a为原始现场混凝土桥梁裂缝图片尺寸3264×2448；图7b为随机裁剪后的图像尺寸512×512；图7c为人工标注分类图像；
图8a为位置注意模块和图8b为通道注意模块；
图9为形态学后处理方法对骨骼化的影响；图9a为二值化图像；图9b为单像素裂缝骨架；
图10为裂缝损伤量化方法框架示意图；
图11为实验验证示意图；
图11a为混凝土梁四点弯曲试验：采集不同大小的裂缝图像和验证算法实时检测能力；图11b为实验中使用的图像单位转换比例尺和裂缝测宽尺。
图12为本发明的技术路线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在具体实施时，本发明以基于计算机视觉新算法的混凝土桥梁裂缝损伤识别和量化为技术背景，以深度学习和图像处理方法理论为基础，采用损伤数据集设计、神经网络架构搭建和损伤特征分割与量化相结合的方法，对具有多尺度复杂背景噪声特征的真实混凝土桥梁裂缝图像进行识别检测。技术方案由以下三点进行展开：(1)通过无监督数据增强方法建立真实现场裂缝损伤图像数据集，用于训练、验证和测试神经网络架构，同时考虑复杂的背景环境，以避免对特定类型的裂缝和图像场景的过度拟合的问题；(2)通过领域自适应的迁移学习方法和基于注意力机制编码器和解码架构，构建适用于混凝土桥梁裂缝损伤在复杂背景环境下的实时检测、识别与损伤评估的深度学习网络模型；(3)通过二值化、中心线骨骼化等图像处理方法，对复杂条件下混凝土桥梁裂缝进行特征提取与量化，并通过实验方法对像素级测量单位进行准确的毫米转换。
采用混凝土桥梁裂缝损伤真实数据集整体构建方法
包括混凝土桥梁裂缝损伤图像数据集预处理和准备
数据集建立：具有代表性的图像数据集准备是训练深度神经网络算法在各种复杂场景中进行裂缝图像高效分割的前提和关键。对于监督学习算法而言，数据集的设计决定了任务完成度的上限，而算法的优化只是在不断逼近这个上限。本发明采用不同来源的真实现场混凝土桥梁裂缝数据图像作为部分原始数据图像，然后通过预处理分析来确定训练、验证和测试集的布置，例如数据集大小、输入图像尺寸大小和标注分类类别等，如图7所示。然后使用MATLAB对裁剪后尺寸为512×512像素的裂缝损伤图像数据集进行像素点标注。研究现场采集到的数据集中具有混凝土桥梁结构裂缝以及复杂手写标注背景的图像，分析其图像的基本特征、结构损伤的种类以及结构裂缝在图片中呈现的大小、数量对神经网络算法目标检测鲁棒性的影响。
包括混凝土桥梁裂缝图像的数据增强，数据集中混凝土桥梁裂缝的多样性，对深度学习算法的鲁棒性有着关键的影响。这是由于现场图片采集拍摄条件的多样性，以及不同场景下混凝土桥梁背景的差异性所造成的。本项发明采用有监督的图像数据增强和基于生成对抗网络的无监督数据增强两种数据增强方法，来解决当前少样本数据集神经网络训练的拟合问题。
有监督的数据增强：在样本受限的条件下，数据增强在不实质性增加数据的情况下，让有限的初始图像数据产生等价于更多数据的价值。首先，通过MATLAB或者ImageJ图像处理软件导入初始设计的混凝土桥梁裂缝图像数据集，对其进行单样本的几何变换，包括翻转，旋转，移位，裁剪，变形，缩放等。然后通过颜色变换数据增强法对数据集进行包括亮度、噪声、模糊、颜色变换、擦除、填充等处理，这样可以有效避免数据集中出现大量无用的高频图像特征，以防止过度拟合。
基于生成对抗网络的无监督数据增强：通过生成对抗网络模型学习图像数据的分布，随机生成与训练数据集分布一致的图片。本发明通过利用生成对抗网络模型中的生成器(Generator)与判别器(Discriminator)之间的交替优化训练，采用适当的超参数调优和足够的训练迭代次数，生成器网络和判别器网络将同时收敛(通过梯度下降方法进行参数更新)直到描述伪造数据的分布和取样真实数据的分布相一致的点，最终得到改进的生成模型。然后使用这个生成模型去生成更多具有复杂背景环境的真实混凝土桥梁裂缝数据以实现无监督数据增强。具体来说，生成器网络由一个编码器组成，该编码器获取输入图像(来自之前准备的初始裂缝数据集)，将其向下映射到生成增强图像的解码器网络。判别器网络经过训练以区分来自真实分布的样本(来自同一类的其他真实图像)和假分布样本(从生成器网络生成的图像)。通过对抗性训练来引导生成器网络从旧图像中生成新的裂缝图像。
裂缝损伤实时识别的迁移学习新网络架构方法
包括基于领域自适应编码器和解码器架构的裂缝检测和识别
具有数量大和准确标注的数据集是决定深度学习算法鲁棒性的重要因素。本发明利用领域自适应迁移学习方法的目标是将数据分布不同的源域和目标域的数据映射到一个共同的特征空间中，并使它们在空间中尽可能接近，从而减少对目标域数据标注的过度依赖。为了使数据分布更加近似，本发明采用多核最大平均差异(Multi Kernel MaximumMean Discrepancy,MK-MMD)方法分别计算两个域不同尺度的特征距离。通过最小化源分布和目标分布之间的距离，建立一个中间域进行深度神经网络的训练，以提高提取域不变特征的能力。源域数据集来源于一个名为Kaggle数据发掘平台的公开裂缝数据集，此数据集包含超过11000张不同来源的裂缝图像和像素标注。数据集地址https://www.kaggle.com/lakshaymiddha/crack-segmentation-dataset。目标域数据为申请人准备的混凝土桥梁裂缝真实数据集。MK-MMD通过多个核的线性组合得到最优核，最终得到域判别损失，其平方公式定义为：
Figure BDA0003550707160000151
其中，其中Hk表示具有特征核k的再生核希尔伯特空间(Reproducing KernelHilbert Space)。Ds为源域数据，Dt为目标域数据。
本发明采用的编码器和解码器神经网络架构进行裂缝损伤分割。编码器拟采用预训练好的深度残差网络(DeepResidualNetwork152,ResNet152)为基础网络模型进行迁移学习，并通过残差学习(Residual Learning)机制以解决深度网络训练过程中的退化问题。该深度网络模型由卷积(Convolution)运算器来获取图像局域特征、通过最大池化(Maxpooling)运算器对特征图进行下采样、可学习的Swish非线性激活函数和批量归一化(Batch Normalization)对训练图像的分布归一化以加速学习等运算函数组成。然后，通过解码器的上采样(Upsampling)模块对缩小后的特征图进行卷积处理，使输出与输入图像的大小相匹配来弥补细节损失，以实现在复杂场景中对混凝土桥梁裂缝特征进行精准像素级分割。
本发明使用focal-Tversky损失函数进行数据模型训练，以解决数据集不均衡和图像背景复杂度高的问题。为了对可学习超参数的更新进行反向传播(Backpropagation)，本发明采用自适应矩估计(Adaptative Moment Estimation,Adam)优化器，通过利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。超参数如一阶矩、二阶矩和dropout比率分别拟定为0.9、0.999和0.2。初始学习率拟定为0.005，以保持稳定的神经网络训练过程。其中focal-Tversky总损失函数的表达式为：
Figure BDA0003550707160000161
focal-Tversky总损失＝(1-TL)γ+Ldom (3)
其中TL为Tversky损失。Ldom为域判别损失，由方程式(1)计算。α、β、γ和S为超参数，拟定为0.5，0.5，1.3和1。TP、FP、和FN为真正例，假真例和假负例。
轻量级注意力机制深度学习算法优化
本发明的目标是探索注意力机制(Attention Mechanism)在神经网络分割算法中的优化机理，以对复杂场景中的裂缝损伤进行实时和精确的分割。注意力机制是一种资源再分配的机制，根据注意力对象的重要程度对原本平均分配的资源进行重新分配资源和权重。在像素分割问题中，传统解码器的作用是恢复编码器中提取的特征图的大小。然而，编码器的性能通常不足以实现非常高的分割水平。因此，发明人在编码器和解码器架构上附加两种类型的注意力模块，分别对空间和通道维度的语义相互依赖关系进行建模。位置注意(Position Attention)模块通过对不考虑距离大小的所有位置特征的加权，选择性地聚合每个位置的特征，来实现相似特征的相互关联(图8a)。同时，利用通道注意(ChannelAttention)模块整合所有通道映射之间的关联特征来选择性地强调相互依赖的通道映射(图8b)。通过编码器中的卷积层来转换两个注意力模块的输出，和进行逐元素求和以完成特征融合，并在最后一个卷积层生成最终的预测图。注意力模块可以直接嵌入到拟开发的编码器网络结构中，从而可以有效地增强特征表示，以在复杂混凝土桥梁环境下实现更精确的分割结果。
然而，现有传统的注意力解码器计算成本较高，实时图像处理是几乎不可能的。其中，在复杂场景中像素级的实时分割至少要达到每秒30帧。因此，本发明引入分解因子卷积块(Factorized Convolution Block,FCB)，通过更适当的方式处理远程依赖关系和短距离的特征来构建轻量级且高效的特征提取网络。通过扩大感受野(Receptive Field)的空洞卷积(Dilated Convolution)来设计分解卷积块是实现轻量级分割的一种有效方法。拟开发的分解因子卷积块首先处理短距离和空间信息较少的特征，在两个拆分组中使用一维分解卷积，并在通道中完全连接，因此分解卷积大大减少了参数和计算量。分解因子卷积块使用具有更大空洞的二维卷积核来扩大感受野，和利用深度可分离卷积来减少参数和计算量，从而实现更轻量、更高效和更强大的特征提取。结合前面提出的注意力模块架构，本研究可实现对复杂场景中的混凝土桥梁裂缝实时和精确的分割。
混凝土裂缝特征量化与实验方法
裂缝损伤在复杂背景下的图像形态学后处理方法
图像后处理方法对分割后的裂缝图片进行有效的去噪处理，以提高量化结果的精准度。其分析方法和结果对于后续的裂缝特征量化(如，裂缝的长度和宽度等)有着十分重要的意义。通过一系列图像去噪、二值化图像分割法和图像形态学处理方法对算法像素级分割后的图像进行处理，如图9所示。
通过使用MATLAB内置函数"bw"将输入的分割图像转换为二进制图像，分别表示"0"或"1"的黑色或白色。然后，分别采用形态学图像处理方法的开运算(Opening)和闭运算(Closing)，对生成的二值化图像中间断不连续裂缝进行连接重建，以保证获得完整而连续的裂缝区域和一个连续的裂缝精确形态特征。最后通过形态学处理对二值化图像进行边界提取，骨架提取，孔洞填充，角点提取并最终实现图像重建。
混凝土裂缝特征的像素量化方法，本发明利用MATLAB或者Image J图像处理软件通过使用阈值法来识别图像中组群的连接像素，然后对经过后处理的二值化裂缝图像进行研究，以建立裂缝损伤特征模型，实现混凝土桥梁裂缝长度和宽度的像素级量化。
裂缝损伤量化方法分析：为了计算裂缝的长度，通过中心线骨骼化程序提取裂缝损伤结构骨骼中轴线长度，此长度即为混凝土裂缝的线性长度。然后，基于二值化图像裂缝的像素点求和，计算裂缝像素面积。如图10所示，利用裂缝长度和面积结果，计算裂缝的像素级平均宽度。
实验实现毫米单位转换
由于图像量化往往处于像素级别，其量化结果通常以像素作为单位，本发明采用实验测试的方法，利用采集的不同大小和形态的裂缝图像，采用图片比例尺来确定目标像素、拍摄距离和拍摄角度之间的关系，最终确定回归函数以用于像素单位到毫米单位的转换。如图11所示，申请人使用了人工比例尺来实现毫米单位的转换。
尽管已示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，包括：步骤一、混凝土桥梁裂缝损伤图像数据集预处理和准备；
包括数据集建立，具体采用不同来源的真实现场混凝土桥梁裂缝数据图像作为部分原始数据图像，然后通过预处理分析来确定训练、验证和测试集的布置，然后使用MATLAB对裁剪后尺寸为512×512像素的裂缝损伤图像数据集进行像素点标注；研究现场采集到的数据集中具有混凝土桥梁结构裂缝以及复杂手写标注背景的图像，分析其图像的基本特征、结构损伤的种类以及结构裂缝在图片中呈现的大小、数量对神经网络算法目标检测鲁棒性的影响；
包括混凝土桥梁裂缝图像的数据增强，具体采用有监督的图像数据增强和基于生成对抗网络的无监督数据增强两种数据增强方法；
其中有监督的图像数据增强是指在样本受限的条件下，数据增强在不实质性增加数据的情况下，让有限的初始图像数据产生等价于更多数据的价值；
首先，通过MATLAB或者ImageJ图像处理软件导入初始设计的混凝土桥梁裂缝图像数据集，对其进行单样本的几何变换，包括翻转，旋转，移位，裁剪，变形和缩放；然后通过颜色变换数据增强法对数据集进行包括亮度、噪声、模糊、颜色变换、擦除和填充处理；
其中基于生成对抗网络的无监督数据增强是指通过生成对抗网络模型学习图像数据的分布，随机生成与训练数据集分布一致的图片，通过利用生成对抗网络模型中的生成器与判别器之间的交替优化训练，采用适当的超参数调优和足够的训练迭代次数，生成器网络和判别器网络将同时收敛直到描述伪造数据的分布和取样真实数据的分布相一致的点，最终得到改进的生成模型；然后使用这个生成模型去生成更多具有复杂背景环境的真实混凝土桥梁裂缝数据以实现无监督数据增强；
步骤二，建立裂缝损伤实时识别的迁移学习新网络架构方法；
包括基于领域自适应编码器和解码器架构的裂缝检测和识别，利用领域自适应迁移学习方法的目标是将数据分布不同的源域和目标域的数据映射到一个共同的特征空间中，并使它们在空间中尽可能接近，从而减少对目标域数据标注的过度依赖；通过最小化源分布和目标分布之间的距离，建立一个中间域进行深度神经网络的训练，以提高提取域不变特征的能力；
MK-MMD通过多个核的线性组合得到最优核，最终得到域判别损失，其平方公式定义为：
Figure FDA0003550707150000021
其中，其中Hk表示具有特征核k的再生核希尔伯特空间，Ds为源域数据，Dt为目标域数据；
采用的编码器和解码器神经网络架构进行裂缝损伤分割；编码器拟采用预训练好的深度残差网络为基础网络模型进行迁移学习，并通过残差学习机制以解决深度网络训练过程中的退化问题；该深度网络模型由卷积运算器来获取图像局域特征、通过最大池化运算器对特征图进行下采样、可学习的Swish非线性激活函数和批量归一化对训练图像的分布归一化以加速学习运算函数组成；然后，通过解码器的上采样模块对缩小后的特征图进行卷积处理，使输出与输入图像的大小相匹配来弥补细节损失，以实现在复杂场景中对混凝土桥梁裂缝特征进行精准像素级分割；
使用focal-Tversky损失函数进行数据模型训练，以解决数据集不均衡和图像背景复杂度高的问题，采用自适应矩估计优化器，通过利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率；超参数如一阶矩、二阶矩和dropout比率分别拟定为0.9、0.999和0.2；初始学习率拟定为0.005，以保持稳定的神经网络训练过程；其中focal-Tversky总损失函数的表达式为：
Figure FDA0003550707150000031
focal-Tversky总损失＝(1-TL)γ+Ldom (3)
其中TL为Tversky损失；Ldom为域判别损失，由方程式(1)计算；α、β、γ和S为超参数，拟定为0.5，0.5，1.3和1；TP、FP、和FN为真正例，假真例和假负例；
步骤三，使用轻量级注意力机制深度学习算法优化；
在编码器和解码器架构上附加两种类型的注意力模块，分别对空间和通道维度的语义相互依赖关系进行建模；位置注意模块通过对不考虑距离大小的所有位置特征的加权，选择性地聚合每个位置的特征，来实现相似特征的相互关联；同时，利用通道注意模块整合所有通道映射之间的关联特征来选择性地强调相互依赖的通道映射；通过编码器中的卷积层来转换两个注意力模块的输出和进行逐元素求和以完成特征融合，并在最后一个卷积层生成最终的预测图；
引入分解因子卷积块，通过更适当的方式处理远程依赖关系和短距离的特征来构建轻量级且高效的特征提取网络；通过扩大感受野的空洞卷积来设计分解卷积块是实现轻量级分割的一种有效方法；拟开发的分解因子卷积块首先处理短距离和空间信息较少的特征，在两个拆分组中使用一维分解卷积，并在通道中完全连接，因此分解卷积大大减少了参数和计算量；分解因子卷积块使用具有更大空洞的二维卷积核来扩大感受野，和利用深度可分离卷积来减少参数和计算量，从而实现更轻量、更高效和更强大的特征提取；
步骤四，混凝土裂缝特征量化；
包括裂缝损伤在复杂背景下的图像形态学后处理方法
图像后处理方法对分割后的裂缝图片进行有效的去噪处理，通过一系列图像去噪、二值化图像分割法和图像形态学处理方法对算法像素级分割后的图像进行处理，通过使用MATLAB内置函数"bw"将输入的分割图像转换为二进制图像，分别表示"0"或"1"的黑色或白色；然后，分别采用形态学图像处理方法的开运算和闭运算，对生成的二值化图像中间断不连续裂缝进行连接重建，以保证获得完整而连续的裂缝区域和一个连续的裂缝精确形态特征；最后通过形态学处理对二值化图像进行边界提取，骨架提取，孔洞填充，角点提取并最终实现图像重建；
包括混凝土裂缝特征的像素量化
利用MATLAB或者Image J图像处理软件通过使用阈值法来识别图像中组群的连接像素，然后对经过后处理的二值化裂缝图像进行研究，以建立裂缝损伤特征模型，实现混凝土桥梁裂缝长度和宽度的像素级量化；
为计算裂缝的长度，通过中心线骨骼化程序提取裂缝损伤结构骨骼中轴线长度，此长度即为混凝土裂缝的线性长度；然后，基于二值化图像裂缝的像素点求和，计算裂缝像素面积，利用裂缝长度和面积结果，计算裂缝的像素级平均宽度；
包括实验实现毫米单位转换研究
利用采集的不同大小和形态的裂缝图像，采用图片比例尺来确定目标像素、拍摄距离和拍摄角度之间的关系，最终确定回归函数以用于像素单位到毫米单位的转换。
2.根据权利要求1所述的基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，所述生成器网络由一个编码器组成，该编码器获取输入图像，还图像来自之前准备的初始裂缝数据集，将其向下映射到生成增强图像的解码器网络；判别器网络经过训练以区分来自真实分布的样本和假分布样本，真实分布的样本来自同一类的其他真实图像，假分布样本是从生成器网络生成的图像；通过对抗性训练来引导生成器网络从旧图像中生成新的裂缝图像。
3.根据权利要求1所述的基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，采用多核最大平均差异方法分别计算两个域不同尺度的特征距离。
4.根据权利要求1所述的基于域适应的深度学习混凝土桥梁裂缝实时检测方法，其特征在于，注意力模块可以直接嵌入到拟开发的编码器网络结构中，从而可以有效地增强特征表示，以在复杂混凝土桥梁环境下实现更精确的分割结果。
CN202210261682.6A 2022-03-17 2022-03-17 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法 Withdrawn CN114693615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210261682.6A CN114693615A (zh) 2022-03-17 2022-03-17 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210261682.6A CN114693615A (zh) 2022-03-17 2022-03-17 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法

Publications (1)

Publication Number Publication Date
CN114693615A true CN114693615A (zh) 2022-07-01

Family

ID=82138653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210261682.6A Withdrawn CN114693615A (zh) 2022-03-17 2022-03-17 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法

Country Status (1)

Country Link
CN (1) CN114693615A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897909A (zh) * 2022-07-15 2022-08-12 四川大学 基于无监督学习的曲轴表面裂纹监测方法及系统
CN115082770A (zh) * 2022-07-04 2022-09-20 青岛科技大学 一种基于机器学习的图像中心线结构提取方法
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115205739A (zh) * 2022-07-06 2022-10-18 中山大学·深圳 一种基于半监督学习的低光照视频行为识别方法及系统
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质
CN115631301A (zh) * 2022-10-24 2023-01-20 东华理工大学 基于改进全卷积神经网络的土石混合体图像三维重建方法
CN115830432A (zh) * 2023-02-15 2023-03-21 山东科技大学 一种基于YOLOv5的隧道衬砌裂缝检测方法及设备
CN116091582A (zh) * 2023-03-16 2023-05-09 北京科技大学 一种基于无人机大场景图像的桥梁裂缝辩识方法及系统
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN116523833A (zh) * 2023-03-17 2023-08-01 苏交科集团股份有限公司 基于图像识别技术的裂缝监测设备及包括该设备的安全监测应用平台
CN116777898A (zh) * 2023-07-21 2023-09-19 重庆大学溧阳智慧城市研究院 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法
CN116934780A (zh) * 2023-09-13 2023-10-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统
CN116958294A (zh) * 2023-07-03 2023-10-27 广州广检建设工程检测中心有限公司 一种基于cgan的高分辨率混凝土损伤图像合成方法
CN116977739A (zh) * 2023-08-03 2023-10-31 西北民族大学 一种基于ConvNeXt-YOLOv5的GPR图像识别方法
CN117037105A (zh) * 2023-09-28 2023-11-10 四川蜀道新能源科技发展有限公司 基于深度学习的路面灌缝检测方法、系统、终端及介质
CN117079062A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种基于路面裂缝分析方法的动静态影响参数分析方法
CN117172306A (zh) * 2023-07-26 2023-12-05 东北大学 一种大型ersfd转子系统代理模型及训练方法、应用
CN117292266A (zh) * 2023-11-24 2023-12-26 河海大学 一种灌区干渠混凝土裂缝检测方法、装置及存储介质
CN117313557A (zh) * 2023-11-29 2023-12-29 中国石油大学(华东) 基于深度学习的压裂磁法实时监测中裂缝诊断方法
CN117408947A (zh) * 2023-09-13 2024-01-16 江南大学 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统
CN117541555A (zh) * 2023-11-16 2024-02-09 广州市公路实业发展有限公司 一种道路路面病害检测方法及系统
CN117805247A (zh) * 2023-12-29 2024-04-02 广东融创高科检测鉴定有限公司 一种混凝土缺陷超声检测方法及系统
CN118135439A (zh) * 2024-03-13 2024-06-04 中交综合规划设计院有限公司 一种利用无人机进行混凝土裂缝识别以及测量的方法
JP7505133B1 (ja) 2024-01-23 2024-06-24 オリエンタル白石株式会社 グラウト充填の学習データ生成システム、グラウト充填の学習データ生成プログラム、コンクリート空隙評価の学習データ生成システム及びコンクリート空隙評価の学習データ生成プログラム
CN118298338A (zh) * 2024-06-05 2024-07-05 安徽省交通规划设计研究总院股份有限公司 一种基于无人机低空摄影的道路裂缝快速识别和计算方法
CN118570303A (zh) * 2024-08-01 2024-08-30 南昌大学第一附属医院 一种基于深度学习的臂丛神经麻醉穿刺引导方法及系统

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082770A (zh) * 2022-07-04 2022-09-20 青岛科技大学 一种基于机器学习的图像中心线结构提取方法
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115082770B (zh) * 2022-07-04 2024-02-23 青岛科技大学 一种基于机器学习的图像中心线结构提取方法
CN115205739A (zh) * 2022-07-06 2022-10-18 中山大学·深圳 一种基于半监督学习的低光照视频行为识别方法及系统
CN115205739B (zh) * 2022-07-06 2023-11-28 中山大学·深圳 一种基于半监督学习的低光照视频行为识别方法及系统
CN114897909A (zh) * 2022-07-15 2022-08-12 四川大学 基于无监督学习的曲轴表面裂纹监测方法及系统
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质
CN115239733B (zh) * 2022-09-23 2023-01-03 深圳大学 裂缝检测方法、装置、终端设备以及存储介质
CN115631301A (zh) * 2022-10-24 2023-01-20 东华理工大学 基于改进全卷积神经网络的土石混合体图像三维重建方法
CN115830432A (zh) * 2023-02-15 2023-03-21 山东科技大学 一种基于YOLOv5的隧道衬砌裂缝检测方法及设备
CN117523470B (zh) * 2023-02-24 2024-06-07 西安建筑科技大学 一种钢结构疲劳裂缝识别方法及系统
CN117523470A (zh) * 2023-02-24 2024-02-06 西安建科大智慧运维科技有限公司 一种钢结构疲劳裂缝识别方法及系统
CN116485717A (zh) * 2023-03-09 2023-07-25 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN116485717B (zh) * 2023-03-09 2024-03-12 三峡大学 一种基于像素级深度学习的混凝土坝表面裂缝检测方法
CN116091582A (zh) * 2023-03-16 2023-05-09 北京科技大学 一种基于无人机大场景图像的桥梁裂缝辩识方法及系统
CN116523833A (zh) * 2023-03-17 2023-08-01 苏交科集团股份有限公司 基于图像识别技术的裂缝监测设备及包括该设备的安全监测应用平台
CN116523833B (zh) * 2023-03-17 2024-05-24 苏交科集团股份有限公司 基于图像识别技术的裂缝监测设备及包括该设备的安全监测应用平台
CN116958294A (zh) * 2023-07-03 2023-10-27 广州广检建设工程检测中心有限公司 一种基于cgan的高分辨率混凝土损伤图像合成方法
CN116777898A (zh) * 2023-07-21 2023-09-19 重庆大学溧阳智慧城市研究院 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法
CN116777898B (zh) * 2023-07-21 2024-01-23 重庆大学溧阳智慧城市研究院 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法
CN117172306A (zh) * 2023-07-26 2023-12-05 东北大学 一种大型ersfd转子系统代理模型及训练方法、应用
CN116977739B (zh) * 2023-08-03 2024-04-16 西北民族大学 一种基于ConvNeXt-YOLOv5的GPR图像识别方法
CN116977739A (zh) * 2023-08-03 2023-10-31 西北民族大学 一种基于ConvNeXt-YOLOv5的GPR图像识别方法
CN117408947B (zh) * 2023-09-13 2024-10-11 江南大学 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统
CN117408947A (zh) * 2023-09-13 2024-01-16 江南大学 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统
CN116934780B (zh) * 2023-09-13 2023-11-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统
CN116934780A (zh) * 2023-09-13 2023-10-24 西南石油大学 一种基于深度学习的电成像测井图像裂缝分割方法及系统
CN117037105B (zh) * 2023-09-28 2024-01-12 四川蜀道新能源科技发展有限公司 基于深度学习的路面灌缝检测方法、系统、终端及介质
CN117037105A (zh) * 2023-09-28 2023-11-10 四川蜀道新能源科技发展有限公司 基于深度学习的路面灌缝检测方法、系统、终端及介质
CN117079062B (zh) * 2023-10-17 2023-12-26 深圳市城市交通规划设计研究中心股份有限公司 一种基于路面裂缝分析方法的动静态影响参数分析方法
CN117079062A (zh) * 2023-10-17 2023-11-17 深圳市城市交通规划设计研究中心股份有限公司 一种基于路面裂缝分析方法的动静态影响参数分析方法
CN117541555A (zh) * 2023-11-16 2024-02-09 广州市公路实业发展有限公司 一种道路路面病害检测方法及系统
CN117292266B (zh) * 2023-11-24 2024-03-22 河海大学 一种灌区干渠混凝土裂缝检测方法、装置及存储介质
CN117292266A (zh) * 2023-11-24 2023-12-26 河海大学 一种灌区干渠混凝土裂缝检测方法、装置及存储介质
CN117313557B (zh) * 2023-11-29 2024-01-23 中国石油大学(华东) 基于深度学习的压裂磁法实时监测中裂缝诊断方法
CN117313557A (zh) * 2023-11-29 2023-12-29 中国石油大学(华东) 基于深度学习的压裂磁法实时监测中裂缝诊断方法
CN117805247A (zh) * 2023-12-29 2024-04-02 广东融创高科检测鉴定有限公司 一种混凝土缺陷超声检测方法及系统
JP7505133B1 (ja) 2024-01-23 2024-06-24 オリエンタル白石株式会社 グラウト充填の学習データ生成システム、グラウト充填の学習データ生成プログラム、コンクリート空隙評価の学習データ生成システム及びコンクリート空隙評価の学習データ生成プログラム
CN118135439A (zh) * 2024-03-13 2024-06-04 中交综合规划设计院有限公司 一种利用无人机进行混凝土裂缝识别以及测量的方法
CN118298338A (zh) * 2024-06-05 2024-07-05 安徽省交通规划设计研究总院股份有限公司 一种基于无人机低空摄影的道路裂缝快速识别和计算方法
CN118570303A (zh) * 2024-08-01 2024-08-30 南昌大学第一附属医院 一种基于深度学习的臂丛神经麻醉穿刺引导方法及系统

Similar Documents

Publication Publication Date Title
CN114693615A (zh) 一种基于域适应的深度学习混凝土桥梁裂缝实时检测方法
Deng et al. Review on computer vision-based crack detection and quantification methodologies for civil structures
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
Jiang et al. A deep learning approach for fast detection and classification of concrete damage
Chen et al. Automated extraction and evaluation of fracture trace maps from rock tunnel face images via deep learning
Xu et al. Pavement crack detection algorithm based on generative adversarial network and convolutional neural network under small samples
Yu et al. Railway obstacle detection algorithm using neural network
CN110135354B (zh) 一种基于实景三维模型的变化检测方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
Zhou et al. Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation
Li et al. A deep learning-based fine crack segmentation network on full-scale steel bridge images with complicated backgrounds
Xing et al. Traffic sign recognition using guided image filtering
CN104992429A (zh) 一种基于图像局部增强的山体裂缝检测方法
Guo et al. Surface defect detection of civil structures using images: Review from data perspective
CN117422699B (zh) 公路检测方法、装置、计算机设备及存储介质
CN117876381B (zh) 用于混凝土结构裂缝识别和分析的ai视觉检测方法和系统
Dong et al. Intelligent segmentation and measurement model for asphalt road cracks based on modified mask R-CNN algorithm
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法
Lin et al. Optimal CNN-based semantic segmentation model of cutting slope images
Wang et al. Geometry-informed deep learning-based structural component segmentation of post-earthquake buildings
Yuan et al. Automated pixel-level crack detection and quantification using deep convolutional neural networks for structural condition assessment
Baduge et al. Assessment of crack severity of asphalt pavements using deep learning algorithms and geospatial system
Sezen et al. Deep learning-based door and window detection from building façade
Li et al. CNN-Transformer hybrid network for concrete dam crack patrol inspection
Dong et al. Pixel-level intelligent segmentation and measurement method for pavement multiple damages based on mobile deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220701