CN112419244B - 混凝土裂缝分割方法及装置 - Google Patents

混凝土裂缝分割方法及装置 Download PDF

Info

Publication number
CN112419244B
CN112419244B CN202011255415.5A CN202011255415A CN112419244B CN 112419244 B CN112419244 B CN 112419244B CN 202011255415 A CN202011255415 A CN 202011255415A CN 112419244 B CN112419244 B CN 112419244B
Authority
CN
China
Prior art keywords
crack
point
yolov4
image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011255415.5A
Other languages
English (en)
Other versions
CN112419244A (zh
Inventor
申永刚
俞臻威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202011255415.5A priority Critical patent/CN112419244B/zh
Publication of CN112419244A publication Critical patent/CN112419244A/zh
Application granted granted Critical
Publication of CN112419244B publication Critical patent/CN112419244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/38—Concrete; Lime; Mortar; Gypsum; Bricks; Ceramics; Glass
    • G01N33/383—Concrete or cement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Ceramic Engineering (AREA)
  • Quality & Reliability (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法及装置，属于混凝土结构损伤检测技术领域，包括：获取裂缝图片，在图片上标注标签，形成裂缝数据库；将数据库输入YOLOv4模型，训练针对裂缝的目标检测模型；将已训练好的YOLOv4模型进行稀疏化训练，再进行剪枝，得到YOLOv4‑P模型；将待测图像输入YOLOv4‑P模型中进行检测，对检测到的裂缝进行裁剪，裁剪后的裂缝图像使用限制对比度自适应直方图均衡算法对裂缝进行强化，强化后输入管状流场算法中进行裂缝分割。相比语义分割模型，本发明中图像标注的工作量大幅降低，具备实时性，且检测结果精确，具有实际工程意义。

Description

混凝土裂缝分割方法及装置
技术领域
本发明属于混凝土结构损伤检测技术领域，尤其涉及混凝土裂缝分割方法及装置。
背景技术
混凝土结构表面的裂缝是基础设施退化的预兆和常见症状。定期的裂缝检查和维修在基础设施的维护和运营中具有非常重要的作用。通过早期及时地评估和调查，可以采取一定的安全措施来防止进一步损坏和故障的发生，也可以为结构健康性评估提供了有效的数据支持。
维护人员搭配一些专用的检测设备进行检测的方法是早期的主流，这种方法在效率、成本、准确率方面的缺陷明显。在这之后，许多基于接触式或嵌入式传感器的裂缝检测方法被广泛应用，然而传感器易受环境变化影响。进而又开发了基于计算机视觉的图像处理技术，改变裂缝周边的灰度梯度，强化裂缝在图中的显示。但这种技术无法忽略复杂背景的影响，并且在处理过程中会产生大量噪声。
近些年，基于深度学习检测混凝土裂缝的方法被用于结构健康监测领域。深度学习同样基于计算机视觉，计算机视觉领域有三大任务：图像分类、目标检测、语义分割。1)图像分类任务将整张图片归为某一类别，已被目标检测任务覆盖。2)目标检测任务要求获得目标的类别和位置信息，其结果以在矩形框形式给出，包含冗余像素，不适合对裂缝作进一步定量分析。但图像标签标注工作相对轻松，一张图像的标注时间从5秒到30秒不等。3)语义分割任务要求进一步描述出目标的轮廓，从像素层面上识别图像中的不同目标和位置，使得裂缝与背景完全分离。但是图像标注成本非常高，例如一条长约20厘米，宽约1毫米的裂缝，在一幅1000×1000分辨率的图片中进行精细标注需要20分钟，粗略标记需要6分钟。
由于深度学习算法可以克服背景的干扰，图像处理技术可以在简单背景下进行有效检测，如果能够集成这两种方法，避开各自的缺点，就可以同时提升检测的准确性和效率，并降低成本，结合裂缝宽度测量的算法，能够实现完整的自动化裂缝检测和分析。
综上所述，现有技术存在的问题是：图像处理技术受环境影响大，不适用于裂缝检测；目标检测算法检测结果不够精确，进一步定量分析困难；语义分割算法图像标注成本过高，效率低下。
发明内容
本发明实施例的目的是提供混凝土裂缝分割方法及装置，以解决目前只使用单一图像处理技术、目标检测算法和语义分割算法出现的各种缺陷。
为了达到上述目的，本发明的实施例提供一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，包括以下步骤：
获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果；
第二方面，本发明实施例还提供一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割装置，包括：
获取单元，用于获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
模型训练单元，用于对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
剪枝单元，用于对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
分割单元，用于将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果。
一个效果良好的深度学习语义分割模型一般需求的数据量为几百张到几千张精细标注的图像，搭配几万张粗略标注的图像，这样大的标注工作量是很难完成的。而对目标检测模型来说，数据量需求一般为几千张图像，但每张图像的平均标注时间仅为语义分割模型的二十分之一甚至更低。如果借助目标检测模型对裂缝进行初步检测，然后将检测结果裁剪出来，简化图像背景，再利用图像处理技术进行裂缝的分割就非常容易，分割完成后还可以对裂缝进行宽度测量，经过修改的中轴变换算法对末端裂缝也有良好的测量效果。本发明解决了图像处理技术在检测混凝土裂缝时易受环境干扰的问题、深度学习算法在检测混凝土裂缝时结果不够精确或标注成本过高的问题，以及末端裂缝宽度不准确的问题，集成了三种不同的算法开发了一种裂缝检测、分割和量化的方法，用于不同复杂背景下的实际裂缝检测的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法的流程图；
图2是本发明实施例提供的基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法可视化流程图；
图3是本发明实施例实验中YOLOv4模型在裂缝图像训练集上的损失曲线；
图4是本发明实施例实验中YOLOv4模型稀疏化训练时稀疏率的取值实验曲线；
图5是本发明实施例实验中YOLOv4模型剪枝时剪枝阈值的取值实验曲线；
图6是本发明所使用的限制对比度自适应直方图均衡算法强化裂缝的效果示意图；
图7是本发明所使用的改进中轴变换算法测量裂缝宽度的效果示意图；
图8是本发明实施例实验中对图像进行像素级标签标注的效果示意图；
图9是本发明实施例所使用的数据以及数据对应的标签的样例示意图；
图10是本发明实施例提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割装置的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合混凝土裂缝实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对目前图像处理技术易受复杂环境干扰、目标检测算法结果不够精确、语义分割算法图像标注成本过高以及各方法联系性差的问题，本发明可以集成多种方法各自的优势，消除了目标检测算法无法在像素级检测裂缝的缺陷，克服了图像处理技术容易受到光影和噪声影响的问题，并大大降低图像标注成本，同时能够提高检测效率和时效性，具有很强的鲁棒性、很好的泛化能力，具有原创性，更适用于工程应用。
下面结合附图对本发明的应用原理作详细的描述。
图1是本发明实施例提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法的流程图，图2是本发明实施例提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法可视化流程图，本发明实施例提供一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，包括以下步骤：
步骤S101，获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
具体的，在实验室内进行混凝土梁破坏性试验，试验结束后对出现的裂缝进行图像采集。为保证训练出的模型具有更好的鲁棒性和泛化性，裂缝的发展方向、清晰度均有差异，图像背景表面还存在污点、黑笔笔迹、混凝土破损表面等等干扰。本实例中，图像采集得到的所有图像规格为4608×3456。将每一张图像以1000×1000分辨率为标准划分为12张子图，去掉重复部分的图像，共计获得2112张图像。使用LabelImg对原始图像中的裂缝进行手动标注，共计获得2112个标签文件。将这2112张图像作为数据库，标签文件作为YOLOv4训练时与图像对应的数据。
步骤S102，对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
具体的，对这2112张混凝土裂缝图像进行数据增强(随机旋转、剪切、翻转等)和图像归一化操作，从中随机选择样本作为训练集、验证集和测试集。在训练集上训练YOLOv4模型，训练过程损失曲线的变化如图3所示，训练完成后得到针对裂缝数据的YOLOv4目标检测模型。
步骤S103，对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
具体的，稀疏化训练指寻找一个n行k列的字典矩阵Bn×k，以及一个k行m列的稀疏矩阵Ak×m，使得B*A最大限度地还原矩阵Cn×m，Cn×m表示数据集。Cn×m的每一个行向量xi代表一个样本，共m个样本，每一个列向量代表样本的一种属性，而Ak×m的每一个行向量αi为样本xi的稀疏表示，使得Ak×m尽可能稀疏，则Ak×m就是Cn×m的稀疏表示，具体地：
Figure GDA0003775258660000041
式中，xi为第i个样本，αi为xi的稀疏向量表示，λ为稀疏率，第一项的右下角标表示L2范数，第二项的右下角标表示L1范数。关于λ的取值实验，实验中以检测误差为衡量标准，从0.1开始每缩小10倍取一个值，共取5个值，如图4所示。经实验确定λ取值为0.001
完成稀疏化训练后对YOLOv4模型进行剪枝，得到YOLOv4-P模型。剪枝利用YOLOv4模型中批量规范化层的缩放因子γ作为重要性因子，设定一个阈值，γ低于阈值的卷积层被舍弃，并在YOLOv4模型的损失函数方程L中加入了一个关于γ的正则项：
Figure GDA0003775258660000051
其中，x是训练输入，y是目标输出，f(x,W)是训练输出，W是YOLOv4模型的卷积层中的权重，第一项是原损失函数l()，第二项是约束γ的L1范数，ε是平衡因子，取10e-5。
剪枝过程中会引起模型平均准确值(mAP)的下降，需要对模型进行少量的微调(Fine-tuned)。本实施例内统一进行20次迭代的微调。剪枝的阈值(T)设定根据不同阈值下模型的mAP值变化情况确定，如图5所示。根据图中结果设置剪枝阈值为0.8，将批量规范化层的γ值小于阈值的通道剪除，在此过程中YOLOv4-P模型的mAP值降至0.623，经过微调后，mAP值恢复到了0.910。YOLOv4-P模型的结构相对于本实施例的数据集而言是相对合理的，剪枝保留下来的权重可以让模型经过微调后快速接近整个结构的能力上限，这个过程是一种有限范围内最优网络结构的搜索。
步骤S104，将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果；
具体的，首先将需要进行裂缝检测的图像输入YOLOv4-P模型进行裂缝检测，以YOLOv4-P模型给出的矩形框结果为裁剪对象进行裁剪，然后将这些裁剪后的图像使用限制对比度自适应直方图均衡算法进行强化，强化效果如图6所示。将强化后的图像输入管状流场算法中进行裂缝分割，获得类似语义分割的输出结果。管状流场算法通过水平集函数演化来进行分割。采用了一种改进的基于高斯滤波器的黑塞矩阵分析方法来进行水平集函数演化，使裂缝的边界活跃，再以像素精度分割裂缝边界。考虑到裂缝和背景相比，背景较亮且其特征值相对于裂缝较大，使用二阶高斯导数黑塞矩阵H处理待检测的图像Ω：
H(u,v)＝[h]i,j(1≤i,j≤2),(u,v)∈Ω
Figure GDA0003775258660000052
其中，G(σ)是高斯核函数，σ为标准差，f(u,v)是与位置(u,v)∈Ω相对应的像素坐标；使用以下密度方程ρ评估像素坐标f(u,v)处的裂缝密度：
Figure GDA0003775258660000053
Figure GDA0003775258660000054
其中，λ1和λ2是黑塞矩阵的特征值，D是基于特征值的图像的尺寸，β和c是试验确定的灵敏度阈值，分别为0.5和0.3。如果λ1<0.1，|λ2|>2，则该像素处于裂缝结构中。
分割完成后对分割结果使用改进中轴变换算法，对裂缝进行边界侵蚀，提取裂缝的骨架，测量裂缝的宽度。改进中轴变换算法在任一裂缝的内部区域R中取一点E，在裂缝边界B上搜寻与E最近的点，如果能找到的点个数大于1，则认为P是裂缝的骨架点。在搜寻与E最近的点时，使用了以下方程：
ds(E,B)＝infimum{d(E,z)|z∈B}
其中，infimum表示下确界，ds和d表示欧氏距离，z表示边界B上的任意点。初步求得裂缝的骨架后，对每个骨架点求其法线方向到两个边界的距离，如果两个距离的差异超过2个像素，而相邻点的两个距离差异不超过3个像素，则在待修正点处按相邻点的法线取中点，作为修正后的骨架点。以两个相邻的骨架点MP和MQ为例，其中MP是需要修正的骨架点，MQ是不需要修正的骨架点：
Figure GDA0003775258660000061
Figure GDA0003775258660000063
ifMP＝1and MQ＝0
其中，MP＝1表示骨架点需要修正，MP＝0表示骨架点不需要修正，dP1和dP2表示骨架点P到裂缝的两个边界的欧式距离，M’P表示修正后的骨架点，dQ1(x,y)和dQ2(x,y)表示在骨架点P处按骨架点Q处的法线方向与裂缝两个边界的交点。原始的中轴变换算法对末端的裂缝测量误差较大，会出现例如末端像素缺失或多余分支等问题，经过改进后的中轴变换算法能够较好的测量裂缝末端的宽度，如图7所示，并以色谱图表示宽度大小，如图2所示。为了评价改进后的中轴变换算法测量效果，随机选取了20张1000×1000分辨率的裂缝图像进行像素级标注，标注形式如图8所示。以标注后的掩膜形式作为准确测量时使用的图像，以管状流场算法输出的结果作为比较对象，比较结果如表1所示，与真实情况相比，测量值的误差大约在3.5个像素以内，大部分误差约为1个像素，结果比较精确。
表1
Figure GDA0003775258660000062
本实例使用一次实验室内进行的混凝土梁破坏性试验作为数据来源，数据样例与标签样例如图10所示。训练时的损失曲线如图3所示，训练中设置训练步数为50000步。从图中可以看出，训练损失从初始的较高值在10000步内迅速降低至0.25以下，并进一步降低直到训练结束，最终稳定在0.1，这是由于数据集中只有一类物体，学习较为快速准确。本发明使用的2112张1000×1000分辨率的裂缝图像，标签标注所花费的时间约为4小时，如果使用语义分割模型，精细标注大约需要700小时，即使是粗略标注也需要200小时，标注的效率提升五十倍以上，并且目标检测模型标签标注所出现的误差相比语义分割模型标签标注所出现的误差明显会更小，因为在裂缝的边界处进行标注时，理论上每一个标注点都会产生一定的误差。
本发明对多种算法进行了不同的改进，集成了多种算法的优势，避免了单一算法的局限性，结合YOLOv4、管状流场算法和改进中轴变换算法，开发了一种裂缝检测、定位和量化方法，实现完整的自动化裂缝检测，可以用于不同环境条件下具有不同复杂背景的实际问题。
图10为本发明实施例提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割装置的结构示意图，该装置可以执行任意本发明任意实施例所提供的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，具备执行该方法相应的功能模块和有益效果。如图10所示，该装置包括：
获取单元91，用于获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
模型训练单元92，用于对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
剪枝单元93，用于对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
分割单元94，用于将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，其特征在于，包括：
获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果；
其中，所述管状流场算法通过水平集函数演化来进行分割，具体包括：
使用二阶高斯导数黑塞矩阵H处理待检测的图像Ω：
H(u，v)＝[h]i，j(1≤i，j≤2)(u，v)∈Ω
Figure FDA0003775258650000011
其中，G(σ)是高斯核函数，σ为标准差，f(u，v)是与位置(u，v)∈Ω相对应的像素坐标，i、j为自然数；
使用以下密度方程ρ评估像素坐标f(u，v)处的裂缝密度：
Figure FDA0003775258650000012
Figure FDA0003775258650000013
其中，λ1和λ2是黑塞矩阵的特征值，D是基于特征值的图像的尺寸，β和c是试验确定的灵敏度阈值；如果λ1＜0.1，|λ2|＞2，则该像素处于裂缝结构中；
对所述裂缝分割结果使用改进中轴变换算法，对裂缝进行边界侵蚀，提取裂缝的骨架，测量裂缝的宽度，其中所述改进中轴变换算法，具体包括：
对任意裂缝的内部区域中的一个点，在裂缝的边界上搜寻一个点，使这个点与裂缝内部区域的点的距离最近，如果在边界上至少能找到两个这样的点，则认为裂缝内部区域的这个点是裂缝的骨架点，在搜寻与E最近的点时，使用了以下方程：
ds(E，B)＝infimum{d(E，z)|z∈B}
其中，infimum表示下确界，ds和d表示欧氏距离，z表示边界B上的任意点，E表示任意裂缝的内部区域R中的一个点；初步求得所述裂缝的骨架点后，对每个骨架点求其法线方向到两个边界的距离，如果两个距离的差异超过阈值需要修正，而相邻点的两个距离差异未超过阈值，则在待修正点处按相邻点的法线取中点，作为修正后的骨架点；以两个相邻的骨架点MP和MQ为例，其中MP是需要修正的骨架点，MQ是不需要修正的骨架点：
Figure FDA0003775258650000021
Figure FDA0003775258650000022
其中，MP＝1表示骨架点需要修正，MP＝0表示骨架点不需要修正，dp1 和dP2表示骨架点P到裂缝的两个边界的欧式距离，M’P表示修正后的骨架点，dQ1(x，y)和dQ2(x，y)表示在骨架点P处按骨架点Q处的法线方向与裂缝两个边界的交点。
2.根据权利要求1所述的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，其特征在于，标注时，使用LabelImg图像标注软件对图像中的裂缝进行标注。
3.根据权利要求1所述的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，其特征在于，所述预处理包括裂缝数据增强和图像归一化操作。
4.根据权利要求1所述的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，其特征在于，所述剪枝利用YOLOv4目标检测模型中批量规范化层的缩放因子γ作为重要性因子，设定阈值，γ低于阈值的卷积层被舍弃，并在YOLOv4目标检测模型的损失函数方程中加入了一个关于γ的正则项。
5.根据权利要求1所述的一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割方法，其特征在于，所述强化使用限制对比度自适应直方图均衡算法。
6.一种基于YOLOv4目标检测模型和管状流场算法的混凝土裂缝分割装置，其特征在于，包括：
获取单元，用于获取裂缝图片，对每一张图片中存在的每一条裂缝进行标注，标注得到的标签文件和裂缝图像形成裂缝数据库；
模型训练单元，用于对所述裂缝数据库进行预处理，再输入YOLOv4目标检测模型中，训练针对裂缝数据的YOLOv4混凝土裂缝检测模型；
剪枝单元，用于对已训练好的所述YOLOv4混凝土裂缝检测模型进行稀疏化训练，训练完成后对YOLOv4混凝土裂缝检测模型进行剪枝，得到YOLOv4-P模型；
分割单元，用于将待检测的图像输入到所述YOLOv4-P模型中进行检测，检测完成后对所述YOLOv4-P模型输出的结果图像中含有裂缝的部分进行裁剪，裁剪后的裂缝图像经强化后输入管状流场算法中进行像素分割，得到混凝土裂缝分割结果；
其中，所述管状流场算法通过水平集函数演化来进行分割，具体包括：
使用二阶高斯导数黑塞矩阵H处理待检测的图像Ω：
H(u，v)＝[h]i，j(1≤i，j≤2)(u，v)∈Ω
Figure FDA0003775258650000031
其中，G(σ)是高斯核函数，σ为标准差，f(u，v)是与位置(u，v)∈Ω相对应的像素坐标，i、j为自然数；
使用以下密度方程ρ评估像素坐标f(u，v)处的裂缝密度：
Figure FDA0003775258650000032
Figure FDA0003775258650000033
其中，λ1和λ2是黑塞矩阵的特征值，D是基于特征值的图像的尺寸，β和c是试验确定的灵敏度阈值； 如果λ1＜0.1，|λ2|＞2，则该像素处于裂缝结构中；
对所述裂缝分割结果使用改进中轴变换算法，对裂缝进行边界侵蚀，提取裂缝的骨架，测量裂缝的宽度，其中所述改进中轴变换算法，具体包括：
对任意裂缝的内部区域中的一个点，在裂缝的边界上搜寻一个点，使这个点与裂缝内部区域的点的距离最近，如果在边界上至少能找到两个这样的点，则认为裂缝内部区域的这个点是裂缝的骨架点，在搜寻与E最近的点时，使用了以下方程：
ds(E，B)＝infimum{d(E，z)|z∈B}
其中，infimum表示下确界，ds和d表示欧氏距离，z表示边界B上的任意点，E表示任意裂缝的内部区域R中的一个点； 初步求得所述裂缝的骨架点后，对每个骨架点求其法线方向到两个边界的距离，如果两个距离的差异超过阈值需要修正，而相邻点的两个距离差异未超过阈值，则在待修正点处按相邻点的法线取中点，作为修正后的骨架点； 以两个相邻的骨架点MP和MQ为例，其中MP是需要修正的骨架点，MQ是不需要修正的骨架点：
Figure FDA0003775258650000034
Figure FDA0003775258650000035
其中，MP＝1表示骨架点需要修正，MP＝0表示骨架点不需要修正，d P1 和dP2表示骨架点P到裂缝的两个边界的欧式距离，M’P表示修正后的骨架点，dQ1(x，y)和dQ2(x，y)表示在骨架点P处按骨架点Q处的法线方向与裂缝两个边界的交点。
CN202011255415.5A 2020-11-11 2020-11-11 混凝土裂缝分割方法及装置 Active CN112419244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255415.5A CN112419244B (zh) 2020-11-11 2020-11-11 混凝土裂缝分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255415.5A CN112419244B (zh) 2020-11-11 2020-11-11 混凝土裂缝分割方法及装置

Publications (2)

Publication Number Publication Date
CN112419244A CN112419244A (zh) 2021-02-26
CN112419244B true CN112419244B (zh) 2022-11-01

Family

ID=74781122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255415.5A Active CN112419244B (zh) 2020-11-11 2020-11-11 混凝土裂缝分割方法及装置

Country Status (1)

Country Link
CN (1) CN112419244B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578725B (zh) * 2022-09-08 2023-08-01 中国地质环境监测院(自然资源部地质灾害技术指导中心) 一种基于人机协同的滑坡边界与裂缝的标注方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4548765A (en) * 1982-08-24 1985-10-22 Outokumpu Oy Method for dispersing gas in a solid-containing liquid, and an apparatus for it
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
CN109241867A (zh) * 2018-08-16 2019-01-18 清能艾科（深圳）能源技术有限公司 采用人工智能算法识别数字岩心图像的方法及装置
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
WO2020036182A1 (ja) * 2018-08-14 2020-02-20 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
WO2020046213A1 (en) * 2018-08-31 2020-03-05 Agency For Science, Technology And Research A method and apparatus for training a neural network to identify cracks
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111476781A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于视频语义分割技术的混凝土裂缝识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570316A (zh) * 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4548765A (en) * 1982-08-24 1985-10-22 Outokumpu Oy Method for dispersing gas in a solid-containing liquid, and an apparatus for it
CN108876780A (zh) * 2018-06-26 2018-11-23 陕西师范大学 一种复杂背景下桥梁裂缝图像裂缝检测方法
WO2020036182A1 (ja) * 2018-08-14 2020-02-20 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
CN109241867A (zh) * 2018-08-16 2019-01-18 清能艾科（深圳）能源技术有限公司 采用人工智能算法识别数字岩心图像的方法及装置
WO2020046213A1 (en) * 2018-08-31 2020-03-05 Agency For Science, Technology And Research A method and apparatus for training a neural network to identify cracks
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN110544251A (zh) * 2019-09-08 2019-12-06 刘凡 基于多迁移学习模型融合的大坝裂缝检测方法
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111476781A (zh) * 2020-04-08 2020-07-31 浙江大学 一种基于视频语义分割技术的混凝土裂缝识别方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Detection of Roads Potholes using YOLOv4;Mohd Omar等;《2020 International Conference on Information Science and Communications Technologies (ICISCT)》;20201104;第C034-115页 *
基于卷积神经网络的混凝土裂缝识别;温作林等;《建筑材料科学与技术》;20191231;第9-12页 *
基于机器视觉的路面裂缝分类与检测方法研究;王磊;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20200215(第02期);第1-6页 *

Also Published As

Publication number Publication date
CN112419244A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
Li et al. Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system
CN112287807A (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
Wang et al. Surface defects detection using non-convex total variation regularized RPCA with kernelization
CN108711148A (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN110927171A (zh) 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
CN113962960A (zh) 基于深度学习的路面病害检测方法
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
US20230298152A1 (en) Method for analyzing minor defect based on progressive segmentation network
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115223054A (zh) 一种基于分区聚类与卷积的遥感影像变化检测方法
Li et al. A two-stage crack detection method for concrete bridges using Convolutional Neural Networks
CN115147363A (zh) 一种基于深度学习算法的影像缺陷检测和分类方法及系统
CN112419244B (zh) 混凝土裂缝分割方法及装置
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113744252A (zh) 用于标记和检测缺陷的方法、设备、存储介质和程序产品
CN109447968A (zh) 图像区域生长算法的蜕变测试系统
CN117197085A (zh) 基于改进YOLOv8网络的公路快检图像路面病害检测方法
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法
CN111914706A (zh) 一种文字检测输出结果质量检测和控制的方法与装置
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN113870328A (zh) 一种液体异物视觉检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant