CN113822880A - 一种基于深度学习的裂缝识别方法 - Google Patents

一种基于深度学习的裂缝识别方法 Download PDF

Info

Publication number
CN113822880A
CN113822880A CN202111381628.7A CN202111381628A CN113822880A CN 113822880 A CN113822880 A CN 113822880A CN 202111381628 A CN202111381628 A CN 202111381628A CN 113822880 A CN113822880 A CN 113822880A
Authority
CN
China
Prior art keywords
crack
network
real
image sample
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111381628.7A
Other languages
English (en)
Inventor
周中
张俊杰
李守文
胡江锋
邓卓湘
龚琛杰
鲁四平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202111381628.7A priority Critical patent/CN113822880A/zh
Publication of CN113822880A publication Critical patent/CN113822880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请中提供了一种基于深度学习的裂缝识别方法，属于图像处理技术领域，具体包括：构建深度卷积对抗网络；获取多张真实裂缝图像样本对深度卷积对抗网络进行训练，得到对抗裂缝图像样本；得到混合裂缝图像样本；对全部混合裂缝图像样本进行标注，并将标注信息文件和混合裂缝图像样本作为训练集；采用训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型；将采集到的待检测裂缝图像输入裂缝识别模型，输出识别信息。通过本申请的方案，构建深度卷积对抗网络实现了裂缝的自动化生成，并通过改进YOLOv4神经网络训练得到裂缝识别模型对待检测裂缝图像进行识别，提高了识别效率、精准度和适应性。

Description

一种基于深度学习的裂缝识别方法
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的裂缝识别方法。
背景技术
目前，随着我国经济的稳步提升，基础设施建设的速度和规模都已经达到了一个新的高潮。基础设施在服役过程中，由于长期荷载、地质灾害、人类活动等多种内外在因素的共同影响，难以避免的会出现各类结构病害，其中裂缝出现的频率最高，如果不及时对该类病害进行处理，很有可能会造成渗漏水、混凝土腐蚀、结构承载力下降等危害从而影响结构在运营期间的安全。因此有必要定期对基础设施的裂缝进行检测，掌握裂缝的数量和具体位置，并采取相应的措施进行治理。
目前，各类基础设施裂缝病害的检测依旧以人工巡检为主，该方法存在着主观性大、精度低、耗费人力与物力等缺点。随着计算机技术的快速发展，基于机器视觉技术的裂缝智能识别方法凭借着智能化、高精度、低成本等优势逐渐成为裂缝识别研究的重点，主要分为基于图像处理技术的裂缝识别方法和基于深度学习的裂缝识别方法两类。
其中，基于图像处理技术的裂缝识别方法虽然能够快速识别裂缝，但是其识别精度严重受到背景、光照等环境因素的干扰，因此对于复杂多变的环境条件下裂缝的识别准确度仍有待提高。而基于深度学习目标的裂缝识别方法相对来说具有更好的泛用性，但是该类方法依旧存在着以下的不足：模型的训练需要大量的裂缝数据集作为基础；模型往往占据较大的存储空间，导致裂缝图像的识别速度慢，难以满足移动设备对裂缝病害进行实时检测的要求。
可见，亟需一种高效精准且适应性强的基于深度学习的裂缝识别方法。
发明内容
有鉴于此，本申请提供一种基于深度学习的裂缝识别方法，至少部分解决现有技术中存在识别效率、精准度和适应性较差的问题。
本申请提供了一种基于深度学习的裂缝识别方法，包括：
步骤1、构建深度卷积对抗网络，其中，所述深度卷积对抗网络包括生成器和判别器；
步骤2、获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本；
步骤3、将每张所述真实裂缝图像样本与其对应的对抗裂缝图像样本根据一比一比例混合，得到混合裂缝图像样本；
步骤4、对全部所述混合裂缝图像样本进行标注，并将标注信息文件和混合裂缝图像样本作为训练集；
步骤5、采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型；
步骤6、将采集到的待检测裂缝图像输入所述裂缝识别模型，输出所述待检测裂缝图像中裂缝的识别信息。
根据本申请的一种具体实现方式，所述生成器和所述判别器的损失函数根据Wasserstein距离设计，其中，所述Wasserstein距离定义为
Figure 181546DEST_PATH_IMAGE001
，
Figure 414206DEST_PATH_IMAGE002
为所述真实裂缝图像样本分布，
Figure 407570DEST_PATH_IMAGE003
为所述对抗裂缝图像样本分布，x为所述真实裂缝图像样本，y为所述对抗裂缝图像样本，
Figure 161899DEST_PATH_IMAGE004
为联合分布
Figure 961228DEST_PATH_IMAGE005
下所述真实裂缝图像样本与所述对抗裂缝图像样本之间距离的期望。
根据本申请的一种具体实现方式，所述生成器包括六个卷积核大小为4×4的反卷积层，其中，前五个所述反卷积层之后均设置批标准化Batch Nomalization函数和Relu激活函数，最后一个所述反卷积层之后设置Tanh激活函数。
根据本申请的一种具体实现方式，所述判别器包括六个卷积核大小为4×4的卷积层，其中前五个所述卷积层之后均设置批标准化Batch Nomalization函数以及LeakyRelu激活函数，最后一个所述卷积层之后设置Sigmod激活函数。
根据本申请的一种具体实现方式，所述对抗裂缝图像样本的尺寸为128×128。
根据本申请的一种具体实现方式，步骤2所述的，获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本，包括：
步骤2.1、初始化所述生成器和所述判别器的参数；
步骤2.2、随机生成n个大小为100维的噪声，将全部所述噪声输入至所述生成器中，输出n个随机裂缝图像样本；
步骤2.3、抽取n个所述真实裂缝图像样本与n个所述随机裂缝图像样本输入所述判别器中，输出图像真伪判别的概率P，并计算所述判别器的损失函数值和所述生成器的损失函数值；
步骤2.4、固定所述生成器的参数，误差反向传播，采用SGD优化算法对所述判别器的参数进行更新，使得所述判别器的损失函数值符合预设标准，更新后将所述判别器的权重参数截断至区间[-a，a]；
步骤2.5、重复步骤2.1~2.4共k次后，固定所述判别器的参数，重复步骤3.1~3.3共j次，之后再将所得误差反向传播，采用SGD优化算法对所述生成器的参数进行更新，使得所述生成器的损失函数值符合预设标准；
步骤2.6、循环重复步骤2.1~2.5，直至判别概率趋近于0.5，保存此时所述生成器的参数；
步骤2.7、利用训练后的生成器生成与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本。
根据本申请的一种具体实现方式，所述判别器的损失函数值的计算公式为
Figure 484613DEST_PATH_IMAGE006
，所述生成器的损失函数值的计算公式为
Figure 914458DEST_PATH_IMAGE007
，其中，
Figure 218400DEST_PATH_IMAGE008
为所述真实裂缝图像样本，
Figure 493524DEST_PATH_IMAGE009
为所述随机裂缝图像样本。
根据本申请的一种具体实现方式，所述改进YOLOv4神经网络包括：
图像输入模块，用于对裂缝图像进行尺寸归一化；
EfficientNet主干特征提取网络，用于对裂缝图像进行特征提取，输出有效特征层；
特征加强模块，包括SPP模块和PANet模块，用于对主干特征网络提取的裂缝特征层进行加强，并输出加强特征层，其中，特征加强模块中的卷积层包括标准卷积和深度可分离卷积；
预测模块，依据加强特征层所包含信息进行判断预测，得到预测的结果。
根据本申请中的一种具体实现方式，步骤5所述的，采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型，包括：
步骤5.1、在所述输入模块中对训练数据集进行预处理；
步骤5.2、将处理后的数据集输入至所述改进YOLOv4网络中的主干特征提取模块进行特征提取并得到三个尺寸分别为52×52、26×26、13×13的有效特征层；
步骤5.3、将所述有效特征层输入至所述改进YOLOv4神经网络中的特征加强模块进行特征加强并输出得到三个尺寸分别为52×52、26×26、13×13加强特征层；
步骤5.4、将所述加强特征层输入至所述改进YOLOv4网络中的预测模块，输出得到预测结果，并计算预测误差Loss_Y；
步骤5.5、误差反向传播，所述改进YOLOv4神经网络基于梯度下降法对自身结构参数进行调整；
步骤5.6、循环重复上述步骤5.1~5.5，直至预测误差趋于收敛，完成网络训练，并将收敛后的网络参数保存为所述裂缝识别模型；
其中，步骤5.4中所述的预测误差Loss_Y由位置误差Lloc和置信误差Lconf组成，位置误差Lloc具体组成如下：
Figure 136995DEST_PATH_IMAGE010
其中，
Figure 534478DEST_PATH_IMAGE011
为预测框与真实框的中心点位置的欧式距离，c为能够同时完全包含预测框和真实框的最小封闭矩形区域的对角线距离，IoU为预测框和实际框的交集和并集的比值，v的计算公式如下：
Figure 263399DEST_PATH_IMAGE012
其中：
Figure 905996DEST_PATH_IMAGE013
为真实框的宽和高，w、h为预测框的宽和高；
置信误差Lconf具体组成如下：
Figure 403973DEST_PATH_IMAGE014
其中，N为类别数，
Figure 175620DEST_PATH_IMAGE015
误差权重参数，
Figure 188575DEST_PATH_IMAGE016
表示第i个网格的第j个预测框中包含物体，
Figure 71081DEST_PATH_IMAGE017
表示第i个网格的第j个预测框中不包含物体，
Figure 423565DEST_PATH_IMAGE018
为真实置信度，
Figure 428430DEST_PATH_IMAGE019
为预测置信度。
本申请中的基于深度学习的裂缝识别方案，包括：步骤1、构建深度卷积对抗网络，其中，所述深度卷积对抗网络包括生成器和判别器；步骤2、获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本；步骤3、将每张所述真实裂缝图像样本与其对应的对抗裂缝图像样本根据一比一比例混合，得到混合裂缝图像样本；步骤4、对全部所述混合裂缝图像样本进行标注，并将标注信息文件和混合裂缝图像样本作为训练集；步骤5、采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型；步骤6、将采集到的待检测裂缝图像输入所述裂缝识别模型，输出所述待检测裂缝图像中裂缝的识别信息。
本申请的有益效果为：通过本申请的方案，构建深度卷积对抗网络实现了裂缝的自动化生成，解决了基于深度学习的裂缝识别方法中训练集数据样本不足的问题，并增加了数据集样本的多样性后输入改进YOLOv4神经网络训练得到裂缝识别模型对实时采集的待检测裂缝图像进行识别，提高了识别效率、精准度和适应性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请提供的一种基于深度学习的裂缝识别方法的流程示意图；
图2为本申请提供的生成器和判别器的结构示意图；
图3为本申请提供的一种基于深度学习的裂缝识别方法涉及的部分流程示意图；
图4为本申请提供的部分真实裂缝图像和对抗裂缝图像；
图5为本申请提供的改进YOLOv4神经网络的结构图；
图6为本申请提供的EfficientNet主干特征提取网络模块中的MBConvBlock的结构示意图；
图7为本申请提供的改进YOLOv4神经网络的训练流程示意图；
图8为本申请提供的部分裂缝智能识别结果图。
具体实施方式
下面结合附图对本申请进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
本申请提供一种基于深度学习的裂缝识别方法，所述方法可以应用于基础设施检测场景中的裂缝检测识别过程中。
参见图1，为本申请提供的一种基于深度学习的裂缝识别方法的流程示意图。如图1所示，所述方法主要包括以下步骤：
步骤1、构建深度卷积对抗网络，其中，所述深度卷积对抗网络包括生成器和判别器；
可选的，所述生成器和所述判别器的损失函数根据Wasserstein距离设计，其中，所述Wasserstein距离定义为
Figure 866364DEST_PATH_IMAGE020
，
Figure 286981DEST_PATH_IMAGE002
为所述真实裂缝图像样本分布，
Figure 821868DEST_PATH_IMAGE003
为所述对抗裂缝图像样本分布，x为所述真实裂缝图像样本，y为所述对抗裂缝图像样本，
Figure 935317DEST_PATH_IMAGE021
为联合分布
Figure 860548DEST_PATH_IMAGE022
下所述真实裂缝图像样本与所述对抗裂缝图像样本之间距离的期望。
进一步的，所述生成器包括六个卷积核大小为4×4的反卷积层，其中，前五个所述反卷积层之后均设置批标准化Batch Nomalization函数和Relu激活函数，最后一个所述反卷积层之后设置Tanh激活函数。
可选的，所述判别器包括六个卷积核大小为4×4的卷积层，其中前五个所述卷积层之后均设置批标准化Batch Nomalization函数以及LeakyRelu激活函数，最后一个所述卷积层之后设置Sigmod激活函数。
具体实施时，考虑到现有的手段一般是对实时采集的图像直接进行图像识别，检测效率不高，且容易受到背景或者光照等环境因素的干扰导致检测精度差。可以构建所述深度卷积对抗网络对图像进行处理，其中，所述深度卷积对抗网络包括所述生成器G和所述判别器D，所述生成器和所述判别器的损失函数根据Wasserstein距离设计，其中，所述Wasserstein距离定义为
Figure 660357DEST_PATH_IMAGE023
，
Figure 721853DEST_PATH_IMAGE002
为所述真实裂缝图像样本分布，
Figure 6204DEST_PATH_IMAGE003
为所述对抗裂缝图像样本分布，x为所述真实裂缝图像样本，y为所述对抗裂缝图像样本，
Figure 481048DEST_PATH_IMAGE024
为联合分布
Figure 509047DEST_PATH_IMAGE025
下所述真实裂缝图像样本与所述对抗裂缝图像样本之间距离的期望。
所述生成器G和所述判别器D的结构如图2所示，生成器如图2（a）所示，包括6个卷积核大小为4×4的反卷积层ReConv，其中前5个反卷积层之后均设置批标准化BatchNomalization函数以及Relu激活函数，最后1个反卷积层之后设置Tanh激活函数。判别器如图2（b）所示，包括6个卷积核大小为4×4的卷积层Conv，其中前5个卷积层之后均设置批标准化Batch Nomalization函数以及LeakyRelu激活函数，最后1个卷积层之后设置Sigmod激活函数，从而提高了对图像的处理效率。当然，所述生成器和所述判别器的结构也可以根据实际需求进行调整，在此不再进行赘述。
步骤2、获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本；
可选的，所述对抗裂缝图像样本的尺寸为128×128。
进一步的，如图3所示，步骤2所述的，获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本，包括：
步骤2.1、初始化所述生成器和所述判别器的参数；
具体实施时，在构建所述生成器和所述判别器后，可以先将所述生成器和所述判别器的参数进行初始化。
步骤2.2、随机生成n个大小为100维的噪声，将全部所述噪声输入至所述生成器中，输出n个随机裂缝图像样本；
例如，随机生成12个大小为100维的噪声z，然后将全部所述噪声输入至所述生成器G中，输出12个所述随机裂缝图像样本G(z)。
步骤2.3、抽取n个所述真实裂缝图像样本与n个所述随机裂缝图像样本输入所述判别器中，输出图像真伪判别的概率P，并计算所述判别器的损失函数值和所述生成器的损失函数值；
可选的，所述判别器的损失函数值的计算公式为
Figure 690629DEST_PATH_IMAGE026
，所述生成器的损失函数值的计算公式为
Figure 942619DEST_PATH_IMAGE027
，其中，
Figure 156956DEST_PATH_IMAGE028
为所述真实裂缝图像样本，
Figure 723067DEST_PATH_IMAGE009
为所述随机裂缝图像样本。
例如，从所述真实裂缝图像样本中抽取12个真实裂缝样本x，将其与步骤3.2中生成的随机裂缝图像样本一起输入至判别器D中，输出判别的概率P，并根据所述概率计算所述判别器的损失Loss_D和所述生成器的损失Loss_G。
步骤2.4、固定所述生成器的参数，误差反向传播，采用SGD优化算法对所述判别器的参数进行更新，使得所述判别器的损失函数值符合预设标准，更新后将所述判别器的权重参数截断至区间[-a，a]；
例如，固定生成器参数，误差反向传播，采用SGD优化算法对判别器的参数进行更新，使得判别器的损失Loss_D尽可能小，更新后将判别器的权重参数截断至区间[-0.01，0.01]。
步骤2.5、重复步骤2.1~2.4共k次后，固定所述判别器的参数，重复步骤3.1~3.3共j次，之后再将所得误差反向传播，采用SGD优化算法对所述生成器的参数进行更新，使得所述生成器的损失函数值符合预设标准；
例如，重复步骤2.1~2.4共4次后，固定判别器参数，重复步骤3.1~3.3共2次，之后再将所得误差反向传播，采用SGD优化算法对生成器的参数进行更新，使得生成器的损失Loss_G尽可能小，以使得后续生成的图像质量更高且更贴近真实图像的特征分布。当然，所述预设标准也可以根据实际需求设定某个固定数值。
步骤2.6、循环重复步骤2.1~2.5，直至判别概率趋近于0.5，保存此时所述生成器的参数；
具体实施时，可以继续循环重复步骤2.1~2.5，直至判别概率P趋近于0.5，即判别器无法判断输入的图像样本是真实裂缝样本还是对抗裂缝样本时，并保存此时生成器的参数，以使得所述生成器生成的图像能与真实裂缝图像样本近似。
步骤2.7、利用训练后的生成器生成与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本。
例如，在保存所述生成器的参数后，则可以利用训练后的生成器生成与每张所述真实裂缝图像样本如图4（a）所示，分布相近的对抗裂缝图像样本，部分生成的对抗裂缝图像如图4（b）所示。
步骤3、将每张所述真实裂缝图像样本与其对应的对抗裂缝图像样本根据一比一比例混合，得到混合裂缝图像样本；
具体实施时，在得到所述对抗裂缝图像样本后，可以将所述真实裂缝图像样本和与其对应的对抗裂缝图像样本按照1:1的比例混合，得到所述混合裂缝图像样本。
步骤4、对全部所述混合裂缝图像样本进行标注，并将标注信息文件和混合裂缝图像样本作为训练集；
例如，可以采用标注软件例如LabelImg对所述混合裂缝图像样本进行标注，标注后所得信息文件类型为xml，然后将标注信息文件和混合裂缝图像样本作为训练集，所述训练集一共包含1000张裂缝图像和1000个对应的标注信息文件。
步骤5、采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型；
可选的，如图5所示，所述改进YOLOv4神经网络包括：
图像输入模块，用于对裂缝图像进行尺寸归一化；
EfficientNet主干特征提取网络，用于对裂缝图像进行特征提取，输出有效特征层；
特征加强模块，包括SPP模块和PANet模块，用于对主干特征网络提取的裂缝特征层进行加强，并输出加强特征层，其中，特征加强模块中的卷积层包括标准卷积和深度可分离卷积；
预测模块，依据加强特征层所包含信息进行判断预测，得到预测的结果。
具体实施时，所述EfficientNet主干特征提取网络模块中的核心MBConvBlock结构如图6所示，MBConvBlock包含1个大残差边和1个小残差边，用于避免网络出现过拟合以及梯度爆炸或消失的问题。特征层输入至MBConvBlock结构后，依次经过1次卷积升维操作、1次深度可分离卷积操作、1次全局平均池化操作、1次reshape操作、1次包含SE注意力机制模块的卷积操作和1次卷积降维操作之后输出为新的特征层。
同时，SPP模块中可以使用3个不同尺度的池化层，池化核大小分别是5×5、9×9、13×13，池化后通过尺度融合Concat操作把三个池化层的输出进行通道拼接。
在上述实施例的基础上，如图7所示，步骤5所述的，采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型，包括：
步骤5.1、在所述输入模块中对训练数据集进行预处理；
例如，将预处理后的裂缝数据被统一调整为416×416×3。
步骤5.2、将处理后的数据集输入至所述改进YOLOv4网络中的主干特征提取模块进行特征提取并得到三个尺寸分别为52×52、26×26、13×13的有效特征层；
然后将处理后的数据集输入至所述改进YOLOv4网络中的主干特征提取模块进行特征提取并得到三个尺寸分别为52×52、26×26、13×13的有效特征层。
步骤5.3、将所述有效特征层输入至所述改进YOLOv4神经网络中的特征加强模块进行特征加强并输出得到三个尺寸分别为52×52、26×26、13×13加强特征层；
在得到所述有效特征层后，可以将所述有效特征层输入至所述改进YOLOv4神经网络中的特征加强模块进行特征加强并输出得到三个尺寸分别为52×52、26×26、13×13加强特征层，当然，上述不同的特征层的尺寸都可以根据实际需要进行设定和调整，在此不一一列举。
步骤5.4、将所述加强特征层输入至所述改进YOLOv4网络中的预测模块，输出得到预测结果，并计算预测误差Loss_Y；
其中，步骤5.4中所述的预测误差Loss_Y由位置误差Lloc和置信误差Lconf组成，位置误差Lloc具体组成如下：
Figure 24735DEST_PATH_IMAGE029
其中，
Figure 949091DEST_PATH_IMAGE030
为预测框与真实框的中心点位置的欧式距离，c为能够同时完全包含预测框和真实框的最小封闭矩形区域的对角线距离，IoU为预测框和实际框的交集和并集的比值，v的计算公式如下：
Figure 336210DEST_PATH_IMAGE031
其中：
Figure 768328DEST_PATH_IMAGE032
为真实框的宽和高，w、h为预测框的宽和高；
置信误差Lconf具体组成如下：
Figure 658924DEST_PATH_IMAGE033
其中，N为类别数，
Figure 455979DEST_PATH_IMAGE034
误差权重参数，
Figure 127132DEST_PATH_IMAGE035
表示第i个网格的第j个预测框中包含物体，
Figure 989039DEST_PATH_IMAGE036
表示第i个网格的第j个预测框中不包含物体，
Figure 999721DEST_PATH_IMAGE018
为真实置信度，
Figure 29994DEST_PATH_IMAGE019
为预测置信度。
例如，所述预测模块的置信度阈值可以设置为0.5，在得到所述加强特征层后，将所述加强特征层输入所述改进YOLOv4网络中的预测模块，输出得到预测结果，并计算预测误差Loss_Y。
步骤5.5、误差反向传播，所述改进YOLOv4神经网络基于梯度下降法对自身结构参数进行调整；
得到所述预测误差后，可以进行所述误差反向传播，所述改进YOLOv4神经网络基于梯度下降法对自身结构参数进行调整。
步骤5.6、循环重复上述步骤5.1~5.5，直至预测误差趋于收敛，完成网络训练，并将收敛后的网络参数保存为所述裂缝识别模型。
具体实施时，考虑到一次调整可能不能得到精准的模型参数，可以循环重复上述步骤5.1~5.5，直至预测误差趋于收敛，完成网络训练，并将收敛后的网络参数保存为所述裂缝识别模型。
步骤6、将采集到的待检测裂缝图像输入所述裂缝识别模型，输出所述待检测裂缝图像中裂缝的识别信息。
例如，可以采集不同环境条件以及不同形状特征的裂缝图像作为所述待检测裂缝图像，然后将所述待检测裂缝图像输入所述裂缝识别模型，输出所述待检测裂缝图像中裂缝的识别信息如图8所示，所述裂缝识别模型针对不同环境条件以及不同形状特征的裂缝图像如图8（a）、图8（b）、图8（c）、图8（d）、图8（e）和图8（f）所示，都能高效精准地识别裂缝结构。
本实施例提供的基于深度学习的裂缝识别方法，通过构建深度卷积对抗网络实现了裂缝的自动化生成，解决了基于深度学习的裂缝识别方法中训练集数据样本不足的问题，并增加了数据集样本的多样性后输入改进YOLOv4神经网络训练得到裂缝识别模型对实时采集的待检测裂缝图像进行识别，提高了识别效率、精准度和适应性。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于深度学习的裂缝识别方法，其特征在于，包括：
步骤1、构建深度卷积对抗网络，其中，所述深度卷积对抗网络包括生成器和判别器；
步骤2、获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本；
步骤3、将每张所述真实裂缝图像样本与其对应的对抗裂缝图像样本根据一比一比例混合，得到混合裂缝图像样本；
步骤4、对全部所述混合裂缝图像样本进行标注，并将标注信息文件和混合裂缝图像样本作为训练集；
步骤5、采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型；
步骤6、将采集到的待检测裂缝图像输入所述裂缝识别模型，输出所述待检测裂缝图像中裂缝的识别信息。
2.根据权利要求1所述的方法，其特征在于,所述生成器和所述判别器的损失函数根据Wasserstein距离设计，其中，所述Wasserstein距离定义为
Figure DEST_PATH_IMAGE001
，
Figure 103313DEST_PATH_IMAGE002
为所述真实裂缝图像样本分布，
Figure DEST_PATH_IMAGE003
为所述对抗裂缝图像样本分布，x为所述真实裂缝图像样本，y为所述对抗裂缝图像样本，
Figure 807963DEST_PATH_IMAGE004
为联合分布
Figure DEST_PATH_IMAGE005
下所述真实裂缝图像样本与所述对抗裂缝图像样本之间距离的期望。
3.根据权利要求2所述的方法，其特征在于,所述生成器包括六个卷积核大小为4×4的反卷积层，其中，前五个所述反卷积层之后均设置批标准化Batch Nomalization函数和Relu激活函数，最后一个所述反卷积层之后设置Tanh激活函数。
4.根据权利要求3所述的方法，其特征在于,所述判别器包括六个卷积核大小为4×4的卷积层，其中前五个所述卷积层之后均设置批标准化Batch Nomalization函数以及LeakyRelu激活函数，最后一个所述卷积层之后设置Sigmod激活函数。
5.根据权利要求1所述的方法，其特征在于,所述对抗裂缝图像样本的尺寸为128×128。
6.根据权利要求4所述的方法，其特征在于,步骤2所述的，获取多张真实裂缝图像样本对所述深度卷积对抗网络进行训练，得到与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本，包括：
步骤2.1、初始化所述生成器和所述判别器的参数；
步骤2.2、随机生成n个大小为100维的噪声，将全部所述噪声输入至所述生成器中，输出n个随机裂缝图像样本；
步骤2.3、抽取n个所述真实裂缝图像样本与n个所述随机裂缝图像样本输入所述判别器中，输出图像真伪判别的概率P，并计算所述判别器的损失函数值和所述生成器的损失函数值；
步骤2.4、固定所述生成器的参数，误差反向传播，采用SGD优化算法对所述判别器的参数进行更新，使得所述判别器的损失函数值符合预设标准，更新后将所述判别器的权重参数截断至区间[-a，a]；
步骤2.5、重复步骤2.1~2.4共k次后，固定所述判别器的参数，重复步骤3.1~3.3共j次，之后再将所得误差反向传播，采用SGD优化算法对所述生成器的参数进行更新，使得所述生成器的损失函数值符合预设标准；
步骤2.6、循环重复步骤2.1~2.5，直至判别概率趋近于0.5，保存此时所述生成器的参数；
步骤2.7、利用训练后的生成器生成与每张所述真实裂缝图像样本分布相近的对抗裂缝图像样本。
7.根据权利要求6所述的方法，其特征在于,所述判别器的损失函数值的计算公式为
Figure 490749DEST_PATH_IMAGE006
，所述生成器的损失函数值的计算公式为
Figure DEST_PATH_IMAGE007
，其中，
Figure 902049DEST_PATH_IMAGE008
为所述真实裂缝图像样本，
Figure DEST_PATH_IMAGE009
为所述随机裂缝图像样本。
8.根据权利要求1所述的方法，其特征在于，所述改进YOLOv4神经网络包括：
图像输入模块，用于对裂缝图像进行尺寸归一化；
EfficientNet主干特征提取网络，用于对裂缝图像进行特征提取，输出有效特征层；
特征加强模块，包括SPP模块和PANet模块，用于对主干特征网络提取的裂缝特征层进行加强，并输出加强特征层，其中，特征加强模块中的卷积层包括标准卷积和深度可分离卷积；
预测模块，依据加强特征层所包含信息进行判断预测，得到预测的结果。
9.根据权利要求8所述的方法，其特征在于，步骤5所述的，采用所述训练集对改进YOLOv4神经网络进行训练直至网络收敛，并将收敛后的网络参数保存为裂缝识别模型，包括：
步骤5.1、在所述输入模块中对训练数据集进行预处理；
步骤5.2、将处理后的数据集输入至所述改进YOLOv4网络中的主干特征提取模块进行特征提取并得到三个尺寸分别为52×52、26×26、13×13的有效特征层；
步骤5.3、将所述有效特征层输入至所述改进YOLOv4神经网络中的特征加强模块进行特征加强并输出得到三个尺寸分别为52×52、26×26、13×13加强特征层；
步骤5.4、将所述加强特征层输入至所述改进YOLOv4网络中的预测模块，输出得到预测结果，并计算预测误差Loss_Y；
步骤5.5、误差反向传播，所述改进YOLOv4神经网络基于梯度下降法对自身结构参数进行调整；
步骤5.6、循环重复上述步骤5.1~5.5，直至预测误差趋于收敛，完成网络训练，并将收敛后的网络参数保存为所述裂缝识别模型；
其中，步骤5.4中所述的预测误差Loss_Y由位置误差Lloc和置信误差Lconf组成，位置误差Lloc具体组成如下：
Figure 794918DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为预测框与真实框的中心点位置的欧式距离，c为能够同时完全包含预测框和真实框的最小封闭矩形区域的对角线距离，IoU为预测框和实际框的交集和并集的比值，v的计算公式如下：
Figure 178626DEST_PATH_IMAGE012
其中：
Figure DEST_PATH_IMAGE013
为真实框的宽和高，w、h为预测框的宽和高；
置信误差Lconf具体组成如下：
Figure 965186DEST_PATH_IMAGE014
其中，N为类别数，
Figure DEST_PATH_IMAGE015
误差权重参数，
Figure 776147DEST_PATH_IMAGE016
表示第i个网格的第j个预测框中包含物体，
Figure DEST_PATH_IMAGE017
表示第i个网格的第j个预测框中不包含物体，
Figure 156313DEST_PATH_IMAGE018
为真实置信度，
Figure DEST_PATH_IMAGE019
为预测置信度。
CN202111381628.7A 2021-11-22 2021-11-22 一种基于深度学习的裂缝识别方法 Pending CN113822880A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111381628.7A CN113822880A (zh) 2021-11-22 2021-11-22 一种基于深度学习的裂缝识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111381628.7A CN113822880A (zh) 2021-11-22 2021-11-22 一种基于深度学习的裂缝识别方法

Publications (1)

Publication Number Publication Date
CN113822880A true CN113822880A (zh) 2021-12-21

Family

ID=78919292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111381628.7A Pending CN113822880A (zh) 2021-11-22 2021-11-22 一种基于深度学习的裂缝识别方法

Country Status (1)

Country Link
CN (1) CN113822880A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648532A (zh) * 2022-05-23 2022-06-21 河南银金达新材料股份有限公司 一种基于光学识别的聚酯膜力学性能检测装置
CN114913423A (zh) * 2022-05-25 2022-08-16 中国电建集团成都勘测设计研究院有限公司 一种围岩裂隙信息的模型训练方法及提取方法
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN115330740A (zh) * 2022-08-22 2022-11-11 河海大学 一种基于mdcn的轻量化裂缝识别方法
CN116309447A (zh) * 2023-03-17 2023-06-23 水利部交通运输部国家能源局南京水利科学研究院 一种基于深度学习的水坝斜坡裂缝检测方法
CN116596934A (zh) * 2023-07-18 2023-08-15 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端
CN117274817A (zh) * 2023-11-15 2023-12-22 深圳大学 裂缝自动化识别方法、装置、终端设备及存储介质
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117876383A (zh) * 2024-03-13 2024-04-12 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法
CN117876383B (zh) * 2024-03-13 2024-06-07 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN112862792A (zh) * 2021-02-21 2021-05-28 北京工业大学 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403197A (zh) * 2017-07-31 2017-11-28 武汉大学 一种基于深度学习的裂缝识别方法
CN109345507A (zh) * 2018-08-24 2019-02-15 河海大学 一种基于迁移学习的大坝图像裂缝检测方法
CN111861906A (zh) * 2020-06-22 2020-10-30 长安大学 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN112767357A (zh) * 2021-01-20 2021-05-07 沈阳建筑大学 一种基于Yolov4的混凝土结构病害检测方法
CN112862792A (zh) * 2021-02-21 2021-05-28 北京工业大学 一种用于小样本图像数据集的小麦白粉病孢子分割方法
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周宇杰等: ""基于改进YOLOv4的输送带损伤检测方法"", 《工矿自动化》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648532A (zh) * 2022-05-23 2022-06-21 河南银金达新材料股份有限公司 一种基于光学识别的聚酯膜力学性能检测装置
CN114913423A (zh) * 2022-05-25 2022-08-16 中国电建集团成都勘测设计研究院有限公司 一种围岩裂隙信息的模型训练方法及提取方法
CN115330740A (zh) * 2022-08-22 2022-11-11 河海大学 一种基于mdcn的轻量化裂缝识别方法
CN115330740B (zh) * 2022-08-22 2023-08-08 河海大学 一种基于mdcn的轻量化裂缝识别方法
CN115240036A (zh) * 2022-09-22 2022-10-25 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN115240036B (zh) * 2022-09-22 2023-02-03 武汉珈鹰智能科技有限公司 一种裂缝图像识别网络的训练方法、应用方法及存储介质
CN116309447A (zh) * 2023-03-17 2023-06-23 水利部交通运输部国家能源局南京水利科学研究院 一种基于深度学习的水坝斜坡裂缝检测方法
CN116309447B (zh) * 2023-03-17 2024-01-05 水利部交通运输部国家能源局南京水利科学研究院 一种基于深度学习的水坝斜坡裂缝检测方法
CN116596934B (zh) * 2023-07-18 2023-09-26 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端
CN116596934A (zh) * 2023-07-18 2023-08-15 华东交通大学 接地网腐蚀检测方法、系统、存储介质及移动终端
CN117274817A (zh) * 2023-11-15 2023-12-22 深圳大学 裂缝自动化识别方法、装置、终端设备及存储介质
CN117274817B (zh) * 2023-11-15 2024-03-12 深圳大学 裂缝自动化识别方法、装置、终端设备及存储介质
CN117745786A (zh) * 2024-02-20 2024-03-22 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117745786B (zh) * 2024-02-20 2024-05-14 中路高科交通检测检验认证有限公司 基于三维点云数据的道路裂缝深度检测装置及检测方法
CN117876383A (zh) * 2024-03-13 2024-04-12 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法
CN117876383B (zh) * 2024-03-13 2024-06-07 西南林业大学 一种基于yolov5l的公路表面条状裂缝检测方法

Similar Documents

Publication Publication Date Title
CN113822880A (zh) 一种基于深度学习的裂缝识别方法
CN112330591B (zh) 少样本学习的钢轨表面缺陷检测方法及装置
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN115953666B (zh) 一种基于改进Mask-RCNN的变电站现场进度识别方法
CN113642486A (zh) 一种具有机载前端识别模型的无人机配网巡检方法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN115170988A (zh) 基于深度学习的电网线路故障识别方法及系统
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN117237325A (zh) 一种基于深度网络的工业缺陷检测方法
CN117274212A (zh) 一种桥梁水下结构裂缝检测方法
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN115761613B (zh) 一种基于卷积网络的隧道裂缝自动检测方法
CN109543571B (zh) 一种面向复杂产品异形加工特征的智能识别与检索方法
CN110889418A (zh) 一种气体轮廓识别方法
CN116030056A (zh) 一种钢表面裂缝的检测方法及系统
CN110555384A (zh) 基于图像数据的牛肉大理石纹自动分级系统及方法
CN115082650A (zh) 一种基于卷积神经网络的管道缺陷自动标注工具的实现方法
CN115223157A (zh) 一种基于循环神经网络的电网设备铭牌光学字符识别方法
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质
CN117893934B (zh) 一种改进的UNet3+网络无人机影像铁路轨道线检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination