CN115240036A - 一种裂缝图像识别网络的训练方法、应用方法及存储介质 - Google Patents

一种裂缝图像识别网络的训练方法、应用方法及存储介质 Download PDF

Info

Publication number
CN115240036A
CN115240036A CN202211158248.1A CN202211158248A CN115240036A CN 115240036 A CN115240036 A CN 115240036A CN 202211158248 A CN202211158248 A CN 202211158248A CN 115240036 A CN115240036 A CN 115240036A
Authority
CN
China
Prior art keywords
image
crack
training
recognition network
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211158248.1A
Other languages
English (en)
Other versions
CN115240036B (zh
Inventor
李明鹏
高鉴
朱大鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jiaying Intelligent Technology Co ltd
Original Assignee
Wuhan Jiaying Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jiaying Intelligent Technology Co ltd filed Critical Wuhan Jiaying Intelligent Technology Co ltd
Priority to CN202211158248.1A priority Critical patent/CN115240036B/zh
Publication of CN115240036A publication Critical patent/CN115240036A/zh
Application granted granted Critical
Publication of CN115240036B publication Critical patent/CN115240036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种裂缝图像识别网络的训练方法、应用方法及存储介质，方法包括：获取图像训练样本集；将所述图像训练样本集输入至裂缝图像识别网络，确定所述图像训练样本集对应的图像预测集，其中，所述裂缝图像识别网络包括图像投影特征网络层，所述图像投影特征网络层用于提取图像的投影特征信息；根据所述图像训练样本集和所述图像预测集之间的误差，确定所述损失函数的值，根据所述损失函数的值调整所述裂缝图像识别网络的参数至满足收敛条件，确定训练完备的裂缝图像识别网络。本发明解决了现有技术中深度学习模型在裂缝检测中泛化能力低的技术问题。

Description

一种裂缝图像识别网络的训练方法、应用方法及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种裂缝图像识别网络的训练方法、应用方法及存储介质。
背景技术
在建筑、桥梁、道路和隧道等工程结构的建设中，混凝土作为用量占比最高的一种建筑材料起着至关重要的作用。混凝土结构在服役过程中，其表面无可避免的出现不同程度的病害，而裂缝作为混凝土结构的主要病害之一，严重影响结构的耐久性和承载能力，同时，裂缝也是渗漏、积水、剥落等其他危害的诱因；一旦发生事故将造成不可估计的人身安全问题和社会经济损失问题。因此，定期检查和有效的维护策略对于基础设施至关重要。
随着计算机理论与技术的进步，人工智能在各个研究领域取得重大突破。基于人工智能的深度学习方法能有效的对自然场景下混凝土表观裂缝图片进行分类识别和信息统计，不但克服了传统检测技术中的需要人工检测的不足，而且可以实现自动化的、精度较好的裂缝识别和检测。但是深度学习模型严重依赖于大量的高质量标注数据，在实际工程运用中，裂缝的检测易受环境因素干扰，此外，裂缝数据的内部结构远比标注信息更丰富，获取高质量的标注数据既费时耗力，成本巨大，而且在标注数据不足时，深度学习模型由于过拟合问题而泛化表现能力低。因此，如何在有限的数据量下提高深度学习模型在裂缝检测领域中的泛化表征能力是一个重要问题。
发明内容
本发明的目的在于克服上述技术不足，提供一种裂缝图像识别网络的训练方法、应用方法及存储介质，解决现有技术中深度学习模型在裂缝检测中泛化能力低的技术问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种裂缝图像识别网络的训练方法，包括如下步骤：
获取图像训练样本集；
将所述图像训练样本集输入至裂缝图像识别网络，确定所述图像训练样本集对应的图像预测集，其中，所述裂缝图像识别网络包括图像投影特征网络层，所述图像投影特征网络层用于提取图像的投影特征信息；
根据所述图像训练样本集和所述图像预测集之间的误差，确定所述损失函数的值，根据所述损失函数的值调整所述裂缝图像识别网络的参数至满足收敛条件，确定训练完备的裂缝图像识别网络。
在一些实施例中，所述获取图像训练样本集之后，还包括对图像训练样本集进行预处理：
对所述图像训练样本集中每个样本图像进行增广处理，得到处理后的样本数据，并判断每个样本图像是否包括标注信息；
若所述每个样本图像均无标注信息，定义第一正例图像和第一负例图像；
若所述样本图像具有标注信息，获取所述标注信息中的每个样本图像的实际裂缝分类标签，并定义具有标签的样本图像为第二正例图像、以及不具有标签的样本图像为第二负例图像。
在一些实施例中，所述裂缝图像识别网络包括目标编码器和对比编码器，所述目标编码器用于处理所述样本图像，所述对比编码器用于处理所述第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像；
所述目标编码器包括依次连接的目标输入层、第一目标卷积层、第二目标卷积层和第三目标卷积层；
所述对比编码器包括依次连接的对比输入层、第一对比卷积层、第二对比卷积层和第三对比卷积层。
在一些实施例中，所述目标编码器和对比编码器对样本图像的处理以及对第一正例样本图像和/或第二正例图像和第一负例图像和/或第二负例图像的处理通过如下公式表示：
Figure 311643DEST_PATH_IMAGE001
其中，
Figure 544041DEST_PATH_IMAGE002
为处理图像样本的编码函数，
Figure 846846DEST_PATH_IMAGE003
为处理第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像的编码函数，
Figure 63064DEST_PATH_IMAGE004
表示第一正例图像和/或第二正例图像，
Figure 679990DEST_PATH_IMAGE005
表示第一负例图像和/或第二负例图像，
Figure 32474DEST_PATH_IMAGE006
与
Figure 506181DEST_PATH_IMAGE007
分别表示
Figure 944115DEST_PATH_IMAGE008
与
Figure 364733DEST_PATH_IMAGE009
的参数，
Figure 571723DEST_PATH_IMAGE011
表示图像样本的初阶编码特征，
Figure 481910DEST_PATH_IMAGE012
表示第一正例图像和/或第二正例图像的初阶编码特征，
Figure 407141DEST_PATH_IMAGE013
表示第一负例图像和/或第二负例图像的初阶编码特征。
在一些实施例中，所述图像投影特征网络层包括依次连接的第一全连接层、第一ReLU激活层、第一归一化层、第二全连接层、第二ReLU激活层、第二归一化层和第三全连接层。
在一些实施例中，所述图像投影特征网络层通过如下公式表示：
Figure 365870DEST_PATH_IMAGE014
其中，
Figure 692946DEST_PATH_IMAGE015
表示
Figure 774034DEST_PATH_IMAGE016
的投影层，
Figure 920982DEST_PATH_IMAGE017
表示
Figure 683401DEST_PATH_IMAGE018
的投影层，z表示图像样本的初阶编码特征，
Figure 864984DEST_PATH_IMAGE019
表示第一正例图像和/或第二正例图像的初阶编码特征，
Figure 116974DEST_PATH_IMAGE020
表示第一负例图像和/或第二负例图像的初阶编码特征，
Figure 16797DEST_PATH_IMAGE021
与
Figure 317328DEST_PATH_IMAGE022
分别表示
Figure 353417DEST_PATH_IMAGE023
与
Figure 776308DEST_PATH_IMAGE024
的参数，
Figure 897848DEST_PATH_IMAGE025
表示图像样本的投影特征、
Figure 267649DEST_PATH_IMAGE026
表示第一正例图像和/或第二正例图像的投影特征、
Figure 158245DEST_PATH_IMAGE027
表示第一负例图像和/或第二负例图像的投影特征。
在一些实施例中，所述裂缝图像识别网络还包括全局信息网络层，所述全局信息网络层用于提取裂缝数据的全局信息，所述全局信息网络层通过如下公式表示：
Figure 955300DEST_PATH_IMAGE028
其中，m为全局信息表征系数，
Figure 360873DEST_PATH_IMAGE029
与
Figure 268786DEST_PATH_IMAGE030
分别表示
Figure 13889DEST_PATH_IMAGE031
与
Figure 981845DEST_PATH_IMAGE032
的参数。
在一些实施例中，所述损失函数通过如下公式表示：
Figure 874714DEST_PATH_IMAGE033
其中，
Figure 586318DEST_PATH_IMAGE034
为温度系数，K为样本数量，
Figure 451506DEST_PATH_IMAGE035
表示余弦相似函数。
第二方面，本发明还提供了一种裂缝图像识别网络应用方法，包括：
获取待检测裂缝图像；
将所述待检测裂缝图像输入至训练完备的裂缝图像识别网络，确定预测裂缝图像分类标签，其中，所述训练完备的裂缝图像识别网络根据所述的裂缝图像识别网络训练方法确定；
根据所述预测裂缝图像分类标签，确定裂缝损伤图。
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的裂缝图像识别网络训练方法中，和/或如上述所述的裂缝图像识别网络应用方法的步骤。
与现有技术相比，本发明提供的裂缝图像识别网络训练方法、应用方法及存储介质，在裂缝图像识别网络训练方法中，首先利用裂缝图像和正常图像构建图像训练样本集，对图像训练样本集进行有效的获取；利用图像训练样本集预测图像预测集，然后，基于裂缝图像识别网络，利用图像投影特征网络层，将裂缝的图像特征投影到高层次的空间，有效的在更高层次的空间中学习不同裂缝的相似之处以及裂缝与背景之间的差异性表达；最后，根据损失函数，对于整个网络进行训练，得到训练完备的裂缝图像识别网络，后续利用该裂缝图像识别网络，即可快速得到对裂缝图像的分割识别结果。在裂缝图像识别网络应用方法中，首先对待测裂缝图像进行有效的获取；然后，利用上述训练完备的裂缝图像识别网络对待测裂缝图像进行有效的识别，对其每个像素进行分别识别，即可输出对应的裂缝分割图。综上，本发明通过引入图像投影特征网络层，将裂缝图像的特征引入至更高层次的空间，在更高层次的空间对裂缝进行学习，减少了模型输入集对标注数据的依赖，提高了模型的泛化能力，实现网络轻量化，得到快速、准确对裂缝图像进行识别的目的。
附图说明
图1是本发明提供的裂缝图像识别网络的训练方法一实施例的流程图；
图2是本发明提供的裂缝图像识别网络的训练方法中，图像训练样本集预处理的一实施例的流程图；
图3是本发明提供的裂缝图像识别网络的训练方法中，裂缝图像识别网络一实施例的示意图；
图4是本发明提供的裂缝图像识别网络的应用方法一实施例的示意图；
图5是本发明提供的电子设备一实施例的运行环境示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明所涉及的裂缝图像识别网络的训练方法、应用方法和计算机可读存储介质，可用于轨道焊缝图像的识别、建筑物焊缝图像的识别以及管道焊缝的识别等工程应用中。裂缝反映了结构受力状态与安全性、耐久性。结构受恒活荷载、温度效应、疲劳、基础不均匀沉降、地震等作用可能开裂，开裂是结构细观层面受力状态的宏观体现。混凝土结构开裂会导致保护层对内部钢筋的保护失效，引起钢筋锈胀、诱发更多开裂并降低结构耐久性；钢结构开裂会严重威胁结构的安全性。受力裂缝威胁结构安全，快速发展的受力裂缝往往是结构失效、倒塌的先兆。因此，裂缝是结构损伤的表现，是耐久性不足的预警，是结构破坏的先兆。缝是结构现场安全性检测监测以及模型试验研究的重要指标。在工业、民用建构筑物的检测鉴定中，裂缝损伤属于可靠性鉴定的主要指标；在桥梁隧道等基础设施与核电安全壳等工程结构的安全性评估中，裂缝是定期检查或常规检查的重要指标；在实验室结构受力性能试验中，裂缝是模型加载过程量测的关键指标；在工程事故调查中，裂缝是分析事故原因的重要依据。对于关键受力裂缝，进行裂缝的定量识别、定期检测或长期监测，可以揭示结构受力机理、评估结构安全性或推断结构剩余刚度。
本实施例提供了一种裂缝图像识别网络的训练方法，请参阅图1，裂缝图像识别网络的训练方法包括：
S101、获取图像训练样本集；
S102、将所述图像训练样本集输入至裂缝图像识别网络，确定所述图像训练样本集对应的图像预测集，其中，所述裂缝图像识别网络包括图像投影特征网络层，所述图像投影特征网络层用于提取图像的投影特征信息；
S103、根据所述图像训练样本集和所述图像预测集之间的误差，确定所述损失函数的值，根据所述损失函数的值调整所述裂缝图像识别网络的参数至满足收敛条件，确定训练完备的裂缝图像识别网络。
在本实施例中，在裂缝图像识别网络训练方法，首先利用裂缝图像和正常图像构建图像训练样本集，对图像训练样本集进行有效的获取；利用图像训练样本集预测图像预测集，然后，基于裂缝图像识别网络，利用图像投影特征网络层，将裂缝的图像特征投影到高层次的空间，有效的在更高层次的空间中学习不同裂缝的相似之处以及裂缝与背景之间的差异性表达；最后，根据损失函数，对于整个网络进行训练，得到训练完备的裂缝图像识别网络，后续利用该裂缝图像识别网络，即可快速得到对裂缝图像的分割识别结果。
作为优选实施例，请参阅图2，所述获取图像训练样本集之后，还包括对图像训练样本集进行预处理：
S201、对所述图像训练样本集中每个样本图像进行增广处理，得到处理后的样本数据，并判断每个样本图像是否包括标注信息；
S202、若所述每个样本图像均无标注信息，定义第一正例图像和第一负例图像；
S203、若所述样本图像具有标注信息，其中，所述标注信息包括每个样本图像的实际裂缝分类标签，获取标签，并定义具有标签的样本图像为第二正例图像、以及不具有标签的样本图像为第二负例图像。
在本发明实施例中，在利用深度学习对裂缝图像进行识别分类时，需要提取裂缝图像的高层语义特征，其中高层语义特征为经过若干次卷积（特征提取）后得到的特征信息，它的感受野较大，提取的特征越来越抽象，有利于对物体的分类，属于抽象的特征；通过采用正例图像特征和负例图像特征，能够对裂缝图像数据的高层特征空间施加明确约束，使得裂缝类别在高维特征空间中更加聚集，并且远离非裂缝类别；具体的，本实施例提供了以下两种正负例图像的定义方式：
若图像训练样本集数据无标注，首先对裂缝样本图像x进行数据增广处理，其中数据增广主要包括颜色变换和几何变换，具体的，颜色变换包括高斯噪声、高斯模糊、颜色失真，几何变换包括裁剪、旋转、翻转，规定裂缝样本图像x不同变换形式后的数据为第一正例图像，记作
Figure 590363DEST_PATH_IMAGE036
，它们与x具有相同的语义，规定第一负例图像为除x以外的其它裂缝样本图像及其增广数据，记作
Figure 704950DEST_PATH_IMAGE037
；
若图像训练样本集数据有标注，则获取训练样本图像的标签，随后对样本图像x进行数据增广处理，将数据中除x之外所有的具备标签y的图像定义为第二正例图像，记作
Figure 220245DEST_PATH_IMAGE036
，将属于其它类别的图像定义为第二负例图像，记作
Figure 939939DEST_PATH_IMAGE037
。
采用上述方法能够在不考虑图像细节的情况下，充分考虑高级语义信息，学习更加泛化的特征。
在一些优选实施例中，请参阅图3，所述裂缝图像识别网络包括目标编码器和对比编码器，所述目标编码器用于处理所述样本图像，所述对比编码器用于处理所述第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像；
S301、所述目标编码器包括依次连接的目标输入层、第一目标卷积层、第二目标卷积层和第三目标卷积层；
S302、所述对比编码器包括依次连接的对比输入层、第一对比卷积层、第二对比卷积层和第三对比卷积层。
在本实施例中，为了分别处理源样本图像x及其正负例图像，采用的训练框架遵循双路径模式，对应地，本发明实施例设计了两种编码器，分别为目标编码器
Figure 249698DEST_PATH_IMAGE038
和对比编码器
Figure 851580DEST_PATH_IMAGE039
，具体的，目标编码器上的
Figure 904987DEST_PATH_IMAGE038
用来处理源样本图像x，对比编码器上的
Figure 479188DEST_PATH_IMAGE039
用来处理第一正例图像和/或第二正例图像
Figure 959848DEST_PATH_IMAGE036
与第一负例图像和/或第二负例样本图像
Figure 314606DEST_PATH_IMAGE040
，需要说明的是，两条路径上的网络遵循相同的结构，由于该发明属于一种表征学习方法，故不限定具体的网络结构，于本实施例中，以ResNet50网络为例进行说明：
将ResNet50除去全连接层的剩下部分作为编码器，ResNet50由若干个Bottleneck堆叠而成，其目的是将传统的直接拟合映射的方式转换为残差拟合，具体的，首先通过第一目标卷积层和/或第一对比卷积层减少通道数，使得第二目标卷积层和/或第二对比卷积层的通道数减少为1/4，第二目标卷积层和/或第二对比卷积层做完卷积后输出通道数等于输入通道数，随后第三目标卷积层和/或第三对比卷积层用于增加（恢复）通道数，使得Bottleneck的输出通道数等于Bottleneck的输入通道数；需要说明的是，通过第一目标卷积层和/或第一对比卷积层有效地减少了卷积的参数个数和计算量，最后将Bottleneck的输出与输入作加和处理，作为下一卷积层的输入，下一卷积层的输入为：
Figure 906124DEST_PATH_IMAGE041
，其中，
Figure 600411DEST_PATH_IMAGE042
为Bottleneck的输出，x为Bottleneck的输入。
需要说明的是，训练过程中，输入x将以线上的形式产生
Figure 251972DEST_PATH_IMAGE043
与
Figure 828447DEST_PATH_IMAGE044
，它们将分为两条路径由ResNet50为基础的编码器进行映射；具体地，x经过
Figure 223656DEST_PATH_IMAGE045
得到输出特征z，
Figure 772449DEST_PATH_IMAGE043
与
Figure 594911DEST_PATH_IMAGE044
经过
Figure 658682DEST_PATH_IMAGE039
得到输出特征
Figure 857583DEST_PATH_IMAGE046
与
Figure 260882DEST_PATH_IMAGE047
；
Figure 254246DEST_PATH_IMAGE048
其中，
Figure 8575DEST_PATH_IMAGE045
为处理图像样本的编码函数，
Figure 807904DEST_PATH_IMAGE039
为处理第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像的编码函数，
Figure 331289DEST_PATH_IMAGE043
表示第一正例图像和/或第二正例图像，
Figure 229975DEST_PATH_IMAGE044
表示第一负例图像和/或第二负例图像，
Figure 471601DEST_PATH_IMAGE049
与
Figure 820760DEST_PATH_IMAGE050
分别表示
Figure 198651DEST_PATH_IMAGE045
与
Figure 533818DEST_PATH_IMAGE039
的参数，z表示图像样本的初阶编码特征，
Figure 793898DEST_PATH_IMAGE046
表示第一正例图像和/或第二正例图像的初阶编码特征，
Figure 138292DEST_PATH_IMAGE047
表示第一负例图像和/或第二负例图像的初阶编码特征。
作为优选实施例，所述图像投影特征网络层包括第一全连接层、第一ReLU激活层、第一归一化层、第二全连接层、第二ReLU激活层、第二归一化层和第三全连接层。
在本实施例中，第一全连接层和第二全连接层是利用网络结构中前一层的所有神经元做一次线性变换，接着使用第一ReLU激活层和第二ReLU激活层做一次非线性激活，随后利用第一归一化层和第一归一化层将激活后的值进行归一化处理，以防止梯度消失，整个过程是实现一次非线性变换的过程，将初阶特征投影到更深的层次中。
在一些实施例中，所述述图像投影特征网络层通过如下公式表示：
Figure 370690DEST_PATH_IMAGE051
其中，
Figure 876758DEST_PATH_IMAGE052
表示
Figure 827396DEST_PATH_IMAGE053
的投影层，
Figure 506639DEST_PATH_IMAGE054
表示
Figure 859123DEST_PATH_IMAGE055
的投影层，z表示图像样本的初阶编码特征，
Figure 536092DEST_PATH_IMAGE046
表示第一正例样本图像和/或第二正例图像的初阶编码特征，
Figure 770764DEST_PATH_IMAGE047
表示第一负例图像和/或第二负例图像的初阶编码特征，
Figure 456960DEST_PATH_IMAGE049
与
Figure 398372DEST_PATH_IMAGE050
分别表示
Figure 308559DEST_PATH_IMAGE053
与
Figure 968210DEST_PATH_IMAGE055
的参数，
Figure 192518DEST_PATH_IMAGE056
表示图像样本的投影特征、
Figure 316332DEST_PATH_IMAGE057
表示第一正例图像和/或第二正例图像的投影特征、
Figure 335104DEST_PATH_IMAGE058
表示第一负例图像和/或第二负例图像的投影特征。
在一些实施例中，所述裂缝图像识别网络还包括全局信息网络层，所述全局信息网络层用于提取裂缝数据的全局信息，所述全局信息网络层通过如下公式表示：
Figure 482051DEST_PATH_IMAGE059
其中，m为全局信息表征系数，
Figure 306788DEST_PATH_IMAGE049
与
Figure 488370DEST_PATH_IMAGE050
分别表示
Figure 678043DEST_PATH_IMAGE053
与
Figure 312287DEST_PATH_IMAGE055
的参数。
在本实施例中，构建基于队列的字典存储图像投影特征向量，更好地对基础、连续的高维视觉空间采样，具体的，首先利用基于队列的动态字典来存储样本，每编码一个批次样本后将编码存储入队列，同时将最早存入队列的编码推出队列，正负例分别存储于不同的队列，并根据参考编码器
Figure 409556DEST_PATH_IMAGE053
的输入样本的类别，与对应的队列计算特征相似度。例如，输入
Figure 507962DEST_PATH_IMAGE055
的图像为第一正例图像和/或第二正例图像，则提取样本特征后，将源样本图像与第一正例图像和/或第二正例图像队列对比，计算特征相似度，以实现字典大小与批大小的解耦，极大增加对比样本数量并保证字典存储更多编码特征；需要说明的是，由于使用了队列表示，增加了模型
Figure 134115DEST_PATH_IMAGE055
中的参数在反向传播过程中的更新难度，因此采用动量更新方法借助
Figure 990076DEST_PATH_IMAGE053
的参数
Figure 359877DEST_PATH_IMAGE049
来优化
Figure 312790DEST_PATH_IMAGE055
的参数
Figure 844265DEST_PATH_IMAGE050
，忽略训练过程中
Figure 453101DEST_PATH_IMAGE055
的梯度。优化过程如下所示：
Figure 157752DEST_PATH_IMAGE060
需要说明的是，由于将每一轮次的特征向量都存储在字典中是不现实的，因此本发明采用基于低熵原则的下采样方法降低特征空间的冗余度，理想状态下，模型预测应该是自信的，模型越自信，输出的预测概率的信息熵值则越低；因此本实施例筛选预测信息熵最低的图像特征加入字典，对于一个输入样本图像x，假设在模型SoftMax输出的概率分布为e，则预测信息熵为：
Figure 168433DEST_PATH_IMAGE061
式中，I表示e的纬度。
统计每个训练轮次中源样本图像的正负例的预测信息熵，按从小到大的顺序进行排序，选取排名为前10%的作为最终目标汇入到字典中。
在一些实施例中，所述损失函数通过如下公式表示：
Figure 870810DEST_PATH_IMAGE062
其中，
Figure 763680DEST_PATH_IMAGE063
为温度系数，K为样本数量，
Figure 475284DEST_PATH_IMAGE064
表示余弦相似函数。
在本实施例中，
Figure 74892DEST_PATH_IMAGE065
的第一项约束正例特征和负例特征尽可能分离，模型将优化参数使其最大化，
Figure 213750DEST_PATH_IMAGE065
的第二项使正例之间的特征表示尽可能接近，模型将优化参数使其最小化，
Figure 593916DEST_PATH_IMAGE064
表示余弦相似函数，如下所示：
Figure 109210DEST_PATH_IMAGE066
若在裂缝数据对比学习过程中加入了标注信息。对于任意样本对，
Figure 563326DEST_PATH_IMAGE053
和
Figure 669822DEST_PATH_IMAGE055
将分别给出估计的条件概率
Figure 740546DEST_PATH_IMAGE067
和
Figure 528373DEST_PATH_IMAGE068
，其中
Figure 164891DEST_PATH_IMAGE049
和
Figure 645551DEST_PATH_IMAGE069
分别表示模型
Figure 937992DEST_PATH_IMAGE053
和
Figure 529510DEST_PATH_IMAGE070
的参数。期望对正例
Figure 754955DEST_PATH_IMAGE071
而言，
Figure 672096DEST_PATH_IMAGE072
和
Figure 248571DEST_PATH_IMAGE073
尽可能大，约束正对之间的距离变小。而对于任何负例
Figure 378201DEST_PATH_IMAGE074
而言则相反。此外，希望
Figure 192573DEST_PATH_IMAGE075
尽可能接近
Figure 811773DEST_PATH_IMAGE076
。定义差异函数为:
Figure 78806DEST_PATH_IMAGE077
式中，
Figure 12127DEST_PATH_IMAGE078
为平衡系数。此时，优化目标函数可表示为
Figure 681006DEST_PATH_IMAGE079
基于对比学习的特征表示阶段的目标函数则可最终表示为：
Figure 471108DEST_PATH_IMAGE080
最后保存经过损失函数优化训练下的深度学习网络模型的参数，针对具体场景下的下游检测任务微调训练，执行端到端的映射。
本发明实施例还提供了一种裂缝图像识别网络应用方法，请参阅图4，包括：
S401、获取待检测裂缝图像；
S402、将所述待检测裂缝图像输入至训练完备的裂缝图像识别网络，确定预测裂缝图像分类标签，其中，所述训练完备的裂缝图像识别网络根据所述的裂缝图像识别网络训练方法确定；
S403、根据所述预测裂缝图像分类标签，确定裂缝损伤图。
在本发明实施例中，首先，对待测裂缝图像进行有效的获取；然后，利用上述训练完备的裂缝图像识别网络对待测裂缝图像进行有效的识别，对其每个像素进行分别识别，即可输出对应的裂缝分割图。
如图5所示，基于上述裂缝图像识别网络的训练方法，本发明还相应提供了一种电子设备，该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器510、存储器520及显示器530。图5仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器520在一些实施例中可以是该电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器520在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器520还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器520用于存储安装于电子设备的应用软件及各类数据，例如安装电子设备的程序代码等。存储器520还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器520上存储有裂缝图像识别网络的训练程序540，该裂缝图像识别网络的训练程序540可被处理器510所执行，从而实现本申请各实施例的裂缝图像识别网络的训练方法。
处理器510在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行存储器520中存储的程序代码或处理数据，例如执行裂缝图像识别网络的训练方法等。
显示器530在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器530用于显示在所述裂缝图像识别网络的训练设备的信息以及用于显示可视化的用户界面。电子设备的部件510-530通过系统总线相互通信。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种裂缝图像识别网络的训练方法，其特征在于，包括：
获取图像训练样本集；
将所述图像训练样本集输入至裂缝图像识别网络，确定所述图像训练样本集对应的图像预测集，其中，所述裂缝图像识别网络包括图像投影特征网络层，所述图像投影特征网络层用于提取图像的投影特征信息；
根据所述图像训练样本集和所述图像预测集之间的误差，确定所述损失函数的值，根据所述损失函数的值调整所述裂缝图像识别网络的参数至满足收敛条件，确定训练完备的裂缝图像识别网络。
2.根据权利要求1所述的裂缝图像识别网络的训练方法，其特征在于，所述获取图像训练样本集之后，还包括对图像训练样本集进行预处理：
对所述图像训练样本集中每个样本图像进行增广处理，得到处理后的样本数据，并判断每个样本图像是否包括标注信息；
若所述每个样本图像均无标注信息，定义第一正例图像和第一负例图像；
若所述样本图像具有标注信息，获取所述标注信息中的每个样本图像的实际裂缝分类标签，并定义具有标签的样本图像为第二正例图像、以及不具有标签的样本图像为第二负例图像。
3.根据权利要求1所述的裂缝图像识别网络的训练方法，其特征在于，所述裂缝图像识别网络包括目标编码器和对比编码器，所述目标编码器用于处理所述样本图像，所述对比编码器用于处理所述第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像；
所述目标编码器包括依次连接的目标输入层、第一目标卷积层、第二目标卷积层和第三目标卷积层；
所述对比编码器包括依次连接的对比输入层、第一对比卷积层、第二对比卷积层和第三对比卷积层。
4.根据权利要求3所述的裂缝图像识别网络的训练方法，其特征在于，所述目标编码器和对比编码器对样本图像的处理以及对第一正例样本图像和/或第二正例图像和第一负例图像和/或第二负例图像的处理通过如下公式表示：
Figure 138962DEST_PATH_IMAGE001
其中，
Figure 319408DEST_PATH_IMAGE002
为处理图像样本的编码函数，
Figure 246912DEST_PATH_IMAGE003
为处理第一正例图像和/或第二正例图像、以及第一负例图像和/或第二负例图像的编码函数，
Figure 385770DEST_PATH_IMAGE004
表示第一正例图像和/或第二正例图像，
Figure 703619DEST_PATH_IMAGE005
表示第一负例图像和/或第二负例图像，
Figure 953334DEST_PATH_IMAGE006
与
Figure 735346DEST_PATH_IMAGE007
分别表示
Figure 45104DEST_PATH_IMAGE008
与
Figure 850249DEST_PATH_IMAGE009
的参数，z表示图像样本的初阶编码特征，
Figure 903656DEST_PATH_IMAGE010
表示第一正例图像和/或第二正例图像的初阶编码特征，
Figure 743436DEST_PATH_IMAGE011
表示第一负例图像和/或第二负例图像的初阶编码特征。
5.根据权利要求4所述的裂缝图像识别网络的训练方法，其特征在于，所述图像投影特征网络层包括依次连接的第一全连接层、第一ReLU激活层、第一归一化层、第二全连接层、第二ReLU激活层、第二归一化层和第三全连接层。
6.根据权利要求5所述的裂缝图像识别网络的训练方法，其特征在于，所述图像投影特征网络层通过如下公式表示：
Figure 20833DEST_PATH_IMAGE012
其中，
Figure 47695DEST_PATH_IMAGE013
表示
Figure 904793DEST_PATH_IMAGE014
的投影层，
Figure 395817DEST_PATH_IMAGE015
表示
Figure 47378DEST_PATH_IMAGE016
的投影层，z表示图像样本的初阶编码特征，
Figure 827115DEST_PATH_IMAGE017
表示第一正例图像和/或第二正例图像的初阶编码特征，
Figure 222325DEST_PATH_IMAGE018
表示第一负例图像和/或第二负例图像的初阶编码特征，
Figure 567855DEST_PATH_IMAGE019
与
Figure 655897DEST_PATH_IMAGE020
分别表示
Figure 657351DEST_PATH_IMAGE021
与
Figure 590672DEST_PATH_IMAGE022
的参数，
Figure 56288DEST_PATH_IMAGE023
表示图像样本的投影特征、
Figure 315231DEST_PATH_IMAGE024
表示第一正例图像和/或第二正例图像的投影特征、
Figure 538402DEST_PATH_IMAGE025
表示第一负例图像和/或第二负例图像的投影特征。
7.根据权利要求1所述的裂缝图像识别网络的训练方法，其特征在于，所述裂缝图像识别网络还包括全局信息网络层，所述全局信息网络层用于提取裂缝数据的全局信息，所述全局信息网络层通过如下公式表示：
Figure 540993DEST_PATH_IMAGE026
其中，m为全局信息表征系数，
Figure 861116DEST_PATH_IMAGE027
与
Figure 25381DEST_PATH_IMAGE028
分别表示
Figure 1428DEST_PATH_IMAGE029
与
Figure 542130DEST_PATH_IMAGE030
的参数。
8.根据权利要求1所述的裂缝图像识别网络的训练方法，其特征在于，所述损失函数通过如下公式表示：
Figure 716760DEST_PATH_IMAGE031
其中，
Figure 317505DEST_PATH_IMAGE032
为温度系数，K为样本数量，
Figure 780848DEST_PATH_IMAGE033
表示余弦相似函数。
9.一种裂缝图像识别网络应用方法，其特征在于，包括：
获取待检测裂缝图像；
将所述待检测裂缝图像输入至训练完备的裂缝图像识别网络，确定预测裂缝图像分类标签，其中，所述训练完备的裂缝图像识别网络根据权利要求1至8任一项所述的裂缝图像识别网络训练方法确定；
根据所述预测裂缝图像分类标签，确定裂缝损伤图。
10.一种计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1至8任一项所述的裂缝图像识别网络训练方法，和/或根据权利要求9所述的裂缝图像识别网络应用方法。
CN202211158248.1A 2022-09-22 2022-09-22 一种裂缝图像识别网络的训练方法、应用方法及存储介质 Active CN115240036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211158248.1A CN115240036B (zh) 2022-09-22 2022-09-22 一种裂缝图像识别网络的训练方法、应用方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211158248.1A CN115240036B (zh) 2022-09-22 2022-09-22 一种裂缝图像识别网络的训练方法、应用方法及存储介质

Publications (2)

Publication Number Publication Date
CN115240036A true CN115240036A (zh) 2022-10-25
CN115240036B CN115240036B (zh) 2023-02-03

Family

ID=83667179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211158248.1A Active CN115240036B (zh) 2022-09-22 2022-09-22 一种裂缝图像识别网络的训练方法、应用方法及存储介质

Country Status (1)

Country Link
CN (1) CN115240036B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496489A (zh) * 2021-09-06 2021-10-12 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN113947763A (zh) * 2021-10-20 2022-01-18 河海大学常州校区 一种基于模板自监督的路面箭头识别方法及装置
CN114511884A (zh) * 2022-01-29 2022-05-17 上海国民集团健康科技有限公司 基于对比学习的舌象清晰度识别方法、装置、设备和介质
CN114549891A (zh) * 2022-01-06 2022-05-27 中国人民解放军国防科技大学 一种基于对比自监督学习的地基云图云类识别方法
CN114548256A (zh) * 2022-02-18 2022-05-27 南通大学 一种基于对比学习的小样本珍稀鸟类识别方法
CN114565808A (zh) * 2022-04-27 2022-05-31 南京邮电大学 一种面向无监督视觉表示的双动量对比学习方法
CN114627441A (zh) * 2022-01-25 2022-06-14 武汉理工大学 非结构化道路识别网络训练方法、应用方法及存储介质
CN114724007A (zh) * 2022-03-31 2022-07-08 北京百度网讯科技有限公司 训练分类模型、数据分类方法、装置、设备、介质及产品
CN114882253A (zh) * 2022-06-08 2022-08-09 杭州电子科技大学 一种基于对比学习和自注意力机制的面料织法匹配方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319266A1 (en) * 2020-04-13 2021-10-14 Google Llc Systems and methods for contrastive learning of visual representations
CN113496489A (zh) * 2021-09-06 2021-10-12 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN113947763A (zh) * 2021-10-20 2022-01-18 河海大学常州校区 一种基于模板自监督的路面箭头识别方法及装置
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN114549891A (zh) * 2022-01-06 2022-05-27 中国人民解放军国防科技大学 一种基于对比自监督学习的地基云图云类识别方法
CN114627441A (zh) * 2022-01-25 2022-06-14 武汉理工大学 非结构化道路识别网络训练方法、应用方法及存储介质
CN114511884A (zh) * 2022-01-29 2022-05-17 上海国民集团健康科技有限公司 基于对比学习的舌象清晰度识别方法、装置、设备和介质
CN114548256A (zh) * 2022-02-18 2022-05-27 南通大学 一种基于对比学习的小样本珍稀鸟类识别方法
CN114724007A (zh) * 2022-03-31 2022-07-08 北京百度网讯科技有限公司 训练分类模型、数据分类方法、装置、设备、介质及产品
CN114565808A (zh) * 2022-04-27 2022-05-31 南京邮电大学 一种面向无监督视觉表示的双动量对比学习方法
CN114882253A (zh) * 2022-06-08 2022-08-09 杭州电子科技大学 一种基于对比学习和自注意力机制的面料织法匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JULIOSILVA-RODRÍGUEZ 等: "Supervised contrastive learning-guided prototypes on axle-box accelerations for railway crossing inspections", 《EXPERT SYSTEMS WITH APPLICATIONS》 *
LEI CAI 等: "Underwater Distortion Target Recognition Network (UDTRNet) via Enhanced Image Features", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 *
YIQIN WANG 等: "Contrastive Learning for solar cell micro-crack detection", 《SIXTH INTERNATIONAL WORKSHOP ON PATTERN RECOGNITION》 *

Also Published As

Publication number Publication date
CN115240036B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
Wang et al. A unified convolutional neural network integrated with conditional random field for pipe defect segmentation
Kim et al. Surface crack detection using deep learning with shallow CNN architecture for enhanced computation
Sajedi et al. Uncertainty‐assisted deep vision structural health monitoring
Ni et al. Pixel‐level crack delineation in images with convolutional feature fusion
Wang et al. Semi-supervised semantic segmentation network for surface crack detection
Zheng et al. Multistage semisupervised active learning framework for crack identification, segmentation, and measurement of bridges
Wu et al. Autonomous surface crack identification of concrete structures based on an improved one-stage object detection algorithm
Fan et al. Use of parallel ResNet for high-performance pavement crack detection and measurement
Li et al. Pixel-level bridge crack detection using a deep fusion about recurrent residual convolution and context encoder network
Bianchi et al. COCO-bridge: Structural detail data set for bridge inspections
Żarski et al. Finicky transfer learning—A method of pruning convolutional neural networks for cracks classification on edge devices
Zhang et al. Simultaneous pixel-level concrete defect detection and grouping using a fully convolutional model
Inam et al. Smart and automated infrastructure management: A deep learning approach for crack detection in bridge images
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
Mohammed et al. Exploring the detection accuracy of concrete cracks using various CNN models
Xiang et al. Semi-supervised learning framework for crack segmentation based on contrastive learning and cross pseudo supervision
Cao et al. Segmentation detection method for complex road cracks collected by UAV based on HC-Unet++
Hoang et al. Concrete spalling severity classification using image texture analysis and a novel jellyfish search optimized machine learning approach
Zheng et al. Sleeper defect detection based on improved YOLO V3 algorithm
Wang et al. Automatic classification of reinforced concrete bridge defects using the hybrid network
Zhang et al. MobileNetV3-BLS: A broad learning approach for automatic concrete surface crack detection
Mondal et al. Artificial intelligence in civil infrastructure health monitoring—Historical perspectives, current trends, and future visions
Liu et al. Two‐Stream Boundary‐Aware Neural Network for Concrete Crack Segmentation and Quantification
Ni et al. Toward high-precision crack detection in concrete bridges using deep learning
Xu et al. Investigation on the effect of data quality and quantity of concrete cracks on the performance of deep learning-based image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant