CN114663353A - 神经网络训练方法、焊接接头裂纹检测方法、装置和介质 - Google Patents

神经网络训练方法、焊接接头裂纹检测方法、装置和介质 Download PDF

Info

Publication number
CN114663353A
CN114663353A CN202210179870.4A CN202210179870A CN114663353A CN 114663353 A CN114663353 A CN 114663353A CN 202210179870 A CN202210179870 A CN 202210179870A CN 114663353 A CN114663353 A CN 114663353A
Authority
CN
China
Prior art keywords
neural network
convolutional neural
convolutional
crack
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210179870.4A
Other languages
English (en)
Inventor
黄永辉
傅继阳
饶瑞
马牛静
王荣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Guangzhou University
Original Assignee
South China University of Technology SCUT
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Guangzhou University filed Critical South China University of Technology SCUT
Priority to CN202210179870.4A priority Critical patent/CN114663353A/zh
Publication of CN114663353A publication Critical patent/CN114663353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种神经网络训练方法、焊接接头裂纹检测方法、计算机装置和存储介质，神经网络训练方法包括使用裂纹图像数据集，对第一卷积神经网络进行预训练，获取第一卷积神经网络的输出特征，使用裂纹图像数据集和输出特征，对第二卷积神经网络进行训练等步骤。本发明神经网络训练方法利用第一卷积神经网络的输出特征训练第二卷积神经网络，可以提高第二卷积神经网络的识别准确度、精度以及鲁棒性；本发明焊接接头裂纹检测方法中，第二卷积神经网络的处理结果中包含了焊接接头图像中是否存在裂纹的信息，可以减少人工参与焊接接头裂纹的检测过程，从而有利于提高检测效率和稳定性，扩大检测的覆盖面。本发明广泛应用于图像处理技术领域。

Description

神经网络训练方法、焊接接头裂纹检测方法、装置和介质
技术领域
本发明涉及图像处理技术领域，尤其是一种神经网络训练方法、焊接接头裂纹检测方法、计算机装置和存储介质。
背景技术
桥梁、隧道、管道和车辆等工程领域广泛应用焊接技术，在生产、使用和维护等阶段经常需要对产品或者建筑物进行焊接接头裂纹的检测。目前，对焊接接头裂纹的检测通常由人工进行，一方面依赖检测人员的视力和经验，主观性较强，且受到人的注意力集中的限制，效率通常较低且出错率通常较高；另一方面被检测的产品或者建筑物通常存在一些人难以到达的位置，从而无法展开观测检查。
发明内容
针对人工进行焊接接头裂纹检测，存在的效率低、出错率高以及覆盖面差等至少一个技术问题，本发明的目的在于提供一种神经网络训练方法、焊接接头裂纹检测方法、计算机装置和存储介质。
一方面，本发明实施例包括一种神经网络训练方法，包括：
建立第一卷积神经网络和第二卷积神经网络；
获取裂纹图像数据集；所述裂纹图像数据集包括多张包含或不包含裂纹内容的图像数据，以及用于表示所述图像数据包含或不包含裂纹内容的标签；
使用所述裂纹图像数据集，对所述第一卷积神经网络进行预训练；
获取所述第一卷积神经网络的输出特征；
使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练。
进一步地，所述获取所述第一卷积神经网络的输出特征，包括：
在对所述第一卷积神经网络的预训练完成后，使用所述裂纹图像数据集对所述第一卷积神经网络进行验证；
获取对所述第一卷积神经网络的验证的过程中，所述第一卷积神经网络在进行全连接处理之前的输出数据，作为所述输出特征。
进一步地，所述使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练，包括：
将所述裂纹图像数据集中的图像数据输入至所述第二卷积神经网络；
所述第二卷积神经网络对所述图像数据进行卷积处理；
所述第二卷积神经网络对卷积处理的结果与所述输出特征进行全连接处理，获得所述第二卷积神经网络的输出结果。
进一步地，所述使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练，还包括：
以所述裂纹图像数据集中的标签作为期望输出，根据所述输出结果与所述期望输出，计算损失函数；
根据所述损失函数调整所述第二卷积神经网络的参数。
进一步地，所述第一卷积神经网络和所述第二卷积神经网络均为VGG16网络，所述第一卷积神经网络和所述第二卷积神经网络的结构相同。
进一步地，所述第二卷积神经网络包括全连接层和多个卷积块，各所述卷积块依次连接，所述全连接层与最后一个所述卷积块连接，所述神经网络训练方法还包括：
对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块一起微调。
进一步地，所述对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块一起微调，包括：
将经过预训练的所述第一卷积神经网络各层的权重参数，加载至所述第二卷积神经网络中的相应各层；
将所述第二卷积神经网络冻结到最后一个卷积块；
使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块进行训练。
另一方面，本发明实施例还包括一种焊接接头裂纹检测方法，所述焊接接头裂纹检测方法包括：
获取焊接接头图像；
将所述焊接接头图像输入至第二卷积神经网络进行处理；所述第二卷积神经网络经过实施例中所述神经网络训练方法的训练；
获取第二卷积神经网络的处理结果；
根据所述处理结果，识别所述焊接接头图像中的裂纹。
另一方面，本发明实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的神经网络训练方法和/或焊接接头裂纹检测方法。
另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的神经网络训练方法和/或焊接接头裂纹检测方法。
本发明的有益效果是：实施例中的神经网络训练方法，在对第一卷积神经网络进行预训练后，利用第一卷积神经网络的输出特征训练第二卷积神经网络，从而使得第二卷积神经网络具有识别所输入的图像数据中是否包含裂纹内容的能力，并且与直接训练第二卷积神经网络相比，利用第一卷积神经网络的输出特征训练第二卷积神经网络，可以提高训练后的第二卷积神经网络的识别准确度、精度以及鲁棒性；实施例中的焊接接头裂纹检测方法所使用的第二卷积神经网络经过了实施例中的神经网络训练方法的训练，具有识别焊接接头图像中是否存在裂纹的能力，第二卷积神经网络的处理结果中包含了焊接接头图像中是否存在裂纹的信息，从而能够通过第二卷积神经网络的处理结果，确定焊接接头图像中是否存在裂纹，可以减少人工参与焊接接头裂纹的检测过程，从而有利于提高检测效率和稳定性，降低检测出错率，扩大检测的覆盖面。
附图说明
图1为实施例中神经网络训练方法的流程图；
图2为实施例中一种VGG16网络的示意图；
图3为实施例中通过疲劳试验获取裂纹图像数据集的示意图；
图4为实施例中对裂纹图像数据集进行预处理的示意图；
图5为实施例中通过磁粉检测在实际检查过程中检测到的节点板接头裂纹示意图；
图6和图7为实施例中对“裂纹”图像执行数据扩充的示意图；
图8为实施例中对第二卷积神经网络进行训练的示意图。
具体实施方式
本实施例中，参照图1，神经网络训练方法包括以下步骤：
S1.建立第一卷积神经网络和第二卷积神经网络；
S2.获取裂纹图像数据集；裂纹图像数据集包括多张包含或不包含裂纹内容的图像数据，以及用于表示图像数据包含或不包含裂纹内容的标签；
S3.使用裂纹图像数据集，对第一卷积神经网络进行预训练；
S4.获取第一卷积神经网络的输出特征；
S5.使用裂纹图像数据集和输出特征，对第二卷积神经网络进行训练。
步骤S1中，所建立的第一卷积神经网络和第二卷积神经网络均为VGG16网络，而且第一卷积神经网络和第二卷积神经网络的结构相同。具体地，图2是一种可以用作第一卷积神经网络或者第二卷积神经网络的VGG16网络，参照表1其由两个卷积块和一个全连接层组成。每个卷积块包括卷积层、线性整流单元(RELU)和池化层。图2所示的网络的输入可以是一个尺寸为64×64×3(高度×宽度×通道数(红色、绿色和蓝色))的图像，通过图像相应的标签，可以标记图像的内容中包含裂纹或者不包含裂纹。卷积层使用一组滤波器对前一层的输出执行卷积运算，以便学习与区分包含裂纹的图像和不包含裂纹的图像相关的特征。较深的卷积层比较浅的层提取更多的全局特征，后者学习裂纹图像分类所需的局部特征。
表1
Figure BDA0003520071960000041
跨距是指过滤器在输入矩阵中滑动的行数和列数(以像素为单位)。大的跨距会减少输出大小，从而降低计算成本，但可能会丢失输入数据的特征。为了处理输出缩小和图像边缘特征丢失的问题，通常会对图像(或输入)进行填充。“有效”填充表示没有填充，而“相同”填充表示输出大小被填充为与输入大小相同。通过将输入矩阵除以4×4的池化大小，并仅保留每个4×4矩阵的最大或平均表示，池化层用于对输入数组进行下采样。最大池化法在图像数据集上的性能优于平均池化法]。带有4×4过滤器和4×4步长的最大池化表示输入矩阵被划分为4×4像素的子矩阵，其最大值被传递到下一层，当过滤器在矩阵中滑动时，不会发生重叠。
激活层用于将非线性引入标准神经网络。校正线性单元(ReLU)已被广泛使用，因为它比传统的S形函数(如y＝tanh(x))计算速度更快，精度更高。0.5的误差用于防止神经网络过度拟合。学习率为0.001、β1＝0.9、β2＝0.999且无衰减的Adam优化器用于训练SCNN分类器。第二卷积层的平坦输出成为全连接(FC)层的输入，该层由32个单元组成，具有ReLU激活。输出层由单个单元和sigmoid激活层组成，适用于二进制分类。该模型采用二元交叉熵损失法。
步骤S2中，可以从数据库中获取裂纹图像数据集。例如，2016年，东京城市大学(Tokyo City University)进行了一次疲劳试验，参照图3，对一根带有多个焊接节点板的钢梁进行了疲劳加载。在疲劳试验期间，使用1210万像素的小型摄像机拍摄了167张1024×768像素的RGB图像。这些图像捕捉了在不受控制的距离、角度和清晰度条件下的各种裂纹扩展阶段。所有的黑色或红色标记线、应变计和量规导线都保留在图像中。生成表示图像中的钢梁是否存在裂纹的标签，可以使用这次疲劳试验拍摄所得的图像以及相应的标签组成裂纹图像数据集。
本实施例中，可以参照图4所示的流程，对裂纹图像数据集进行预处理。参照图4，在预处理过程中，每个原始图像(裂纹图像数据集中的图像数据)被分成16×12＝192个较小的64×64像素图像。这样做的目标有三：(1)增加训练数据的数量；(2)减少与处理大尺寸图像相关的计算成本；(3)检测原始图像中裂纹(如果存在)的位置和近似扩展。然后，所有64×64像素的图像被标记为“内容中包含裂纹”和“内容中不包含非裂纹”的图像，用于训练(如表2)所示。由于“暗”区域的图像不能用于训练过程，因为肉眼无法检测该区域的裂缝。因此，这些图像通过使用暗过滤算法从训练数据集中移除。图像中像素分数的阈值大于50(255个像素中的一个)，用于过滤。
表2
Figure BDA0003520071960000051
*表示不参与训练
实际检验数据集包括230张不同原始尺寸的照片，这些照片是在人工目视检查期间拍摄的实际桥梁中230个不同的节点板接头(如表2所示)。在图像中可以目视检测到油漆裂纹(通常由检查员解释为焊接接头下方潜在疲劳裂纹的迹象)。在实践中，当在检查过程中发现裂纹时，通常在进行进一步的无损检测(例如，通过磁粉检测(MT)在实际检查过程中检测到的节点板接头裂纹如图5所示，其中图5(a)中包括目视检测到的裂纹，图5(b)中包括油漆去除和磁粉检测后发现的疲劳裂纹)之前去除油漆层，以检测是否存在疲劳裂纹。在230张原始照片中，170张照片被分成64×64像素的图像，以创建训练和验证(或开发)数据集。其余60张照片用作测试数据集，以评估不同卷积神经网络的准确性。
通常很难获取足够大的真实图像数据集以训练卷积神经网络。在这种情况下，可以使用数据扩充技术来创建人工训练图像，以提高网络的性能。数据扩充指的是使用保留标签的变换来人为地扩大数据集。在本实施例中，使用表3所示的Keras框架进行数据扩充。由于“非裂纹”图像的数量远大于“裂纹”图像的数量，因此仅对“裂纹”图像执行数据扩充技术。参照图6，仔细选择要扩充的图像，以便在扩充过程中不会丢失裂纹特征。参照图7，每个64×64像素的“裂纹”图像用于创建10个扩充图像。在总共2896张“裂纹”图像中，选择了1000张图像进行扩充，从而将64×64图像的总数增加到12896张。
表3
Figure BDA0003520071960000061
本实施例中，创建两种图像数据集场景，即有和没有数据扩充(分别为2896或12896个图像)。从170张原始检查图像中获得的45645张非裂纹图像中，随机选择相同数量(分别为2896和12896)的“非裂纹”图像进行训练和验证。测试图像数据集由60张1280×960像素的照片(或18000张64×64像素的图像)组成。在训练和测试第一卷积神经网络和第二卷积神经网络期间，第一卷积神经网络和第二卷积神经网络的像素输入大小都是64×64。滑动窗口大小，即第一卷积神经网络和第二卷积神经网络的输入大小，是基于几个因素确定的。首先，64×64像素的大小小于VGG16所需的默认输入大小224×224像素，这既允许有效的推理速度，也允许足够的数据来训练第一卷积神经网络和第二卷积神经网络。后者有助于避免过度拟合问题，这通常与有限的训练数据集有关，因为像VGG16这样的预训练模型之前是在大型数据集(例如ImageNet)上训练的。此外，64×64像素大小还允许合理捕捉裂纹扩展路径。
与混凝土裂缝不同，钢桥中感兴趣的疲劳裂缝仅在最易疲劳的焊接接头处开始，然后在疲劳荷载下扩展，可能在视觉上表现为覆盖漆层上的一条细线裂缝。另一方面，通过考虑裂纹的周围环境(例如焊接接头形状)进行预测，补片分类有助于检测可疑接头处的感兴趣裂纹。
在执行步骤S2，通过拍摄、标记以及数据扩充等过程获得裂纹图像数据集之后，执行步骤S3，也就是使用裂纹图像数据集，对第一卷积神经网络进行预训练。
在执行步骤S4，也就是获取第一卷积神经网络的输出特征这一步骤时，具体执行以下步骤：
S401.在对第一卷积神经网络的预训练完成后，使用裂纹图像数据集对第一卷积神经网络进行验证；
S402.获取对第一卷积神经网络的验证的过程中，第一卷积神经网络在进行全连接处理之前的输出数据，作为输出特征。
参照图8，步骤S401中，首先加载训练好的第一卷积神经网络(VGG16模型结构)。BN方法仅实例化模型的卷积部分，直到全连接层，然后模型仅在前面章节中描述的训练和验证数据上运行一次。步骤S402中，保存第一卷积神经网络的全连接层之前最后一个卷积层的输出数据作为输出特征，并在其上训练自定义全连接层。其中，第一卷积神经网络的全连接层是图8中由Dense和Flatten等层组成的部分。
步骤S5中，参照图8，使用裂纹图像数据集和第一卷积神经网络的输出特征，对第二卷积神经网络进行训练。具体地，执行步骤S5时，可以执行以下步骤：
S501.将裂纹图像数据集中的图像数据输入至第二卷积神经网络；
S502.第二卷积神经网络对图像数据进行卷积处理；
S503.第二卷积神经网络对卷积处理的结果与输出特征进行全连接处理，获得第二卷积神经网络的输出结果；
S504.以裂纹图像数据集中的标签作为期望输出，根据输出结果与期望输出，计算损失函数；
S505.根据损失函数调整第二卷积神经网络的参数。
步骤S502中，由第二卷积神经网络中的卷积块对图像数据进行卷积处理，其中第二卷积神经网络中的卷积块如图8中由Convolution 2D和Max Pooling 2D等层组成的部分所示。步骤S503中，由第二卷积神经网络中的全连接层对卷积处理的结果与输出特征进行全连接处理，其中，第二卷积神经网络的全连接层是图8中由Flatten和Dense等层组成的部分。全连接层进行全连接处理的结果，作为第二卷积神经网络的处理结果进行输出。
步骤S504中，根据第二卷积神经网络的处理结果与期望输出，即裂纹图像数据集中的标签计算损失函数，步骤S505中，根据损失函数调整第二卷积神经网络的参数。对调整参数后的第二卷积神经网络，再次执行步骤S501-S505，直至得到的损失函数收敛，或者执行步骤S501-S505的次数达到阈值后，结束对第二卷积神经网络的训练。
本实施例中，神经网络训练方法还包括以下步骤：
S6.对第二卷积神经网络中的全连接层和最后一个卷积块一起微调。
具体地，在执行步骤S6时，可以执行以下步骤：
S601.将经过预训练的第一卷积神经网络各层的权重参数，加载至第二卷积神经网络中的相应各层；
S602.将第二卷积神经网络冻结到最后一个卷积块；
S603.使用裂纹图像数据集和输出特征，对第二卷积神经网络中的全连接层和最后一个卷积块进行训练。
在步骤S601-S603中，只对第二卷积神经网络中的全连接层和最后一个卷积块进行训练，而不对第二卷积神经网络中的其他卷积块进行训练，可以避免过度拟合。微调是以非常慢的学习速度执行的，以使更新足够小，从而不会破坏学习的功能。因此，可以使用一个学习率为10-4的随机梯度下降(SGD)优化器，选择动量为0.9。
通过执行步骤S1-S5，可以在对第一卷积神经网络进行预训练后，利用第一卷积神经网络的输出特征训练第二卷积神经网络，从而使得第二卷积神经网络具有识别所输入的图像数据中是否包含裂纹内容的能力，并且与直接训练第二卷积神经网络相比，利用第一卷积神经网络的输出特征训练第二卷积神经网络，可以提高训练后的第二卷积神经网络的识别准确度、精度以及鲁棒性。
在通过执行神经网络训练方法训练第二卷积神经网络后，可以使用第二卷积神经网络执行焊接接头裂纹检测方法。焊接接头裂纹检测方法包括以下步骤：
P1.获取焊接接头图像；
P2.将焊接接头图像输入至第二卷积神经网络进行处理；
P3.获取第二卷积神经网络的处理结果；
P4.根据处理结果，识别焊接接头图像中的裂纹。
步骤P1-P4中所使用的第二卷积神经网络经过了步骤S1-S5的训练，具有识别焊接接头图像中是否存在裂纹的能力。通过执行步骤P1-P4，第二卷积神经网络的处理结果中包含了焊接接头图像中是否存在裂纹的信息，从而能够通过第二卷积神经网络的处理结果，确定焊接接头图像中是否存在裂纹。
通过步骤P1-P4，可以减少人工参与焊接接头裂纹的检测过程，从而有利于提高检测效率和稳定性，降低检测出错率，扩大检测的覆盖面。
可以通过编写执行本实施例中的神经网络训练方法和/或焊接接头裂纹检测方法的计算机程序，将该计算机程序写入至计算机装置或者存储介质中，当计算机程序被读取出来运行时，执行本实施例中的神经网络训练方法和/或焊接接头裂纹检测方法，从而实现与实施例中的神经网络训练方法和/或焊接接头裂纹检测方法相同的技术效果。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种神经网络训练方法，其特征在于，所述神经网络训练方法包括：
建立第一卷积神经网络和第二卷积神经网络；
获取裂纹图像数据集；所述裂纹图像数据集包括多张包含或不包含裂纹内容的图像数据，以及用于表示所述图像数据包含或不包含裂纹内容的标签；
使用所述裂纹图像数据集，对所述第一卷积神经网络进行预训练；
获取所述第一卷积神经网络的输出特征；
使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练。
2.根据权利要求1所述的神经网络训练方法，其特征在于，所述获取所述第一卷积神经网络的输出特征，包括：
在对所述第一卷积神经网络的预训练完成后，使用所述裂纹图像数据集对所述第一卷积神经网络进行验证；
获取对所述第一卷积神经网络的验证的过程中，所述第一卷积神经网络在进行全连接处理之前的输出数据，作为所述输出特征。
3.根据权利要求1所述的神经网络训练方法，其特征在于，所述使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练，包括：
将所述裂纹图像数据集中的图像数据输入至所述第二卷积神经网络；
所述第二卷积神经网络对所述图像数据进行卷积处理；
所述第二卷积神经网络对卷积处理的结果与所述输出特征进行全连接处理，获得所述第二卷积神经网络的输出结果。
4.根据权利要求3所述的神经网络训练方法，其特征在于，所述使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络进行训练，还包括：
以所述裂纹图像数据集中的标签作为期望输出，根据所述输出结果与所述期望输出，计算损失函数；
根据所述损失函数调整所述第二卷积神经网络的参数。
5.根据权利要求1所述的神经网络训练方法，其特征在于，所述第一卷积神经网络和所述第二卷积神经网络均为VGG16网络，所述第一卷积神经网络和所述第二卷积神经网络的结构相同。
6.根据权利要求5所述的神经网络训练方法，其特征在于，所述第二卷积神经网络包括全连接层和多个卷积块，各所述卷积块依次连接，所述全连接层与最后一个所述卷积块连接，所述神经网络训练方法还包括：
对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块一起微调。
7.根据权利要求6所述的神经网络训练方法，其特征在于，所述对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块一起微调，包括：
将经过预训练的所述第一卷积神经网络各层的权重参数，加载至所述第二卷积神经网络中的相应各层；
将所述第二卷积神经网络冻结到最后一个卷积块；
使用所述裂纹图像数据集和所述输出特征，对所述第二卷积神经网络中的所述全连接层和最后一个所述卷积块进行训练。
8.一种焊接接头裂纹检测方法，其特征在于，所述焊接接头裂纹检测方法包括：
获取焊接接头图像；
将所述焊接接头图像输入至第二卷积神经网络进行处理；所述第二卷积神经网络经过权利要求1-7任一项所述神经网络训练方法的训练；
获取第二卷积神经网络的处理结果；
根据所述处理结果，识别所述焊接接头图像中的裂纹。
9.一种计算机装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述的神经网络训练方法和/或权利要求8所述的焊接接头裂纹检测方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行权利要求1-7任一项所述的神经网络训练方法和/或权利要求8所述的焊接接头裂纹检测方法。
CN202210179870.4A 2022-02-25 2022-02-25 神经网络训练方法、焊接接头裂纹检测方法、装置和介质 Pending CN114663353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210179870.4A CN114663353A (zh) 2022-02-25 2022-02-25 神经网络训练方法、焊接接头裂纹检测方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210179870.4A CN114663353A (zh) 2022-02-25 2022-02-25 神经网络训练方法、焊接接头裂纹检测方法、装置和介质

Publications (1)

Publication Number Publication Date
CN114663353A true CN114663353A (zh) 2022-06-24

Family

ID=82026819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210179870.4A Pending CN114663353A (zh) 2022-02-25 2022-02-25 神经网络训练方法、焊接接头裂纹检测方法、装置和介质

Country Status (1)

Country Link
CN (1) CN114663353A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAO VU DUNGA等: "A vision-based method for crack detection in gusset plate welded joints of steel bridges using deep convolutional neural networks", 《AUTOMATION IN CONSTRUCTION》, vol. 102, 30 June 2019 (2019-06-30), pages 1 - 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220023977A1 (en) * 2020-07-23 2022-01-27 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device
US11833618B2 (en) * 2020-07-23 2023-12-05 Pegatron Corporation Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device

Similar Documents

Publication Publication Date Title
CN111476781B (zh) 一种基于视频语义分割技术的混凝土裂缝识别方法和装置
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
Prasanna et al. Automated crack detection on concrete bridges
CN108648192B (zh) 一种检测结节的方法及装置
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN112633144A (zh) 人脸遮挡检测方法、系统、设备及存储介质
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN111695609B (zh) 目标物损伤程度判定方法、装置、电子设备及存储介质
CN114596290B (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN111178206A (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN111985477A (zh) 基于单目摄像头的动物体在线核赔方法、装置及存储介质
CN114596266B (zh) 一种基于ConcreteCrackSegNet模型的混凝土裂缝检测方法
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN109165654B (zh) 一种目标定位模型的训练方法和目标定位方法及装置
CN114663353A (zh) 神经网络训练方法、焊接接头裂纹检测方法、装置和介质
CN117422695A (zh) 一种基于CR-Deeplab的异常检测方法
JP2012123631A (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
Garcia et al. Large scale semantic segmentation of virtual environments to facilitate corrosion management
Nguyen et al. Combination of images and point clouds in a generative adversarial network for upsampling crack point clouds
CN112329845A (zh) 更换纸币的方法、装置、终端设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination