CN114694028A - 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法 - Google Patents

基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法 Download PDF

Info

Publication number
CN114694028A
CN114694028A CN202210340710.3A CN202210340710A CN114694028A CN 114694028 A CN114694028 A CN 114694028A CN 202210340710 A CN202210340710 A CN 202210340710A CN 114694028 A CN114694028 A CN 114694028A
Authority
CN
China
Prior art keywords
convolution
layer
confidence
weld
ship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210340710.3A
Other languages
English (en)
Inventor
邵奇
孙宏伟
刘超
张本顺
廖良闯
孟祥慈
王纪潼
张人杰
袁明新
杨秋林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sinomach Internet Research Institute Henan Co ltd
716th Research Institute of CSIC
Original Assignee
Sinomach Internet Research Institute Henan Co ltd
716th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sinomach Internet Research Institute Henan Co ltd, 716th Research Institute of CSIC filed Critical Sinomach Internet Research Institute Henan Co ltd
Priority to CN202210340710.3A priority Critical patent/CN114694028A/zh
Publication of CN114694028A publication Critical patent/CN114694028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积置信生成对抗网络的船舶焊缝缺陷检测方法。搭建生成对抗网络，利用该网络的对抗博弈式学习特性，基于不平衡样本扩充数据集，生成平衡数据集，用于船舶焊缝缺陷检测。搭建基于深度卷积置信网络的生成器与判别器，使两者都能学习到丰富的船舶焊缝特征，解决生成对抗网络训练不佳的问题；其中提出的置信层，构成深度聚类器，对卷积层与全连接层中输出的深层隐藏特征进行聚类分析，能够通过捕获相似样本间的联系提高检测率。利用无监督式贪心思想逐层预训练网络，待一层网络训练最优化时，开始训练下一层网络。该方法有效解决了焊缝数据不平衡、缺陷特征标注难及多缺陷夹杂存在等技术难点，实现了船舶焊缝缺陷的高效和有效检测。

Description

基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法
技术领域
本发明属于模式识别技术领域，涉及基于X射线图像的船舶焊缝缺陷检测技术，尤其涉及一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法。
背景技术
焊接是船舶建造的主要工艺，但由于焊接过程是一个多因素耦合的复杂相变过程，极易受到外部环境和人为因素的干扰，在焊缝成型过程中通常会产生夹渣、裂纹、气孔、未焊透等难以预测的焊接缺陷，这些缺陷会严重降低焊接构件的机械性能，从而对船舶关键零部件的安全性能往往造成很大的不利影响。为了及时发现焊缝存在的缺陷，焊接缺陷无损检测成为了主要技术手段，而X射线无损检测技术以其无损、精准、快捷等优点在实际焊接缺陷检测过程中得到了广泛应用。
随着计算机视觉的发展，基于X射线图像的焊缝缺陷检测技术得到了快速发展和应用。现有的焊缝缺陷检测大致分为两类：基于数字图像处理以及基于机器学习的缺陷检测。前者包括：基于Canny算子的边缘提取、基于局部特征提取、基于OSTU的边缘检测等，这些方法普遍存在易受噪音、相似背景颜色及多种缺陷混杂的影响；后者包括：人工神经网络、支持向量机等，然而其学习性能十分依赖于样本库对缺陷的代表能力，以及学习模型的准确程度。
得益于大数据的发展和强大计算能力的提升，深度学习因具有特征自动学习优点，并能通过将学习融入到模型建立过程中来减少人为设计特征可能，已成为当前焊缝缺陷识别领域的热点机器学习方法，尤其在船舶焊缝缺陷检测中也开始尝试使用，但该方法十分依赖数据集，在应用中仍然存在以下技术难点：
(1)在船舶实际焊接过程中，每一种缺陷(如夹渣、裂纹、气孔、未焊透)产生的概率不是等同的，因此利用X射线探测所获得图片通常可能出现严重的不平衡类问题，不平衡缺陷数据会影响模型学习，进而降低模型泛化能力且容易发生欠拟合；
(2)由于船舶焊缝缺陷检测存在多种缺陷夹杂且存在严重数据不平衡问题，若期待获得良好的采样效果，则需要拥有对船舶焊缝缺陷足够的先验知识；且由于多种缺陷类型混杂在一张图片中，更加大了人工标注类别的难度。若对上述问题处理不当，易造成模型欠拟合现象。
(3)现有船舶焊接缺陷的特征提取主要是基于焊缝的几何、强度和背景特性进行，但特征繁多冗杂，这对深度学习网络模型的训练影响非常大，而且直接影响到识别准确。
因此，基于深度学习的船舶焊缝缺陷检测需要突破数据不平衡、缺陷特征选择以及人工标注难度大等技术难点，才能实现船舶焊缝缺陷的高效和有效检测。
发明内容
本发明的目的在于针对现有技术存在的问题，提供一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，融合不平衡数据及深度聚类的卷积置信生成对抗神经网络模型，从而提高船舶焊缝缺陷识别效率。
实现本发明目的的技术解决方案为：一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，所述方法包括以下步骤：
步骤1，获取若干船舶焊缝图像，构建焊缝数据集；
步骤2，构建卷积置信生成对抗网络模型；
步骤3，利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
步骤4，采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
进一步地，步骤2所述构建卷积置信生成对抗网络模型，具体为：将深度卷积置信神经网络作为生成对抗网络的生成器G和判别器D。
进一步地，所述深度卷积置信神经网络包括5个卷积层、2个全连接层和1个置信层，输入图像依次经过5个卷积层、2个全连接层后，通过置信层输出。
进一步地，所述置信层的基本组成单元为受限波尔茨曼机RBM，受限波尔茨曼机包括可见层和隐含层，上一个RBM的隐含层即为下一个RBM的可见层，上一个RBM 的输出即为下一个RBM的输入；
可见层包括若干个显性神经元，简称为显元，单个显元用vi表示；隐含层包括若干个隐性神经元，简称为隐元，单个隐元用hi表示，i＝1，2，3…；
受限波尔茨曼机的能量函数表示为：
E(v,y,h)＝-hTWv-aTv-bTh-cTy-hTUy
式中，v＝(v1,v2,…,vm)，h＝(h1,h2,…,hk)和y＝(y1,y2,…,yp)分别表示可见层、隐含层和输出层的状态，m、k、p分别为可见层、隐含层和输出层的神经元个数；θ＝{W,a, b,c,U}是训练中需要学习的结构参数，W为可见层节点和隐含层节点的连接权重；a为可见层节点的偏置；b为隐含层节点的偏置；c为输出层节点的偏置；U为隐含层和输出层的连接权重；
由上述能量函数得到联合概率分布：
Figure BDA0003579146630000031
式中，Z(θ)为配分函数，表达式如下：
Figure BDA0003579146630000032
进一步地，步骤3所述利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型，具体过程包括：
步骤3-1，初始化生成器G和判别器D两个网络的参数；
步骤3-2，从焊缝数据集抽取n个样本，作为真实样本，对于生成器G，加入随机噪声z生成n个样本，作为假样本，并标注缺陷类别；
步骤3-3，固定生成器G，训练基于深度卷积置信网络的判别器D，具体地：一层一层地进行训练，待一层网络训练最优化时，开始下一层网络的训练；对置信层的训练，不断调整隐含层中受限波尔茨曼机的个数与结构参数，直至置信层的训练达到所要求的最佳状态；
步骤3-4，通过上述过程循环更新k次判别器D，之后按照同样的方式更新1次生成器G；
步骤3-5，更新迭代达到预设次数后，判断判别器判别船舶焊缝图像为真实样本还是假样本的概率是否为0.5，若是，则完成训练，否则返回步骤3-2。
一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测系统，所述系统包括：
数据集构建模块，用于获取若干船舶焊缝图像，构建焊缝数据集；
模型构建模块，用于构建卷积置信生成对抗网络模型；
模型训练模块，用于利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
检测模块，用于采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
步骤1，获取若干船舶焊缝图像，构建焊缝数据集；
步骤2，构建卷积置信生成对抗网络模型；
步骤3，利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
步骤4，采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
步骤1，获取若干船舶焊缝图像，构建焊缝数据集；
步骤2，构建卷积置信生成对抗网络模型；
步骤3，利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
步骤4，采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
本发明与现有技术相比，其显著优点为：
(1)基于生成对抗网络模型的船舶焊缝缺陷不平衡处理方法，能够基于已知的不平衡样本进行扩充数据集，利用生成平衡数据集用于船舶焊缝缺陷检测。采取的卷积置信生成对抗网络是一种无监督式学习模式，能够在无类别信息情况下，寻找好的特征；且能从船舶焊缝样本集中选出一些具有代表性的图片，加以标注用于判别器的训练。模型有效地避免过度依赖缺乏先验知识的问题，也有效地解决了人工标注类别难度高或进行人工类别标注的成本高的问题。
(2)基于深度卷积置信神经网络的生成对抗网络，将深度卷积置信神经网络作为生成对抗网络的生成器与判别器，扩展生成器与判别器性能，使生成对抗网络更加可稳定，增强船舶焊缝缺陷检测的有效性。
(3)具有深度聚类功能的置信层，置信层从全连接层中提取船舶焊缝图片的深层隐藏特征，对深度隐藏特征进行聚类分析，深度聚类法在复杂高维数据集中很高效地执行聚类任务，能够通过捕获相似样本间的联系能够提高对噪声和异常数据点的聚类效果。利用置信层的输出作为船舶焊缝缺陷的分类检测，使网络获得更好的可扩展性和稳定性。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为基于卷积置信神经网络模型的船舶焊缝缺陷检测方法的总流程图。
图2为卷积置信生成对抗网络模型基本框架图。
图3为深度卷积置信网络结构图。
图4为受限波尔茨曼机结构图。
图5为置信层结构图。
图6为无监督贪心思想流程图。
图7为细微气孔与未焊透缺陷的CBGAN模型检测结果图。
图8为多缺陷船舶焊缝的CBGAN模型检测结果图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
船舶焊接往往由于焊接方法、工序顺序和焊接设备等因素而造成焊缝缺陷产生，且主要缺陷包含夹渣、裂纹、气孔、未焊透。但在实际焊接过程中，每一种缺陷产生的概率不是等同的，因此利用X射线探测所获得图片就可能出现严重的不平衡类问题。表一为所获得的500张焊接X射线内部检测通用数据集，由表可以看出，气孔出现的数量最多，裂纹次之，夹渣紧随其后，而未焊透出现的数量非常少，低于总样本数量的10％，属于少数类样本，从而造成数据不平衡，这会降低用于船舶焊缝缺陷检测的神经网络模型的泛化能力，且使其容易发生欠拟合。为此在开展卷积置信生成对抗网络模型训练之前，首先需要开展数据不平衡处理。
表一 主要缺陷
类型 数量
夹渣 207
裂纹 375
气孔 422
未焊透 36
为解决训练集不平衡问题，工程上常使用过采样或者欠采样技术处理。由于船舶焊缝存在多种夹杂缺陷，使用采样技术处理不平衡问题时，多缺陷问题会对少数类采样产生干扰，往往造成处理效果不佳。若期待获得良好的采样效果，则需要拥有对船舶焊缝缺陷足够的先验知识；且由于多种缺陷类型混杂在一张图片中，更加大了人工标注类别的难度。如果采用过采样技术处理不平衡数据集，那么会反复出现一些相同样本，一定程度上造成模型过拟合现象；采用欠采样技术处理不平衡数据集，会丢失部分有效信息，使得船舶焊缝检测模型只能学到总体特征的一部分，造成模型欠拟合现象。
多种缺陷夹杂存在的船舶焊缝检测问题，属于机器学习与深度学习领域中复杂分类问题。面对复杂分类问题，传统方法常使用模型预训练和特征工程的方式来增强模型的识别准确率。由于船舶焊缝缺陷检测存在严重数据不平衡问题，缺少部分有效特征，使用传统方法进行学习，容易造成模型欠拟合现象。
针对如上问题，基于博弈论，利用概率与数理统计基本观点，提出基于卷积置信生成对抗网络(CBGAN,Convolutional Belief Generative Adversarial Networks)的船舶焊缝缺陷检测方法，所述方法包括以下步骤：
步骤1，获取若干船舶焊缝图像，构建焊缝数据集；
步骤2，构建卷积置信生成对抗网络模型；
步骤3，利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
步骤4，采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
生成对抗网络(GAN,Generative Adversarial Networks)是一种复杂分布上无监督式深度学习方法。GAN模型至少需要两个模块：生成器G(Generative Model)和判别器 D(Discriminative Model)。生成器通过将图像从小维空间映射到像素级图像空间，最小化随机噪声生成逼真图像。判别器对生成器所生成的图像进行判别，当输入为真实图像时，判别器D输出为1；当输入为生成图像时，判别器D输出为0。生成对抗网络训练时分别以从训练集中抽取n个样本为真实样本，以生成器根据随机噪声生成的n个噪声样本为假样本训练判别器D，使其尽可能分辨样本真假。
如图2所示，CBGAN将服从高斯分布或均匀分布的随机噪声z输入生成器G，输出生成图像G(z)；将生成图像G(z)和真实图像x输入判别器D，输出G(z)为真的概率。
在一定批量的样本内，模型根据输出概率计算并反馈损失，使得生成器D和判别器G的参数不断优化。生成器与判别器目标函数可以表示为极大极小化目标函数V(D,G)：
Figure BDA0003579146630000071
式中，pdata(x)为真实样本概率分布函数，pz(z)为生成噪音样本概率分布函数，E[·] 表示各样本的期望值。
从上式可以看出，生成器和判别器的优化目标不同，结成“对抗”学习关系。对于判别器D来说，期望能够识别出真实样本，即D(x)尽可能靠近1，log[D(x)]越大越好。在训练过程中，生成器G的目标就是尽量生成真实的图片去欺骗判别器D，而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成一个动态的博弈过程。在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此得到下列判别器优化目标函数DG(x)：
Figure BDA0003579146630000072
式中，pG(x)表示真实样本在生成器G上概率分布函数。
随着训练的完善，真实样本在生成器G分布趋向于真实样本分布相同，即存在如下关系：
pG(x)→pdata(x)
Figure BDA0003579146630000073
因此，训练完善的生成对抗网络中生成器G和判别器D处于一种纳什均衡状态，这是对抗博弈的结果。由于现实船舶焊接工艺的缺失，存在缺陷类型出现严重的不平衡类问题，也存在多种焊缝缺陷混杂问题。该发明生成器G通过利用CBGAN生成数据集，所生成船舶焊缝缺陷数据集相比于原始数据集更加丰富，并且增加船舶焊缝缺陷图片数量；判别器D在不断的对抗学习中完善缺陷检测性能。模型能够基于已知的不平衡样本进行扩充数据集，利用生成平衡数据集用于船舶焊缝缺陷检测。
该发明采取的生成对抗网络是一种无监督式学习模式，能够在无类别信息情况下，寻找好的特征；且能从船舶焊缝样本集中选出一些具有代表性的图片，加以标注用于判别器的训练。该模型有效地避免过度依赖缺乏先验知识的问题，也有效地解决了人工标注类别难度高或进行人工类别标注的成本高的问题。
原始生成对抗网络理论中，并不要求生成器G和判别器D都是神经网络，只需要是能拟合相应生成和判别的函数即可。优秀的生成对抗网络模型需要有良好的训练方法，否则将导致船舶焊缝质量检测效果不理想。为解决GAN训练不稳定问题， Goodfellow在2014年开创性地将卷积神经网络(CNN,Convolutional Neural Networks)与生成对抗网络相结合，提出深度卷积生成对抗网络(DCGAN,Deep Convolution Generative AdversarialNetworks)，通过在大量不同数据集上大量的训练与测试，充分展示出DCGAN的生成器G和判别器D都能学习到丰富的特征，模型具有非常好的泛化能力。
船舶焊缝缺陷检测存在多种缺陷类型夹杂存在和严重缺陷类型不平衡问题，为进一步解决生成对抗网络训练不佳的问题，利用受限深度波尔茨曼机，根据贝叶斯概率观点，提出置信层(BL，Belief Layer)的概念，结合当下深度学习领域最具前景的研究方法DCGAN，提出深度卷积置信网络(DCBN,Deep Convolution Belief Networks)，作为生成对抗网络的生成器和判别器。深度卷积置信神经网络的结构有5个卷积层，2个全连接层，1个置信层，每一层都以前一层的输出作为输入，如图3所示。
置信层的基本组成单元是受限波尔茨曼机(RBM，Restricted BoltzmannMachine)，受限波尔茨曼机拥有可见层(VL,Visible Layer)和隐含层(HL，Hidden layer)。相应地，可见层是由若干个显性神经元(VU,Visible Unit)组成，以下可简称为显元，单个显元可用 vi(i＝1，2，3…)表示；隐含层是由若干个隐性神经元(HU,Hidden Unit)组成，以下可简称为隐元，单个隐元可用hi(i＝1，2，3…)表示，具体结构如图4所示。
RBM是一个基于能量的模型，其能量函数可以表示为：
E(v,y,h)＝-hTWv-aTv-bTh-cTy-hTUy
式中：v＝(v1,v2,…,vm)，h＝(h1,h2,…,hk)和y＝(y1,y2,…,yp)分别表示可见层、隐含层和输出层的状态；θ＝{W,a,b,c,U}是训练中需要学习的结构参数，W为可见层节点和隐含层节点的连接权重；a为可见层节点的偏置；b为隐含层节点的偏置；c为类别层节点的偏置；U为隐含层和类别层的连接权重。给出RBM能量函数，可以得到联合概率分布：
Figure BDA0003579146630000081
式中，配分函数Z(θ)可以确保联合概率分布的有效性，配分函数的表达式如下：
Figure BDA0003579146630000082
利用受限波尔茨曼机，根据贝叶斯概率观，依据聚类思想，提出置信层。置信层是将若干个受限波尔茨曼机串联起来构成一层。模型由三层受限波尔茨曼机构成，上一个RBM的隐含层即为下一个RBM的可见层，上一个RBM的输出即为下一个RBM的输入，具体结构如图5所示。
置信层可以理解为贝叶斯概率模型的应用。贝叶斯概率模型主要理论依据为贝叶斯定理，贝叶斯定理是关于随机事件A和B的条件概率定理，设试验E的样本空间为S， A为E的事件，B1，B2,…,Bn为S的一个划分，且P(A)>0,P(Bi)>0(i＝0,1,2,…,n),贝叶斯公式表达为：
Figure BDA0003579146630000091
式中，j＝0,1,2,…,n。
置信层由可见输入层、可见输出层与多层随机隐元层组成，最顶层是可见输出层，中间层的本质是堆积不同层数的受限波尔茨曼机，最底层是可见输入层。结合贝叶斯公式与受限波尔茨曼机理论，可以得到联合概率分布：
P(v,h1,h2,...,hl)＝P(v|h1)P(h1|h2)...P(h1-1|h1)
式中，h＝(h1,h2,…,hl)表示置信层中隐含层状态。若有三层隐层，即l＝3。
隐含层由若干隐元组成，隐元可作特征检测器的功能。因此，每一个受限波尔茨曼机都可以单独用作聚类器。置信层是将若干个受限波尔茨曼机串联起来构成一层，本质是深度聚类器。相比基于距离的K-means等传统聚类算法，深度聚类法在复杂高维数据集中很高效地执行聚类任务，能够通过捕获相似样本间的联系能够提高对噪声和异常数据点的聚类效果。
深度卷积置信神经网络结构中，置信层从全连接层中提取船舶焊缝图片的深层隐藏特征，对深度隐藏特征进行聚类分析，利用置信层的输出作为船舶焊缝缺陷的分类检测，使网络获得更好的可扩展性和稳定性。
生成对抗网络模型的训练至关重要，其训练效果的好坏直接决定生成器G和判别器 D的性能。优秀的生成对抗网络模型需要有良好的训练方法，否则将导致最终分类检测效果不理想。选择使用无监督式贪心思想逐层预训练卷积置信生成对抗网络，使生成器 G和判别器D都能学习到丰富的特征，模型具有非常好的泛化能力。无监督式贪心思想是指，在求解问题时，面对若干个子问题总是做出在当前看来是最好的选择，并且过程中不需要对优化方法进行任何干预与指导。
具体算法流程图如图6所示：
(1)初始化生成器G和判别器D两个网络的参数。
(2)对于生成器G，从训练集抽取n个样本，加入随机噪声z生成n个样本。
(3)固定生成器G，使用无监督式贪心思想训练基于深度卷积置信网络的判别器D。深度卷积置信神经网络由5个卷积层，2个全连接层，1个置信层构成。一层一层地进行训练，待一层网络训练最优化时，开始下一层网络的训练。对置信层的训练，不断调整隐含层中受限波尔茨曼机的个数与结构参数，使置信层的训练达到最佳状态。
(4)循环更新k次判别器D之后，更新1次生成器G，生成器G网络参数的调整方法同判别器D的训练方法。
(5)多次更新迭代后，最终判别器D无法区分焊缝图片到底是来自真实的训练样本集合，还是来自生成器G生成的样本，此时判别器的判别概率为0.5，完成训练。
为了评价焊缝缺陷检测模型的有效性，选择准确率，精确率，召回率与平衡分数F1(F1 Score)作为评价指标。显然精确率是模型最重要的指标，为此定义如下精确率Acc：
Figure BDA0003579146630000101
式中Num(.)表示计数，j表示测试样本编号，VP表示模型对于样本的预测值，VR表示样本的真值。
为精确表达其他评价指标，作如下定义：
TP:将正类图片预测正确的数量
FN:将正类图片预测错误的数量
FP:将负类图片预测错误的数量
TN:将负类预测预测正确的数量
精确率P表示模型对正类别样本被正确分类的比例，计算方式如下：
Figure BDA0003579146630000102
召回率R表示模型对正类别样本被正确分类的完整度，计算方式如下：
Figure BDA0003579146630000103
平衡分数F1(F1 Score)，它被定义为精确率和召回率的调和平均数，定义方式如下：
Figure BDA0003579146630000104
为了便于研究模型在焊缝图片数据不平衡背景下的检测效果，规定少数类缺陷未焊透图片为正类，其他三类缺陷夹渣、裂纹、气孔图片为负类。
为验证CBGAN模型在多缺陷夹杂并存下不平衡数据处理的有效性，分别使用基于欠采样技术、过采样技术、多特征、K均值聚类的神经网络模型US-CNN、SMOTE-CNN、11Features-DNN、K-CNN进行测试，与CBGAN模型进行对比，结果如表2所示。
表2实验对比结果
模型 Acc(％) P(％) R(％) F1
US-CNN 88.70 82.94 97.35 0.896
SMOTE-DNN 90.46 96.24 82.16 0.886
11Features-DNN 92.10 97.43 90.77 0.940
K-CNN 91.09 89.94 96.35 0.930
CBGAN 96.87 96.10 97.03 0.971
由表2可以看出，CBGAN模型在焊缝缺陷检测中识别准确率较高，达到96.87％。相较于欠采样技术，CBGAN模型识别准确率提高8.17％；召回率R上，CBGAN模型表现稍逊；但精确率R上，CBGAN模型明显高于欠采样模型13.16％。相比于其他焊缝缺陷，正类未焊透的几何构型相对简单。采取欠采样技术，正类图片预测正确的数量 TP相对较多，正类图片预测错误的数量FN相对较少，因此在召回率R上表现优异；但由于使用欠采样技术，失去了部分有效特征，模型学习焊缝缺陷夹杂并存图片时表现较差，导致负类图片预测错误FP的数量极具变多，造成精确率R极具下降。CBGAN 模型精确率R高于过采样模型，召回率R略低于过采样模型，使用F1得分进行综合评价：CBGAN模型高于欠采样模型0.075分。同理，采取过采样技术，无法精确化处理少数类问题，模型学习焊缝缺陷夹杂并存图片时产生过拟合现象，性能不如CBGAN模型优越。
综上可得，在复杂焊缝缺陷检测分类问题下使用采样技术表现较差，基于卷积置信生成对抗网络的检测方法表现优越。若想精细化地生成少数类样本，采样法则需要更多先验知识。而CBGAN方法通过博弈思想，并不需要过多先验知识也能不断完善生成器 G性能。生成器G经过博弈对抗产生的焊缝图片，几何特征清晰。
由表2可以分析，基于特征工程的焊缝缺陷检测法11Features-DNN与K-CNN整体上都不如CBGAN优异。基于特征工程提高深度学习模型效能的方法，需要对特征有精准的把握，否则会带来较差的效果。提出过多特征易发生神经网络过拟合的现象，造成模型泛化能力差；使用聚类处理特征法，需要剔除异常点，对有效特征有一定把握。该发明采取的CBGAN模型是一种无监督式学习方法，能够在无类别信息情况下，寻找好的特征；且能从船舶焊缝样本集中选出一些具有代表性的图片，加以标注用于判别器的训练。该发明提出的置信层中每一个单独的隐元本质上充当了特征检测器的功能，每一个受限玻尔兹曼机本质上可视为一个聚类器，多个受限玻尔兹曼机串联的置信层起到深度聚类的作用，置信层的提出实则优化了对特征的聚类分析能力。因此，基于深度卷积置信神经网络的生成对抗网络在无监督式学习模式上对特征的把握能力更强。
为进一步验证CBGAN模型在多缺陷夹杂并存下缺陷检测有效性，将生成器G处理的数据集代入前文提到的CNN、11Features-DNN模型进行测试；将原始数据集代入 DCGAN与CBGAN模型进行测试；将使用DCGAN处理过的数据集代入CNN模型进行测试，结果如表3所示。
表3实验对比结果
模型 Acc(％) Acc<sub>1</sub>(％) Acc<sub>2</sub>(％)
CNN 92.67 93.91 90.21
11Features-DNN 93.67 94.65 91.71
DCGAN 90.33 92.28 87.95
DCGAN-CNN 91.33 92.54 89.14
CBGAN 96.87 98.10 94.47
表中，Acc表示总体识别准确率，Acc1表示单种焊缝缺陷识别准确率，Acc2表示两种及其以上焊缝缺陷识别准确率。由表3可以看出，相比起其他四种模型，基于深度卷积置信网络的生成对抗网络模型表现优秀，总体识别准确率上达到了最高的96.87％。与表2数据进行对比，同样使用卷积神经网络模型作焊缝检测分类器，基于生成器G处理过的数据集测试效果良好，优于表2中基于欠采样与过采样技术处理过的数据集，识别准确率分别提高3.97％，2.21％。同样，在基于特征工程的焊缝缺陷检测法 11Features-DNN上，使用生成器G处理过的数据集效果良好，优于直接使用原始数据集，识别准确率提高3.21％。综上分析可得，基于深度卷积置信网络的生成器G性能卓越。
进一步分析表3，在基于生成对抗网络的3个模型测试结果中，基于深度卷积置信网络的生成对抗网络模型表现仍然最优。相比于DCGAN模型，同样使用生成器G对基于已知的不平衡样本进行扩充数据集，再利用判别器D进行船舶焊缝缺陷检测，基于深度卷积置信网络的GAN比基于卷积神经网络的GAN效果优越，识别准确率提高6.54％。聚焦到DCGAN-CNN模型，使用DCGAN处理不平衡数据集再使用CNN做焊缝缺陷分类检测，其效果不如使用基于深度卷积置信网络的生成对抗网络模型处理不平衡数据集，再使用CNN做焊缝缺陷分类检测，再一次论证基于深度卷积置信网络的生成器G 性能优于基于卷积神经网络的生成器G。与原始DCGAN相比，DCGAN-CNN与CBGAN 识别准确率分别提高1.00％，6.54％，CBGAN模型利用受限波尔茨曼机构造深度聚类器，对经过卷积层与全连接层输出的深度隐藏信息进行聚类，提高生成对抗网络性能。此外，由测试数据可知，生成器G与判别器D的选择至关重要，生成对抗网络效果依赖于G与D对抗博弈式学习效果，G与D处于纳什均衡状态，模型的泛化能力较强。部分印证Goodfellow基于此框架的多种优化方案的可行性。
相比起其他模型，CBGAN模型在船舶焊缝缺陷检测存在多种缺陷夹杂问题时表现更优，两种及其以上焊缝缺陷识别准确率达到最高的94.47％。如图7所示的焊缝缺陷气孔形状细微，且伴有少数类缺陷未焊透，难以分辨，表3中其他模型方法都无法全部准确检测出细微气孔与未焊透缺陷，但CBGAN模型却能够准确无误的检测出这2种缺陷。
为了进一步验证基于卷积置信生成对抗网络在船舶焊缝缺陷检测中有效性，首先收集了150张船舶焊缝X射线内部检测图片，其焊缝缺陷分布如表4所示；然后将其代入模型进行检验，并将检测结果依然同前文提到的CNN、11Features-DNN、DCGAN和 DCGAN-CNN模型检测结果进行比较，结果如表5所示。
表4船舶焊缝数据集分布
样本总数 150
单种缺陷数量 47
两种及其以上缺陷数量 103
表5实验对比结果
模型 Acc(％) Acc<sub>1</sub>(％) Acc<sub>2</sub>(％)
CNN 89.33 93.62 87.38
11Features-DNN 90.00 93.62 88.35
DCGAN 87.33 91.49 84.44
DCGAN-CNN 88.67 89.36 88.35
CBGAN 94.67 95.74 94.17
由表5同样可以看出，CBGAN模型的船舶焊缝缺陷检测总体识别准确率依然最高。在单种焊缝缺陷检测上，3种基于深度卷积置信网络的生成器G检测模型识别准确率相近，其中CBGAN模型识别准确率达到最高的95.74％，明显优于基于卷积神经网络的生成器G检测效率。在两种及其以上焊缝缺陷检测上，CBGAN模型具有绝对优势，达到94.17％。将表5与表3数据进行对比，其他4种模型在两种及其以上船舶焊缝缺陷检测上，识别准确率下降明显，而CBGAN模型检测功能稳定，效率较高，模型具有很好的泛化能力。图8中含有夹渣、裂纹与未焊透3种缺陷，CBGAN模型能够准确地将3种缺陷都检测出，而表中其他模型方法都无法全部准确检测出，从而进一步验证了该发明的有效性。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (9)

1.一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，所述方法包括以下步骤：
步骤1，获取若干船舶焊缝图像，构建焊缝数据集；
步骤2，构建卷积置信生成对抗网络模型；
步骤3，利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
步骤4，采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
2.根据权利要求1所述的基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，步骤2所述构建卷积置信生成对抗网络模型，具体为：将深度卷积置信神经网络作为生成对抗网络的生成器G和判别器D。
3.根据权利要求2所述的基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，所述深度卷积置信神经网络包括5个卷积层、2个全连接层和1个置信层，输入图像依次经过5个卷积层、2个全连接层后，通过置信层输出。
4.根据权利要求3所述的基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，所述置信层的基本组成单元为受限波尔茨曼机RBM，受限波尔茨曼机包括可见层和隐含层，上一个RBM的隐含层即为下一个RBM的可见层，上一个RBM的输出即为下一个RBM的输入；
可见层包括若干个显性神经元，简称为显元，单个显元用vi表示；隐含层包括若干个隐性神经元，简称为隐元，单个隐元用hi表示，i＝1，2，3…；
受限波尔茨曼机的能量函数表示为：
E(v,y,h)＝-hTWv-aTv-bTh-cTy-hTUy
式中，v＝(v1,v2,…,vm)，h＝(h1,h2,…,hk)和y＝(y1,y2,…,yp)分别表示可见层、隐含层和输出层的状态，m、k、p分别为可见层、隐含层和输出层的神经元个数；θ＝{W,a,b,c,U}是训练中需要学习的结构参数，W为可见层节点和隐含层节点的连接权重；a为可见层节点的偏置；b为隐含层节点的偏置；c为输出层节点的偏置；U为隐含层和输出层的连接权重；
由上述能量函数得到联合概率分布：
Figure FDA0003579146620000021
式中，Z(θ)为配分函数，表达式如下：
Figure FDA0003579146620000022
5.根据权利要求4所述的基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，步骤3所述利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型，具体过程包括：
步骤3-1，初始化生成器G和判别器D两个网络的参数；
步骤3-2，从焊缝数据集抽取n个样本，作为真实样本，对于生成器G，加入随机噪声z生成n个样本，作为假样本，并标注缺陷类别；
步骤3-3，固定生成器G，训练基于深度卷积置信网络的判别器D，具体地：一层一层地进行训练，待一层网络训练最优化时，开始下一层网络的训练；对置信层的训练，不断调整隐含层中受限波尔茨曼机的个数与结构参数，直至置信层的训练达到所要求的最佳状态；
步骤3-4，通过上述过程循环更新k次判别器D，之后按照同样的方式更新1次生成器G；
步骤3-5，更新迭代达到预设次数后，判断判别器判别船舶焊缝图像为真实样本还是假样本的概率是否为0.5，若是，则完成训练，否则返回步骤3-2。
6.根据权利要求5所述的基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法，其特征在于，步骤3-3具体利用无监督式贪心思想训练基于深度卷积置信网络的判别器D。
7.一种基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测系统，其特征在于，所述系统包括：
数据集构建模块，用于获取若干船舶焊缝图像，构建焊缝数据集；
模型构建模块，用于构建卷积置信生成对抗网络模型；
模型训练模块，用于利用焊缝数据集训练卷积置信生成对抗网络模型，生成用于焊缝缺陷检测的卷积置信生成对抗网络模型；
检测模块，用于采集待检测船舶焊缝的图像，利用训练好的卷积置信生成对抗网络模型进行焊缝缺陷检测。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
CN202210340710.3A 2022-04-02 2022-04-02 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法 Pending CN114694028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340710.3A CN114694028A (zh) 2022-04-02 2022-04-02 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340710.3A CN114694028A (zh) 2022-04-02 2022-04-02 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114694028A true CN114694028A (zh) 2022-07-01

Family

ID=82140925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340710.3A Pending CN114694028A (zh) 2022-04-02 2022-04-02 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114694028A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115229374A (zh) * 2022-07-07 2022-10-25 武汉理工大学 一种基于深度学习的汽车白车身焊缝质量检测方法、装置
CN115481736A (zh) * 2022-11-10 2022-12-16 富联裕展科技(深圳)有限公司 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
CN116740526A (zh) * 2023-03-27 2023-09-12 江苏科技大学 一种不平衡船舶涂装缺陷图像生成方法、系统及可读存储介质
CN118211636A (zh) * 2024-05-21 2024-06-18 赫比(成都)精密塑胶制品有限公司 网络模型训练方法、金属件表面缺陷检测方法及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115229374A (zh) * 2022-07-07 2022-10-25 武汉理工大学 一种基于深度学习的汽车白车身焊缝质量检测方法、装置
CN115229374B (zh) * 2022-07-07 2024-04-26 武汉理工大学 一种基于深度学习的汽车白车身焊缝质量检测方法、装置
CN115481736A (zh) * 2022-11-10 2022-12-16 富联裕展科技(深圳)有限公司 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
CN115481736B (zh) * 2022-11-10 2023-04-07 富联裕展科技(深圳)有限公司 焊渣图模型的训练方法、焊渣切割模型的生成方法、设备
CN116740526A (zh) * 2023-03-27 2023-09-12 江苏科技大学 一种不平衡船舶涂装缺陷图像生成方法、系统及可读存储介质
CN118211636A (zh) * 2024-05-21 2024-06-18 赫比(成都)精密塑胶制品有限公司 网络模型训练方法、金属件表面缺陷检测方法及电子设备

Similar Documents

Publication Publication Date Title
CN114694028A (zh) 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法
WO2021134871A1 (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
Gao et al. Balanced semisupervised generative adversarial network for damage assessment from low‐data imbalanced‐class regime
CN111753985B (zh) 基于神经元覆盖率的图像深度学习模型测试方法与装置
Liu et al. A reliable sample selection strategy for weakly supervised visual tracking
US11823425B2 (en) Few-shot defect detection method based on metric learning
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN110716792B (zh) 一种目标检测器及其构建方法和应用
CN112819806A (zh) 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法
WO2019176989A1 (ja) 検査システム、識別システム、及び学習データ生成装置
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN113487600A (zh) 一种特征增强尺度自适应感知船舶检测方法
CN113343123B (zh) 一种生成对抗多关系图网络的训练方法和检测方法
CN117197591A (zh) 一种基于机器学习的数据分类方法
CN113447902A (zh) 一种基于机器学习的对海监视雷达目标识别方法
CN112183191A (zh) 一种基于对抗训练的检测输电线路中鸟巢的方法
Gawlikowski et al. Towards out-of-distribution detection for remote sensing
CN116595313A (zh) 基于多尺度残差注意力网络的故障诊断方法及系统
CN115757112A (zh) 基于变异分析的测试子集构建方法及相关设备
CN113724233B (zh) 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法
CN115147684A (zh) 基于深度学习的目标打击效果评估方法
CN111428224B (zh) 基于人脸识别的电脑账户登录的方法
CN115410250A (zh) 阵列式人脸美丽预测方法、设备及存储介质
Wu et al. A taught-obesrve-ask (TOA) method for object detection with critical supervision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province

Applicant after: The 716th Research Institute of China Shipbuilding Corp.

Applicant after: Sinomach Internet Research Institute (Henan) Co.,Ltd.

Address before: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province

Applicant before: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp.

Applicant before: Sinomach Internet Research Institute (Henan) Co.,Ltd.