CN116664509A - 多模型协同决策的射线图像缺陷识别方法、系统和设备 - Google Patents

多模型协同决策的射线图像缺陷识别方法、系统和设备 Download PDF

Info

Publication number
CN116664509A
CN116664509A CN202310618087.8A CN202310618087A CN116664509A CN 116664509 A CN116664509 A CN 116664509A CN 202310618087 A CN202310618087 A CN 202310618087A CN 116664509 A CN116664509 A CN 116664509A
Authority
CN
China
Prior art keywords
defect
model
training
ray image
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310618087.8A
Other languages
English (en)
Inventor
于兴华
王小鹏
邬竣韬
张宝鑫
崔金瀚
刘佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Science And Technology Special Intelligence Technology Chongqing Co ltd
Original Assignee
Science And Technology Special Intelligence Technology Chongqing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Science And Technology Special Intelligence Technology Chongqing Co ltd filed Critical Science And Technology Special Intelligence Technology Chongqing Co ltd
Priority to CN202310618087.8A priority Critical patent/CN116664509A/zh
Publication of CN116664509A publication Critical patent/CN116664509A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明提供多模型协同决策的射线图像缺陷识别方法、系统和设备，其中，方法包括：获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；获取ImageNet数据集训练完成的权重数据，将所述权重数据加载到多模型协同决策卷积神经网络中，得到预训练模型；根据所述预处理数据集和基于与预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。本发明能够迅速自动识别复杂的焊缝图像，并且有效地检测出焊缝的缺陷，提高产品的可靠性、安全性及其检测效率。进而可以有效地节省人力和时间，节约成本，提高生产效率。

Description

多模型协同决策的射线图像缺陷识别方法、系统和设备
技术领域
本发明涉及计算机视觉技术领域，尤其涉及多模型协同决策的射线图像缺陷识别方法、系统和设备。
背景技术
焊缝射线图像检测是工业制造流程中的一个重要任务，焊缝射线图像能否被准确检测是该任务的关键指标。射线无损检测因其信号穿透性强、分辨率高、扫描快速等优点，在工业界已经被广泛应用于检测焊缝和焊接件的质量，它主要利用射线扫描照射工件的焊接部位来检测焊缝的厚度、位置、形状和深度等信息，以及焊接件的外观、接头的质量和焊接缺陷。射线底片检测具有快速、准确、深入等优点，在工业生产中得到了广泛应用。
然而，射线焊缝无损检测领域存在一些难以克服的棘手问题：由于射线检测的特殊性，射线底片检测的结果往往需要经过专业的人工解读，这使得射线底片后期人工检测的效率较低，人力成本较高：检测人员的工作强度大，工作时间长，产生的视觉疲劳会导致检测结果极不稳定；此外，人工检测依赖个人的实践经验，存在不同的检验员的评判结果不一致的问题，影响质量检测的准确性，总体来说，检测精度不能满足工业界的要求。
发明内容
基于此，有必要针对上述技术问题，提供多模型协同决策的射线图像缺陷识别方法、系统和设备。
多模型协同决策的射线图像缺陷识别方法，包括以下步骤：
获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；
获取ImageNet数据集训练完成的权重数据，根据所述权重数据，得到预训练模型；
根据所述预处理数据集和基于预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
在其中一个实施例中，对所述焊缝射线图像样本集进行预处理，之前还包括：
接收标注信息，根据所述焊缝射线图像样本集和所述标注信息，得到标注图像样本集；
按照预设比例将标注图像样本集分为用于训练缺陷识别模型的训练集、用于验证缺陷识别模型的验证集、以及用于测试缺陷识别模型的测试集。
在其中一个实施例中，对所述焊缝射线图像样本集进行预处理，得到预处理数据集包括：
对所述焊缝射线图像样本集进行Resize操作、亮度矫正、对比度增强、数据增强、随机水平翻转和随机裁剪得到预处理数据集。
在其中一个实施例中，根据所述权重数据，得到预训练模型包括：
将所述权重数据加载到多模型协同决策卷积神经网络中，得到预训练模型。
在其中一个实施例中，多模型协同决策的射线图像缺陷识别方法，还包括：
所述多模型协同决策卷积神经网络包括：VGGNet、ResNet、GoogLeNet和DenseNet。
在其中一个实施例中，基于预训练模型的缺陷识别模型的训练过程包括：
以训练集和验证集中缺陷图像作为网络源头输入，缺陷图像对应的缺陷标注结果为输出，结合自适应优化算法和预设损失函数，应用缺陷图像和无缺陷图像，针对预训练模型进行训练，获得缺陷图像所对应的多个卷积层；
根据所述多个卷积层，基于结构重参数化技术，得到压缩参数后的缺陷识别模型。
多模型协同决策的射线图像缺陷识别系统，用于实现如上所述的多模型协同决策的射线图像缺陷识别方法，包括：
预处理模块，用于获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；
特征提取与二分类模块，用于获取ImageNet数据集训练完成的权重数据，根据所述权重数据，得到预训练模型；
结果输出模块，用于根据所述预处理数据集和基于预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各个实施例中所述的多模型协同决策的射线图像缺陷识别方法的步骤。
相比于现有技术，本发明的优点及有益效果在于：本发明能够通过深度学习技术通过卷积神经网络从图像中提取特征，再通过机器学习模型实现对焊缝射线图像的准确识别，提高了模型的准确率，尤其是漏检率。采用了多层神经网络，包括输入层、隐藏层和输出层，可以迅速自动识别复杂的焊缝图像，并且有效地检测出焊缝的缺陷，提高产品的可靠性、安全性及其检测效率。进而可以有效地节省人力和时间，节约成本，提高生产效率。
附图说明
图1为一个实施例中多模型协同决策的射线图像缺陷识别方法的流程示意图；
图2为一个实施例中缺陷识别结果示意图；
图3为一个实施例中射线图像缺陷识别过程示意图；
图4为一个实施例中多模型协同决策的射线图像缺陷识别系统的结构示意图；
图5为一个实施例中设备的内部结构示意图。
具体实施方式
在进行本发明具体实施方式说明之前，先对本发明的整体构思进行如下说明：
本发明主要是焊缝缺陷检测过程研发的，目前焊缝缺陷检测通常依赖于人工对射线底片评片，寻找底片中的缺陷特征，使用人工提取特征的方法，它不能全面描述数据的特征，进而制约了传统机器学习用于焊缝图像检测的准确性和可靠性。
发明人经过分析发现，出现上面的这些问题的主要原因是传统的机器学习检测方法不具备从图像中提取特征的能力，从而使得模型泛化能力不强，无法有效地检测出数据库外的新异常缺陷，因此，先从图像中提取出特征，然后再进行缺陷识别就可以避免前述问题了。因此本发明提出了多模型协同决策的射线图像缺陷识别方法，通过深度学习技术通过卷积神经网络从图像中提取特征，再通过机器学习模型实现对焊缝射线图像的准确识别。
介绍完本发明的整体构思后，为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明做进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了方便理解，下面对本申请实施例中涉及的名词进行解释：
ImageNet：一个用于视觉对象识别研究的大型可视化数据库。
Resize操作：一种图像处理技术，可以对图像的尺寸、大小和比例进行调整，使得图像符合要求。
VGGNet：牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司研发的一种卷积神经网络。
ResNet：残差网络，由来自Microsoft Research的4位学者提出的一种卷积神经网络。
GoogLeNet：Christian Szegedy提出的一种深度学习结构。
DenseNet：由Gao Huang等人提出来的一种经典网络结构。
在一个实施例中，如图1所示，提供了多模型协同决策的射线图像缺陷识别方法，包括以下步骤：
步骤S101，获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果。
具体地，采用X射线双壁双像(DWDI)曝光技术扫描焊道，获得焊接接头的数字射线图像，X射线入射光束以一定角度穿透对接焊缝，留下椭圆形焊缝图像。不同成分(如缺陷和焊缝)之间的像素对比度不同。根据数字射线图像组成焊缝射线图像样本集，对焊缝射线图像样本集进行预处理，得到预处理后的预处理数据集。预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果。
在此基础上，对所述焊缝射线图像样本集进行预处理，之前还包括：
接收标注信息，根据所述焊缝射线图像样本集和所述标注信息，得到标注图像样本集；
按照预设比例将标注图像样本集分为用于训练缺陷识别模型的训练集、用于验证缺陷识别模型的验证集、以及用于测试缺陷识别模型的测试集。
具体的，二级无损检测人员对焊缝的数字射线照相图像进行评估和标注，接收标注信息后，基于标注信息对焊缝射线图像样本集进行标注，得到标注图像样本集。按照预设比例将标注图像样本集分为用于训练缺陷识别模型的训练集、用于验证缺陷识别模型的验证集、以及用于测试缺陷识别模型的测试集。，在实际应用中，基于整个标注图像样本集数据的大小，训练集数据、验证集数据和测试集数据的比例可以是3:1:1、4:1:1或5:1:1等。对于庞大的数据可以使用9:1：1，甚至是99:1:1。具体测试集的划分方法有所不同。在本实施例中，验证集2280张，测试集2278张，其余为训练集。在训练集、验证集和测试集中，缺陷图像和无缺陷图像的数量比为1:1。
在本实施例中，将给定的标注图像样本集分为训练集、验证集和测试集，训练集为用于模型拟合的数据样本，在训练过程中对训练误差进行梯度下降，进行学习，可训练权重参数。验证集是模型训练过程中单独留出的样本集，可以用于调整模型的超参数和用于对模型的能力进行初步评估。测试集是用来评估最终模型的泛化能力。但不能作为调参、选择特征等算法相关的依据。
在此基础上，对所述焊缝射线图像样本集进行预处理，得到预处理数据集包括：
对所述焊缝射线图像样本集进行Resize操作、亮度矫正、对比度增强、数据增强、随机水平翻转和随机裁剪得到预处理数据集。
具体的，对焊缝射线图像样本集中的焊缝射线图像根据原图尺寸大小，等比例放缩，做亮度校正操作，做对比度增强操作，以求凸显X射线灰度图中的像素特征；使用数据增强方法，随机水平翻转和随机裁剪。
在本实施例中，对焊缝射线图像进行预处理，能够使画面更加鲜明，可以凸显图像中的细节和纹理提高图像的清晰度，提高图像的学习效果。
步骤S102，获取ImageNet数据集训练完成的权重数据，根据所述权重数据，得到预训练模型。
具体地，使用包含140万张自然物体图像的ImageNet数据集为源数据集训练的权重数据文件，根据此权重数据文件得到预训练模型。
在本实施例中，使用ImageNet数据集为源数据集训练的权重数据文件，能够提升深度学习模型提取和学习缺陷特征的能力，根据权重文件得到预训练模型，减少模型训练时间，提高模型训练效率。
在此基础上，根据所述权重数据，得到预训练模型包括：将所述权重数据加载到多模型协同决策卷积神经网络中，得到预训练模型。
在本实施例中，将权重数据文件直接加载到多模型协同决策卷积神经网络中，使得模型不需要进行预训练，直接使用训练好的权重文件，模型的初始性能更好，不需要大量数据就能使得模型具有较好的收敛性。
在此基础上，多模型协同决策卷积神经网络包括：VGGNet、ResNet、GoogLeNet和DenseNet。
在本实施例中，使用不同的神经网络进行特征提取，多层神经网络，包括输入层、隐藏层和输出层，将不同神经网络的提取卷积层，进行分步合并，能够准确识别出缺陷的位置，提高了特征提取的准确度，提高了模型缺陷识别的精度。
步骤S103，根据所述预处理数据集和基于与预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
具体地，训练基于与预训练模型的缺陷识别模型，使用迁移学习方法，以ImageNet数据集训练后的权重为基础，迁移进多模型协同决策卷积神经网络中，得到预训练模型，再对预训练模型进行训练，，得到缺陷识别模型。使用预处理数据集和训练完成的缺陷识别模型，得到射线图像缺陷识别结果。具体的识别结果如图2所示。
在此基础上，基于预训练模型的缺陷识别模型的训练过程包括：
以训练集和验证集中缺陷图像作为网络源头输入，缺陷图像对应的缺陷标注结果为输出，结合自适应优化算法和预设损失函数，应用缺陷图像和无缺陷图像，针对预训练模型进行训练，获得缺陷图像所对应的多个卷积层；
根据所述多个卷积层，基于结构重参数化技术，得到压缩参数后的缺陷识别模型。
具体的，获取预训练模型得出的对应的多个卷积层，通过结构重参数化，将其参数转化为另一组参数，将模型结构简化，在本实施例中，将模型结构重参数化为ConvNet网络。具体的，射线图像缺陷识别过程的示意图如图3所示。
在本实施例中，通过重参数化的方法，压缩了多模型的卷积层参数，简化了模型的结构，通过对网络结构的转换，减少计算的复杂度和存储的复杂度，在提高焊缝射线图像的缺陷检测的准确性的同时保持较高的计算效率，并节省人力和时间，减少经济成本，提高产品的可靠性和安全性。
使用迁移学习方法对预训练模型进行训练，可以在较少的学习时间内得到准确率较高的缺陷识别模型，可以加快深度学习模型的学习过程，缩短算法收敛的循环次数，大大节省了训练深度学习模型的时间成本，最终模型的平均准确率为96.71％。
本发明能够通过深度学习技术通过卷积神经网络从图像中提取特征，再通过机器学习模型实现对焊缝射线图像的准确识别，提高了模型的准确率，尤其是漏检率。采用了多层神经网络，包括输入层、隐藏层和输出层，可以迅速自动识别复杂的焊缝图像，并且有效地检测出焊缝的缺陷，提高产品的可靠性、安全性及其检测效率。进而可以有效地节省人力和时间，节约成本，提高生产效率。
需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了多模型协同决策的射线图像缺陷识别系统。
参考图4，多模型协同决策的射线图像缺陷识别系统，包括：
预处理模块201，用于获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；
特征提取与二分类模块202，用于获取ImageNet数据集训练完成的权重数据，根据所述权重数据，得到预训练模型；
结果输出模块203，用于根据所述预处理数据集和基于预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的系统用于实现前述任一实施例中相应的多模型协同决策的射线图像缺陷识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的多模型协同决策的射线图像缺陷识别方法。
图5示出了本实施例所提供的一种更为具体的设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的设备用于实现前述任一实施例中相应的多模型协同决策的射线图像缺陷识别方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.多模型协同决策的射线图像缺陷识别方法，其特征在于，包括：
获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；
获取ImageNet数据训练完成的权重数据，根据所述权重数据，得到预训练模型；
根据所述预处理数据集和基于预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
2.根据权利要求1所述多模型协同决策的射线图像缺陷识别方法，其特征在于，所述对所述焊缝射线图像样本集进行预处理，之前还包括：
接收标注信息，根据所述焊缝射线图像样本集和所述标注信息，得到标注图像样本集；
按照预设比例将标注图像样本集分为用于训练缺陷识别模型的训练集、用于验证缺陷识别模型的验证集、以及用于测试缺陷识别模型的测试集。
3.根据权利要求1所述多模型协同决策的射线图像缺陷识别方法，其特征在于，所述对所述焊缝射线图像样本集进行预处理，得到预处理数据集包括：
对所述焊缝射线图像样本集进行Resize操作、亮度矫正、对比度增强、数据增强、随机水平翻转和随机裁剪得到预处理数据集。
4.根据权利要求1所述多模型协同决策的射线图像缺陷识别方法，其特征在于，所述根据所述权重数据，得到预训练模型包括：
将所述权重数据加载到多模型协同决策卷积神经网络中，得到预训练模型。
5.根据权利要求4所述多模型协同决策的射线图像缺陷识别方法，其特征在于，还包括：
所述多模型协同决策卷积神经网络包括：VGGNet、ResNet、GoogLeNet和DenseNet。
6.根据权利要求1所述多模型协同决策的射线图像缺陷识别方法，其特征在于，所述基于预训练模型的缺陷识别模型的训练过程包括：
以训练集和验证集中缺陷图像作为网络源头输入，缺陷图像对应的缺陷标注结果为输出，结合自适应优化算法和预设损失函数，应用缺陷图像和无缺陷图像，针对预训练模型进行训练，获得缺陷图像所对应的多个卷积层；
根据所述多个卷积层，基于结构重参数化技术，得到压缩参数后的缺陷识别模型。
7.多模型协同决策的射线图像缺陷识别系统，其特征在于，用于实现如权利要求1-6所述的多模型协同决策的射线图像缺陷识别方法，包括：
预处理模块，用于获取焊缝射线图像样本集，对所述焊缝射线图像样本集进行预处理，得到预处理数据集；其中，所述预处理数据集包括：缺陷图像、无缺陷图像和缺陷标注结果；
特征提取与二分类模块，用于获取ImageNet数据集训练完成的权重数据，根据所述权重数据，得到预训练模型；
结果输出模块，用于根据所述预处理数据集和基于预训练模型的缺陷识别模型，得到射线图像缺陷识别结果。
8.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
CN202310618087.8A 2023-05-29 2023-05-29 多模型协同决策的射线图像缺陷识别方法、系统和设备 Pending CN116664509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310618087.8A CN116664509A (zh) 2023-05-29 2023-05-29 多模型协同决策的射线图像缺陷识别方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310618087.8A CN116664509A (zh) 2023-05-29 2023-05-29 多模型协同决策的射线图像缺陷识别方法、系统和设备

Publications (1)

Publication Number Publication Date
CN116664509A true CN116664509A (zh) 2023-08-29

Family

ID=87710333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310618087.8A Pending CN116664509A (zh) 2023-05-29 2023-05-29 多模型协同决策的射线图像缺陷识别方法、系统和设备

Country Status (1)

Country Link
CN (1) CN116664509A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112766413A (zh) * 2021-02-05 2021-05-07 浙江农林大学 一种基于加权融合模型的鸟类分类方法及系统
CN114419007A (zh) * 2022-01-21 2022-04-29 西安交通大学 多策略融合深度学习网络模型的缺陷类型识别方法及系统
CN115359286A (zh) * 2022-08-01 2022-11-18 南昌大学 一种基于多网络特征融合的输电线路悬挂异物检测方法
CN115375959A (zh) * 2022-06-29 2022-11-22 西安邮电大学 一种车辆图像识别模型建立及识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112766413A (zh) * 2021-02-05 2021-05-07 浙江农林大学 一种基于加权融合模型的鸟类分类方法及系统
CN114419007A (zh) * 2022-01-21 2022-04-29 西安交通大学 多策略融合深度学习网络模型的缺陷类型识别方法及系统
CN115375959A (zh) * 2022-06-29 2022-11-22 西安邮电大学 一种车辆图像识别模型建立及识别方法
CN115359286A (zh) * 2022-08-01 2022-11-18 南昌大学 一种基于多网络特征融合的输电线路悬挂异物检测方法

Similar Documents

Publication Publication Date Title
EP4280153A1 (en) Defect detection method, apparatus and system
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11836967B2 (en) Method and device for small sample defect classification and computing equipment
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
US8660336B2 (en) Defect inspection system
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
CN115825115B (zh) 自行车无损检查装置、方法、计算机可读存储介质
CN114494223A (zh) Pcb缺陷检测模型训练方法、装置、电子设备和存储介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114862745A (zh) 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置
Provencal et al. Identification of weld geometry from ultrasound scan data using deep learning
CN116524313A (zh) 基于深度学习和多模态图像的缺陷检测方法及相关装置
CN116664509A (zh) 多模型协同决策的射线图像缺陷识别方法、系统和设备
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
JP2021042955A (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
CN114066835A (zh) 图像检测、自动光学检测方法、装置、存储介质及设备
CN113312970A (zh) 目标物体识别方法、装置、计算机设备和存储介质
Zhang et al. Automatic forgery detection for x-ray non-destructive testing of welding
CN114187287A (zh) 磁脉冲压接件分类识别方法、装置及电子设备
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN116626166B (zh) 一种基于改进YOLOv5金属焊缝缺陷检测方法
US20220215651A1 (en) Fiber Placement Tow End Detection Using Machine Learning
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
US20240020822A1 (en) Teacher data preparation method and preparation device
US20230245240A1 (en) Assessing damages on vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination