CN115587989B - 一种工件ct图像缺陷检测分割方法及系统 - Google Patents

一种工件ct图像缺陷检测分割方法及系统 Download PDF

Info

Publication number
CN115587989B
CN115587989B CN202211291323.1A CN202211291323A CN115587989B CN 115587989 B CN115587989 B CN 115587989B CN 202211291323 A CN202211291323 A CN 202211291323A CN 115587989 B CN115587989 B CN 115587989B
Authority
CN
China
Prior art keywords
defect
image data
dimensional image
workpiece
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211291323.1A
Other languages
English (en)
Other versions
CN115587989A (zh
Inventor
李俊
江浩
高建磊
杨帅锋
许丰娟
赵千
郝志强
巩天宇
贾炯轩
李赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Industrial Control Systems Cyber Emergency Response Team
Original Assignee
China Industrial Control Systems Cyber Emergency Response Team
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Industrial Control Systems Cyber Emergency Response Team filed Critical China Industrial Control Systems Cyber Emergency Response Team
Priority to CN202211291323.1A priority Critical patent/CN115587989B/zh
Publication of CN115587989A publication Critical patent/CN115587989A/zh
Application granted granted Critical
Publication of CN115587989B publication Critical patent/CN115587989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提出了一种工件CT图像缺陷检测分割方法及系统，属于工件缺陷检测技术领域，使用深度学习网络模型构建了缺陷检测模型和缺陷分割模型，通过事先标注好的训练数据集对缺陷检测模型进行训练，后续可以根据训练好的缺陷检测模型对待检测三维图像数据进行缺陷的检测，具有无需人工经验和知识储备、能够自动提取图像特征的特点，实现了对工件三维图像的缺陷自动化检测；并通过使用基于自监督对比学习的训练缺陷分割模型，在预训练阶段使用大量无标注数据训练网络，达到了仅使用少量标注样本就能训练出较高分割精度的模型的效果，进而节省了传统深度学习算法需要大量人工标注样本带来的大量时间成本和人力成本。

Description

一种工件CT图像缺陷检测分割方法及系统
技术领域
本发明涉及工件缺陷检测技术领域，特别是涉及一种工件CT图像缺陷检测分割方法及系统。
背景技术
随着工业信息化的不断推进，新一代信息技术、制造技术、互联网技术、装配技术、不断应用到各式各样的工业生产中，推动了以“智能化生产、个性化定制、网络化协同和服务化延伸”为代表的新兴智能制造模式的发展。随着新技术的渗透，使得工业场景越来越丰富，产品越来越繁杂，工艺越来越复杂，加工步骤和程序也越来越多，技术参数和加工质量要求也越来越高。然而，在这一背景下，工件加工、配件组装和成品检测等涉及的缺陷检测、质量检测、参数核验等变得越来越难。尤其是现代大工业生产中，对复杂工件的自动化式有效检验检测方法的需求异常迫切，也成为工业智能化转型的一个热点问题。
其中，采用CT图像的智能检测和自动分割的方式受到研究人员的重视。工件CT图像的缺陷分割可以评估存在缺陷的工业零件的性能，为后续改进生产工艺提供重要依据和辅助决策信息。现有的工件CT图像缺陷分割多依赖于传统图像分割算法，其精度难以满足精细分割需求。
发明内容
本发明的目的是提供一种工件CT图像缺陷检测分割方法及系统，实现了对工件三维图像的缺陷自动化检测，节省了人工标注带来的大量时间成本和人力成本。
为实现上述目的，本发明提供了如下方案：
一种工件CT图像缺陷检测分割方法，所述工件CT图像缺陷检测分割方法包括以下步骤：
获取目标种类工件的训练数据集；所述训练数据集中包括目标种类工件的若干个三维图像数据、各三维图像数据对应的缺陷种类标记以及在所述三维图像数据的缺陷种类标记为非正常的标签时所述三维图像数据对应的缺陷区域标记；所述缺陷种类标记包括正常和非正常的标签；非正常的标签包括常见的若干种缺陷标签；所述缺陷区域标记为在所述三维图像数据中缺陷所在区域；
以所述三维图像数据为模型输入，以所述三维图像数据对应的缺陷种类标记为模型输出，对缺陷检测模型进行训练，得到训练好的缺陷检测模型；
构建缺陷分割模型；所述缺陷分割模型包括编码器和解码器；所述编码器通过若干次卷积和下采样操作，提取三维图像数据的特征；所述解码器通过若干次卷积和上采样操作，进行三维图像数据的恢复，得到带有缺陷区域预测标记的三维图像数据；
利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据，对所述编码器进行自监督预训练，使所述编码器能够学习到三维图像数据的多层次特征；
利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据和所述三维图像数据对应的缺陷区域标记，对所述缺陷分割模型进行全局微调，得到训练好的缺陷分割模型；
获取待检测工件的三维图像数据，利用训练好的所述缺陷检测模型检测所述待检测工件的三维图像数据中是否存在缺陷；
若所述待检测工件的三维图像数据中存在缺陷，则利用训练好的所述缺陷分割模型，对所述待检测工件的三维图像数据标注缺陷区域预测标记。
可选地，所述获取目标种类工件的训练数据集，具体包括：
获取目标种类工件的若干张三维图像数据；
对各三维图像数据中的缺陷标注缺陷种类标记；
在所述三维图像数据的缺陷种类标记为非正常的标签时，对所述三维图像数据中的缺陷标注缺陷区域标记；
在各缺陷种类标记的三维图像数据中，选取各缺陷种类标记数量相同的三维图像数据、三维图像数据对应的缺陷种类标记和三维图像数据对应的缺陷区域标记，作为所述训练数据集。
可选地，在所述获取目标种类工件的若干张三维图像数据之后，所述工件CT图像缺陷检测分割方法还包括：
针对任一三维图像数据，进行图像重采样处理，使所述三维图像数据的尺寸达到预设尺寸；
对图像重采样处理后的所述三维图像数据，进行图像锐化处理，使所述三维图像数据中的缺陷轮廓更为突出。
可选地，所述缺陷分割模型为U-Net网络模型。
可选地，所述编码器和所述解码器之间采用跳跃连接的结构。
可选地，所述缺陷检测模型为VGG16网络模型。
可选地，所述利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据，对所述编码器进行自监督预训练，具体包括：
针对缺陷种类标记为非正常的标签的任一三维图像数据，进行若干次的二维切片，得到若干张二维切片数据；
针对任一二维切片数据，随机进行两次数据增强操作，得到所述二维切片数据的两个增强样本；
针对任一增强样本，构建所述增强样本的正样本集和负样本集；所述正样本集中包括与所述增强样本属于同一个二维切片数据的增强样本，以及与所述增强样本的二维切片数据层次相同的二维切片数据的增强样本；所述负样本集中包括除正样本集中增强样本以外的增强样本；
将所述编码器和所述解码器断开连接，并在所述编码器末端连接映射层；所述映射层用于将所述编码器提取的三维图像数据的特征进行向量化输出；
将各增强样本输入到所述编码器中，以各增强样本的正样本集和负样本集作为自监督信息，利用InfoNCE对比损失函数计算对比损失，对所述编码器进行训练。
可选地，所述数据增强操作为随机旋转、随机翻转、弹性形变、图像缩放或随机噪声中的任意一种。
可选地，所述InfoNCE对比损失函数如下式所示：
其中，L con 为总的对比损失，2N为增强样本的总数，为第i个增强样本的对比损失，i、j和k为增强样本的索引，/>为第i个增强样本的正样本集，|/>|为第i个增强样本的正样本集中增强样本的个数，z i 为第i个增强样本通过所述编码器和所述映射层的输出，sim(z i ,z j )为z i 和z j 的余弦相似度值，τ为温度系数。
对应于前述的工件CT图像缺陷检测分割方法，本发明还提供了一种工件CT图像缺陷检测分割系统，所述工件CT图像缺陷检测分割系统在被计算机运行时，执行如权利要求1~9任一项所述的工件CT图像缺陷检测分割方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的一种工件CT图像缺陷检测分割方法及系统，使用深度学习网络模型构建了缺陷检测模型和缺陷分割模型，通过事先标注好的训练数据集对缺陷检测模型进行训练，使模型理解三维图像数据中缺陷的特征，后续可以根据训练好的缺陷检测模型对待检测三维图像数据进行缺陷的检测，具有无需人工经验和知识储备、能够自动提取图像特征的特点，实现了对工件三维图像的缺陷自动化检测；并针对一般的深度学习网络模型需要大量的人工标注数据集支撑模型训练的问题，通过使用基于自监督对比学习的训练缺陷分割模型，在预训练阶段使用大量无标注数据训练网络，达到了仅使用少量标注样本就能训练出较高分割精度的模型的效果，进而节省了传统深度学习算法需要大量人工标注样本带来的大量时间成本和人力成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种工件CT图像缺陷检测分割方法的流程图；
图2为本发明实施例1提供的方法中缺陷检测模型的结构示意图；
图3为本发明实施例1提供的方法中缺陷分割模型的结构示意图；
图4为本发明实施例1提供的方法中对缺陷分割模型进行训练的示意图；
图5为本发明实施例2提供的一种工件CT图像缺陷检测分割系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
工件CT图像的分割可以评估存在缺陷的工业零件的性能，为后续改进生产工艺提供重要依据和辅助决策信息。随着计算机视觉和深度学习技术的发展，基于深度学习模型的有监督图像分割凭借其较强的图像特征提取能力和无需知识储备的特性，已成为了工件CT图像分割的常用手段，但训练一个精度较高的分割模型往往需要使用到大量人工标注的图像样本，因此在实际应用中往往伴随着高额的时间成本和人力成本。在这样的技术背景下，如何兼顾人工标注的成本和分割模型的精度便成了一个亟待解决的问题。
本发明的目的是提供一种工件CT图像缺陷检测分割方法及系统，实现了对工件三维图像的缺陷自动化检测，节省了人工标注带来的大量时间成本和人力成本。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
本实施例提供了一种工件CT图像缺陷检测分割方法，如图1所示的流程图，工件CT图像缺陷检测分割方法包括以下步骤：
S1、获取目标种类工件的训练数据集；所述训练数据集中包括目标种类工件的若干个三维图像数据、各三维图像数据对应的缺陷种类标记以及在所述三维图像数据的缺陷种类标记为非正常的标签时所述三维图像数据对应的缺陷区域标记；具体包括：
S11、获取目标种类工件的若干张三维图像数据；本实施例中，通过射线源、探测器和数据采集系统获取工业生产中同一类工业零件的不同种类缺陷的CT图像。
在获取到任一三维图像数据后，需要对各图像进行图像重采样处理，使所述三维图像数据的尺寸达到预设尺寸，以便于后续更好的输入神经网络模型中；本实施例中，通过图像重采样处理将工件的CT三维图像数据统一至224×224×100尺寸大小。
另外，考虑到工件缺陷处往往存在较为明显的边界或裂隙，对图像重采样处理后的所述三维图像数据，进行图像锐化处理增强图像中的高频分量，使缺陷轮廓更为突出，便于检测和分割；本实施例中，使用Laplace算子进行锐化，其形式为：
S12、对各三维图像数据中的缺陷标注缺陷种类标记；所述缺陷种类标记包括正常和非正常的标签；非正常的标签包括常见的若干种缺陷标签；本实施例中，三维图像数据中缺陷种类标记的种类包括裂纹、气泡、夹渣等多种工件常见缺陷。
S13、在所述三维图像数据的缺陷种类标记为非正常的标签时，对所述三维图像数据中的缺陷标注缺陷区域标记；所述缺陷区域标记为在所述三维图像数据中缺陷所在区域；
S14、在各缺陷种类标记的三维图像数据中，选取各缺陷种类标记数量相同的三维图像数据、三维图像数据对应的缺陷种类标记和三维图像数据对应的缺陷区域标记，作为所述训练数据集。在一些实施方式中，还可以按照7:2:1的比例划分训练数据集、验证数据集和测试数据集。
S2、训练缺陷检测模型；以所述三维图像数据为模型输入，以所述三维图像数据对应的缺陷种类标记为模型输出，对缺陷检测模型进行训练，得到训练好的缺陷检测模型；所述缺陷检测模型为VGG16网络模型。在对缺陷检测模型进行训练时选择交叉熵作为损失函数，输入为三维图像数据，输出为该图像的每种缺陷类别的概率。
本实施例中，3D卷积神经网络主要使用3D的VGG16网络进行特征提取和图像缺陷分类。如图2所示，其网络主要由6部分构成。第一部分由两个卷积层和一个最大池化层组成，每个卷积层有64个大小为3×3×3的卷积核；第二部分由两个卷积层和一个最大池化层组成，每个卷积层有128个大小为3×3×3的卷积核；第三部分由三个卷积层和一个最大池化层组成，每个卷积层有256个大小为3×3×3的卷积核；第四部分由三个卷积层和一个最大池化层组成，每个卷积层有512个大小为3×3×3的卷积核；第五部分与第四部分构造相同；第六部分由三个全连接层构成，前两个全连接层大小为4096，第三个全连接层大小为4，即所需分类类别数（正常、裂纹、气泡、夹渣）；最后连接一个softmax预测层输出分类预测结果。最大池化层均由步长为2，大小为2×2×2的池化矩阵构成。
S3、构建缺陷分割模型；所述缺陷分割模型包括编码器和解码器；所述编码器通过若干次卷积和下采样操作，提取三维图像数据的特征；所述解码器通过若干次卷积和上采样操作，进行三维图像数据的恢复，得到带有缺陷区域预测标记的三维图像数据；所述缺陷分割模型为U-Net网络模型；所述编码器和所述解码器之间采用跳跃连接的结构，使图像的特征从编码器直接传播到解码器，从而恢复了下采样过程中空间信息的损失，能够产生更精确的分割结果。
具体的，如图3所示，编码器每层包含两个卷积模块和一个下采样模块，每个卷积模块包含一个3×3卷积核的卷积、批归一化处理和RELU激活函数操作；下采样通过最大池化层把图像降为原来大小的1/4。解码器每层包括两个卷积模块和一个基于双线性插值的上采样模块，在解码器的最后一层，额外添加了一个softmax层来预测两类标签（缺陷部位、非缺陷部位）的概率。
S4、对编码器进行自监督预训练；利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据，对所述编码器进行自监督预训练，使所述编码器能够学习到三维图像数据的多层次特征；具体包括：
S41、针对缺陷种类标记为非正常的标签的任一三维图像数据，进行若干次的二维切片，得到若干张二维切片数据；
S42、针对任一二维切片数据，随机进行两次数据增强操作，得到所述二维切片数据的两个增强样本；数据增强操作为随机旋转、随机翻转、弹性形变、图像缩放或随机噪声中的任意一种。将初始数量为N的二维切片数据进行数据增强操作后，得到2N个增强样本。
S43、针对任一增强样本，构建所述增强样本的正样本集和负样本集；所述正样本集中包括与所述增强样本属于同一个二维切片数据的增强样本，以及其他三维图像数据中与所述增强样本的二维切片数据层次相同的二维切片数据的增强样本；所述负样本集中包括除正样本集中增强样本以外的增强样本；
在本实施例中，通过一个例子进行说明，如原数据集一共6个二维切片数据，切片数据a,b为不同工件在相同层面（例如距离顶部1/3处的层面）的两个切片，切片数据c,d为不同工件在相同层面（例如距离顶部2/3处的层面）的两个切片，切片数据e,f为不同工件在相同层面（例如处于最底部的层面），则切片数据a，b互为正样本集，切片数据c，d互为正样本集，切片数据e，f互为正样本集。对a，b，c，d，e，f分别进行数据增强得到12个增强样本a+，a-，b+，b-，c+，c-，d+，d-，e+，e-，f+，f-，则该12个增强样本之间的关系为：
增强样本a+，a-，b+，b-之间互为正样本集，增强样本c+，c-，d+，d-之间互为正样本集，增强样本e+，e-，f+，f-之间互为正样本集。那么对于样本a+来说，{a-，b+，b-}是它的正样本集，{c+，c-，d+，d-，e+，e-，f+，f-}则是它的负样本集。
S44、将所述编码器和所述解码器断开连接，并在所述编码器末端连接映射层；所述映射层用于将所述编码器提取的三维图像数据的特征进行向量化输出。
S45、将各增强样本输入到所述编码器中，以各增强样本的正样本集和负样本集作为自监督信息，利用InfoNCE对比损失函数计算对比损失，对所述编码器进行训练；本实施例中，如图4所示的，仅对编码器进行自监督预训练，将所有2N个增强样本输入编码器中，以每个切片的正、负样本集作为自监督信息，利用InfoNCE对比损失函数计算对比损失，迭代训练编码器，最终得到预训练好的编码器模型。
InfoNCE对比损失函数L con 的形式如下：
其中，L con 为总的对比损失，2N为增强样本的总数，为第i个增强样本的对比损失，i、j和k为增强样本的索引，/>为第i个增强样本的正样本集，|/>|为第i个增强样本的正样本集中增强样本的个数，z i 为第i个增强样本通过所述编码器和所述映射层的输出，τ为温度系数，sim(z i ,z j )为z i 和z j 的余弦相似度值，形式如下：
S5、对缺陷分割模型进行全局微调；利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据和所述三维图像数据对应的缺陷区域标记，对所述缺陷分割模型进行全局微调，得到训练好的缺陷分割模型；本实施例中，如图4所示的，加载之前预训练得到的U-Net模型的编码器参数，并初始化解码器，同时舍弃映射层。使用带有缺陷区域标记标注的三维图像数据对编码器和解码器整体进行有监督微调，利用Dice损失函数进行分割任务的训练，最终得到分割精度较高的缺陷分割模型。
Dice损失函数的形式如下。
其中，X是人工标注的分割面积，Y是网络预测的分割面积。
在通过步骤S1~S5得到训练好的缺陷检测模型和训练好的缺陷分割模型后，可以直接将二者应用于对待检测工件的缺陷检测和缺陷分割；获取待检测工件的三维图像数据，利用训练好的所述缺陷检测模型检测所述待检测工件的三维图像数据中是否存在缺陷；若所述待检测工件的三维图像数据中存在缺陷，则利用训练好的所述缺陷分割模型，对所述待检测工件的三维图像数据标注缺陷区域预测标记。
本发明针对工件CT图像缺陷分割多依赖于传统图像分割算法，其精度难以满足精细分割需求的问题，提出使用深度学习模型进行分割，利用深度学习无需人工经验和知识储备、自动提取图像特征的特点，实现了对工业CT图像的缺陷自动化分割。并且针对一般的深度学习模型需要大量标注数据集支撑模型训练的问题，本发明提出使用基于自监督对比学习的深度学习模型，该方法在预训练阶段使用大量无标注数据训练网络，旨在使网络学习到工件CT图像的高维特征，且在特征域拉进相似正样本集之间的距离，拉远负样本集之间的距离，以指导后续的分割任务，最终达到仅使用少量标注样本就能训练出较高分割精度的模型的效果，进而减少了人工标注带来的大量时间成本和人力成本。
另外，传统对比学习正负样本集的构建一般将一张图像的数据增强样本作为正样本集，但在工业CT图像分割领域，存在大量同类不同规格的工业零件，因此该构造方式易导致大量本应是相似的切片图像成为负样本，针对该问题，本发明提出在构造正负样本集时利用工业零件相同层面特征相似的特性，对于某一切片，其同类零件相同层面及其数据增强样本作为其正样本集，其余作为其负样本集，使得构造出的正负样本集合乎实际情况，进而提升模型预训练阶段的训练精度。
实施例2：
本发明实施例1的方法也可以借助于图5所示的工件CT图像缺陷检测分割系统的架构来实现。如图5所示，该工件CT图像缺陷检测分割系统可以包括训练数据集构建模块、缺陷检测模型训练模块、自监督预训练模块、全局微调模块、缺陷检测模块和缺陷分割模块；一些模块还可以有用于实现其功能的子单元，例如在训练数据集构建模块中包括图像获取单元、缺陷标记单元和数据集确定单元。当然，图5所示的架构只是示例性的，在一些实施方式中，可以在一些模块中添加其他的单元，如在需要对图像进行尺寸调整时，可以在训练数据集构建模块中添加图像重采样单元，在需要进行图像锐化处理时，在训练数据集构建模块中添加图像锐化单元；另外在需要实现不同的功能时，根据实际需要，也可以省略图5示出的系统中的一个或至少两个组件。
本文中应用了具体个例，但以上描述仅是对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；本领域的技术人员应该理解，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种工件CT图像缺陷检测分割方法，其特征在于，所述工件CT图像缺陷检测分割方法包括：
获取目标种类工件的训练数据集；所述训练数据集中包括目标种类工件的若干个三维图像数据、各三维图像数据对应的缺陷种类标记以及在所述三维图像数据的缺陷种类标记为非正常的标签时所述三维图像数据对应的缺陷区域标记；所述缺陷种类标记包括正常和非正常的标签；非正常的标签包括常见的若干种缺陷标签；所述缺陷区域标记为在所述三维图像数据中缺陷所在区域；在所述获取目标种类工件的训练数据集之后，所述方法还包括：
针对任一三维图像数据，进行图像重采样处理，使所述三维图像数据的尺寸达到预设尺寸；
对图像重采样处理后的所述三维图像数据，进行图像锐化处理，使所述三维图像数据中的缺陷轮廓更为突出；
以所述三维图像数据为模型输入，以所述三维图像数据对应的缺陷种类标记为模型输出，对缺陷检测模型进行训练，得到训练好的缺陷检测模型；
构建缺陷分割模型；所述缺陷分割模型包括编码器和解码器；所述编码器通过若干次卷积和下采样操作，提取三维图像数据的特征；所述解码器通过若干次卷积和上采样操作，进行三维图像数据的恢复，得到带有缺陷区域预测标记的三维图像数据；
利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据，对所述编码器进行自监督预训练，使所述编码器能够学习到三维图像数据的多层次特征，具体包括：
针对缺陷标记为非正常的标签的任一三维图像数据，进行若干次的二维切片，得到若干张二维切片数据；
针对任一二维切片数据，随机进行两次数据增强操作，得到所述二维切片数据的两个增强样本；
针对任一增强样本，构建所述增强样本的正样本集和负样本集；所述正样本集中包括与所述增强样本属于同一个二维切片数据的增强样本，以及与所述增强样本的二维切片数据层次相同的同类零件的二维切片数据的增强样本；所述负样本集中包括除正样本集中增强样本以外的增强样本；
将所述编码器和所述解码器断开连接，并在所述编码器末端连接映射层；所述映射层用于将所述编码器提取的三维图像数据的特征进行向量化输出；
将各增强样本输入到所述编码器中，以各增强样本的正样本集和负样本集作为自监督信息，利用InfoNCE对比损失函数计算对比损失，对所述编码器进行训练；
利用所述训练数据集中缺陷种类标记为非正常的标签的三维图像数据和所述三维图像数据对应的缺陷区域标记，对所述缺陷分割模型进行全局微调，得到训练好的缺陷分割模型；
获取待检测工件的三维图像数据，利用训练好的所述缺陷检测模型检测所述待检测工件的三维图像数据中是否存在缺陷；
若所述待检测工件的三维图像数据中存在缺陷，则利用训练好的所述缺陷分割模型，对所述待检测工件的三维图像数据标注缺陷区域预测标记。
2.根据权利要求1所述的工件CT图像缺陷检测分割方法，其特征在于，所述获取目标种类工件的训练数据集，具体包括：
获取目标种类工件的若干张三维图像数据；
对各三维图像数据中的缺陷标注缺陷种类标记；
在所述三维图像数据的缺陷种类标记为非正常的标签时，对所述三维图像数据中的缺陷标注缺陷区域标记；
在各缺陷种类标记的三维图像数据中，选取各缺陷种类标记数量相同的三维图像数据、三维图像数据对应的缺陷种类标记和三维图像数据对应的缺陷区域标记，作为所述训练数据集。
3.根据权利要求1所述的工件CT图像缺陷检测分割方法，其特征在于，所述缺陷分割模型为U-Net网络模型。
4.根据权利要求3所述的工件CT图像缺陷检测分割方法，其特征在于，所述编码器和所述解码器之间采用跳跃连接的结构。
5.根据权利要求1所述的工件CT图像缺陷检测分割方法，其特征在于，所述缺陷检测模型为VGG16网络模型。
6.根据权利要求1所述的工件CT图像缺陷检测分割方法，其特征在于，所述数据增强操作为随机旋转、随机翻转、弹性形变、图像缩放或随机噪声中的任意一种。
7.根据权利要求1所述的工件CT图像缺陷检测分割方法，其特征在于，所述InfoNCE对比损失函数如下式所示：
其中，Lcon为总的对比损失，2N为增强样本的总数，为第i个增强样本的对比损失，i、j和k为增强样本的索引，/>为第i个增强样本的正样本集，/>为第i个增强样本的正样本集中增强样本的个数，zi为第i个增强样本通过所述编码器和所述映射层的输出，sim(zi,zj)为zi和zj的余弦相似度值，τ为温度系数。
8.一种工件CT图像缺陷检测分割系统，其特征在于，所述工件CT图像缺陷检测分割系统在被计算机运行时，执行如权利要求1～7任一项所述的工件CT图像缺陷检测分割方法。
CN202211291323.1A 2022-10-21 2022-10-21 一种工件ct图像缺陷检测分割方法及系统 Active CN115587989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211291323.1A CN115587989B (zh) 2022-10-21 2022-10-21 一种工件ct图像缺陷检测分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211291323.1A CN115587989B (zh) 2022-10-21 2022-10-21 一种工件ct图像缺陷检测分割方法及系统

Publications (2)

Publication Number Publication Date
CN115587989A CN115587989A (zh) 2023-01-10
CN115587989B true CN115587989B (zh) 2023-08-18

Family

ID=84780377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211291323.1A Active CN115587989B (zh) 2022-10-21 2022-10-21 一种工件ct图像缺陷检测分割方法及系统

Country Status (1)

Country Link
CN (1) CN115587989B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363161B (zh) * 2023-06-02 2023-08-01 清华大学 一种水泥水化图像多类别分割方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111652852A (zh) * 2020-05-08 2020-09-11 浙江华睿科技有限公司 一种产品表面缺陷检测方法和装置及设备
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114494780A (zh) * 2022-01-26 2022-05-13 上海交通大学 基于特征对比的半监督工业缺陷检测方法及系统
CN114627021A (zh) * 2022-03-18 2022-06-14 南通拓维思智能科技有限公司 基于点云与深度学习的缺陷检测方法和系统
CN114781605A (zh) * 2022-04-15 2022-07-22 广东工业大学 缺陷检测模型训练方法、装置、电子设备及存储介质
CN114998234A (zh) * 2022-05-25 2022-09-02 中南大学 一种基于数据增强策略的自监督弹簧缺陷检测方法
CN115170528A (zh) * 2022-07-19 2022-10-11 西安交通大学 一种路面缺陷检测方法、系统、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111652852A (zh) * 2020-05-08 2020-09-11 浙江华睿科技有限公司 一种产品表面缺陷检测方法和装置及设备
CN111681232A (zh) * 2020-06-10 2020-09-18 厦门理工学院 基于语义分割的工业焊接图像缺陷的检测方法
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114494780A (zh) * 2022-01-26 2022-05-13 上海交通大学 基于特征对比的半监督工业缺陷检测方法及系统
CN114627021A (zh) * 2022-03-18 2022-06-14 南通拓维思智能科技有限公司 基于点云与深度学习的缺陷检测方法和系统
CN114781605A (zh) * 2022-04-15 2022-07-22 广东工业大学 缺陷检测模型训练方法、装置、电子设备及存储介质
CN114998234A (zh) * 2022-05-25 2022-09-02 中南大学 一种基于数据增强策略的自监督弹簧缺陷检测方法
CN115170528A (zh) * 2022-07-19 2022-10-11 西安交通大学 一种路面缺陷检测方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Contrastive Learning with Temporal Correlated Medical Images: A Case Study using Lung Segmentation in Chest X-Rays;Dewen Zeng 等;《IEEE/ACM International Conference On Computer Aided Design》;第1-7页 *

Also Published As

Publication number Publication date
CN115587989A (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
CN110569899B (zh) 坝面缺陷分类模型训练方法及装置
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111768388B (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN114549997B (zh) 一种基于区域特征提取的x光图像缺陷检测方法和装置
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN115496746A (zh) 基于图像和点云数据融合的板材表面缺陷检测方法和系统
CN111382785A (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN113591948B (zh) 一种缺陷模式识别方法、装置、电子设备和存储介质
CN115880298A (zh) 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN115587989B (zh) 一种工件ct图像缺陷检测分割方法及系统
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN116030050A (zh) 基于无人机与深度学习的风机表面缺陷在线检测分割方法
CN117067112B (zh) 一种水切割机及其控制方法
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN114332047A (zh) 一种表面缺陷检测模型的构建方法及其应用
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
CN117197530A (zh) 一种基于改进YOLOv8模型及余弦退火学习率衰减法的绝缘子缺陷识别方法
CN116728162A (zh) 金属件自动加工方法及其系统
Xue et al. Detection of Various Types of Metal Surface Defects Based on Image Processing.
Das et al. Object Detection on Scene Images: A Novel Approach
CN115797326A (zh) 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant