CN117094999B - 一种跨尺度缺陷检测方法 - Google Patents
一种跨尺度缺陷检测方法 Download PDFInfo
- Publication number
- CN117094999B CN117094999B CN202311355310.0A CN202311355310A CN117094999B CN 117094999 B CN117094999 B CN 117094999B CN 202311355310 A CN202311355310 A CN 202311355310A CN 117094999 B CN117094999 B CN 117094999B
- Authority
- CN
- China
- Prior art keywords
- defect
- scale
- feature
- detected
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 201
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种跨尺度缺陷检测方法,包括:S1、采集待检测物体表面缺陷数据,并对缺陷进行分类定义;S2、对原图像中包含缺陷的数据进行特征提取,得到跨尺度缺陷边缘特征;S3、将待检测物体的原图像数据和跨尺度缺陷边缘特征输入SwinIDE‑merge网络模型,提取高维缺陷信息;S4、构建缺陷检测模型,将高维缺陷信息输出缺陷检测模型,检测出缺陷的bounding box预测结果和分类结果;S5、针对跨尺度缺陷的缺陷检测模型,采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,并得到最终的缺陷检测模型。本发明的特征提取方式采用了更少的下采样层,减少了提取过程中小缺陷的特征损失,对于待检测物体图像数据上较小的缺陷,具有更好的检测效果。
Description
技术领域
本发明涉及机械加工与工业视觉检测技术领域,尤其涉及一种跨尺度缺陷检测方法。
背景技术
在当代机械制造过程领域中,机械金属发挥着至关重要的作用,其在汽车工程、航空航天工程、海洋工程等各个领域有着广泛的应用。它们极大地提高了各种工业流程的效率、可靠性和可持续性,并能够促进流体运输、发电和空气循环,在冷却系统、推进系统和流体控制机制中发挥着重要作用。但是,在待检测物体的自动化生成加工制造过程中,不可避免地会出现由于加工工艺以及人为因素造成的待检测物体表面缺陷损伤,这些表面缺陷不仅会降低待检测物体的性能,在机械制造中,使用有缺陷的待检测物体,也可能会对整个生产制造过程造成巨大影响。综上,探索一条自动化、智慧化、流程化的待检测物体表面缺陷自动检测方案是一项非常重要的工作。
21世纪初,人工智能技术逐渐兴起,依托于现代硬件系统的强大算力,基于数字驱动的采用计算机视觉进行目标检测的技术被工业所认可。因为具有精度高、实时性强等特性,世界制造强国纷纷提出将计算机视觉技术运用于本国的制造业未来发展战略,以孕育出一个高度灵活的个性化、智能化生产管理模式。基于此背景,本发明旨在运用机器视觉技术,实现数据驱动的待检测物体表面缺陷检测,保证待检测物体生产加工制造过程中产品质量的可靠性。
发明内容
针对现有技术的不足,本发明提供了一种跨尺度缺陷检测方法,解决了现有技术对待检测物体表面缺陷检测特征提取方式较为复杂和检测效率较低,以及对于待检测物体较小缺陷数据鲁棒性低的问题,针对上述背景技术中存在的问题,本发明可以通过缺陷检测模型,实现对待检测物体表面跨尺度缺陷的实时监测;同时,相较于其他目标检测框架,本发明的特征提取方式采用了更少的下采样层,减少了特征提取过程中,小缺陷的特征损失,对于待检测物体图像数据上较小的缺陷,具有更好的检测效果;最后,由于采用了较少的特征提取结构,本发明提出的目标检测框架推理效率更高,适用于大部分工业场景下的待检测物体表面跨尺度缺陷检测。
为解决上述技术问题,本发明提供了如下技术方案:一种跨尺度缺陷检测方法,包括以下步骤:
S1、采集待检测物体表面缺陷数据,并对缺陷进行分类定义;
S2、对待检测物体的原图像中包含缺陷的数据进行特征提取,得到跨尺度缺陷边缘特征;
S3、构建SwinIDE-merge网络模型,将待检测物体的原图像数据和跨尺度缺陷边缘特征输入SwinIDE-merge网络模型中,提取高维缺陷信息;
S4、构建缺陷检测模型,将高维缺陷信息输入缺陷检测模型,检测出缺陷的bounding box预测结果和分类结果;
S5、针对跨尺度缺陷的缺陷检测模型,采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,并得到最终的缺陷检测模型。
进一步地,所述S1中采集待检测物体表面缺陷数据,并对缺陷进行分类定义,包括如下步骤:
S101:采用二维工业相机对有缺陷的待检测物体表面进行图像采集;
S102:对采集得到的待检测物体表面缺陷的图像种类进行定义,待检测物体表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类,定义完缺陷种类后,对待检测物体表面缺陷进行数据标注。
进一步地,S2中的对待检测物体的图像中包含缺陷的数据进行特征提取,得到缺陷边缘特征,包括如下步骤:
S201、对原图像数据进行高斯平滑滤波,去除缺陷图像上的噪声点;
S202、计算原图像各像素间的梯度大小和方向,分别采用Canny算子和Sobel算子对原图像中包含的缺陷边缘信息进行提取,得到跨尺度缺陷边缘特征。
进一步地,S202中的跨尺度缺陷边缘特征采用非极大抑制、双阈值和滞后边界跟踪算法进行精细化处理。
进一步地,S3中的构建SwinIDE-merge网络模型,将待检测物体的原图像数据和跨尺度缺陷边缘特征输入SwinIDE-merge网络模型中,提取高维缺陷信息,包括如下步骤:
S301、构建原图像特征提取模块,该模块将提取出的原图像特征与S2步骤中提取出的跨尺度缺陷边缘特征进行叠加,通过Patch Partial结构展平,并通过Swin-transformer结构提取出图像深层次特征,所述Swin-Transformer结构第一个阶段由Linear Embedding和Swin-Transformer Block组成,其余3个阶段均由Patch Merging和Swin-Transformer Block构成;
S302、构建多尺度缺陷轮廓特征提取模块,该模块针对S2步骤中提取出的跨尺度缺陷边缘特征,采用4层2倍下采样的Resnet卷积神经网络,单独提取跨尺度缺陷边缘特征,并与所述图像深层次特征进行特征融合,获得缺陷融合边缘特征的特征图;
S303、构建多尺度缺陷特征融合模块,将四个阶段所述Swin-transformerBlock结构分别通过1*1卷积层以及上采样处理并拼接融合得到多尺度缺陷特征;
S304、构建尺度感知注意力模块,该模块将所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征作为输入,并融合平均池化层、1*1卷积层、relu激活函数和HardSigmoid激活函数结构,最后通过1*1卷积以及批量归一化提取出精细化的多尺度缺陷特征;
S305、构建结果输出模块,将所述精细化的多尺度缺陷特征与所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征进行拼接得到高维缺陷信息。
进一步地,S5中采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,包括如下步骤:
S501、将水平边界框R=(cx,cy,w,h)建模为二维高斯分布N(μ,∑),其中(cx,cy),w和h分别表示目标框的x,y轴的中心坐标、宽度和高度,μ,∑分别表示为均值向量和协方差矩阵;
S502、对待检测物体缺陷的真实缺陷边界框和预测边界框进行高斯建模,将真实缺陷边界框和预测边界框的相似度转换为两个高斯分布之间的分布距离,对于高斯分布为μ1=N(m1,∑1)的真实目标框和高斯分布为μ2=N(m2,∑2)的预测目标框,并计算两者之间的二阶Wasserstein距离为
S503、对于真实目标框和预测目标框/>建模的高斯分布NA和NB,其中,/>wA,hA分别代表真实目标框A的x,y轴中心坐标以及长宽,/>wB,hB分别代表预测目标框B的x,y轴中心坐标以及长宽,其两者之间的Wasserstein距离可以进一步简化为/>
S504、使用其指数归一化形式作为缺陷检测模型的定位损失函数,并基于梯度下降的方式,对缺陷检测模型进行训练,缺陷检测模型的定位损失函数公式表示如下:
其中,C为待检测物体图像中缺陷的平均尺寸,Loss表示模型的定位损失函数,e表示幂函数。
借由上述技术方案,本发明提供了一种跨尺度缺陷检测方法,至少具备以下有益效果:
本发明提供了一种面跨尺度缺陷检测方法,可以基于融合的待检测物体表面缺陷边缘特征与SwinIDE-merge网络,对待检测物体表面缺陷进行精准定位;相较于一般的目标检测框架,本发明提出的待检测物体缺陷检测框架模型提取出的特征图包含了图像本身的信息和多尺度缺陷的信息,对于不同尺度缺陷,具有更强的特征提取效果;同时,本发明的特征提取方式采用了更少的下采样层,减少了特征提取过程中,小缺陷的特征损失,对于待检测物体图像数据上较小的缺陷,具有更好的检测效果;最后,由于采用了较少的特征提取结构,本发明提出的目标检测框架推理效率更高,适用于大部分工业场景下的待检测物体表面跨尺度缺陷检测。本发明能够有效解决了现有技术对待检测物体表面缺陷检测特征提取方式较为复杂和检测效率较低,以及对于待检测物体较小缺陷数据鲁棒性低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本发明待检测物体表面跨尺度缺陷检测方法流程图;
图2是本发明实施例中定义的叶轮表面缺陷类型图;
图3是本发明SwinIDE-merge网络模型框架图;
图4是本发明建立的待检测物体表面跨尺度缺陷检测框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图4,示出了本实施例的一种具体实施方式,本实施例通过待检测物体缺陷检测模型提取出的特征图包含了图像本身的信息和多尺度缺陷的信息,对于不同尺度缺陷,具有更强的特征提取效果;同时,本发明的特征提取方式采用了更少的下采样层,减少了特征提取过程中,小缺陷的特征损失,对于待检测物体图像数据上较小的缺陷,具有更好的检测效果;最后,由于采用了较少的特征提取结构,本发明提出的目标检测框架推理效率更高,适用于大部分工业场景下的待检测物体表面跨尺度缺陷检测。
请参照图1,本实施例提出了一种跨尺度缺陷检测方法,本实施例中的待检测物体以叶轮为例,该方法包括以下步骤:
S1、采集叶轮表面缺陷数据,并对缺陷进行分类定义;
具体的,所述S1中采集叶轮表面缺陷数据,并对缺陷进行分类定义,包括如下步骤:
S101:采用二维工业相机对有缺陷的叶轮表面进行图像采集;
S102:对采集得到的叶轮表面缺陷的图像种类进行定义,叶轮表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类,定义完缺陷种类后,对叶轮表面缺陷进行数据标注。
S2、对叶轮的原图像中包含缺陷的数据进行特征提取,得到跨尺度缺陷边缘特征;
具体的,所述S2中的对叶轮的图像中包含缺陷的数据进行特征提取,得到缺陷边缘特征,包括如下步骤:
S201、对原图像数据进行高斯平滑滤波,去除缺陷图像上的噪声点;其中,高斯平滑滤波的公式如下
其中,(i,j)表示高斯卷积核中的每一个点的坐标位置,k代表高斯卷积核的大小,σ表示高斯分布的标准差,σ越大,去噪能力越好,但图像越模糊,本专利中,σ按照经验取值为1.4,卷积核大小为3*3;
S202、计算原图像各像素间的梯度大小和方向,分别采用Canny算子和Sobel算子对原图像中包含的缺陷边缘信息进行提取,得到跨尺度缺陷边缘特征;考虑到图像缺陷通常为水平或竖直方向,本专利采用的Canny算子表示为:
其中,C_Kx表示用于提取x轴上边缘特征的Canny算子,C_Ky表示用于提取y轴上边缘特征的Canny算子。
本专利采用的Sobel算子表示为:
其中,S_Kx表示用于提取x轴上边缘特征的Sobel算子,S_Ky表示用于提取y轴上边缘特征的Sobel算子。
具体的,S202中的跨尺度缺陷边缘特征采用非极大抑制、双阈值和滞后边界跟踪算法进行精细化处理。
S3、构建SwinIDE-merge网络模型,将叶轮的原图像数据和跨尺度缺陷边缘特征输入SwinIDE-merge网络模型中,提取高维缺陷信息;
所述S3中的构建SwinIDE-merge网络模型,将叶轮的原图像数据和跨尺度缺陷边缘特征输入SwinIDE-merge网络模型中,提取高维缺陷信息,SwinIDE-merge网络模型框架如图3所示,包括如下步骤:
S301、构建原图像特征提取模块,该模块将提取出的原图像特征与S2步骤中提取出的跨尺度缺陷边缘特征进行叠加,并通过Patch Partial结构展平,通过Swin-transformer结构提取出图像深层次特征;其中,Swin-Transformer结构是一个已经成熟且固定的结构,其主要由4个阶段构成,第一个阶段由Linear Embedding和Swin-TransformerBlock组成,其余2、3、4阶段均由Patch Merging和Swin-Transformer Block构成;
进一步地,此处的Patch Partial结构表示为补丁分区模块,该模块的功能主要为对输入长、宽、通道数分别为H、W、C的特征图进行空间结构上的调整,经过补丁分区模块后,长、宽、信道数为H、W、C的特征图变为长、宽、信道数为16*C的特征图;
进一步地,此处的Linear Embedding结构表示线性嵌入模块,该模块主要功能将特征图的信道数转换为指定大小;
进一步地,此处的Patch Merging结构表示补丁合并模块,其主要功能主要是将特征图的长和宽减半,通道数变为原来的两倍;
进一步地,Swin-Transformer表示带有滑动窗口的注意力机制计算模块,其主要功能为,将特征图通过滑动窗口的方式,分为4个矩阵,每个矩阵分别进行注意力机制计算,注意力机制计算公式如下所示:
其中,Attention表示注意力机制计算得到的结果,Softmax为函数表达式,其输入输出关系可以表示为:
其中,Sinput表示Softmax函数的输入向量,sum(Sinput)表示对该输入向量求和,Soutput表示Softmax函数的输出向量,e表示幂函数;
d表示滑动窗口分出的矩阵的维度,T表示矩阵的转置,Q表示Q矩阵,其计算公式为:
Q=Pm*Wq;
其中,Pm表示特征图分出的第m个矩阵,Wq表示用于计算Q矩阵的权重矩阵,该矩阵通过模型训练得到;
K表示K矩阵,其计算公式为:
K=Pm*Wk;
Wk表示用于计算K矩阵的权重矩阵,该矩阵通过模型训练得到;
V表示V矩阵,其计算公式为:
V=Pm*Wv;
Wv表示用于计算V矩阵的权重矩阵,该矩阵通过模型训练得到;
S302、构建多尺度缺陷轮廓特征提取模块,该模块针对S2步骤中提取出的跨尺度缺陷边缘特征,采用4层2倍下采样的Resnet卷积神经网络,单独提取跨尺度缺陷边缘特征,并与所述图像深层次特征进行特征融合,获得缺陷融合边缘特征的特征图;其中,卷积神经网络采用卷积核大小均为3*3,填充为1,步长为1;
S303、构建多尺度缺陷特征融合模块,将四个阶段所述Swin-transformerBlock结构分别通过1*1卷积层以及上采样处理并拼接融合得到多尺度缺陷特征;其中,上采样卷积神经网络的卷积核为3*3,上采样倍率均为2。
S304、构建尺度感知注意力模块,该模块将所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征作为输入,并融合平均池化层、1*1卷积层、relu激活函数和HardSigmoid激活函数结构,最后通过1*1卷积以及批量归一化提取出精细化的多尺度缺陷特征;其中,平均池化层的核大小为2*2,填充为0,步长为2;
S305、构建结果输出模块,将所述精细化的多尺度缺陷特征与所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征进行拼接得到高维缺陷信息。
S4、构建缺陷检测模型,将高维缺陷信息输入缺陷检测模型,检测出缺陷的bounding box预测结果和分类结果,得到缺陷类别预测,缺陷中心点的预测和缺陷预测框预测。
S5、针对跨尺度缺陷的缺陷检测模型,采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,并得到最终的缺陷检测模型。
具体的,S5中采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,包括如下步骤:
S501、将水平边界框R=(cx,cy,w,h)建模为二维高斯分布N(μ,∑),其中(cx,cy),w和h分别表示目标框的x,y轴的中心坐标、宽度和高度,μ,∑分别表示为均值向量和协方差矩阵,对于水平边界框R=(cx,cy,w,h)而言,其内接椭圆方程可以表示为:
其中(μx,μy)是椭圆的中心坐标,σx和σy是沿x和y轴的半轴长度,因此,μx=cx,μy=cy,二维高斯分布的概率密度函数如下式所示:
其中e表示幂函数,T表示矩阵的转置,X、μ和∑分别表示高斯分布的坐标、均值向量和协方差矩阵,当满足:
(X-μ)TΣ-1(X-μ)=1;
则椭圆方程可以表示为二维高斯分布的密度等值线,因此,水平边界框R=(cx,cy,w,h)可以建模为二维高斯分布N(μ,Σ),此时,μ和Σ可以表示为:
S502、对叶轮缺陷的真实缺陷边界框和预测边界框进行高斯建模,将真实缺陷边界框和预测边界框的相似度转换为两个高斯分布之间的分布距离,定义归一化的高斯Wasserstein距离损失函数,在S501中,本专利已经对两个不同的目标框进行了高斯建模,则对于高斯分布为μ1=N(m1,Σ1)的真实目标框和高斯分布为μ2=N(m2,∑2)的预测目标框,两者之间的二阶Wasserstein距离可以简化为:
其中,||*||2表示二范数,||*||F表示Frobenius范数,m1表示真实目标框高斯分布的均值,∑1表示真实目标框高斯分布的方差,m2表示预测目标框高斯分布的均值,∑2表示预测目标框高斯分布的方差。
S503、对于真实目标框和预测目标框/>建模的高斯分布NA和NB,其两者之间的Wasserstein距离可以进一步简化为:
其中,wA,hA分别代表真实目标框A的x,y轴中心坐标以及长宽,/>wB,hB分别代表预测目标框B的x,y轴中心坐标以及长宽。
S504、由于是距离度量,不能用于衡量相似度,即值域不在0到1之间,因此,使用其指数归一化形式作为缺陷检测模型的定位损失函数,并基于梯度下降的方式,对缺陷检测模型进行训练,缺陷检测模型的定位损失函数公式表示如下:
其中,C为叶轮图像中缺陷的平均尺寸,Loss表示模型的定位损失函数,e表示幂函数。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
以上实施方式对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (3)
1.一种跨尺度缺陷检测方法,其特征在于,包括以下步骤:
S1、采集待检测物体表面缺陷数据,并对缺陷进行分类定义;
S2、对待检测物体的原图像中包含缺陷的数据进行特征提取,得到跨尺度缺陷边缘特征;所述S2包括:S201、对原图像数据进行高斯平滑滤波,去除缺陷图像上的噪声点;S202、计算原图像各像素间的梯度大小和方向,分别采用Canny算子和Sobel算子对原图像中包含的缺陷边缘信息进行提取,得到跨尺度缺陷边缘特征,其采用非极大抑制、双阈值和滞后边界跟踪算法进行精细化处理;
S3、构建SwinIDE-merge网络模型,将待检测物体的原图像数据和跨尺度缺陷边缘特征输入SwinIDE-merge网络模型中,提取高维缺陷信息;所述S3包括:S301、构建原图像特征提取模块,该模块将提取出的原图像特征与S2步骤中提取出的跨尺度缺陷边缘特征进行叠加,通过Patch Partial结构展平,并通过Swin-transformer结构提取出图像深层次特征,所述Swin-Transformer结构第一个阶段由Linear Embedding和Swin-Transformer Block组成,其余3个阶段均由Patch Merging和Swin-Transformer Block构成;S302、构建多尺度缺陷轮廓特征提取模块,该模块针对S2步骤中提取出的跨尺度缺陷边缘特征,采用4层2倍下采样的Resnet卷积神经网络,单独提取跨尺度缺陷边缘特征,并与所述图像深层次特征进行特征融合,获得缺陷融合边缘特征的特征图;S303、构建多尺度缺陷特征融合模块,将四个阶段所述Swin-transformerBlock结构分别通过1*1卷积层以及上采样处理并拼接融合得到多尺度缺陷特征;S304、构建尺度感知注意力模块,该模块将所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征作为输入,并融合平均池化层、1*1卷积层、relu激活函数和Hard Sigmoid激活函数结构,最后通过1*1卷积以及批量归一化提取出精细化的多尺度缺陷特征;S305、构建结果输出模块,将所述精细化的多尺度缺陷特征与所述缺陷融合边缘特征的特征图以及所述多尺度缺陷特征进行拼接得到高维缺陷信息;
S4、构建缺陷检测模型,将高维缺陷信息输入缺陷检测模型,检测出缺陷的boundingbox预测结果和分类结果;
S5、针对跨尺度缺陷的缺陷检测模型,采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,并得到最终的缺陷检测模型。
2.根据权利要求1所述的一种跨尺度缺陷检测方法,其特征在于,所述S1中采集待检测物体表面缺陷数据,并对缺陷进行分类定义,包括如下步骤:
S101:采用二维工业相机对有缺陷的待检测物体表面进行图像采集;
S102:对采集得到的待检测物体表面缺陷的图像种类进行定义,待检测物体表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类,定义完缺陷种类后,对待检测物体表面缺陷进行数据标注。
3.根据权利要求1所述的一种跨尺度缺陷检测方法,其特征在于,所述S5中采用Wasserstein距离作为损失函数,对该模型进行训练和权重更新,包括如下步骤:
S501、将水平边界框R=(cx,cy,w,h)建模为二维高斯分布N(μ,∑),其中(cx,cy),w和h分别表示目标框的x,y轴的中心坐标、宽度和高度,μ,∑分别表示为均值向量和协方差矩阵;
S502、对待检测物体缺陷的真实缺陷边界框和预测边界框进行高斯建模,将真实缺陷边界框和预测边界框的相似度转换为两个高斯分布之间的分布距离,对于高斯分布为μ1=N(m1,∑1)的真实目标框和高斯分布为μ2=N(m2,∑2)的预测目标框,并计算两者之间的二阶Wasserstein距离为
S503、对于真实目标框和预测目标框/>建模的高斯分布NA和NB,其中,/>wA,hA分别代表真实目标框A的x,y轴中心坐标以及长宽,wB,hB分别代表预测目标框B的x,y轴中心坐标以及长宽,其两者之间的Wasserstein距离可以进一步简化为/>
S504、使用其指数归一化形式作为缺陷检测模型的定位损失函数,并基于梯度下降的方式,对缺陷检测模型进行训练,缺陷检测模型的定位损失函数公式表示如下:
其中,C为待检测物体图像中缺陷的平均尺寸,Loss表示模型的定位损失函数,e表示幂函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311355310.0A CN117094999B (zh) | 2023-10-19 | 2023-10-19 | 一种跨尺度缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311355310.0A CN117094999B (zh) | 2023-10-19 | 2023-10-19 | 一种跨尺度缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117094999A CN117094999A (zh) | 2023-11-21 |
CN117094999B true CN117094999B (zh) | 2023-12-22 |
Family
ID=88777217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311355310.0A Active CN117094999B (zh) | 2023-10-19 | 2023-10-19 | 一种跨尺度缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117094999B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117576095B (zh) * | 2024-01-16 | 2024-04-05 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
CN117726628B (zh) * | 2024-02-18 | 2024-04-19 | 青岛理工大学 | 一种基于半监督目标检测算法的钢材表面缺陷检测方法 |
Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161296A (zh) * | 2019-12-31 | 2020-05-15 | 芜湖哈特机器人产业技术研究院有限公司 | 基于离散小波变换的多尺度边缘检测方法 |
CN111524117A (zh) * | 2020-04-20 | 2020-08-11 | 南京航空航天大学 | 一种基于特征金字塔网络的隧道表面缺陷检测方法 |
CN112862760A (zh) * | 2021-01-19 | 2021-05-28 | 浙江大学 | 一种轴承外圈表面缺陷区域检测方法 |
CN114612444A (zh) * | 2022-03-16 | 2022-06-10 | 南京航空航天大学 | 一种基于渐进式分割网络的细微缺陷分析方法 |
CN114663436A (zh) * | 2022-05-25 | 2022-06-24 | 南京航空航天大学 | 一种基于深度学习的跨尺度缺陷检测方法 |
CN115482382A (zh) * | 2022-09-17 | 2022-12-16 | 北京工业大学 | 一种基于Transformer架构的图像语义分割方法 |
CN115496984A (zh) * | 2022-09-23 | 2022-12-20 | 广东萨米特陶瓷有限公司 | 瓷砖成品缺陷自动识别方法、装置、智能终端及存储介质 |
CN115588207A (zh) * | 2022-10-13 | 2023-01-10 | 成都卓视智通科技有限公司 | 一种基于ocr的监控视频日期识别方法 |
CN115713480A (zh) * | 2022-03-11 | 2023-02-24 | 广东工业大学 | 一种集成电路金属封装深度学习缺陷检测方法 |
CN115775236A (zh) * | 2022-11-24 | 2023-03-10 | 广东工业大学 | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 |
CN115861281A (zh) * | 2022-12-26 | 2023-03-28 | 浙江工业大学 | 一种基于多尺度特征的免锚框表面缺陷检测方法 |
CN115953582A (zh) * | 2023-03-08 | 2023-04-11 | 中国海洋大学 | 一种图像语义分割方法及系统 |
WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
WO2023129955A1 (en) * | 2021-12-29 | 2023-07-06 | Illumina, Inc. | Inter-model prediction score recalibration |
CN116596881A (zh) * | 2023-05-17 | 2023-08-15 | 南京工业大学 | 基于CNN和Transformer的工件表面缺陷检测方法 |
CN116630808A (zh) * | 2023-05-31 | 2023-08-22 | 河北工业大学 | 基于遥感图像特征提取的旋转舰船检测方法 |
CN116630802A (zh) * | 2023-05-24 | 2023-08-22 | 中国科学院合肥物质科学研究院 | 一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法 |
CN116664558A (zh) * | 2023-07-28 | 2023-08-29 | 广东石油化工学院 | 一种钢铁表面缺陷检测方法、系统及计算机设备 |
CN116703919A (zh) * | 2023-08-07 | 2023-09-05 | 合肥工业大学 | 一种基于最优传输距离损失模型的表面杂质检测方法 |
CN116703885A (zh) * | 2023-06-30 | 2023-09-05 | 南京邮电大学 | 一种基于Swin Transformer的表面缺陷检测方法及系统 |
CN116797906A (zh) * | 2023-05-31 | 2023-09-22 | 广西科技大学 | 基于改进YOLOv5s的红外弱小目标检测方法 |
WO2023179385A1 (zh) * | 2022-03-22 | 2023-09-28 | 中国科学院深圳先进技术研究院 | 一种视频超分方法、装置、设备及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11619593B2 (en) * | 2021-06-01 | 2023-04-04 | Zhejiang Gongshang University | Methods and systems for detecting a defect of a film |
US20230237662A1 (en) * | 2022-01-26 | 2023-07-27 | Lemon Inc. | Dual-level model for segmentation |
-
2023
- 2023-10-19 CN CN202311355310.0A patent/CN117094999B/zh active Active
Patent Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161296A (zh) * | 2019-12-31 | 2020-05-15 | 芜湖哈特机器人产业技术研究院有限公司 | 基于离散小波变换的多尺度边缘检测方法 |
CN111524117A (zh) * | 2020-04-20 | 2020-08-11 | 南京航空航天大学 | 一种基于特征金字塔网络的隧道表面缺陷检测方法 |
CN112862760A (zh) * | 2021-01-19 | 2021-05-28 | 浙江大学 | 一种轴承外圈表面缺陷区域检测方法 |
WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
WO2023129955A1 (en) * | 2021-12-29 | 2023-07-06 | Illumina, Inc. | Inter-model prediction score recalibration |
CN115713480A (zh) * | 2022-03-11 | 2023-02-24 | 广东工业大学 | 一种集成电路金属封装深度学习缺陷检测方法 |
CN114612444A (zh) * | 2022-03-16 | 2022-06-10 | 南京航空航天大学 | 一种基于渐进式分割网络的细微缺陷分析方法 |
WO2023179385A1 (zh) * | 2022-03-22 | 2023-09-28 | 中国科学院深圳先进技术研究院 | 一种视频超分方法、装置、设备及存储介质 |
CN114663436A (zh) * | 2022-05-25 | 2022-06-24 | 南京航空航天大学 | 一种基于深度学习的跨尺度缺陷检测方法 |
CN115482382A (zh) * | 2022-09-17 | 2022-12-16 | 北京工业大学 | 一种基于Transformer架构的图像语义分割方法 |
CN115496984A (zh) * | 2022-09-23 | 2022-12-20 | 广东萨米特陶瓷有限公司 | 瓷砖成品缺陷自动识别方法、装置、智能终端及存储介质 |
CN115588207A (zh) * | 2022-10-13 | 2023-01-10 | 成都卓视智通科技有限公司 | 一种基于ocr的监控视频日期识别方法 |
CN115775236A (zh) * | 2022-11-24 | 2023-03-10 | 广东工业大学 | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 |
CN115861281A (zh) * | 2022-12-26 | 2023-03-28 | 浙江工业大学 | 一种基于多尺度特征的免锚框表面缺陷检测方法 |
CN115953582A (zh) * | 2023-03-08 | 2023-04-11 | 中国海洋大学 | 一种图像语义分割方法及系统 |
CN116596881A (zh) * | 2023-05-17 | 2023-08-15 | 南京工业大学 | 基于CNN和Transformer的工件表面缺陷检测方法 |
CN116630802A (zh) * | 2023-05-24 | 2023-08-22 | 中国科学院合肥物质科学研究院 | 一种基于SwinT与尺寸自适应卷积的电力设备锈蚀缺陷图像检测方法 |
CN116630808A (zh) * | 2023-05-31 | 2023-08-22 | 河北工业大学 | 基于遥感图像特征提取的旋转舰船检测方法 |
CN116797906A (zh) * | 2023-05-31 | 2023-09-22 | 广西科技大学 | 基于改进YOLOv5s的红外弱小目标检测方法 |
CN116703885A (zh) * | 2023-06-30 | 2023-09-05 | 南京邮电大学 | 一种基于Swin Transformer的表面缺陷检测方法及系统 |
CN116664558A (zh) * | 2023-07-28 | 2023-08-29 | 广东石油化工学院 | 一种钢铁表面缺陷检测方法、系统及计算机设备 |
CN116703919A (zh) * | 2023-08-07 | 2023-09-05 | 合肥工业大学 | 一种基于最优传输距离损失模型的表面杂质检测方法 |
Non-Patent Citations (6)
Title |
---|
"An end-to-end steel surface defect detection approach via Swin transformer";Bo Tang等;《IET Image Processing》;第17卷(第5期);第1334-1345页 * |
"Cas-VSwin transformer: A variant swin transformer for surface-defect detection";Linfeng Gao等;《Computers in Industry》;第1-10页 * |
"基于YOLOv5s网络改进的钢铁表面缺陷检测算法";杨涛等;《机床与液压》;第1-17页 * |
"基于工业互联技术的胶料质量缺陷检测模型搭建分析";喻朝新等;《粘接》;第50卷(第6期);第19-22页 * |
"基于改进YOLOv5的输电线路鸟巢缺陷检测方法";赵霖等;《电子测量技术》;46(3);第157-165页 * |
"基于无人机航拍的大型飞机表面缺陷检测技术";董竞萱;《中国优秀硕士学位论文全文数据库》(第2期);第C031-745页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117094999A (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117094999B (zh) | 一种跨尺度缺陷检测方法 | |
Sarkar et al. | Deep learning for structural health monitoring: A damage characterization application | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN107545263B (zh) | 一种物体检测方法及装置 | |
CN113657560B (zh) | 基于节点分类的弱监督图像语义分割方法及系统 | |
CN111507965A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
Zhu et al. | A lightweight multiscale attention semantic segmentation algorithm for detecting laser welding defects on safety vent of power battery | |
Liang et al. | Automatic defect detection of texture surface with an efficient texture removal network | |
CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及系统 | |
CN113160278A (zh) | 一种场景流估计、场景流估计模型的训练方法和装置 | |
CN113936034B (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
CN115035172A (zh) | 基于置信度分级及级间融合增强的深度估计方法及系统 | |
CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
Li et al. | YOLO-PL: Helmet wearing detection algorithm based on improved YOLOv4 | |
CN113610760A (zh) | 一种基于u型残差神经网络的细胞图像分割示踪方法 | |
CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
CN115829942A (zh) | 基于非负性约束稀疏自编码器的电子电路缺陷检测方法 | |
CN115601357A (zh) | 一种基于小样本的冲压件表面缺陷检测方法 | |
CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
CN115272673A (zh) | 一种基于三维目标上下文表示的点云语义分割方法 | |
CN111461130B (zh) | 一种高精度图像语义分割算法模型及分割方法 | |
CN114120202A (zh) | 一种基于多尺度目标模型和特征融合的半监督视频目标分割方法 | |
CN110472478B (zh) | 一种基于光流场统计特征的场景分析方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |