CN113971670B - 基于计算机视觉的螺纹缺陷分析方法及系统 - Google Patents
基于计算机视觉的螺纹缺陷分析方法及系统 Download PDFInfo
- Publication number
- CN113971670B CN113971670B CN202111588377.XA CN202111588377A CN113971670B CN 113971670 B CN113971670 B CN 113971670B CN 202111588377 A CN202111588377 A CN 202111588377A CN 113971670 B CN113971670 B CN 113971670B
- Authority
- CN
- China
- Prior art keywords
- image
- thread
- cnn
- convolution
- computer vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 74
- 238000004458 analytical method Methods 0.000 title claims abstract description 25
- 238000001228 spectrum Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000003709 image segmentation Methods 0.000 claims abstract description 13
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 17
- 230000000737 periodic effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 22
- 238000013527 convolutional neural network Methods 0.000 description 35
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000033985 Device component issue Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006583 body weight regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于计算机视觉的螺纹缺陷分析方法及系统，涉及缺陷检测领域。主要包括：获得螺钉表面图像的灰度图像，并进行图像分割获得多个螺纹图像；对各螺纹图像进行傅里叶变换后去中心化得到多个频谱图像；将各频谱图像与标准频谱图像作差分别得到多个第一差值图像；构建CNN，根据频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对CNN中各卷积层的权重进行调节；将各螺纹图像分别输入到CNN中，从CNN中获得特征图，将特征图进行反卷积获得呈现螺纹图像所含缺陷的螺纹缺陷图像。
Description
技术领域
本申请涉及缺陷检测领域，具体涉及一种基于计算机视觉的螺纹缺陷分析方法及系统。
背景技术
目前，针对螺丝的缺陷检测还大多数采用人工检测的方法去检测产品表面的缺陷。不仅检测产品的速度慢，效率低，而且在检测的过程中容易出错，导致误检或漏检。随着计算机技术的发展，出现了基于机器视觉技术进行表面缺陷检测，大大提高了检测精度，降低了检测人员成本。
现有技术主要通过机器视觉进行缺陷检测，但发明人在实现本发明实施例的过程中，发现背景技术中至少存在以下缺陷：
利用机器视觉进行缺陷检测时，由于螺钉的螺纹分布较为密集，使得机器视觉难以得到高质量的图像，检测精度受到限制且精度难以提高。此外，通过机器视觉检测仅能对单个螺钉零件进行图像采集并进行缺陷检测，检测效率相对较低。
发明内容
针对上述技术问题，本发明提供了一种基于计算机视觉的螺纹缺陷分析方法及系统，根据频谱图像中异常点特征对CNN中各个方向上卷积权重进行调节，并利用CNN中全连接层的结果构建损失函数，获得各螺钉对应的较为精准的缺陷图像，网络识别精度较高，且能够同时对拍摄到的多个螺钉同时进行缺陷检测，提高了检测效率。
第一方面，本文提出了一种基于计算机视觉的螺纹缺陷分析方法，包括：
获取待检测的螺钉表面图像，并对所述螺钉表面图像进行灰度化得到灰度图像。
对所述灰度图像进行图像分割获得螺纹图像，并对各所述螺纹图像进行傅里叶变换后去中心化，分别得到各所述螺纹图像对应的频谱图像。
将各所述频谱图像与标准频谱图像作差，分别得到各所述频谱图像对应的第一差值图像。
构建CNN，所述CNN包括输入层、至少一个卷积层、全连接层及输出层。
根据所述频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对所述CNN中各所述卷积层的权重进行调节。
将各所述螺纹图像分别输入到所述CNN中，所述CNN输出螺纹缺陷图像。所述螺纹缺陷图像中呈现所述螺纹图像中包含的缺陷。
在一个可行的实施例中，所述CNN的所述全连接层中对所述特征图进行一维拉伸得到一维数据，将所述一维数据利用Softmax函数进行处理获得对应的概率序列。
所述CNN的损失函数为：
，其中，
为交叉熵损失函数，
为均方差损失函数），
，其中，
表示所述概率序列的均值，
为所述概率序列中值的数量，
为所述概率序列中第
个值。
在一个可行的实施例中，根据所述频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对所述CNN中各所述卷积层的权重进行调节，包括：
所述卷积层的权重包括横向卷积权重和纵向卷积权重。
所述横向卷积权重的调节包括：
，其中，
表示调节前的第i层横向卷积权重。
所述纵向卷积权重的调节包括：
，其中，
表示调节前的第i层纵向卷积权重，
，其中，
表示所述第一差值图像中高亮点的亮度值，
表示所述频谱图像中最大的亮度值。
在一个可行的实施例中，所述方法还包括：
当第一差值图像中高亮点的周期变化方向为水平时，所述横向卷积权重为
，其中，
表示调节前的第i层横向卷积权重，
为非线性权重调节系数。
当第一差值图像中高亮点的周期变化方向为垂直时，所述纵向卷积权重为
，其中，
表示调节前的第i层纵向卷积权重。
在一个可行的实施例中，将各所述螺纹图像分别输入到所述CNN中，所述CNN输出螺纹缺陷图像，包括：
从所述CNN中获得特征图，将所述特征图进行反卷积获得螺纹缺陷图像。
在一个可行的实施例中，所述螺纹图像包含多个螺纹图像，各螺纹图像分别对应所述灰度图像中包含的各螺钉。
在一个可行的实施例中，所述标准频谱图像的获得过程包括：
对多个螺纹图像得到的各个频谱图像两两作差，将得到的多个第二差值图像中为全黑图的所述第二差值图像对应的所述频谱图像作为标准频谱图像。
在一个可行的实施例中，对所述灰度图像进行图像分割处理，获得螺纹图像，包括：
利用语义分割网络对所述灰度图像进行分割，将分割后的图像进行裁剪，获得多个螺纹图像，各所述螺纹图像分别对应所述灰度图像中包含的各螺钉。
在一个可行的实施例中，对所述螺钉表面图像进行灰度化得到灰度图像，包括：
将所述螺钉表面图像中像素点在RGB三个通道中像素值的平均值，作为所述灰度图像中的像素点的灰度值。
第二方面，本发明提出了一种基于计算机视觉的螺纹缺陷分析系统，包括：存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现本发明实施例中基于计算机视觉的螺纹缺陷分析方法。
相比于现有技术，本发明实施例根据频谱图像中异常点特征对CNN中各个方向上卷积权重进行调节，并利用CNN中全连接层的结果构建损失函数，获得各螺钉对应的较为精准的缺陷图像，网络识别精度较高，且能够同时对拍摄到的多个螺钉同时进行缺陷检测，提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于计算机视觉的螺纹缺陷分析方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征；在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本发明所针对的具体场景为：对螺钉中螺纹的缺陷进行检测，检测过程中不考虑光源的影响，采用固定面状光源。本实施例仅研究螺钉螺纹区域存在的缺陷。
本发明实施例提供了一种基于计算机视觉的螺纹缺陷分析方法，如图1所示，包括：
步骤S101、获取待检测的螺钉表面图像，并对所述螺钉表面图像进行灰度化得到灰度图像。
步骤S102、对所述灰度图像进行图像分割获得螺纹图像，并对各所述螺纹图像进行傅里叶变换后去中心化，分别得到各所述螺纹图像对应的频谱图像。
步骤S103、将各所述频谱图像与标准频谱图像作差，分别得到各所述频谱图像对应的第一差值图像。
步骤S104、构建CNN，所述CNN包括输入层、至少一个卷积层、全连接层及输出层。
步骤S105、根据所述频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对所述CNN中各所述卷积层的权重进行调节。
步骤S106、将各所述螺纹图像分别输入到所述CNN中，所述CNN输出螺纹缺陷图像。所述螺纹缺陷图像中呈现所述螺纹图像中包含的缺陷。
进一步的，步骤S101、获取待检测的螺钉表面图像，并对螺钉表面图像进行灰度化得到灰度图像。具体包括：
通过相机对螺钉区域图像进行采集，获取待检测的螺钉表面图像，本实施例中待检测的螺钉表面图像为RGB图像，RGB是一种颜色标准，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，RGB即是代表红、绿、蓝三个通道的颜色。
本实施例中对螺钉表面图像的灰度化处理采用平均灰度化，即将螺钉表面图像中像素点在RGB三个通道中像素值的平均值，作为灰度图像中的像素点的灰度值。
进一步的，步骤S102、对所述灰度图像进行图像分割获得螺纹图像，并对各所述螺纹图像进行傅里叶变换后去中心化，分别得到各所述螺纹图像对应的频谱图像。具体包括：
首先对灰度图像进行图像分割获得多个螺纹图像，如此能够分别获取灰度图像内各个螺钉对应的分割图像，便于后续分别对各螺钉是否存在缺陷进行检测。
需要说明的是，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。
本实施例中对灰度图像的图像分割是通过语义分割网络实现的，对灰度图像进行分割，本实施例中采用的语义分割网络的结构为Encoder-Decoder（编码-解码）结构，具体过程包括：对训练集图像进行标注，将灰度图像中螺纹区域的像素点标注为1，其他区域像素点标注为0，将标记后的图像输入语义分割网络中，经过语义分割编码器进行卷积，再通过语义分割解码器进行反卷积输出分割图像。然后，对分割图像按照先验螺钉排列规律进行裁剪，分别得到当前分布区域内各个螺钉对应的的螺纹图像。
其次，分别对各螺纹图像进行傅里叶变换获取对应的频谱图像。傅立叶变换表示能将满足一定条件的某个函数表示成三角函数（正弦和/或余弦函数）或者它们的积分的线性组合。在不同的研究领域，傅立叶变换具有多种不同的变体形式，如连续傅立叶变换（FFT）和离散傅立叶变换(DFT)。
本实施例中利用DFT算法对螺纹区域图像进行处理，得到图像坐标系X轴和Y轴方向上空域和频域的周期性曲线，并将傅里叶变换的结果进行中心化处理，得到中心化后的频谱图像。如此能够根据频谱图像获取螺钉表面缺陷纹理方向和缺陷大小。
需要说明的是，中心化后的频谱图像中，中间最亮的点为最低频率，越靠近图像外侧，频率越高。同时，频谱图像中Y轴上的周期变化与螺纹灰度图像上X轴上的纹理周期变化对应，同样的，频谱图像中X轴上的周期变化与螺纹灰度图像上Y轴上的纹理周期变化对应。
进一步的，步骤S103、将各频谱图像与标准频谱图像作差，分别得到各频谱图像对应的第一差值图像。具体包括：
在已经获得标准频谱图像的基础上，分别获得各频谱图像与标准频谱图像之间的差值图像，如此，可以在后续步骤中使各第一差值图像参与到对CNN中各卷积层的权重的调节过程中，从而提高网络的训练速度和网络的识别精度。
本实施例中用到的标准频谱图像可以提前根据无缺陷的螺钉获取对应的频谱图像，也可以利用本实施例中得到的各螺钉对应的频谱图像获得，其中各螺钉对应的频谱图像获得标准频谱图像的过程包括：将螺纹图像和频谱图像进行一一对应并分别进行标注，利用带标注的频谱图像之间进行随机两两作差图像作差处理，得到多个第二差值图像，并将所有第二差值图像中为全黑图的第二差值图像所对应的频谱图像作为标准频谱图像，如此能够找出所有频谱图像中没有缺陷的螺钉对应的频谱图像。需要说明的是，正常的螺纹图像对应的频谱图像都是相同的，只有存在螺纹缺陷的时，才会出现与缺陷特征相关的频谱图像高亮点的变化。
进一步的，步骤S104、构建CNN，CNN包括输入层、至少一个卷积层、全连接层及输出层。具体包括：
本实施例中构建的CNN（Convolutional Neural Network，卷积神经网络）包括输入层、至少一个卷积层、全连接层及输出层。卷积层具体包括：卷积神经层（ConvolutionalLayer）和下采样层(Pooling Layer)。下采样层又称为池化层，本实施例中各卷积层之间的参数传递为线性关系。
进一步的，步骤S105、根据频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对CNN中各卷积层的权重进行调节。具体包括：
本实施例中将螺纹区域图像作为CNN的输入，同时将螺纹频谱差值图像的结果作为网络的另一个分支用于各层卷积过程中的权重共享和权重调节。
进一步的，在编码器（Encoder）卷积层对螺纹区域图像进行卷积的过程中，由于频谱图像中高亮点的周期性变化方向和灰度图像中的变化方向存在垂直对应关系，可以通过各第一差值图像中高亮点的周期变化方向得到螺纹图像中异常纹理方向，具体可以通过DFT算法获取频谱图像中所在位置的高亮点的频谱曲线的波动周期变化方向。
首先对各方向上的卷积权重参数
进行调节，假设第一差值图像中高亮点的周期变化方向为水平时，则对横向卷积的结果对应权重调节为
，其中，
表示第i层横向卷积的权重，
为非线性权重调节系数。相应的，当第一差值图像中高亮点的周期变化方向为垂直时，纵向卷积的权重调节为
，其中，
表示第i层纵向卷积的权重。
本实施例中螺纹频谱差值图像中高亮点的亮度之比
，其中，
表示第一差值图像中高亮点的亮度值，
表示螺纹频谱图中最大的亮度值，对各卷积层的权重调节比例进行修正。因为卷积过程中感受野的问题，越深层的卷积对应的感受野越大，得到的Feature可能越重要，所以本实施例中也可以根据差值图像中高亮点的亮度之比
，对不同卷积层的权重调节比例进行修正。修正后的各卷积对应的权重为
和
，权重调节公式中字母表示的含义不变，
分别表示修正后第i层卷积层的横向卷积和纵向卷积的权重，
表示卷积的层数，
为自然常数。各第一差值图像中异常纹理高亮点的亮度越大，对应层的权重调节比例系数越大，层数越深，权重调节的比例越大。
本实施例中也可以同时利用根据频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对CNN中各卷积层的权重进行调节。
本实施例中将各频谱图像的缺陷纹理方向和缺陷大小作为暗知识，对深度神经网络的各卷积层下各方向卷积的权重进行调节，能够提高网络的训练速度和网络的识别精度。暗知识是人类的知识分类中的一种，其特点是既无法被语言描述，也无法被感知。
进一步的，步骤S106、将各螺纹图像分别输入到CNN中，CNN输出螺纹缺陷图像。螺纹缺陷图像中呈现螺纹图像中包含的缺陷。具体包括：
在池化层采用最大值池化（max pooling），如此能够保证特征图的大小与图像大小保持一致，避免影响网络的准确度，最终，得到卷积层的输出Feature map（特征图），然后，经过全连接层对特征图的输出结果进行一维数据拉伸，并利用Softmax激活函数得到概率序列，需要说明的是，Softmax函数由称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的多维向量“压缩”，使得处理后每一个元素的范围都在[0，1]之间，并且所有元素的和为1。
本实施例中CNN的损失函数为：
，其中，
为交叉熵损失函数（缺陷分类任务），
为均方差损失函数（缺陷区域包围框回归任务），
，其中，
表示所述概率序列的均值，
为所述概率序列中值的数量，为所述概率序列中第
个值。
损失函数（loss function）又称为代价函数（cost function），是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。
最后，当本实施例中CNN得到最佳运算结果时，将CNN得到的最后一个Feature map（特征图）进行反卷积，以获得呈现螺纹图像所含缺陷的螺纹缺陷图像。
反卷积，又称为转置卷积（Transposed Convolution），它是一种特殊的卷积，先padding（填充）来扩大图像尺寸，紧接着跟正向卷积一样，旋转卷积核180度，再进行卷积计算。看上去就像，已知正向卷积的输出图像，卷积核，得到与正向卷积中的原始图像尺寸相同的图像。
基于与上述方法相同的发明构思，本实施例还提供了一种基于计算机视觉的螺纹缺陷分析系统，本实施例中基于计算机视觉的螺纹缺陷分析系统包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如基于计算机视觉的螺纹缺陷分析方法实施例所描述的对待检测螺钉中的螺纹进行缺陷检测。
由于基于计算机视觉的螺纹缺陷分析方法实施例已经对对待检测螺钉中的螺纹进行缺陷检测的方法进行了说明，此处不再赘述。
综上所述，本发明实施例根据频谱图像中异常点特征对CNN中各个方向上卷积权重进行调节，并利用CNN中全连接层的结果构建损失函数，获得各螺钉对应的较为精准的缺陷图像，网络识别精度较高，且能够同时对拍摄到的多个螺钉同时进行缺陷检测，提高了检测效率。
本发明中涉及诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本发明的方法和系统中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
上述实施例仅仅是为清楚地说明所做的举例，并不构成对本发明的保护范围的限制。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡是与本发明相同或相似的设计均属于本发明的保护范围之内。
Claims (9)
1.一种基于计算机视觉的螺纹缺陷分析方法，其特征在于，包括：
获取待检测的螺钉表面图像，并对所述螺钉表面图像进行灰度化得到灰度图像；
对所述灰度图像进行图像分割获得螺纹图像，并对各所述螺纹图像进行傅里叶变换后去中心化，分别得到各所述螺纹图像对应的频谱图像；
将各所述频谱图像与标准频谱图像作差，分别得到各所述频谱图像对应的第一差值图像；
构建CNN，所述CNN包括输入层、至少一个卷积层、全连接层及输出层；
根据所述频谱图像中最大亮度以及高亮点的变化方向，以及第一差值图像中高亮点的亮度，对所述CNN中各所述卷积层的权重进行调节；
将各所述螺纹图像分别输入到所述CNN中，所述CNN输出螺纹缺陷图像；所述螺纹缺陷图像中呈现所述螺纹图像中包含的缺陷；
其中，对所述CNN中各所述卷积层的权重进行调节，包括：
卷积层的权重包括横向卷积权重和纵向卷积权重；
所述横向卷积权重的调节包括：
，其中，
表示调节前的第i层横向卷积权重；
所述纵向卷积权重的调节包括：
，其中，
表示调节前的第i层纵向卷积权重，
，其中，
表示所述第一差值图像中高亮点的亮度值，
表示所述频谱图像中最大的亮度值。
2.根据权利要求1所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，所述CNN的所述全连接层中对特征图进行一维拉伸得到一维数据，将所述一维数据利用Softmax函数进行处理获得对应的概率序列；
所述CNN的损失函数为：
，其中，
为交叉熵损失函数，
为均方差损失函数），
，其中，
表示所述概率序列的均值，
为所述概率序列中值的数量，
为所述概率序列中第
个值。
3.根据权利要求2所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，所述方法还包括：
当第一差值图像中高亮点的周期变化方向为水平时，所述横向卷积权重为
，其中，
表示调节前的第i层横向卷积权重，
为非线性权重调节系数；
当第一差值图像中高亮点的周期变化方向为垂直时，所述纵向卷积权重为
，其中，
表示调节前的第i层纵向卷积权重。
4.根据权利要求1所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，将各所述螺纹图像分别输入到所述CNN中，所述CNN输出螺纹缺陷图像，包括：
从所述CNN中获得特征图，将所述特征图进行反卷积获得螺纹缺陷图像。
5.根据权利要求1所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，所述螺纹图像包含多个螺纹图像，各螺纹图像分别对应所述灰度图像中包含的各螺钉。
6.根据权利要求5所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，所述标准频谱图像的获得过程包括：
对多个螺纹图像得到的各个频谱图像两两作差，将得到的多个第二差值图像中为全黑图的所述第二差值图像对应的所述频谱图像作为标准频谱图像。
7.根据权利要求1所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，对所述灰度图像进行图像分割处理，获得螺纹图像，包括：
利用语义分割网络对所述灰度图像进行分割，将分割后的图像进行裁剪，获得多个螺纹图像，各所述螺纹图像分别对应所述灰度图像中包含的各螺钉。
8.根据权利要求1所述的基于计算机视觉的螺纹缺陷分析方法，其特征在于，对所述螺钉表面图像进行灰度化得到灰度图像，包括：
将所述螺钉表面图像中像素点在RGB三个通道中像素值的平均值，作为所述灰度图像中的像素点的灰度值。
9.一种基于计算机视觉的螺纹缺陷分析系统，其特征在于，包括：包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如权利要求1-8任一项所述的基于计算机视觉的螺纹缺陷分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111588377.XA CN113971670B (zh) | 2021-12-23 | 2021-12-23 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111588377.XA CN113971670B (zh) | 2021-12-23 | 2021-12-23 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113971670A CN113971670A (zh) | 2022-01-25 |
| CN113971670B true CN113971670B (zh) | 2022-04-15 |
Family
ID=79590745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111588377.XA Active CN113971670B (zh) | 2021-12-23 | 2021-12-23 | 基于计算机视觉的螺纹缺陷分析方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113971670B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114882039B (zh) * | 2022-07-12 | 2022-09-16 | 南通透灵信息科技有限公司 | 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法 |
| CN114998343A (zh) * | 2022-08-04 | 2022-09-02 | 南通广信塑料机械有限公司 | 基于视觉的模具表面抛光程度检测方法 |
| CN115131739B (zh) * | 2022-08-30 | 2023-08-04 | 海门市华呈精密标准件有限公司 | 金属拉丝工艺智能调控方法及系统 |
| CN115272324B (zh) * | 2022-09-28 | 2023-06-23 | 南通鑫鑫医药药材有限公司 | 一种制药设备制药过程筛网缺陷检测方法及系统 |
| CN117876364A (zh) * | 2024-03-11 | 2024-04-12 | 陕西煜成和汇金属材料有限公司 | 基于图像识别的金属棒材缺陷检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106022365A (zh) * | 2016-05-16 | 2016-10-12 | 电子科技大学 | 基于数据融合和rbf神经网络的表面缺陷深度估计方法 |
| CN110307982A (zh) * | 2019-06-19 | 2019-10-08 | 电子科技大学 | 基于CNN和Adaboost的轴承故障分类方法 |
| US10572945B1 (en) * | 2014-08-28 | 2020-02-25 | Cerner Innovation, Inc. | Insurance risk scoring based on credit utilization ratio |
| CN111080636A (zh) * | 2019-12-23 | 2020-04-28 | 杨静日 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
| CN112217988A (zh) * | 2020-09-21 | 2021-01-12 | 河南耀蓝智能科技有限公司 | 基于人工智能的光伏相机运动模糊自适应调整方法与系统 |
| CN113823312A (zh) * | 2021-02-19 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 语音增强模型生成方法和装置、语音增强方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4382797B2 (ja) * | 2006-11-09 | 2009-12-16 | 株式会社山武 | 対応点探索方法および３次元位置計測方法 |
| US11367185B2 (en) * | 2019-07-12 | 2022-06-21 | Mayo Foundation For Medical Education And Research | Deep learning-based medical image quality evaluation and virtual clinical trial |
-
2021
- 2021-12-23 CN CN202111588377.XA patent/CN113971670B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10572945B1 (en) * | 2014-08-28 | 2020-02-25 | Cerner Innovation, Inc. | Insurance risk scoring based on credit utilization ratio |
| CN106022365A (zh) * | 2016-05-16 | 2016-10-12 | 电子科技大学 | 基于数据融合和rbf神经网络的表面缺陷深度估计方法 |
| CN110307982A (zh) * | 2019-06-19 | 2019-10-08 | 电子科技大学 | 基于CNN和Adaboost的轴承故障分类方法 |
| CN111080636A (zh) * | 2019-12-23 | 2020-04-28 | 杨静日 | 彩钢瓦表面缺陷的cnn语义分割自学习检测方法 |
| CN112217988A (zh) * | 2020-09-21 | 2021-01-12 | 河南耀蓝智能科技有限公司 | 基于人工智能的光伏相机运动模糊自适应调整方法与系统 |
| CN113823312A (zh) * | 2021-02-19 | 2021-12-21 | 北京沃东天骏信息技术有限公司 | 语音增强模型生成方法和装置、语音增强方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113971670A (zh) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113971670B (zh) | 基于计算机视觉的螺纹缺陷分析方法及系统 | |
| CN107610141B (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN111028213A (zh) | 图像缺陷检测方法、装置、电子设备及存储介质 | |
| KR102631031B1 (ko) | 반도체 장치의 불량 검출 방법 | |
| CN110675368B (zh) | 一种融合图像分割与分类的细胞图像语义分割方法 | |
| CN115294116B (zh) | 基于人工智能的纺织材料染色质量评估方法、装置及系统 | |
| CN111275660B (zh) | 一种平板显示器缺陷检测方法及装置 | |
| CN107590512A (zh) | 一种模板匹配中参数的自适应方法和系统 | |
| CN114878595B (zh) | 一种书本印刷质量检测方法 | |
| CN111640087B (zh) | 一种基于sar深度全卷积神经网络的影像变化检测方法 | |
| CN109934835B (zh) | 基于深度强化网络邻接连接的轮廓检测方法 | |
| US10861187B2 (en) | Method of processing object detection data | |
| CN116266387A (zh) | 基于重参数化残差结构和坐标注意力机制的yolov4的图像识别算法及系统 | |
| CN112381177A (zh) | 一种基于深度学习的表盘数字字符识别方法及系统 | |
| CN110956623A (zh) | 皱纹检测方法、装置、设备及计算机可读存储介质 | |
| CN116645719A (zh) | 一种瞳孔和虹膜定位方法、装置、电子设备及存储介质 | |
| CN113223098B (zh) | 图像颜色分类的预处理优化方法 | |
| CN113870342A (zh) | 外观缺陷检测方法、智能终端以及存储装置 | |
| CN112001388A (zh) | 一种基于YOLOv3改进模型的用于检测PCB中圆形目标的方法 | |
| Shuai et al. | Defect detection of four-color display screen based on color equalization and local dynamic threshold segmentation | |
| CN116844058B (zh) | 一种指针式仪表示数的识别方法、装置、设备及存储介质 | |
| Davis et al. | Automated quantitative description of spiral galaxy arm-segment structure | |
| CN114913512B (zh) | 基于计算机视觉的汽车座椅皮革分类方法、装置及系统 | |
| CN116843689B (zh) | 一种菌盖表面破损检测方法 | |
| CN116363668B (zh) | 一种图书智能校对方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |