CN112819806B - 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 - Google Patents
一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 Download PDFInfo
- Publication number
- CN112819806B CN112819806B CN202110203174.8A CN202110203174A CN112819806B CN 112819806 B CN112819806 B CN 112819806B CN 202110203174 A CN202110203174 A CN 202110203174A CN 112819806 B CN112819806 B CN 112819806B
- Authority
- CN
- China
- Prior art keywords
- neural network
- ship
- weld
- network model
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 111
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000003466 welding Methods 0.000 claims description 35
- 238000000513 principal component analysis Methods 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 11
- 230000003631 expected effect Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000005493 welding type Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 15
- 239000002893 slag Substances 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法。首先采用基于距离最值的M‑SMOTE算法进行焊缝样本不平衡数据集处理，实现少数类新样本的精细化生成；然后构建包括13层的面向船舶焊缝缺陷检测的深度卷积神经网络模型，输入层的输入取对船舶X射线焊缝图像集的特征数据进行改进近邻传播聚类的结果，深度卷积神经网络中间各层的输入数据采用自适应PCA降维；接着对深度卷积神经网络模型进行训练；最后利用训练好的深度卷积神经网络模型进行焊缝缺陷检测。本发明的船舶焊缝缺陷检测方法有效解决了焊缝数据不平衡、缺陷特征选择以及数据高维等技术难点，实现了船舶焊缝缺陷的高效和有效检测。
Description
技术领域
本发明属于模式识别技术领域，涉及基于X射线焊缝图像集的船舶焊缝缺陷检测技术，尤其涉及一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法。
背景技术
焊接是船舶建造的主要工艺，但由于焊接过程是一个多因素耦合的复杂相变过程，极易受到外部环境和人为因素的干扰，在焊缝成型过程中通常会产生夹渣、裂纹、气孔、未焊透等难以预测的焊接缺陷，这些缺陷会严重降低焊接构件的机械性能，从而对船舶关键零部件的安全性能往往造成很大的不利影响。为了及时发现焊缝存在的缺陷，焊接缺陷无损检测成为了主要技术手段，而X射线无损检测技术以其无损、精准、快捷等优点在实际焊接缺陷检测过程中得到了广泛应用。
随着计算机视觉的发展，基于X射线焊缝图像集的焊缝缺陷检测技术得到了快速发展和应用。现有的焊缝缺陷检测大致分为两类：基于数字图像处理以及基于机器学习的缺陷检测。前者包括：基于Canny算子的边缘提取、基于局部特征提取、基于OSTU的边缘检测等，这些方法普遍存在易受噪音、相似背景颜色及多种缺陷混杂的影响；后者包括：人工神经网络、支持向量机等，然而其学习性能十分依赖于样本库对缺陷的代表能力，以及学习模型的准确程度。
得益于大数据的发展和强大计算能力的提升，深度学习因具有特征自动学习优点，并能通过将学习融入到模型建立过程中来减少人为设计特征可能，已成为当前焊缝缺陷识别领域的热点机器学习方法，尤其在船舶焊缝缺陷检测中也开始尝试使用，但该方法十分依赖数据集，在应用中仍然存在以下技术难点：
(1)在船舶实际焊接过程中，每一种缺陷(如夹渣、裂纹、气孔、未焊透)产生的概率不是等同的，因此利用X射线探测所获得图片通常可能出现严重的不平衡类问题，不平衡缺陷数据会影响模型学习，进而降低模型泛化能力且容易发生欠拟合；
(2)现有船舶焊接缺陷的特征提取主要是基于焊缝的几何和强度特性进行，但不同类型焊接缺陷的灰度值分布往往不同于其背景，在特征提取时忽略了背景对比反差的影响，这对深度学习网络模型的训练影响非常大，而且直接影响到识别准确率；
(3)由于深度卷积神经网络模型具有大量可训练变量的体系结构，模型在识别准确率上往往表现卓越，但因为结构较为复杂，模型需要大量存储空间，且运算速度慢，常见方法是主成分降维法，但传统的PCA算法需要对降维对象有一定的先验知识，也无法通过参数化等方法对降维过程进行干预，可能得不到预期效果，效率也不高。
因此，基于深度学习的船舶焊缝缺陷检测需要突破数据不平衡、缺陷特征选择以及数据高维等技术难点，才能实现船舶焊缝缺陷的高效和有效检测。
发明内容
本发明的目的在于针对基于X射线焊缝图像的船舶焊缝缺陷检测，提出了一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法。
本发明融合多特征聚类处理及降维的深度卷积神经网络模型，从而提高船舶焊缝缺陷识别准确率，降低模型训练时间和减少模型存储容量。
为了实现上述目的，本发明采取如下技术方案予以实现：
一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，具体采用如下步骤：
(1)获取船舶焊缝图像；
(2)基于距离最值M-SMOTE算法处理不平衡数据集；
(3)构建面向船舶焊缝缺陷检测的深度卷积神经网络模型；
(4)训练用于船舶焊缝缺陷检测的深度卷积神经网络模型；
(5)基于深度卷积神经网络模型进行焊缝缺陷检测。
进一步，所述基于距离最值M-SMOTE算法处理不平衡数据集的流程，具体采用如下步骤：
(1)对于少数类焊缝样本集中每一个体xi，计算它到少数类样本集中所有样本的欧式距离di，设dx为少数类样本集类间平均欧氏距离，其计算如下：
(2)计算样本xi与多数类K个邻近样本的最大欧氏距离dmax和最小欧氏距离dmin。
(3)在合成样本之时，针对每个少数样本，计算该样本与同类K个邻近样本的平均欧氏距离davg1，以及该少数样本与多数类K个邻近样本的平均欧氏距离davg2。
(4)定义μ为相对距离比，且计算如下：
(5)定义λ为距离系数，其主要针对新样本合成时，考虑周围多数类样本造成影响而设定，且计算如下：
式中，rand(0,1)表示区间(0,1)内的随机数。
(6)借鉴SMOTE算法，新少数类样本生成方式如下：
xnew＝xi+λ(xi-xj)
xi为选取进行过采样处理的任一个少数类样本，xj为xi的同类K个邻近样本之一，xnew为使用M-SMOTE算法要生成的新少数类样本。当μ小于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较小，说明该样本周围少数类分布较密集，合成的新样本xnew在xi与xj之间随机生成；当μ大于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较远，合成新样本应该与少数类密集区域距离远，使xnew远离xi。
进一步，所述面向船舶焊缝缺陷检测的深度卷积神经网络包括13层，分别为一个输入层、三次卷积与池化层、五个全连接层和一个输出层，所述输入层的输入是来自对船舶X射线焊缝图像集的特征数据进行改进近邻传播聚类的结果，所述深度卷积神经网络中间各层的输入数据采用自适应PCA降维。
进一步，所述船舶X射线焊缝图像集的特征数据，主要包括基于几何、强度和背景对比反差三个角度的5类焊接缺陷特征。其中，所述几何角度的缺陷特征，包括长度W和纵横比Ar，前者是指缺陷边缘两点间的最大距离，后者是指缺陷的宽度与长度之比。所述强度角度缺陷特征，包括缺陷区粗糙度Rr，是指缺陷内部像素的强度变化。所述背景对比反差角度缺陷特征，包括直方图对比Hc和纵横比对比Kc，前者是指缺陷区域与背景灰度直方图的卡方距离；纵横比对比Kc为缺陷区与背景的纵横比之比。
进一步，所述对船舶X射线焊缝图像集的特征数据进行的改进近邻传播聚类的方法，具体采用如下步骤：
(1)设吸引信息矩阵R，矩阵R中元素r(u,v)为两个数据点u和v的吸引信息，即u成为v聚类质心的适合度；设归属信息矩阵A，矩阵A中元素a(u,v)为u和v两个点之间的归属信息，即u有意向选v作为u的质心的认可程度。
(2)设相似度矩阵S，在相似度矩阵中两个数据点的相似度使用马氏距离的负值表示，对于欧式距离均值θ，协方差矩阵为V，马氏距离相似度矩阵S中每一个元素s(u,v)的表示方式如下：
(3)使用迭代法更新矩阵，吸引信息rt+1(u,v)的迭代方式如下：
归属信息at+1(u,v)的迭代方式如下：
式中u′表示除当前u以外的其他点，v′表示除当前v以外的其他点。
(4)引入了衰减系数ψ，设定如下更新方式：
rt+1(u,v)←(1-ψ)rt+1(u,v)+ψrt(u,v)
at+1(u,v)←(1-ψ)at+1(u,v)+ψat(u,v)
(5)设定最大迭代次数，将吸引度信息矩阵R与归属度信息矩阵A相加，取对角线的值大于0的点为聚类质心，得到z个聚类质心。
进一步，所述深度卷积神经网络中间各层输入数据的自适应PCA降维的方法，具体采用如下步骤：
(1)对于传统的PCA降维方法，首先在所有线性组合中选取方差最大的组合F1，称为第一主成分。如果待降维原数据量F0不足以被第一主成分完全表示，再考虑选取第二个线性组合F2。为能有效地反映原数据量信息，F1已有信息就不需要再出现在F2中。用协方差方式来使F2中不再包含F1中的信息。
协方差的数学表达式如下，
Cov(F1，F2)＝E[(F1-E(F1))][(F2-E(F2)]＝E[F1F2]-E[F1]E[F2]
式中E[·]表示各样本的期望值。
依此类推可以构造出第三、第四、……，第p个主成分，使得原数据量F0能够用各个主成分表达，关系式如下：
F0＝α1F1+α2F2+α3F3+…+αpFp
式中αl(1≤l≤p)表示第l个主成分Fl的权值。
(2)PCA降维法需要确定出p个主成分，才能完全表示出原始数据量F0，因此降维过程较为繁琐，且需要对降维对象有一定认知，才方便找出各个主成分。鉴于船舶焊缝缺陷种类繁杂，使用传统PCA法降维效率低下，预期效果差，无法在保存有效特征的基础上高效降维，为此基于误差控制原理，利用参数化方式提出了自适应PCA算法。当第k个主成分的权值小于1e-5时，就停止寻找下一个主成分，即把后面成分忽略。
(3)得到关于原始数据量F0的近似表达式：
F0＝α1F1+α2F2+α3F3+…+αkFk
(4)引入调节因子c，构造中间变量fq(1≤q≤k-1)：
fq＝Fq-c·Fq+1
(5)确定第l个主成分fl的权值βl(1≤l≤p)使得满足下式：
F0＝β1f1+β2f2+β3f3+…+βk-1fk-1
对于不同k值，该算法能自动地去确定c取值。舍弃可忽略成分，可以避免传统PCA算法需要繁琐地确定p个主成分的缺点。
本发明具有以下优点和有益效果：
(1)本发明所提出新的基于距离最值M-SMOTE算法，在进行不平衡数据集处理时，通过相对距离比来量化周围少数类样本分布的疏密性，进而根据不同疏密性来确定不同距离系数，实现少数类样本精细化生成，不仅有效解决了船舶焊接过程中因焊缝缺陷产生概率不等同而造成的数据集问题，而且增强网络不同特征的学习能力，提高了神经网络的焊缝质量检测性能。
(2)本发明所提出新的基于几何、强度和背景对比反差三个角度进行5类焊接缺陷特征提取时，几何角度考虑到了船舶焊接缺陷的大小、形状和轮毂；强度考虑到了船舶焊接缺陷的灰度分布；背景对比反差考虑到了船舶焊接缺陷区域的边缘定位，船舶焊接缺陷的灰度与背景的灰度比较。三种角度的缺陷特征提取有助于神经网络特征学习更加精准，从而提升其学习效率；此外，相比起过多类型的焊缝缺陷特征提取，可以避免造成神经网络过拟合，从而提高焊缝缺陷检测模型的泛化能力。
(3)本发明所提出新的基于马氏距离改进近邻传播聚类分析法，一方面不需要预先给定聚类数目，不需要对聚类对象有先验知识，可以自动确定聚类中心及类别数目；另一方面，使用马氏距离刻画近邻传播聚类中的相似度矩阵，可以避免因不同维度特征的度量标准之间存在的差异，减少聚类结果的误差。最后将聚类结果作为深度卷积神经网络输入，能提高网络识别的准确率和效率。
(4)本发明所提出新的自适应PCA降维法能够保留焊缝图像的有效特征，在保证高识别准确率情况下，减少了模型训练时间，降低了模型存储容量。
附图说明
图1本发明的一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法的总流程图；
图2基于距离最值M-SMOTE算法处理不平衡数据集的方法流程图；
图3深度卷积神经网络结构图；
图4改进近邻传播聚类的方法流程图；
图5自适应PCA降维的方法流程图；
图6细微气孔缺陷的近邻传播-DCNN模型检测；
图7多缺陷焊缝的近邻传播-DCNN模型检测。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，采用如下步骤：
(1)获取船舶X射线焊缝图像集；
(2)基于距离最值M-SMOTE算法处理不平衡数据集；
(3)构建面向船舶焊缝缺陷检测的深度卷积神经网络模型；
(4)训练用于船舶焊缝缺陷检测的深度卷积神经网络模型；
(5)基于深度卷积神经网络模型进行焊缝缺陷检测。
船舶焊接往往由于焊接方法、工序顺序和焊接设备等因素而造成焊缝缺陷产生，且主要缺陷包含夹渣、裂纹、气孔、未焊透。但在实际焊接过程中，每一种缺陷产生的概率不是等同的，因此利用X射线探测所获得图片就可能出现严重的不平衡类问题。表一为所获得的500张焊接X射线内部检测通用数据集，由表可以看出，气孔出现的数量最多，裂纹次之，夹渣紧随其后，而未焊透出现的数量非常少，低于总样本数量的10％，属于少数类样本，从而造成数据不平衡，这会降低用于船舶焊缝缺陷检测的深度卷积神经网络模型的泛化能力，且使其容易发生欠拟合。为此在开展深度卷积神经网络模型训练之前，首先需要开展数据不平衡处理。
表一：
| 类型 | 数量 |
| 夹渣 | 190 |
| 裂纹 | 373 |
| 气孔 | 420 |
| 未焊透 | 33 |
通过随机过采样复制样本来增加少数类样本的SMOTE(Synthetic MinorityOversampling Technique)算法，因操作简单且对数据要求不高等优点而在数据不平衡处理中广泛使用，但基本的SMOTE算法存在不能精细化产生新少数类样本不足，而焊缝缺陷由于边缘细微且多种缺陷混杂，如何精细化生成少数类样本对模型训练至关重要。为此本发明基于距离最值原理，利用合成少数类技术，提出了M-SMOTE(Most distance-SMOTE)算法处理不平衡算法。如图2所示，算法采用如下步骤：
(1)对于少数类焊缝样本集中每一个体xi，计算它到少数类样本集中所有样本的欧式距离di，设dx为少数类样本集类间平均欧氏距离，其计算如下：
(2)计算样本xi与多数类K个邻近样本的最大欧氏距离dmax和最小欧氏距离dmin。
(3)在合成样本之时，针对每个少数样本，计算该样本与同类K个邻近样本的平均欧氏距离davg1，以及该少数样本与多数类K个邻近样本的平均欧氏距离davg2。
(4)定义μ为相对距离比，且计算如下：
(5)定义λ为距离系数，其主要针对新样本合成时，考虑周围多数类样本造成影响而设定，且计算如下：
式中，rand(0,1)表示区间(0,1)内的随机数。
(6)借鉴SMOTE算法，新少数类样本生成方式如下：
xnew＝xi+λ(xi-xj)
xi为选取进行过采样处理的任一个少数类样本，xj为xi的同类K个邻近样本之一，xnew为使用M-SMOTE算法要生成的新少数类样本。当μ小于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较小，说明该样本周围少数类分布较密集，合成的新样本xnew在xi与xj之间随机生成；当μ大于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较远，合成新样本应该与少数类密集区域距离远，使xnew远离xi。
M-SMOTE算法通过相对距离比μ来量化xi周围少数类样本分布的疏密性，从而根据不同疏密性来确定不同距离系数λ，实现少数类样本精细化生成，进而增强深度卷积神经网络对不同特征的学习能力，提高网络的焊缝质量检测性能。
如图3所示，所述面向船舶焊缝缺陷检测的深度卷积神经网络包括13层，分别为一个输入层、三次卷积与池化层、五个全连接层和一个输出层。为了使得网络学习更加精确，提高网络的识别准确率和效率，所述输入层的输入是来自对船舶X射线焊缝图像集的特征数据进行改进近邻传播聚类的结果。
所述船舶X射线焊缝图像集的特征数据，如表二所示，主要包括基于几何、强度和背景对比反差三个角度的5类焊接缺陷特征。所述几何角度的缺陷特征，包括长度W和纵横比Ar，前者是指缺陷边缘两点间的最大距离，后者是指缺陷的宽度与长度之比。所述强度角度缺陷特征，包括缺陷区粗糙度Rr，是指缺陷内部像素的强度变化。所述背景对比反差角度缺陷特征，包括直方图对比Hc和纵横比对比Kc，前者是指缺陷区域与背景灰度直方图的卡方距离；纵横比对比Kc为缺陷区与背景的纵横比之比。
表二：
如图4所示，所述对船舶X射线焊缝图像集的特征数据进行的改进近邻传播聚类，采用如下步骤：
(1)设吸引信息矩阵R，矩阵R中元素r(u,v)为两个数据点u和v的吸引信息，即u成为v聚类质心的适合度；设归属信息矩阵A，矩阵A中元素a(u,v)为u和v两个点之间的归属信息，即u有意向选v作为u的质心的认可程度。
(2)设相似度矩阵S，在相似度矩阵中两个数据点的相似度使用马氏距离的负值表示，对于欧式距离均值θ，协方差矩阵为V，马氏距离相似度矩阵S中每一个元素s(u,v)的表示方式如下：
(3)使用迭代法更新矩阵，吸引信息rt+1(u,v)的迭代方式如下：
归属信息at+1(u,v)的迭代方式如下：
式中u′表示除当前u以外的其他点，v′表示除当前v以外的其他点。
(4)引入了衰减系数ψ，设定如下更新方式：
rt+1(u,v)←(1-ψ)rt+1(u,v)+ψrt(u,v)
at+1(u,v)←(1-ψ)at+1(u,v)+ψat(u,v)
(5)设定最大迭代次数，将吸引度信息矩阵R与归属度信息矩阵A相加，取对角线的值大于0的点为聚类质心，得到z个聚类质心。
改进近邻传播聚类分析法首先具有不需要预先给定聚类数目，不需要对聚类对象有先验知识，可以自动确定聚类中心及类别数目优点；其次，使用马氏距离刻画近邻传播聚类中的相似度矩阵，可以避免因不同维度特征的度量标准之间存在的差异，减少聚类结果的误差。最后将聚类结果作为深度卷积神经网络输入，能提高网络识别的准确率和效率。
由于深度卷积神经网络模型具有大量可训练变量的体系结构，模型在识别准确率上往往表现卓越，但因为结构较为复杂，模型需要大量存储空间，且运算速度慢。本发明中提出的改进近邻传播聚类法虽然不需要对应的先验知识，但在求解聚类结果时不断的迭代会提高模型复杂度，而更少的维数意味着更少的计算，更小的存储空间，从而有助于提高船舶焊缝缺陷检测模型计算性能。为此，本发明对所述深度卷积神经网络中间各层输入数据采用PCA(Principal Component Analysis)降维，但传统的PCA算法需要对降维对象有一定的先验知识，也无法通过参数化等方法对降维过程进行干预，可能得不到预期效果，效率也不高，因此本发明提出了一种新的自适应PCA降维，如图5所示，其具体步骤如下：
(1)对于传统的PCA降维方法，首先在所有线性组合中选取方差最大的组合F1，称为第一主成分。如果待降维原数据量F0不足以被第一主成分完全表示，再考虑选取第二个线性组合F2。为能有效地反映原数据量信息，F1已有信息就不需要再出现在F2中。用协方差方式来使F2中不再包含F1中的信息。
协方差的数学表达式如下，
Cov(F1，F2)＝E[(F1-E(F1))][(F2-E(F2))]＝E[F1F2]-E[F1]E[F2]
式中E[·]表示各样本的期望值。
依此类推可以构造出第三、第四、……，第p个主成分，使得原数据量F0能够用各个主成分表达，关系式如下：
F0＝α1F1+α2F2+α3F3+…+αpFp
式中αl(1≤l≤p)表示第l个主成分Fl的权值。
(2)PCA降维法需要确定出p个主成分，才能完全表示出原始数据量F0，因此降维过程较为繁琐，且需要对降维对象有一定认知，才方便找出各个主成分。鉴于船舶焊缝缺陷种类繁杂，使用传统PCA法降维效率低下，预期效果差，无法在保存有效特征的基础上高效降维，为此基于误差控制原理，利用参数化方式提出了自适应PCA算法。当第k个主成分的权值小于1e-5时，就停止寻找下一个主成分，即把后面成分忽略。
(3)得到关于原始数据量F0的近似表达式：
F0＝α1F1+α2F2+α3F3+…+αkFk
(4)引入调节因子c，构造中间变量fq(1≤q≤k-1)：
fq＝Fq-c·Fq+1
(5)确定第l个主成分fl的权值βl(1≤l≤p)使得满足下式：
F0＝β1f1+β2f2+β3f3+…+βk-1fk-1
对于不同k值，该算法能自动地去确定c取值。舍弃可忽略成分，可以避免传统PCA算法需要繁琐地确定p个主成分的缺点。
为了验证本发明中基于深度卷积神经网络模型的船舶焊缝缺陷检测方法的有效性，针对通用焊缝数据集和船舶焊缝数据集进行了测试，并以识别准确率Acc、原始平均单张图片训练时间(Time)越短和模型存储容量(Size)为评价指标，将测试结果与最新的CNN[1]、DNN[2]、VGG[3]和BP[4四种网络模型进行了对比。
附对比文献：
[1]Wang D C,Guo Q W,Song Y,et al.Application of Multiscale LearningNeural Network Based on CNN in Bearing Fault Diagnosis[J].Journal of signalprocessing systems for signal,image,and video technology,2019,91(10):1205-1217.
[2]Yang L,Jiang H.Weld Defect Classification in Radiographic ImagesUsing Unified Deep Neural Network with Multi-level Features[J].Journal ofIntelligent Manufacturing,2020(3):1-11.
[3]Dornaika F,Arganda-Carreras I,Serradilla O.Transfer Learning andFeature Fusion for Kinship Verification[J].Neural Computing and Applications,2020,32(11):7139-7151.
[4]郭士超,白洪飞.基于AP聚类和BP神经网络的自学习故障诊断方法[J].电子世界,2020(01):39-41.
表三为通用焊缝数据集测试结果，由表可以看出，相比起其他四种模型，本发明模型在识别准确率上达到了最高的99.12％，在平均单张图片训练时间和模型存储容量评价指标上也明显是最优的，这主要得益于检测模型先提取基于几何、强度特征和背景对比反差的5个焊接缺陷特征，再对这5个焊接缺陷特征使用基于马氏距离的改进近邻传播聚类分析法来获得良好检测效果；而使用自适应PCA算法进行降维，仅忽略权值小于1e-5的可忽略成分，在降维同时并没有失去焊缝图像的有效特征，从而保证了高识别准确率同时减少了训练时间和模型存储容量。
表三：
| 模型 | Acc(％) | Time(s) | Size(M) |
| CNN | 88.70 | 5.39 | 9.24 |
| DNN | 96.86 | 5.94 | 14.02 |
| VGG | 94.10 | 4.38 | 10.05 |
| BP | 90.09 | 4.94 | 12.35 |
| 本发明模型 | 99.12 | 3.85 | 8.85 |
此外，相比起其他模型，近邻传播-DCNN模型在细微焊缝检测中识别准确率更高。如图6所示，图中的焊缝缺陷气孔形状细微，难以分辨，本发明模型够准确无误的检测出该细微缺陷，但CNN、VGG和BP都无法检测出该缺陷。
表四为船舶焊缝数据集检测结果，由表同样可以看出，本发明模型的船舶焊缝缺陷检测总体识别准确率依然最高。在单种焊缝缺陷检测上，本发明模型的高识别准确率验证了焊缝缺陷多特征对于缺陷检测的有效性，尤其对于存在两种及其以上焊缝缺陷检测，相比没有对大量特征采取聚类分析的DNN模型，本发明模型的识别准确率提高了4.83％，具备了在多种焊缝质量缺陷混杂并存环境下的强检测能力。
表四：
| 模型 | Acc(％) | Acc1(％) | Acc2(％) |
| CNN | 86.67 | 92.54 | 81.92 |
| DNN | 94.67 | 97.01 | 92.77 |
| VGG | 91.33 | 95.52 | 87.95 |
| BP | 89.33 | 92.54 | 86.75 |
| 本发明模型 | 98.00 | 100 | 96.39 |
如图7所示，图中含有夹渣和裂纹两种缺陷，表四中识别准确率比CNN和BP都高的DNN模型只能识别出裂纹却无法识别出夹渣，而本发明模型却准确地将两种缺陷都检测出，从而进一步验证了该模型的有效性。
Claims (4)
1.一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，其特征在于，包括如下步骤：
(1)获取船舶X射线焊缝图像集；
(2)基于距离最值M-SMOTE算法处理不平衡数据集；
(3)构建面向船舶焊缝缺陷检测的深度卷积神经网络模型；
所述面向船舶焊缝缺陷检测的深度卷积神经网络包括13层，分别为一个输入层、三次卷积与池化层、五个全连接层和一个输出层，所述输入层的输入是来自对船舶X射线焊缝图像集的特征数据进行改进近邻传播聚类的结果，所述深度卷积神经网络中间各层的输入数据采用自适应PCA降维；
(4)训练用于船舶焊缝缺陷检测的深度卷积神经网络模型；
(5)基于深度卷积神经网络模型进行焊缝缺陷检测；
所述基于距离最值M-SMOTE算法处理不平衡数据集的流程采用如下步骤：
1)对于少数类焊缝样本集中每一个体xi，计算它到少数类样本集中所有样本的欧式距离di，设dx为少数类样本集类间平均欧氏距离，其计算如下：
2)计算样本xi与多数类K个邻近样本的最大欧氏距离dmax和最小欧氏距离dmin；
3)在合成样本之时，针对每个少数样本，计算该样本与同类K个邻近样本的平均欧氏距离davg1，以及该少数样本与多数类K个邻近样本的平均欧氏距离davg2；
4)定义μ为相对距离比，且计算如下：
5)定义λ为距离系数，其针对新样本合成时，考虑周围多数类样本造成影响而设定，且计算如下：
式中，rand(0,1)表示区间(0,1)内的随机数；
6)借鉴SMOTE算法，新少数类样本生成方式如下：
xnew＝xi+λ(xi-xj)；
xi为选取进行过采样处理的任一个少数类样本，xj为xi的同类K个邻近样本之一，xnew为使用M-SMOTE算法要生成的新少数类样本；当μ小于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较小，说明该样本周围少数类分布较密集，合成的新样本xnew在xi与xj之间随机生成；当μ大于等于1，少数类样本xi与同类K个近邻的平均欧氏距离较远，合成新样本与少数类密集区域距离远，使xnew远离xi。
2.根据权利要求1所述的一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，其特征在于，所述深度卷积神经网络模型的输入层的船舶X射线焊缝图像集的特征数据包括基于几何、强度和背景对比反差三个角度的5类焊接缺陷特征，其中所述几何角度的缺陷特征，包括长度W和纵横比Ar，前者是指缺陷边缘两点间的最大距离，后者是指缺陷的宽度与长度之比；所述强度角度缺陷特征，包括缺陷区粗糙度Rr，是指缺陷内部像素的强度变化；所述背景对比反差角度缺陷特征，包括直方图对比Hc和纵横比对比Kc，前者是指缺陷区域与背景灰度直方图的卡方距离；纵横比对比Kc为缺陷区与背景的纵横比之比。
3.根据权利要求1所述的一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，其特征在于:所述深度卷积神经网络模型的输入层的改进近邻传播聚类的方法，采用如下步骤：
(1)设吸引信息矩阵R，矩阵R中元素r(u,v)为两个数据点u和v的吸引信息，即u成为v聚类质心的适合度；设归属信息矩阵A，矩阵A中元素a(u,v)为u和v两个点之间的归属信息，即u有意向选v作为u的质心的认可程度；
(2)设相似度矩阵S，在相似度矩阵中两个数据点的相似度使用马氏距离的负值表示，对于欧式距离均值θ，协方差矩阵为V，马氏距离相似度矩阵S中每一个元素s(u,v)的表示方式如下：
(3)使用迭代法更新矩阵，吸引信息rt+1(u,v)的迭代方式如下：
归属信息at+1(u,v)的迭代方式如下：
式中u′表示除当前u以外的其他点，v′表示除当前v以外的其他点；
(4)引入了衰减系数ψ，设定如下更新方式：
rt+1(u,v)←(1-ψ)rt+1(u,v)+ψrt(u,v)
at+1(u,v)←(1-ψ)at+1(u,v)+ψat(u,v)
(5)设定最大迭代次数，将吸引度信息矩阵R与归属度信息矩阵A相加，取对角线的值大于0的点为聚类质心，得到z个聚类质心。
4.根据权利要求1所述的一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法，其特征在于:所述深度卷积神经网络模型的中间各层输入数据的自适应PCA降维的方法，采用如下步骤：
(1)对于传统的PCA降维方法，首先在所有线性组合中选取方差最大的组合F1，称为第一主成分；如果待降维原数据量F0不足以被第一主成分完全表示，再考虑选取第二个线性组合F2；为能有效地反映原数据量信息，F1已有信息就不需要再出现在F2中；用协方差方式来使F2中不再包含F1中的信息；
协方差的数学表达式如下，
Cov(F1，F2)＝E[(F1-E(F1))][(F2-E(F2))]＝E[F1F2]-E[F1]E[F2]
式中E[·]表示各样本的期望值；
依此类推可以构造出第三、第四、……，第p个主成分，使得原数据量F0能够用各个主成分表达，关系式如下：
F0＝α1F1+α2F2+α3F3+…+αpFp
式中αl(1≤l≤p)表示第l个主成分Fl的权值；
(2)PCA降维法需要确定出p个主成分，才能完全表示出原始数据量F0，因此降维过程较为繁琐，且需要对降维对象有一定认知，才方便找出各个主成分；鉴于船舶焊缝缺陷种类繁杂，使用传统PCA法降维效率低下，预期效果差，无法在保存有效特征的基础上高效降维，为此基于误差控制原理，利用参数化方式提出了自适应PCA算法；当第k个主成分的权值小于1e-5时，就停止寻找下一个主成分，即把后面成分忽略；
(3)得到关于原始数据量F0的近似表达式：
F0＝α1F1+α2F2+α3F3+…+αkFk
(4)引入调节因子c，构造中间变量fq(1≤q≤k-1)：
fq＝Fq-c·Fq+1
(5)确定第l个主成分fl的权值βl(1≤l≤p)使得满足下式：
F0＝β1f1+β2f2+β3f3+…+βk-1fk-1
对于不同k值，该算法能自动地去确定c取值；舍弃可忽略成分，可以避免传统PCA算法需要繁琐地确定p个主成分的缺点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203174.8A CN112819806B (zh) | 2021-02-23 | 2021-02-23 | 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110203174.8A CN112819806B (zh) | 2021-02-23 | 2021-02-23 | 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819806A CN112819806A (zh) | 2021-05-18 |
| CN112819806B true CN112819806B (zh) | 2024-05-28 |
Family
ID=75865172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110203174.8A Active CN112819806B (zh) | 2021-02-23 | 2021-02-23 | 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819806B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116152508A (zh) * | 2021-11-15 | 2023-05-23 | 江苏科技大学 | 一种船舶焊缝特征参数提取方法 |
| CN114332475B (zh) * | 2021-12-07 | 2024-09-06 | 江苏科技大学 | 一种船舶焊缝特征识别方法 |
| CN113989280B (zh) * | 2021-12-28 | 2022-03-22 | 武汉市鑫景诚路桥钢模有限公司 | 基于图像处理技术的钢结构焊接裂纹缺陷检测方法 |
| CN114700587B (zh) * | 2022-05-25 | 2022-08-19 | 苏芯物联技术(南京)有限公司 | 一种基于模糊推理和边缘计算的漏焊缺陷实时检测方法及系统 |
| CN114833485A (zh) * | 2022-06-10 | 2022-08-02 | 上海交通大学 | 一种船舶拼板焊缝表面缺陷视觉检测装备及方法 |
| CN118287883B (zh) * | 2024-06-06 | 2024-08-13 | 中建安装集团有限公司 | 一种常压罐体表面焊缝检测方法、介质及机器人 |
| CN118429343B (zh) * | 2024-07-04 | 2024-09-20 | 江苏航运职业技术学院 | 基于深度卷积神经网络模型的焊缝质量缺陷检测系统 |
| CN118455829A (zh) * | 2024-07-15 | 2024-08-09 | 江苏时代新能源科技有限公司 | 电池焊接质量检测方法、装置和电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980085082A (ko) * | 1997-05-27 | 1998-12-05 | 박병재 | 주성분 해석을 이용한 잡음 제거 알고리즘 |
| CN101719121A (zh) * | 2009-11-19 | 2010-06-02 | 上海第二工业大学 | 基于主成分分析的词语权重组合方法 |
| CN107103332A (zh) * | 2017-04-07 | 2017-08-29 | 武汉理工大学 | 一种面向大规模数据集的相关向量机分类方法 |
| CN109034204A (zh) * | 2018-07-02 | 2018-12-18 | 西安交通大学 | 一种基于改进卷积神经网络的焊缝缺陷识别方法 |
| WO2019041629A1 (zh) * | 2017-08-30 | 2019-03-07 | 哈尔滨工业大学深圳研究生院 | 基于svm的高维不平衡数据分类方法 |
| CN110717453A (zh) * | 2019-10-10 | 2020-01-21 | 西南石油大学 | 一种基于余弦距离的图像样本生成方法 |
| CN111461190A (zh) * | 2020-03-24 | 2020-07-28 | 华南理工大学 | 一种基于深度卷积神经网络的非均衡船舶分类方法 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN111967520A (zh) * | 2020-08-18 | 2020-11-20 | 黑龙江大学 | 一种基于改进的smote算法的不平衡数据处理方法 |
| CN112070136A (zh) * | 2020-08-28 | 2020-12-11 | 西安理工大学 | 基于提升度决策树及改进smote对不平衡数据的分类方法 |
-
2021
- 2021-02-23 CN CN202110203174.8A patent/CN112819806B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980085082A (ko) * | 1997-05-27 | 1998-12-05 | 박병재 | 주성분 해석을 이용한 잡음 제거 알고리즘 |
| CN101719121A (zh) * | 2009-11-19 | 2010-06-02 | 上海第二工业大学 | 基于主成分分析的词语权重组合方法 |
| CN107103332A (zh) * | 2017-04-07 | 2017-08-29 | 武汉理工大学 | 一种面向大规模数据集的相关向量机分类方法 |
| WO2019041629A1 (zh) * | 2017-08-30 | 2019-03-07 | 哈尔滨工业大学深圳研究生院 | 基于svm的高维不平衡数据分类方法 |
| CN109034204A (zh) * | 2018-07-02 | 2018-12-18 | 西安交通大学 | 一种基于改进卷积神经网络的焊缝缺陷识别方法 |
| CN110717453A (zh) * | 2019-10-10 | 2020-01-21 | 西南石油大学 | 一种基于余弦距离的图像样本生成方法 |
| CN111461190A (zh) * | 2020-03-24 | 2020-07-28 | 华南理工大学 | 一种基于深度卷积神经网络的非均衡船舶分类方法 |
| CN111932489A (zh) * | 2020-06-03 | 2020-11-13 | 西安电子科技大学 | 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端 |
| CN111967520A (zh) * | 2020-08-18 | 2020-11-20 | 黑龙江大学 | 一种基于改进的smote算法的不平衡数据处理方法 |
| CN112070136A (zh) * | 2020-08-28 | 2020-12-11 | 西安理工大学 | 基于提升度决策树及改进smote对不平衡数据的分类方法 |
Non-Patent Citations (8)
| Title |
|---|
| Research on Distributed Parallel Dimensionality Reduction Algorithm Based on PCA Algorithm;Wang, LL;《PROCEEDINGS OF 2019 IEEE 3RD INFORMATION TECHNOLOGY, NETWORKING, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (ITNEC 2019) 》;20191112;全文 * |
| 基于BP神经网络的船舶焊缝缺陷图像识别;高岚;胡亮;罗乐;田凯伟;;武汉理工大学学报(信息与管理工程版);20120615(第03期);全文 * |
| 基于PCA-SVM多生理信息融合的情绪识别方法;李发权;杨立才;颜红博;;山东大学学报(工学版);20141231(第06期);全文 * |
| 基于三支决策的不平衡数据过采样方法;胡峰;王蕾;周耀;;电子学报;20180115(第01期);全文 * |
| 基于不平衡文本数据挖掘的铁路信号设备故障智能分类;杨连报;李平;薛蕊;马小宁;吴艳华;邹丹;;铁道学报;20180215(第02期);全文 * |
| 基于频域特征的机械焊缝缺陷图像分割仿真;姚志文;;计算机仿真;20191215(第12期);全文 * |
| 基于马氏距离的近邻传播聚类算法;支晓斌;郝踩云;;西安邮电大学学报;20171110(第06期);全文 * |
| 近邻传播聚类算法的优化;唐 丹 等;《计算机应用》;20170615(第S1期);正文第1页 第1列 0引言 第1-2段，第2页2.3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819806A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112819806B (zh) | 一种基于深度卷积神经网络模型的船舶焊缝缺陷检测方法 | |
| CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
| CN110543906B (zh) | 基于Mask R-CNN模型的肤质自动识别方法 | |
| CN109559273B (zh) | 一种面向车底图像的快速拼接方法 | |
| CN114419007B (zh) | 多策略融合深度学习网络模型的缺陷类型识别方法及系统 | |
| Jang et al. | Support weighted ensemble model for open set recognition of wafer map defects | |
| CN113591948B (zh) | 一种缺陷模式识别方法、装置、电子设备和存储介质 | |
| WO2024021461A1 (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| Lee et al. | An adaptive resource-allocating network for automated detection, segmentation, and classification of breast cancer nuclei topic area: image processing and recognition | |
| CN113920159B (zh) | 一种基于全卷积孪生网络的红外空中小目标跟踪方法 | |
| CN111445147A (zh) | 一种用于机械故障诊断的生成式对抗网络模型评估方法 | |
| CN114861761B (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN109285147B (zh) | 用于乳腺钼靶钙化检测的图像处理方法及装置、服务器 | |
| CN117197591B (zh) | 一种基于机器学习的数据分类方法 | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN117576089B (zh) | 一种活塞环缺陷检测方法及系统 | |
| CN114937004A (zh) | 一种基于计算机视觉的机械零件表面气孔缺陷检测方法 | |
| CN113505712B (zh) | 基于类平衡损失函数的卷积神经网络的海面溢油检测方法 | |
| CN113064133B (zh) | 一种基于时频域深度网络的海面小目标特征检测方法 | |
| CN114049478A (zh) | 基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统 | |
| CN108229692B (zh) | 一种基于双重对比学习的机器学习识别方法 | |
| CN112418106B (zh) | 一种基于密集关键点引导的舰船检测方法 | |
| CN103577826A (zh) | 合成孔径声纳图像的目标特征提取方法和识别方法及提取装置和识别系统 | |
| CN103559716A (zh) | 一种缺陷图像的自动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |