CN114240891B - 融合知识图谱和图卷积神经网络的焊点质量识别方法 - Google Patents

融合知识图谱和图卷积神经网络的焊点质量识别方法 Download PDF

Info

Publication number
CN114240891B
CN114240891B CN202111554382.9A CN202111554382A CN114240891B CN 114240891 B CN114240891 B CN 114240891B CN 202111554382 A CN202111554382 A CN 202111554382A CN 114240891 B CN114240891 B CN 114240891B
Authority
CN
China
Prior art keywords
welding spot
graph
welding
matrix
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111554382.9A
Other languages
English (en)
Other versions
CN114240891A (zh
Inventor
杨波
李秋
康玲
王时龙
王昱
肖猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202111554382.9A priority Critical patent/CN114240891B/zh
Publication of CN114240891A publication Critical patent/CN114240891A/zh
Application granted granted Critical
Publication of CN114240891B publication Critical patent/CN114240891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合知识图谱和图卷积神经网络的焊点质量识别方法，对焊点拍照，获取焊点外观图像；焊点外观图像中包括焊点及焊点的位置视觉特征；裁剪焊点外观图像，获取焊点裁剪图像；使所有的焊点裁剪图像的尺寸相同，且每一张焊点裁剪图像中仅包含一个焊点及其位置特征；将焊点裁剪图像导入细粒度网络进行特征挖掘，得到焊点的视觉特征矩阵；根据焊点质量及焊点之间的位置关系建立知识图谱，并利用图卷积神经网络对知识图谱进行特征挖掘，得到焊点的高维点式空间特征矩阵；将视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果。

Description

融合知识图谱和图卷积神经网络的焊点质量识别方法
技术领域
本发明属于焊接分析技术领域，具体的为一种融合知识图谱和图卷积神经网络的焊点质量识别方法。
背景技术
电阻点焊通过电极对被焊工件施加一定的压力，使工件稳定接触，然后利用电阻热融化接触点形成焊核，将不同厚度的金属薄片连接起来。它具有成本低、效率高、变形小、节约时间等特点和优势，被广泛运用在汽车、飞机、高铁的生产过程中。据统计，每辆汽车的白车身上含有数千个电阻点焊焊点，这些焊点的质量对整车服役性能和寿命有重要影响。点焊过程中，需要精确控制焊接电流、焊接时间、电极压力等关键工艺参数来获得高质量的焊点。然而，动态多变的生产环境和原料质量，导致实际焊点质量难以精确控制，极易造成带有缺陷焊点的产品流入市场，危害用户安全、损害企业声誉。如何在快节奏汽车生产线上进行焊点质量的快速准确检测和处理，是解决上述问题的关键。
点焊焊点的熔核质量决定了焊接的强度、刚度、疲劳极限等力学性能，吸引了较多研究者的关注。对其检测主要包括破环性方法及非破坏性方法两种，破坏性方法主要包括剪切测试、疲劳测试、弯曲测试、剥离测试等，这类方法费时费力，成本高，且不能在线实时检测，故目前在汽车制造业中已很少采用。而非破坏性方法如超声检测、红外热成像法、信号分析等具有成本更低、检测效率高等优势，逐渐成为主流。
目前针对点焊焊点熔核质量的研究已较为充分，但针对焊点外观质量的研究还非常不足。焊点外观质量直接影响车身美观性和顾客满意度，且能从很大程度上反映焊核质量以及焊接装备/工艺参数上存在的问题。由于焊点外观对工艺参数的改变极其敏感，且焊接过程中的工况比较复杂，现有研究中采用的传统机器学习算法依赖人工选择特征，导致焊点外观识别精度差、效率低，难以区分不同质量焊点上细微的特征差异。鉴于深度学习具有学习能力强、适应力好、可自动挖掘隐藏特征的优点，一些研究者将其用于焊接质量的检测，来解决传统机器学习算法的不足。虽然深度学习技术已经在焊接质量预测领域获得了初步的应用，但是在点焊焊点外观识别方面尚未出现。另外通过对点焊焊点外观图像的分析可知，图像上焊点尺寸较小，焊瘤、弧坑、毛刺等视觉特征不易发现，且质量类别与其所处位置存在较大的相关关系。
发明内容
有鉴于此，本发明的目的在于提供一种融合知识图谱和图卷积神经网络的焊点质量识别方法，考虑焊点外观缺陷与位置的关系建立知识图谱，并通过图卷积神经网络识别焊点内的细微特征，从而能够提高焊点外观及焊点质量的检测精度。
为达到上述目的，本发明提供如下技术方案：
一种融合知识图谱和图卷积神经网络的焊点质量识别方法，对焊点拍照，获取焊点外观图像；焊点外观图像中包括焊点及焊点的位置视觉特征；裁剪焊点外观图像，获取焊点裁剪图像；使所有的焊点裁剪图像的尺寸相同，且每一张焊点裁剪图像中仅包含一个焊点及其位置特征；
将焊点裁剪图像导入细粒度网络进行特征挖掘，得到焊点的视觉特征矩阵；
根据焊点质量及焊点之间的位置关系建立知识图谱，并利用图卷积神经网络对知识图谱进行特征挖掘，得到焊点的高维点式空间特征矩阵；
将视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果。
进一步，在获取焊点裁剪图像后，对焊点裁剪图像进行缩放处理，而后再将缩放后的焊点裁剪图像导入细粒度网络。
进一步，知识图谱的实体为焊点质量特征和焊点位置特征，关系为某种焊点质量特征及相应位置特征同时出现的概率，从而得到概率矩阵，表示为：
其中，pm,n和pn,m表示相应概率；ai表示不同实体在所有焊点裁剪图像中分别出现的次数，且1≤i≤n0；bm,n表示任意两个实体同时出现在一张焊点裁剪图像中的次数，其中，1≤m,n≤n0；当m,n,i∈[1,nc]时，m,n,i表示nc种焊点，nc表示焊点种类的数量；当m,n,i∈[nc+1,n]时，m,n,i表示焊点位置特征，焊点位置特征的数量为n-nc；
将焊点质量特征和焊点位置特征通过嵌入层转换为词向量矩阵，将概率矩阵和词向量矩阵作为先验知识导入图卷积神经网络中。
进一步，利用多头注意力动态更新概率矩阵，处理来自不同表示子空间的信息，增强知识图谱的表达力；其中，多头注意力更新概率矩阵的过程可以描述为：
其中，A表示知识图谱的概率矩阵；A(t)表示由多头注意力机制学习到的第t个概率矩阵；Wi Q∈Rd×d和Wi K∈Rd×d分别反映注意力机制的线性变换矩阵，Q和K表示上一层的特征向量。
进一步，图卷积神经网络的输入为多头注意力优化后的概率矩阵和经嵌入层生成的词向量矩阵，由于多头注意力机制会生成N个概率矩阵，形成N个不同的子图空间，N为注意力头数，故需要N个平行的图卷积神经网络挖掘不同子图空间的特征，其中，图卷积神经网络学习第t个子图空间特征的过程如下：
首先通过第t个子图空间概率矩阵A(t)构建对称规范化拉普拉斯矩阵为：
其中，IN为单位矩阵；L为知识图谱正则化的拉普拉斯矩阵，L可由概率矩阵A(t)求得：
其中，D为A(t)的度矩阵，Dii＝∑jAij；对进行特征分解：
其中：为列向量，属于节点向量空间H，即为L的特征值矩阵；
设第i层图卷积神经网络的输入特征为n为图节点个数，k为点式空间向量维度，输出特征为/>同时，设计一个过滤器/>并将图中节点每个通道进行线性变换可得图卷积神经网络的输出/>
其中，Wi∈Rk×k为线性变换矩阵，h为过滤器函数；为了减少计算量，根据切比雪夫不等式，近似估计即：
采用N个并行池化层去除冗余信息，对特征进行压缩，简化网络复杂度，减小计算量，池化过程可描述如下：
其中，W为池化过程的线性变换矩阵，为图卷积神经网络的输出，bias为池化过程的偏置；
采用线性层融合N个并行池化层挖掘到的特征，其线性变换的过程可描述如下：
Zcomb＝WcombZout+bcomb
其中，Zcomb为线性变换的输出；Zout＝[Z(1)；...；Z(N)]为N个并行池化层的输出；bcomb为线性变换的偏置向量。
进一步，细粒度网络的创建方法如下：
当输入为一维数据时，空洞卷积的传播过程为：
其中，y[i]表示输出信号；x[i]表示输入信号；d表示空洞率；w[k]表示过滤器的第k个参数；K表示过滤器的尺寸；
空洞卷积通过插入d-1个零，将输入信号与上采样过滤器进行卷积，以增大感受野；其感受野Rd,K如下：
Rd,K＝(d-1)×(K-1)+K
其中，d表示空洞率大小，K表示卷积核尺寸；
采用密集空洞卷积模块增加感受野，并提高像素的采样数量；密集空洞卷积最大感受野R′max如下：
R′max＝R3,3+R3,6+R3,9-3＝45
其中，R3,3，R3,6，R3,9表示不同空洞率卷积核的感受野。
进一步，通过双线性注意力卷积网络提取焊点内细微的特征，双线性注意力卷积网络的输入为密集空洞卷积的输出，双线性注意力卷积网络表示为：
其中，A表示注意力图；F表示特征图；Γ表示双线性注意力卷积的整个过程；g表示卷积和池化操作；⊙表示矩阵对应元素相乘；ai表示反映焊点不同部位特征的注意力图，1≤i≤M。
本发明的有益效果在于：
本发明融合知识图谱和图卷积神经网络的焊点质量识别方法，通过构建知识图谱将焊点外观质量类别与其位置间的先验知识映射到点式空间中，并通过图卷积神经网络挖掘点式空间的高维特征，得到高维点式空间特征矩阵；通过细粒度网络来扩大其感受野的同时，保证捕获像素的数量，实现不同类别焊点间细微视觉特征的学习，得到视觉特征矩阵；最后将得到的视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果，具有收敛速度更快、鲁棒性更强，精度更高的有点。
具体的，本发明融合知识图谱和图卷积神经网络的焊点质量识别方法，主要工作包括：
1、考虑到焊点外观缺陷与其所处的位置有关，通过数据统计建立表达外观质量与位置关系的知识图谱来将视觉特征转换到点式空间中，增加原始数据的特征维度，便于模型挖掘焊点与位置间隐藏的特征信息；
2、为了更好地捕获点式空间高维特征，构建一个图卷积模型，它通过多头注意力机制自适应更新概率矩阵，增加信息特征，提高知识图谱表达力；
3、搭建密集空洞卷积模块和双线性注意力卷积模块，并将两者结合成一种细粒度网络，从而有效地利用两种模块的优点：既能自适应扩大感受野，又能保证所采集的像素数量，从而识别焊点内细微特征，提高焊点外观检测的精度；
4、将基于细粒度网络的表示学习机制与基于知识图谱的图学习机制结合起来，从而融合自然语言处理和计算机视觉两种技术，使所建立的识别模型既能学习图片中的视觉特征，也能挖掘点式空间中的高维特征。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为焊点种类与车身位置关系的图像；(a)边缘焊点；(b)重叠焊点；(c)粘铜焊点；(d)毛刺焊点；(e)不完整焊点；(f)正常焊点；
图2为KGGCN网络的结构图；
图3为焊点外观质量-位置知识图谱的示意图；
图4为基于知识图谱与动态图卷积网络的图学习模块的结构图；
图5为密集空洞卷积模块的结构图；
图6为双线性注意力卷积模块的结构图；
图7为焊点外观类别图；(a)正常焊点；(b)粘铜焊点；(c)边缘焊点；(d)重合焊点；(e)不完整焊点；(f)毛刺焊点；
图8为训练损失函数和精度曲线图；(a)为KGGCN的训练损失函数和精度曲线图；(b)为ResNet101的训练损失函数和精度曲线图；
图9为混淆矩阵图；(a)为KGGCN；(b)为ResNet101；
图10为不同迭代次数下的精度对比图；
图11为表征学习特征可视化图；(a)样本；(b)第一层卷积；(c)第三层卷积；(d)第一层空洞卷积；(e)第三层空洞卷积；
图12为注意力图及热注意力图；(a)样本；(b)注意力图；(c)为热注意力图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
下面以汽车车身焊点质量检测为例，对本发明融合知识图谱和图卷积神经网络的焊点质量识别方法的具体实施方式进行详细说明。
根据统计，点焊焊点的外观质量除了与设备状态和工艺参数密切相关外，还明显与焊点在车身上所处位置有关，如图1所示，在车身边缘附近，焊枪位置控制不良极易导致不完全焊点；在车身凸台附近或棱线上，容易因上下两个工件接触不良导致毛刺的发生；在车身棱线旁，容易因空间约束和工件接触问题导致重合焊点的出现；等等。然而，目前基于深度神经网络进行制造质量分类的算法仅提取视觉特征，无法考虑缺陷与其位置之间的关系，因此，仅提取视觉特征的方法直接用于焊点外观质量分类的效果不理想。同时，焊点尺寸比较小，合格焊点与不合格焊点、不同种类的不合格焊点间视觉差异不太明显，而现有的相关视觉算法难以检测微弱的特征差异，只能识别轮廓或色彩差异明显的特征。此外，当拍摄角度和位置发生变化时，焊点在图片上的尺度也会改变。但现有相关研究广泛采用普通卷积神经网络，它的感受野不变，不能根据焊点尺度自适应改变其感受野，无法充分利用多尺度特征，造成一定的信息损失，降低了识别焊点的准确性。
结合数据统计和专家经验构建焊点外观质量知识图谱，进而设计一种融合知识图谱和图卷积神经网络的焊点质量识别方法进行焊点外观质量识别，如图2所示，该网络在充分利用焊点质量与其位置间关系的基础上，利用细粒度网络技术挖掘细微图像特征，提高焊点外观检测的精度。
即本实施例的融合知识图谱和图卷积神经网络的焊点质量识别方法为：对焊点拍照，获取焊点外观图像；焊点外观图像中包括焊点及焊点的位置视觉特征。具体的，本实施例焊点具有螺钉、孔洞、凹空旁、凹空内、车身边缘线、凸台、棱线上、棱线旁这7种车身位置及视觉特征，焊点外观类别包括正常焊点、粘铜焊点、边缘焊点、重合焊点、不完整焊点、毛刺焊点中的一种或多种组合。如图1所示，图1中(a)-(f)分别为焊点的6种类别图像，(a)为边缘焊点示意图，(b)为重叠焊点示意图，(c)为粘铜焊点示意图，(d)为毛刺焊点示意图，(e)为不完整焊点示意图，(f)为正常焊点示意图。本实施例中的原始数据图像为彩色图像，即RGB三通道图像。具体在采集过程中首先将多个彩色工业相机固定，拍摄不同位置的不同焊点，然后将照片上传到统一台设备，神经网络模型训练好后也拷贝到此设备上。
裁剪焊点外观图像，获取焊点裁剪图像；使所有的焊点裁剪图像的尺寸相同，且每一张焊点裁剪图像中仅包含一个焊点及其位置特征。优选的，本实施例在获取焊点裁剪图像后，对焊点裁剪图像进行缩放处理，本实施例焊点裁剪图像缩放后的尺寸为：227×227。
将缩放后的焊点裁剪图像导入细粒度网络进行特征挖掘，得到焊点的视觉特征矩阵。
根据焊点质量及焊点之间的位置关系建立知识图谱，并利用图卷积神经网络对知识图谱进行特征挖掘，得到焊点的高维点式空间特征矩阵。
将视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果。
具体的，本实施例的融合知识图谱和图卷积神经网络的焊点质量识别方法构建了KGGCN网络模型，KGGCN网络模型包括表征学习和图学习两部分。其中，表征学习模块提取焊点外观图像特征，图学习模块提取知识图谱内的焊点位置特征。，具体的，表示学习模块中构建了一种细粒度网络，该网络通过三层卷积网络得到焊点、螺钉、棱边等对象的特征映射图，并利用密集空洞卷积自适应地改变感受野，保证提取像素的数量，从而充分挖掘焊点的多尺度信息。然后通过注意力机制得到四种多通道注意力图，每种注意力图分别与多通道特征映射图进行特征融合，再导入卷积层和池化层，提取焊点不同部位的细微特征。由于本网络较复杂，故在卷积层中加入1×1卷积，降低特征维度、增强模型的泛化性能。
在图学习模块中，本实施例将焊点与螺钉、边缘、棱边等视觉特征的位置关系构建为知识图谱，其实体间关系为焊点与螺钉等视觉特征同时出现的概率。将知识图谱中的先验知识导入图卷积网络，利用多头注意力机制，根据节点间的影响程度，并将其区别对待，更多地关注那些作用比较大的节点、忽视一些作用较小的节点所带来的误差，以自适应更新图结构。同时，生成子空间，扩展点式空间维度，增加特征信息，增强知识图谱的表达力。最后，将图学习机制得到的高维点式空间特征与表示学习机制得到的视觉特征矩阵进行向量内积操作，形成一个分类器，识别焊点种类。
具体的，下面分别为图学习模块和表征学习模块的具体实施方式进行说明。
1、基于知识图谱与图卷积的图学习模块
构建的焊点外观质量-位置知识图谱如图3所示。知识图谱的实体为焊点质量特征和焊点位置特征，关系为某种焊点质量特征及相应位置特征同时出现的概率，从而得到概率矩阵，表示为：
其中，pm,n和pn,m表示相应概率；ai表示不同实体在所有焊点裁剪图像中分别出现的次数，且1≤i≤n0；bm,n表示任意两个实体同时出现在一张焊点裁剪图像中的次数，其中，1≤m,n≤n0；当m,n,i∈[1,nc]时，m,n,i表示nc种焊点，nc表示焊点种类的数量；当m,n,i∈[nc+1,n]时，m,n,i表示焊点位置特征，焊点位置特征的数量为n0-nc。具体的，本实施例中，焊点种类的数量为6种，即nc＝6；6种焊点分别为边缘焊点、重叠焊点、粘铜焊点、毛刺焊点、不完整焊点和正常焊点。焊点位置特征的数量为7种，即n0-nc＝7，7种焊点位置特征分别为螺钉、孔洞、凹空旁、凹空内、车身边缘线、凸台、棱线上和棱线旁。
与传统关系型数据库相比，知识图谱构建了一个点式空间，它从语义层面研究知识间的关联，反映数据之间的内在关系，故它能充分揭示焊点与其车身位置间的先验知识，从而便于图神经网络学习。图学习模块由焊点外观质量-位置知识图谱和动态图卷积两部分组成，如图4所示，知识图谱中焊点等实体(即焊点质量特征和焊点位置特征)通过嵌入(Embedding)层转化为词向量矩阵X0，并将X0和概率矩阵A作为先验知识导入动态图卷积神经网(GCN)中训练。与one-hot编码相比，Embedding层生成的词向量长度更小，便于图卷积探索实体间的高维特征。虽然GCN在抽取节点高阶信息上强大，但是只能更新节点信息无法自更新概率矩阵的边，故引入多头注意力动态更新概率矩阵A，处理来自不同表示子空间的信息，增强知识图谱的表达力。
具体的，多头注意力更新概率矩阵的过程可以描述为：
其中，A表示知识图谱的概率矩阵；A(t)表示由多头注意力机制学习到的第t个概率矩阵；Wi Q∈Rd×d和Wi K∈Rd×d分别反映注意力机制的线性变换矩阵，Q和K表示上一层的特征向量。
GCN的输入为多头注意力优化后的概率矩阵和经Embedding层生成的词向量，由于多头注意力机制会生成N个概率矩阵，形成N个不同的子图空间，N为注意力头数，故需要N个平行的GCN挖掘不同子图空间的特征，GCN学习第t个子图空间特征的过程可描述如下：
首先通过第t个子图空间概率矩阵A(t)构建对称规范化拉普拉斯矩阵为：
其中，IN为单位矩阵；L为知识图谱正则化的拉普拉斯矩阵，L可由概率矩阵A(t)求得：
其中，D为A(t)的度矩阵，Dii＝∑jAij；对进行特征分解：
其中：为列向量，属于节点向量空间H，即为L的特征值矩阵。
设第i层图卷积神经网络的输入特征为n为图节点个数，k为点式空间向量维度，输出特征为/>同时，设计一个过滤器/>并将图中节点每个通道进行线性变换可得图卷积神经网络的输出/>
其中，Wi∈Rk×k为线性变换矩阵，h为过滤器函数；为了减少计算量，根据切比雪夫不等式，近似估计即：
采用N个并行池化层去除冗余信息，对特征进行压缩，简化网络复杂度，减小计算量，池化过程可描述如下：
其中，W为池化过程的线性变换矩阵，为图卷积神经网络的输出，bias为池化过程的偏置；
采用线性层融合N个并行池化层挖掘到的特征，其线性变换的过程可描述如下：
Zcomb＝WcombZout+bcomb
其中，Zcomb为线性变换的输出；Zout＝[Z(1)；...；Z(N)]为N个并行池化层的输出；bcomb为线性变换的偏置向量。
2、基于细粒度网络的表示学习模块
当拍摄角度和位置发生变化时，焊点在图片上尺度也会改变，但传统CNN的感受野不变，不能根据图片中物体尺寸来改变感受野，丢失了一定的特征信息，导致识别焊点的精度不理想。为了解决此问题，本实施例构建了一种密集空洞卷积模块，如图4所示，它的输入为三层卷积提取的焊点外观特征映射。密集空洞卷积模块将空洞率不同的空洞卷积按照Densenet的结构进行堆叠，因此能根据焊点的尺寸自适应地确定卷积滤波器的感受野大小，提取焊点的多尺度特征，从而有效解决了以上问题。
当输入为一维数据时，空洞卷积的传播过程为：
其中，y[i]表示输出信号；x[i]表示输入信号；d表示空洞率；w[k]表示过滤器的第k个参数；K表示过滤器的尺寸；
空洞卷积通过插入d-1个零，将输入信号与上采样过滤器进行卷积，以增大感受野；其感受野Rd,K如下：
Rd,K＝(d-1)×(K-1)+K
其中，d表示空洞率大小，K表示卷积核尺寸；
虽然空洞率越大，空洞卷积感受野也越大，但当其空洞率达到一定值，其提取的像素会降低，这也影响了焊点识别的准确性。为此，本实施例设计一种密集空洞卷积模块，它既能增加感受野，也能提高像素的采样数量，解决空洞卷积本身的问题。
普通并行或堆叠方式创建空洞卷积的最大感受野Rmax如下：
Rmax＝max[R3,3,R3,6,R3,9]＝R3,9＝25
采用密集空洞卷积模块增加感受野，并提高像素的采样数量；密集空洞卷积最大感受野R′max如下：
R′max＝R3,3+R3,6+R3,9-3＝45
其中，R3,3，R3,6，R3,9表示不同空洞率卷积核的感受野。
可以看出，与普通并行或堆叠的空调卷积相比，本实施例设计的密集空洞卷积能通过跳跃连接，生成更大的感受野，也让不同的空洞卷积共享了挖掘的特征信息。
由于焊点尺寸较小，且部分合格焊点与不合格焊点轮廓相似，焊点表面粗糙的纹路、焊瘤、弧坑等视觉特征不明显。但传统粗粒度网络只能识别焊点中明显的特征，忽视了细微的特征，因此将其应用于焊点外观识别时会获得较差的检测精度。因而，本实施例设计了一种双线性注意力卷积，用于提取焊点内细微的特征，如图6所示，该网络的输入为密集空洞卷积的输出，它通过注意力机制生成四种不同像素的注意力图，每种注意力图反映焊点不同部位的特征。将注意图与特征图通过对应位置元素相乘的方式进行特征融合，从而获得焊点局部区域的特征信息，挖掘焊点间的细微差异，提高焊点识别的精度。同时，考虑到用于本实施例的模型结构较为复杂，故利用卷积进行降维、减少参数、实现跨通道的信息组合，并增加非线性特征、提高焊点检测的效果。此外，全局平均池化层使用了全局信息，减少参数数量、防止模型过拟合、提高模型的效果。
即本实施例通过双线性注意力卷积网络提取焊点内细微的特征，双线性注意力卷积网络的输入为密集空洞卷积的输出，双线性注意力卷积网络表示为：
其中，A表示注意力图；F表示特征图；Γ表示双线性注意力卷积的整个过程；g表示卷积和池化操作；⊙表示矩阵对应元素相乘；ai表示反映焊点不同部位特征的注意力图，1≤i≤M。
3、实验验证
下面通过具体的实验对本实施例融合知识图谱和图卷积神经网络的焊点质量识别方法进行验证。
3.1、数据预处理
为了验证本实施例所提出方法的有效性，设计了一个焊点外观检测实验来和其他方法进行对比，并重复进行10次测试来消除随机误差。本实施例所用数据集来自中国重庆一家汽车制造企业的焊装车间，其大部分工位由机器人进行生产，不允许人靠近。为了不影响生产效率，我们使用了5部工业相机拍摄某一工位上的焊点，拍摄了大约800辆白车身。然后将原始焊点图片进行裁剪，使得每张图片中焊点数量为1，且图片中可能包含螺钉、孔洞、凹槽、车身边缘线等车身视觉特征，共得到14000张图片。参考企业工程师的意见，我们剔除了模糊不清和极少见的焊点，还剩13928张图片，并将剩余图片分为6个焊点外观质量类别：正常焊点、粘铜焊点、边缘焊点、重合焊点、不完整焊点及毛刺焊点，如图7所示：
用一个长度为12维的向量为每张图打标签，标签中的值为1或-1，表示焊点及螺钉、孔洞等车身视觉特征是否出现。其中，1表示该种焊点或车身视觉特征出现在图中，-1表示该种焊点或车身视觉特征未出现在图中。一维向量的前5个值表示5种焊点，后7个值表示7种车身视觉特征。
最后，将13928张数据集按照8:1:1随机划分为训练集、验证集和测试集，各个数据集的数量如表1所示：
表1焊点图片数据集划分
3.2、实施细节和结果
由于裁剪后图片的大小不一致，为了便于模型训练，本文通过缩放，将其尺寸转化为227×227。同时，为了增强数据特征，本实施例对其进行随机旋转、水平镜像等操作。本实施例的方法主要由图学习和表示学习两模块组成，两模块中的主要参数定义如下：
表2 KGGCN的参数
实验所用电脑的CPU为Intel Core i7-9750H，内存为16G,显卡为NVIDIA 2060，操作系统为Windows10，框架为python3.6的pytorch平台。每一批次图像训练数目(batchsize)设置为64，迭代次数设置为250，学习率设置为0.01，损失函数定义为MultiLabelSoftMarginLoss,并采用SGD算法进行训练。由于MultiLabelSoftMarginLoss损失函数考虑了螺钉等其他车身视觉特征，为了更好地与其他算法比较，本实验只根据焊点识别的准确度来统计其损失函数和精度。
如图8所示，本实施例对比了KGGCN算法与ResNet101算法在训练过程中的损失函数和精度曲线，实验结果表明KGGCN算法的损失函数收敛速度明显快于ResNet101算法。在迭代250次后，KGGCN算法的损失函数已下降到0.4左右，精度已达到96.87％以上，而ResNet101算法的损失函数才下降到0.69，精度也只有92.14％，且不稳定、波动较大，这表明KGGCN算法有更好的拟合能力。根据损失函数越小，模型所丢失的信息就越少，可知本文所提出模型具有更强的学习能力。
为了进一步分析两种模型的性能，避免准确率的局限性，本实施例比较了两者在每一类焊点外观上的识别效果，绘制了相应的混淆矩阵，如图9所示。同时，本实施例也根据混淆矩阵绘制了两模型的性能指标，如表3所示，包括精确率(Precision)、召回率(Recall)、特异度(Specificity)。
表3两模型的性能指标
从混淆矩阵中可以看出KGGCN算法预测的焊点种类基本集中在对角线上，且预测错误的焊点数量均小于10，表明该算法的预测精度高。同时，通过对比两模型的性能指标，发现KGGCN算法的精确率、召回率、特异度均高于ResNet101，这也进一步验证了本模型出色的性能。
如图10所示，为了更好地验证本文所提出算法的稳定性和有效性，ResNet101，Googlenet，Inceptionv3将和KGGCN算法比较不同迭代次数下的精度。可以看出，在不同迭代次数下，KGGCN算法的精度都高于其他算法，此外，当50代时，KGGCN算法的精度已达到95％，而其他算法均低于80％，这也表明本模型具有更强的学习能力和泛化能力。
为了更好地分析KGGCN算法的学习过程，本实施例将其中间网络进行可视化分析。
如图11所示，图a为选取的焊点样本，图b、c、d、e分别为第一层卷积、第三层卷积、第一层空洞卷积、第三层空洞卷积后的特征可视化效果图。卷积层输出特征图数量众多，为了更加清楚的看到卷积后输出的特征图，本实施例对每一个卷积层分别抽取36张特征图进行可视化，并将其组合。
1)通过观察发现，随着卷积过程不断进行，滤波器提取到的特征由低层次逐渐转变为高层次特征。观察第一层和第三层卷积后得到的特征图，发现这两层的大部分特征图与焊点轮廓相似，且在部分特征图中棱线的轮廓也被提取了出来，对于这两层我们认为其主要学习到的是图像中纹理特征。
2)卷积过程可以看作计算被卷积对象和卷积核的相关性，若卷积核和输入的图像中对应部分越相似，那么卷积得到的结果就会越大，其在特征图中就会越亮。观察特征图(d)我们发现大部分图像中焊点被很好的提取了出来，且其颜色较深，这也说明这层滤波器对焊点进行了有效的提取。
3)特征图(e)相对于前三层较为抽象，这也说明了随着网络的不断加深滤波器也逐渐变得复杂，空洞卷积也增加了感受野，对于这一层学习到的主要是图像的高层次特征。同时我们也发现有极个别特征图没有提取到特征，对于这个原因，分析认为，随着卷积的不断进行得到的特征图数量也逐渐增多，深层次的卷积核也越稀疏，使得部分特征图出现失效现象。
如图12所示，本实施例对空间注意力机制学习到的注意力权重进行可视化分析，其中(a)表示原始图片，(b)表示注意力图，(c)表示热注意力图。我们用黄-蓝色表示注意力权重的大小，其中黄色表示注意力权重高，蓝色表示注意力权重低。可以明显看出焊点颜色偏黄，棱线周围的颜色也比较亮，这表明本模型能准确地关注焊点及其周围车身特征，也验证了本模型的可靠性。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (4)

1.一种融合知识图谱和图卷积神经网络的焊点质量识别方法，其特征在于：
对焊点拍照，获取焊点外观图像；焊点外观图像中包括焊点及焊点的位置视觉特征；裁剪焊点外观图像，获取焊点裁剪图像；使所有的焊点裁剪图像的尺寸相同，且每一张焊点裁剪图像中仅包含一个焊点及其位置特征；
将焊点裁剪图像导入细粒度网络进行特征挖掘，得到焊点的视觉特征矩阵；
根据焊点质量及焊点之间的位置关系建立知识图谱，并利用图卷积神经网络对知识图谱进行特征挖掘，得到焊点的高维点式空间特征矩阵；
将视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果；
知识图谱的实体为焊点质量特征和焊点位置特征，关系为某种焊点质量特征及相应位置特征同时出现的概率，从而得到概率矩阵，表示为：
其中，pm,n和pn,m表示相应概率；am和an均表示不同实体在所有焊点裁剪图像中分别出现的次数，且1≤m,n≤n0；bm,n表示任意两个实体同时出现在一张焊点裁剪图像中的次数；当m,n∈[1,nc]时，m,n表示nc种焊点，nc表示焊点种类的数量；当m,n∈[nc+1,n0]时，m,n表示焊点位置特征，焊点位置特征的数量为n0-nc；n0表示焊点种类数量与焊点位置特征数量之和；
将焊点质量特征和焊点位置特征通过嵌入层转换为词向量矩阵，将概率矩阵和词向量矩阵作为先验知识导入图卷积神经网络中；
利用多头注意力动态更新概率矩阵，处理来自不同表示子空间的信息，增强知识图谱的表达力；其中，多头注意力更新概率矩阵的过程可以描述为：
其中，A表示知识图谱的概率矩阵；A(t)表示由多头注意力机制学习到的第t个概率矩阵；Wi Q∈Rd×d和Wi K∈Rd×d分别反映注意力机制的线性变换矩阵，Q和K表示上一层的特征向量；
图卷积神经网络的输入为多头注意力优化后的概率矩阵和经嵌入层生成的词向量矩阵，由于多头注意力机制会生成N个概率矩阵，形成N个不同的子图空间，N为注意力头数，故需要N个平行的图卷积神经网络挖掘不同子图空间的特征，其中，图卷积神经网络学习第t个子图空间特征的过程如下：
首先通过第t个子图空间概率矩阵A(t)构建对称规范化拉普拉斯矩阵为：
其中，IN为单位矩阵；L为知识图谱正则化的拉普拉斯矩阵，L可由概率矩阵A(t)求得：
其中，D为A(t)的度矩阵，Dii＝∑jAij；对进行特征分解：
其中： 为列向量，属于节点向量空间H，即/> 为L的特征值矩阵；
设第i层图卷积神经网络的输入特征为n为图节点个数，k为点式空间向量维度，输出特征为/>同时，设计一个过滤器/>并将图中节点每个通道进行线性变换可得图卷积神经网络的输出/>
其中，Wi∈Rk×k为线性变换矩阵，h为过滤器函数；为了减少计算量，根据切比雪夫不等式，近似估计即：
采用N个并行池化层去除冗余信息，对特征进行压缩，简化网络复杂度，减小计算量，池化过程可描述如下：
其中，W为池化过程的线性变换矩阵，为图卷积神经网络的输出，bias为池化过程的偏置；
采用线性层融合N个并行池化层挖掘到的特征，其线性变换的过程可描述如下：
Zcomb＝WcombZout+bcomb
其中，Zcomb为线性变换的输出；Zout＝[Z(1)；...；Z(N)]为N个并行池化层的输出；bcomb为线性变换的偏置向量。
2.根据权利要求1所述的融合知识图谱和图卷积神经网络的焊点质量识别方法，其特征在于：在获取焊点裁剪图像后，对焊点裁剪图像进行缩放处理，而后再将缩放后的焊点裁剪图像导入细粒度网络。
3.根据权利要求1所述的融合知识图谱和图卷积神经网络的焊点质量识别方法，其特征在于：细粒度网络的创建方法如下：
当输入为一维数据时，空洞卷积的传播过程为：
其中，y[i]表示输出信号；x[i]表示输入信号；d表示空洞率；w[k]表示过滤器的第k个参数；K表示过滤器的尺寸；
空洞卷积通过插入d-1个零，将输入信号与上采样过滤器进行卷积，以增大感受野；其感受野Rd,K如下：
Rd,K＝(d-1)×(K-1)+K
其中，d表示空洞率大小，K表示卷积核尺寸；
采用密集空洞卷积模块增加感受野，并提高像素的采样数量；密集空洞卷积最大感受野R′max如下：
R′max＝R3,3+R3,6+R3,9-3＝45
其中，R3,3，R3,6，R3,9表示不同空洞率卷积核的感受野。
4.根据权利要求3所述的融合知识图谱和图卷积神经网络的焊点质量识别方法，其特征在于：通过双线性注意力卷积网络提取焊点内细微的特征，双线性注意力卷积网络的输入为密集空洞卷积的输出，双线性注意力卷积网络表示为：
其中，A表示注意力图；F表示特征图；Γ表示双线性注意力卷积的整个过程；g表示卷积和池化操作；⊙表示矩阵对应元素相乘；ai表示反映焊点不同部位特征的注意力图，1≤i≤M。
CN202111554382.9A 2021-12-17 2021-12-17 融合知识图谱和图卷积神经网络的焊点质量识别方法 Active CN114240891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111554382.9A CN114240891B (zh) 2021-12-17 2021-12-17 融合知识图谱和图卷积神经网络的焊点质量识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111554382.9A CN114240891B (zh) 2021-12-17 2021-12-17 融合知识图谱和图卷积神经网络的焊点质量识别方法

Publications (2)

Publication Number Publication Date
CN114240891A CN114240891A (zh) 2022-03-25
CN114240891B true CN114240891B (zh) 2023-07-18

Family

ID=80758436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111554382.9A Active CN114240891B (zh) 2021-12-17 2021-12-17 融合知识图谱和图卷积神经网络的焊点质量识别方法

Country Status (1)

Country Link
CN (1) CN114240891B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943415A (zh) * 2022-04-15 2022-08-26 上海波士内智能科技有限公司 一种基于知识图谱的金属焊接缺陷根因分析方法
CN114912637B (zh) * 2022-05-21 2023-08-29 重庆大学 人机物知识图谱制造产线运维决策方法及系统、存储介质
CN114897889B (zh) * 2022-06-27 2023-01-31 浙江旭派动力科技有限公司 电池组点焊自动化全检方法及其系统
CN114969553B (zh) * 2022-07-19 2022-10-28 苏芯物联技术(南京)有限公司 一种基于知识图谱的焊接成本和工艺参数综合智能推荐方法
CN115080766B (zh) * 2022-08-16 2022-12-06 之江实验室 基于预训练模型的多模态知识图谱表征系统及方法
CN115618098B (zh) * 2022-09-08 2023-07-04 淮阴工学院 基于知识增强与空洞卷积的冷链物流推荐方法及装置
CN115359304B (zh) * 2022-10-17 2023-02-21 山东建筑大学 一种面向单幅图像特征分组的因果不变性学习方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104973A (zh) * 2019-12-06 2020-05-05 天津大学 一种基于知识注意力的细粒度图像分类方法
CN111985245A (zh) * 2020-08-21 2020-11-24 江南大学 基于注意力循环门控图卷积网络的关系提取方法及系统
CN112488241A (zh) * 2020-12-18 2021-03-12 贵州大学 一种基于多粒度融合网络的零样本图片识别方法
CN113505701A (zh) * 2021-07-12 2021-10-15 辽宁工程技术大学 一种结合知识图谱的变分自编码器零样本图像识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875827B (zh) * 2018-06-15 2022-04-12 拓元(广州)智慧科技有限公司 一种细粒度图像分类的方法及系统
US20210365818A1 (en) * 2020-05-20 2021-11-25 Samsung Electronics Co., Ltd. System and method for explainable embedding-based recommendation system
CN112148888A (zh) * 2020-09-18 2020-12-29 南京邮电大学 基于图神经网络的知识图谱构建方法
CN112950533A (zh) * 2021-01-21 2021-06-11 重庆大学 基于深度学习的焊点外观类别自动识别方法及系统
CN113210911B (zh) * 2021-06-03 2022-04-01 重庆大学 基于图卷积网络的白车身点焊变形预测模型构建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104973A (zh) * 2019-12-06 2020-05-05 天津大学 一种基于知识注意力的细粒度图像分类方法
CN111985245A (zh) * 2020-08-21 2020-11-24 江南大学 基于注意力循环门控图卷积网络的关系提取方法及系统
CN112488241A (zh) * 2020-12-18 2021-03-12 贵州大学 一种基于多粒度融合网络的零样本图片识别方法
CN113505701A (zh) * 2021-07-12 2021-10-15 辽宁工程技术大学 一种结合知识图谱的变分自编码器零样本图像识别方法

Also Published As

Publication number Publication date
CN114240891A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN114240891B (zh) 融合知识图谱和图卷积神经网络的焊点质量识别方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN113378976B (zh) 一种基于特征顶点组合的目标检测方法、可读存储介质
Chang et al. A deep learning-based weld defect classification method using radiographic images with a cylindrical projection
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
Miao et al. Online inspection of narrow overlap weld quality using two-stage convolution neural network image recognition
CN109815923B (zh) 基于lbp特征与深度学习的金针菇菇头分选识别方法
CN117355038B (zh) 用于线路板软板的x型孔加工方法及其系统
CN116883393B (zh) 一种基于无锚框目标检测算法的金属表面缺陷检测方法
CN113392849A (zh) 一种基于r-cnn的复杂路面裂缝识别方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN113591997B (zh) 基于图学习卷积神经网络的装配特征图连接关系分类方法
Xiao et al. Research on recognition methods of spot-welding surface appearances based on transfer learning and a lightweight high-precision convolutional neural network
CN112967296B (zh) 一种点云动态区域图卷积方法、分类方法及分割方法
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
CN114429445A (zh) 一种基于MAIRNet的PCB缺陷检测与识别方法
CN116401785B (zh) 一种基于MLP-Mixer的装配数据管理方法及系统
Li et al. A fine-grained flexible graph convolution network for visual inspection of resistance spot welds using cross-domain features
Wang et al. Recognition of GTAW weld penetration based on the lightweight model and transfer learning
Zhou et al. A No-Reference Quality Assessment Method for Digital Human Head

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant