CN111429423B - 基于四元数多自由度神经元的多光谱焊接图像识别方法 - Google Patents

基于四元数多自由度神经元的多光谱焊接图像识别方法 Download PDF

Info

Publication number
CN111429423B
CN111429423B CN202010197835.6A CN202010197835A CN111429423B CN 111429423 B CN111429423 B CN 111429423B CN 202010197835 A CN202010197835 A CN 202010197835A CN 111429423 B CN111429423 B CN 111429423B
Authority
CN
China
Prior art keywords
image
quaternion
edge
welding
molten pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010197835.6A
Other languages
English (en)
Other versions
CN111429423A (zh
Inventor
华亮
朱洪堃
刘雨晴
蒋凌
陈然
施可昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202010197835.6A priority Critical patent/CN111429423B/zh
Publication of CN111429423A publication Critical patent/CN111429423A/zh
Priority to US17/288,558 priority patent/US11651481B2/en
Priority to PCT/CN2020/124188 priority patent/WO2021068982A1/zh
Application granted granted Critical
Publication of CN111429423B publication Critical patent/CN111429423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于四元数多自由度神经元的多光谱焊接图像识别方法，包括采用三台不同波段的摄像头获得多光谱焊接熔池图像，分别对三台摄像头获取的同一时刻的不同波段的熔池图像预处理和边缘提取，建立基于四元数的多光谱熔池图像边缘模型，通过四元数离散余弦变换后提取低频特征，运用基于四元数的多自由度神经元网络对多光谱熔池图像的边缘特征进行分类训练与识别，相较于传统方式，本发明识别信息来源多，抗干扰能力强，识别准确率高。

Description

基于四元数多自由度神经元的多光谱焊接图像识别方法
技术领域
本发明涉及激光焊接图像识别方法技术领域，具体为一种基于四元数多自由度神经元的多光谱焊接图像识别方法。
背景技术
激光焊接技术是当前先进的制造技术之一，在各个行业方兴未艾。与其他焊接方式相比，激光焊接有着高效、快速、质优、牢靠、缝小、平整、能量集聚、防电磁扰、焊材范围广等优点，因此实现激光焊接质量在线实时检测判断具有重要意义。传统的基于视觉系统观察熔池行为的分析方法，基本上是在建立在可见光图像上，或基于单一的波段辐射信息进行处理，但可见光视觉范围容易受到电弧光等的干扰，较难抽取焊接区域图像关键性特征，而且视觉信息的波段单一，缺少整个熔池整体信息及特殊光谱信息的检测，因此，亟待一种改进的技术来解决现有技术中所存在的这一问题。
发明内容
本发明的目的在于提供一种基于四元数多自由度神经元的多光谱焊接图像识别方法，从熔池图像边缘信息入手，分析并识别焊接过程中熔池图像对应的熔透状态，解决现有技术中识别信息易受干扰，识别结果可信度不高的问题，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：包括以下步骤：
A、准备多光谱焊接图像识别系统，开始识别前，先将三个摄像头安装好滤光片和防护镜，并排排列，垂直向下对准将要进行激光焊接的部位，随后对三台摄像头采用同步触发采集图像，获取的同一时刻的808nm、830nm、850nm三个不同波段的熔池图像，对熔池图像进行边缘提取；
B、建立基于四元数的多光谱熔池图像边缘模型；
C、通过四元数离散余弦变换后提取低频特征；
D、运用基于四元数的多自由度神经元网络对多光谱熔池图像的边缘特征进行分类训练与识别。
优选的，所述步骤A中的多光谱焊接图像识别系统包括一台装有LabVIEW和MATLAB软件的计算机；三个相同像素、帧率的高速摄像头，三个摄像分别配置808nm、830nm、850nm带通滤光片；图像采集卡；与摄像头配套的防护镜；相应的电源设备及连接线。
优选的，所述步骤A中预处理方式为：首先将原始熔池图像进行二值化操作，之后运用形态学运算对其进行膨胀腐蚀操作，最后对其进行面积阈值过滤操作，完成图像的预处理；步骤A中边缘提取方式为：对完成预处理的图像通过逐行逐列从外向内扫描的方式提取熔池边缘信息。
优选的，所述步骤B中建立基于四元数的多光谱熔池图像边缘模型的方式为：首先，分别计算三张预处理后图像中的质心，并选取满足取样角度的边缘点；其次，对于满足取样角度的边缘点，分别计算其到质心的距离，按照角度顺序依次存入三张图对应矩阵；最后，以质心为原点，三张图中对应角的边缘点到质心的距离为系数，组成熔池边缘数据的四元数模型。
优选的，所述边缘点的选取方式为：在边缘图中构建一个以质心为起点，方向为x正方向的射线，按一定角度旋转该射线，直到该射线旋转360°为止，每次旋转时该射线与边缘的交点，就是满足取样角度的边缘点。
优选的，所述步骤C中采用四元数离散余弦变换处理步骤B所得结果，取其中低频成分作为熔池边缘数据的特征四元数向量，用于多自由度神经元网络的训练和识别数据。
优选的，所述步骤D中，将边缘数据的低频特征作为MDOFNN输入，MDOFNN的输出是焊接模式分类，第一类焊透状态，第二类未焊透状态。
与现有技术相比，本发明的有益效果是：
(1)识别信息来源多，本发明采用三个摄像头，同时获取焊接过程中三个频段的光谱信息作为反应焊接质量的信号源，因此相比建立在可见光图像上的传统方法，本发明的识别信息来源更多，由于多光谱信息之间的耦合性，采用四元数的方法，使多光谱图像信息整体运算，保障了多光谱图像整体反应焊接熔透状态。
(2)识别信息干扰较少，本发明所使用的摄像头，均安装有滤光片和防护镜，这些滤光片和防护镜的选择，是通过进行多次组合测试得出的，因此相较于传统方法，本发明的识别信息干扰更小。
(3)识别准确率更高，本发明采用的基于多自由度神经元网络识别算法相较于传统方法采用的基于概率神经元网络识别算法具有准确率更高的优越性，因此结合前两点有益效果，相比于传统方法，本发明的识别准确率更高。
附图说明
图1是本发明的总体设计框图；
图2是本发明的硬件结构示意图；
图3是本发明中的算法流程图；
图4是本发明实施例的原始图像；
图5是本发明实施例经过一系列预处理中的图像结果；
图6是本发明实施例中典型的焊接熔池未焊透与焊透状态的熔池边缘到焊接中心的距离数据图像；
图7是本发明实施例中典型的焊接熔池未焊透与焊透状态提取低频特征后的样本图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于四元数多自由度神经元的多光谱焊接图像识别方法，首先通过LabVIEW程序控制三个对应不同波段的摄像头分别获取焊接熔池的图像信息，再使用图像采集卡进行汇总和上传，最后由MATLAB程序对同一时刻的不同波段图像进行处理，得出并显示熔池图像识别结果。
如图2所示，是本发明的硬件结构示意图，将被焊接的钢板平放在下方；激光焊接设备位于斜上方朝向钢板；三个装有滤光镜和防护镜的摄像头，并排排列，垂直向下对准将要进行激光焊接的部位；上位机(电脑)使用LabVIEW程序通过图像采集卡获取和控制三台摄像头的状态；相应的供电装置提供电源。
如图3所示，是本发明的算法流程图，三台摄像头获取的多光谱焊接熔池图像，使用MATLAB程序进行处理，得出并显示熔池图像识别结果。其处理过程可分为两部分：
第一部分是提取熔池图像的低频特征。其流程为：
A、对三台摄像头获取的相同时刻的熔池图像预处理。如图4所示，是本发明实施例的原始图像，首先，将原始图像进行二值化操作，之后运用形态学运算对其进行膨胀腐蚀操作，随后对其进行面积阈值过滤操作，完成图像的预处理，最后，对完成预处理的图像通过逐行逐列从外向内扫描的方式提取熔池边缘信息，如图5所示，是本发明实施例经过这些操作后的图像结果。
B、建立基于四元数的多光谱熔池图像边缘模型。对任意时刻的采样点，三个摄像头检测获取的不同光谱的熔池图像边缘到质心的距离数据可以表达成一个纯虚四元数，因此对于不同类别对应的三种光谱范围的焊接熔池图像边缘到质心的距离序列可以组合映射在四元数空间上，其四元数向量序列的变化可表征为焊接过程中的不同状态熔池图像信息的变化。模型建立步骤如下：
(1)分别计算三张预处理后图像的质心，并选取满足取样角度的边缘点；质心计算方式如下：
Figure BDA0002418258800000061
其中mpq为图像的二维几何距，计算方式为：
Figure BDA0002418258800000062
其中，p+q表示几何矩mpq的阶次；x、y是某像素点的坐标；f(x,y)表示该处像素的灰度值；M、N表示该图像的大小，本发明实施例中图像大小为1390×1040。
求出质心后，即可在边缘图中构建一个以质心为起点，方向为x正方向的射线，按一定角度旋转该射线，直到旋转360°为止。每次旋转时该射线与边缘的交点，就是满足取样角度的边缘点。在本发明实施例中，共需要取100个边缘点，因此该射线每旋转3.6°就取一个边缘点，取得100个边缘点为止。
(2)对于选取的边缘点，分别计算其到质心的距离，按照角度顺序依次存入三种光谱所对应距离数据序列。距离的计算方式如下：
Figure BDA0002418258800000063
其中，(x，y)为边缘点坐标，(x0，y0)为质心坐标。
(3)将这三种光谱对应的距离数据序列表示成如下式子：
Figure BDA0002418258800000064
Figure BDA0002418258800000065
Figure BDA0002418258800000071
其中，xi，yi，zi分别是三种光谱所对应距离数据序列中第i个点对应的距离值；N为信号的长度，即选取边缘点的个数。在此基础上，多光谱焊接熔池边缘到质心的距离数据序列可以统一表达为：
s＝{qη＝xη·i+yη·j+zη·k|η∈1，2，…，n}
且有i2＝j2＝k2＝-1，j＝k＝-ji，jk＝i＝-kj，ki＝j＝-ik，该式子就是基于四元数的多光谱熔池图像边缘模型。
C、通过四元数离散余弦变换后提取低频特征。四元数离散余弦变换(QDCT)的左变换FL(ω1，ω2)和右变换FR(ω1，ω2)如下：
Figure BDA0002418258800000072
Figure BDA0002418258800000073
上式中u为单位纯四元数，u2＝-1；f(x，y)为待变换m×n的四元数矩阵中(x，y)对应值；FL(ω1，ω2)、FR(ω1，ω2)为变换域(ω1，ω2)处的四元数系数；δ(ω1)、δ(ω2)定义为：
Figure BDA0002418258800000074
Figure BDA0002418258800000075
对基于四元数的多光谱熔池图像边缘模型进行四元数离散余弦变换后，取其中低频成分作为焊接熔池边缘数据的特征四元数向量。
如图6所示，是本发明实施例中典型的焊接熔池焊透和未焊透的边缘距离数据，其中三种颜色曲线对应三种光谱，横坐标为边缘点序号，纵坐标为该点与质心的距离。
如图7所示，是本发明实施例中典型的焊接熔池焊透和未焊透的边缘距离数据经过四元数离散余弦变换后数据，其中三种颜色曲线对应三种光谱，横坐标为边缘点序号，纵坐标为变化后数据值。
完成第一部分提取熔池图像低频特征后，就可以进行第二部分，即运用基于四元数的多自由度神经元网络对多光谱熔池图像的边缘特征进行分类识别。
如图7所示，从典型的焊接熔池未焊透与焊透状态低频特征数据上分析，未焊透与焊透状态的样本数据表征差异较大，因此可以采用多自由度神经元网络(MDOFNN)对其进行分类识别。
首先，使用训练样本构造基于四元数的多自由度神经元网络，完成后就可获得“焊透”和“未焊透”两个不同表征的神经元覆盖区，随后将提取到的测试样本边缘数据的低频特征输入该网络，计算待识别样本与这两个神经元覆盖区之间的欧式距离，距离最小的那一个覆盖区所对应的表征，就是该测试样本所属的表征，最后，将识别结果作为MDOFNN网络的输出。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：包括以下步骤：
A、准备多光谱焊接图像识别系统，开始识别前，先将三个摄像头安装好滤光片和防护镜，并排排列，垂直向下对准将要进行激光焊接的部位，随后对三台摄像头采用同步触发采集图像，获取同一时刻的808nm、830nm、850nm三个不同波段的熔池图像，对熔池图像进行边缘提取；
B、建立基于四元数的多光谱熔池图像边缘模型，模型建立步骤如下：
(1)分别计算三张预处理后图像的质心，并选取满足取样角度的边缘点；质心计算方式如下：
Figure FDA0003498580350000011
其中mpq为图像的二维几何距，计算方式为：
Figure FDA0003498580350000012
其中，p+q表示几何矩mpq的阶次；x、y是某像素点的坐标；f(x，y)表示该处像素的灰度值；M、N表示该图像的大小；
求出质心后，即可在边缘图中构建一个以质心为起点，方向为x正方向的射线，按一定角度旋转该射线，直到旋转360°为止，每次旋转时该射线与边缘的交点，就是满足取样角度的边缘点；
(2)对于选取的边缘点，分别计算其到质心的距离，按照角度顺序依次存入三种光谱所对应距离数据序列，距离的计算方式如下：
Figure FDA0003498580350000021
其中，(x，y)为边缘点坐标，(x0，y0)为质心坐标；
(3)将这三种光谱对应的距离数据序列表示成如下式子：
Figure FDA0003498580350000022
Figure FDA0003498580350000023
Figure FDA0003498580350000024
其中，xi，yi，zi分别是三种光谱所对应距离数据序列中第i个点对应的距离值；N为信号的长度，即选取边缘点的个数；在此基础上，多光谱焊接熔池边缘到质心的距离数据序列可以统一表达为：
s＝{qη＝xη·i+yη·j+zη·k|η∈1，2，…，n}
且有i2＝j2＝k2＝-1，j＝k＝-ji，jk＝i＝-kj，ki＝j＝-ik，该式子就是基于四元数的多光谱熔池图像边缘模型；
C、通过四元数离散余弦变换后提取低频特征；
D、运用基于四元数的多自由度神经元网络对多光谱熔池图像的边缘特征进行分类训练与识别。
2.根据权利要求1所述的一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：所述步骤A中的多光谱焊接图像识别系统包括一台装有LabVIEW和MATLAB软件的计算机；三个相同像素、帧率的高速摄像头，三个摄像分别配置808nm、830nm、850nm带通滤光片；图像采集卡；与摄像头配套的防护镜；相应的电源设备及连接线。
3.根据权利要求1所述的一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：所述步骤A中预处理方式为：首先将原始熔池图像进行二值化操作，之后运用形态学运算对其进行膨胀腐蚀操作，最后对其进行面积阈值过滤操作，完成图像的预处理；步骤A中边缘提取方式为：对完成预处理的图像通过逐行逐列从外向内扫描的方式提取熔池边缘信息。
4.据权利要求1所述的一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：所述步骤C中采用四元数离散余弦变换处理步骤B所得结果，取其中低频成分作为熔池边缘数据的特征四元数向量，用于多自由度神经元网络的训练和识别数据。
5.据权利要求1所述的一种基于四元数多自由度神经元的多光谱焊接图像识别方法，其特征在于：所述步骤D中，将边缘数据的低频特征作为MDOFNN输入，MDOFNN的输出是焊接模式分类，第一类焊透状态，第二类未焊透状态。
CN202010197835.6A 2020-03-19 2020-03-19 基于四元数多自由度神经元的多光谱焊接图像识别方法 Active CN111429423B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010197835.6A CN111429423B (zh) 2020-03-19 2020-03-19 基于四元数多自由度神经元的多光谱焊接图像识别方法
US17/288,558 US11651481B2 (en) 2020-03-19 2020-10-28 Quaternion multi-degree-of-freedom neuron-based multispectral welding image recognition method
PCT/CN2020/124188 WO2021068982A1 (zh) 2020-03-19 2020-10-28 基于四元数多自由度神经元的多光谱焊接图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010197835.6A CN111429423B (zh) 2020-03-19 2020-03-19 基于四元数多自由度神经元的多光谱焊接图像识别方法

Publications (2)

Publication Number Publication Date
CN111429423A CN111429423A (zh) 2020-07-17
CN111429423B true CN111429423B (zh) 2022-04-08

Family

ID=71548175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010197835.6A Active CN111429423B (zh) 2020-03-19 2020-03-19 基于四元数多自由度神经元的多光谱焊接图像识别方法

Country Status (3)

Country Link
US (1) US11651481B2 (zh)
CN (1) CN111429423B (zh)
WO (1) WO2021068982A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429423B (zh) * 2020-03-19 2022-04-08 南通大学 基于四元数多自由度神经元的多光谱焊接图像识别方法
CN114677296B (zh) * 2022-03-18 2023-03-28 西南交通大学 一种适用于窄间隙mag堆焊熔池图像的多特征提取方法
CN115415649A (zh) * 2022-09-06 2022-12-02 上海工程技术大学 基于长波滤光的gmaw熔滴熔池图像识别方法和设备
CN118060669B (zh) * 2024-04-22 2024-06-25 广东工业大学 一种基于焊接熔池特征识别的自动焊接控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064759A (en) * 1996-11-08 2000-05-16 Buckley; B. Shawn Computer aided inspection machine
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
KR100797239B1 (ko) * 2005-12-23 2008-01-23 주식회사 포스코 강판의 용접부 온라인 검출장치 및 방법
US9120286B2 (en) * 2011-03-31 2015-09-01 Fos Llc Fiber optic sensor thermally matched support tubes for distributed fiber optic sensing
US9399269B2 (en) * 2012-08-02 2016-07-26 Foro Energy, Inc. Systems, tools and methods for high power laser surface decommissioning and downhole welding
US10414003B2 (en) * 2013-09-30 2019-09-17 Liburdi Engineering Limited Welding material for welding of superalloys
CN103559499B (zh) * 2013-10-09 2017-02-08 华南理工大学 一种rgb矢量匹配快速识别系统及方法
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
JP6339603B2 (ja) * 2016-01-28 2018-06-06 ファナック株式会社 レーザ加工開始条件を学習する機械学習装置、レーザ装置および機械学習方法
US10751879B2 (en) * 2017-06-05 2020-08-25 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
CN109803092A (zh) * 2017-11-17 2019-05-24 林肯环球股份有限公司 在双光谱数字成像焊接头盔中实现高动态范围
CN109166088B (zh) * 2018-07-10 2022-01-28 南京理工大学 基于非降采样小波变换的双波段灰度熔池图像融合方法
CN109300116A (zh) * 2018-09-03 2019-02-01 广东工业大学 基于机器学习的激光焊接在线缺陷识别方法
CN110363781B (zh) * 2019-06-29 2022-08-12 南京理工大学 基于深度神经网络的熔池轮廓检测方法
CN111429423B (zh) * 2020-03-19 2022-04-08 南通大学 基于四元数多自由度神经元的多光谱焊接图像识别方法

Also Published As

Publication number Publication date
CN111429423A (zh) 2020-07-17
WO2021068982A1 (zh) 2021-04-15
US20220414857A1 (en) 2022-12-29
US11651481B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
CN111429423B (zh) 基于四元数多自由度神经元的多光谱焊接图像识别方法
CN110472698B (zh) 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN111652085B (zh) 基于2d与3d特征结合的物体识别方法
EP0363828A2 (en) Method and apparatus for adaptive learning type general purpose image measurement and recognition
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN117095005B (zh) 一种基于机器视觉的塑料母粒质检方法及系统
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN104268602A (zh) 一种基于二进制特征匹配的遮挡工件识别方法及装置
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN114273826A (zh) 用于大型待焊接工件的焊接位置自动识别方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN114743257A (zh) 图像目标行为的检测识别方法
Li et al. Feature point extraction and tracking based on a local adaptive threshold
Anghelone et al. Tfld: Thermal face and landmark detection for unconstrained cross-spectral face recognition
CN117392565A (zh) 一种无人机电力巡检缺陷自动识别方法
Tao et al. Utilization of both machine vision and robotics technologies in assisting quality inspection and testing
CN110458097A (zh) 一种人脸图片识别方法、装置、电子设备及存储介质
CN112380966B (zh) 基于特征点重投影的单眼虹膜匹配方法
CN114486934A (zh) 一种用于管道内部裂纹图像识别系统
CN112991304A (zh) 一种基于激光定向能量沉积监测系统的熔池溅射检测方法
Li et al. High-speed and Accurate Method for the Gear Defect Detection based on OpenCV
Shi et al. Part-based model for visual detection and localization of gas tungsten arc weld pool
CN117409332B (zh) 基于大数据处理的长材刨花外观数据检测系统及方法
CN118038026B (zh) 基于旋转目标检测的变电站二次接线可信质检方法
Shanbin et al. Electrical cabinet wiring detection method based on improved yolov5 and pp-ocrv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant