CN113012092A - 一种基于机器视觉的自动化焊接定位方法 - Google Patents

一种基于机器视觉的自动化焊接定位方法 Download PDF

Info

Publication number
CN113012092A
CN113012092A CN201911332523.5A CN201911332523A CN113012092A CN 113012092 A CN113012092 A CN 113012092A CN 201911332523 A CN201911332523 A CN 201911332523A CN 113012092 A CN113012092 A CN 113012092A
Authority
CN
China
Prior art keywords
image
layer
weld joint
welding seam
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911332523.5A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911332523.5A priority Critical patent/CN113012092A/zh
Publication of CN113012092A publication Critical patent/CN113012092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的自动化焊接定位方法，包括步骤一、待定位焊缝图像采集；二、待定位焊缝图像分块；三、待定位焊缝图像降维；四、待定位焊缝图像通过卷积神经网络进行分类；五、焊缝定位并自动化焊接。本发明方法步骤简单，实现方便，基于工业摄像机的机器视觉算法完成焊缝的自动检测和定位，采用卷积神经网络进行分类，相较于基于X射线技术与超声技术的方法，显著降低成本，而且设备体积小，安装使用更方便，便于推广使用。

Description

一种基于机器视觉的自动化焊接定位方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于机器视觉的自动化焊接定位方法。
背景技术
在焊接的生产流程中，焊缝定位的准确一直制约自动化焊接的发展，目前，利用视觉方法自动识别定位焊缝在国内外都有广泛的研究：其中一类是依据X射线摄影获取的焊缝图像，并利用支持向量机、模糊神经网络对焊缝缺陷识别；还有一类是依据高速摄影机CCD获取焊缝图像，并利用单条纹激光、图像匹配技术、结构光视觉三点、结构光与均匀光多特征技术来定位焊缝；再者也有利用超声传感技术进行三维定位。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于机器视觉的自动化焊接定位方法，其步骤简单，实现方便，基于工业摄像机的机器视觉算法完成焊缝的自动检测和定位，采用卷积神经网络进行分类，相较于基于X射线技术与超声技术的方法，显著降低成本，而且设备体积小，安装使用更方便，便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：一种基于机器视觉的自动化焊接定位方法，包括以下步骤：
步骤一、待定位焊缝图像采集；
采用工业摄像机拍摄待定位焊缝图像且将拍摄到的待定位焊缝图像传输给图像处理器；
步骤二、待定位焊缝图像分块；
图像处理器接收所述待定位焊缝图像并按照行间隔宽度d和列间隔宽度H将所述待定位焊缝图像分为M×N个待定位焊缝子图像Y1、Y2、…、YM×N，每个所述待定位焊缝子图像均由m×n个像素构成，其中，M为待定位焊缝子图像的行数，N为待定位焊缝子图像的列数，d、H、M、N、m和n均为自然数，d和H的单位均为像素；
步骤三、待定位焊缝图像降维；
图像处理器调用预先采用主成分分析法训练的降维矩阵W并根据公式Y′f＝WYf对M×N个待定位焊缝子图像进行降维处理，将M×N个待定位焊缝子图像Y1、Y2、…、YM×N转换为降维处理后的M×N个待定位焊缝子图像特征向量Y1′、Y2′、…、YM×N′，其中，Yf为第f个待定位焊缝子图像且
Figure RE-GDA0002427752220000021
Y′f为降维处理后的第f个待定位焊缝子图像特征向量，f的取值为1～ M×N的自然数；
步骤四、待定位焊缝图像通过卷积神经网络进行分类；
图像处理器将进行降维处理后的M×N个待定位焊缝子图像特征向量输入预先训练得到的卷积神经网络中，得到分类结果；
步骤五、焊缝定位并自动化焊接。
上述的一种基于机器视觉的自动化焊接定位方法，步骤四中所述卷积神经网络的结构包括输入层、卷积层C1、池化层S2、卷积层C3、池化层 S4、卷积层C5、池化层S6、全连接层F7、全连接层F8和输出层；
输入层:将输入的彩色图像数据的大小统一为224*224*3；
卷积层C1：对输入的彩色图像数据卷积，进行特征提取，卷积核取 11*11，步长取4，特征映射图谱数量取12，得到55*55*12的特征图；
池化层S2：对卷积层C1卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到27*27*12的特征图；
卷积层C3：对池化层S2降维后的特征图数据卷积，进行特征提取，卷积核取5*5，步长取2，特征映射图谱数量取48，得到27*27*48的特征图；
池化层S4：对卷积层C3卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到13*13*48的特征图；
卷积层C5：对池化层S4降维后的特征图数据卷积，进行特征提取，卷积核取3*3，步长取1，特征映射图谱数量取96，得到13*13*96的特征图；
池化层S6：对卷积层C5卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取1，得到6*6*96的特征图；
全连接层F7：设置1024个神经元，连接池化层S6输出的所有特征，设置ReLU函数为激活函数；
全连接层F8：设置512个神经元，与全连接层F7的神经元全连接，设置ReLU函数为激活函数；
输出层：设置2个神经元，与全连接层F8的神经元全连接，对输出结果进行二分类。
上述的一种基于机器视觉的自动化焊接定位方法，步骤四中所述得到分类结果为“焊缝”或“非焊缝”。
上述的一种基于机器视觉的自动化焊接定位方法，步骤五中所述焊缝定位的具体步骤为：
步骤501、图像处理器将降维处理后的M×N个待定位焊缝子图像特征向量的分类结果进行组合，构成对应于所述待定位焊缝图像的二值分类图像O(r,c)，所述二值分类图像O(r,c)的大小为M×N个像素，每一个像素对应一个子图像；其中，r为所述二值分类图像O(r,c)的行坐标，c为所述二值分类图像O(r,c)的列坐标；
步骤502、图像处理器对所述二值分类图像O(r,c)的每一行的像素点进行积分求和，得到所述二值分类图像O(r,c)的水平方向的积分投影曲线
Figure RE-GDA0002427752220000041
步骤503、图像处理器调用焊缝位置判断模块判断公式r2-r1＞D是否成立，当公式r2-r1＞D成立时，判定为所述待定位焊缝图像中的
Figure RE-GDA0002427752220000042
区域为焊缝所在位置区域；否则，当公式r2-r1＞D不成立时，判定为所述待定位焊缝图像中不包含焊缝；其中，D为待定位焊缝的最小实际宽度，D的单位为像素，ri∈[r1,r2]，阈值T的单位为像素。
本发明与现有技术相比具有以下优点：本发明的方法步骤简单，实现方便，基于工业摄像机的机器视觉算法完成焊缝的自动检测和定位，采用卷积神经网络进行分类，相较于基于X射线技术与超声技术的方法，显著降低成本，而且设备体积小，安装使用更方便，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程框图。
具体实施方式
如图1所示，本发明的基于机器视觉的自动化焊接定位方法，包括以下步骤：
步骤一、待定位焊缝图像采集；
采用工业摄像机拍摄待定位焊缝图像且将拍摄到的待定位焊缝图像传输给图像处理器；
步骤二、待定位焊缝图像分块；
图像处理器接收所述待定位焊缝图像并按照行间隔宽度d和列间隔宽度H将所述待定位焊缝图像分为M×N个待定位焊缝子图像Y1、Y2、…、YM×N，每个所述待定位焊缝子图像均由m×n个像素构成，其中，M为待定位焊缝子图像的行数，N为待定位焊缝子图像的列数，d、H、M、N、m和n均为自然数，d和H的单位均为像素；
步骤三、待定位焊缝图像降维；
图像处理器调用预先采用主成分分析法训练的降维矩阵W并根据公式Y′f＝WYf对M×N个待定位焊缝子图像进行降维处理，将M×N个待定位焊缝子图像Y1、Y2、…、YM×N转换为降维处理后的M×N个待定位焊缝子图像特征向量Y1′、Y2′、…、YM×N′，其中，Yf为第f个待定位焊缝子图像且
Figure RE-GDA0002427752220000051
Y′f为降维处理后的第f个待定位焊缝子图像特征向量，f的取值为1～ M×N的自然数；
步骤四、待定位焊缝图像通过卷积神经网络进行分类；
图像处理器将进行降维处理后的M×N个待定位焊缝子图像特征向量输入预先训练得到的卷积神经网络中，得到分类结果；
步骤五、焊缝定位并自动化焊接。
本方法中，步骤四中所述卷积神经网络的结构包括输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6、全连接层F7、全连接层F8和输出层；
输入层:将输入的彩色图像数据的大小统一为224*224*3；
卷积层C1：对输入的彩色图像数据卷积，进行特征提取，卷积核取 11*11，步长取4，特征映射图谱数量取12，得到55*55*12的特征图；
池化层S2：对卷积层C1卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到27*27*12的特征图；
卷积层C3：对池化层S2降维后的特征图数据卷积，进行特征提取，卷积核取5*5，步长取2，特征映射图谱数量取48，得到27*27*48的特征图；
池化层S4：对卷积层C3卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到13*13*48的特征图；
卷积层C5：对池化层S4降维后的特征图数据卷积，进行特征提取，卷积核取3*3，步长取1，特征映射图谱数量取96，得到13*13*96的特征图；
池化层S6：对卷积层C5卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取1，得到6*6*96的特征图；
全连接层F7：设置1024个神经元，连接池化层S6输出的所有特征，设置ReLU函数为激活函数；
全连接层F8：设置512个神经元，与全连接层F7的神经元全连接，设置ReLU函数为激活函数；
输出层：设置2个神经元，与全连接层F8的神经元全连接，对输出结果进行二分类。
本方法中，步骤四中所述得到分类结果为“焊缝”或“非焊缝”。
本方法中，步骤五中所述焊缝定位的具体步骤为：
步骤501、图像处理器将降维处理后的M×N个待定位焊缝子图像特征向量的分类结果进行组合，构成对应于所述待定位焊缝图像的二值分类图像O(r,c)，所述二值分类图像O(r,c)的大小为M×N个像素，每一个像素对应一个子图像；其中，r为所述二值分类图像O(r,c)的行坐标，c为所述二值分类图像O(r,c)的列坐标；
步骤502、图像处理器对所述二值分类图像O(r,c)的每一行的像素点进行积分求和，得到所述二值分类图像O(r,c)的水平方向的积分投影曲线
Figure RE-GDA0002427752220000061
步骤503、图像处理器调用焊缝位置判断模块判断公式r2-r1＞D是否成立，当公式r2-r1＞D成立时，判定为所述待定位焊缝图像中的
Figure RE-GDA0002427752220000071
区域为焊缝所在位置区域；否则，当公式r2-r1＞D不成立时，判定为所述待定位焊缝图像中不包含焊缝；其中，D为待定位焊缝的最小实际宽度，D的单位为像素，ri∈[r1,r2]，阈值T的单位为像素。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (4)

1.一种基于机器视觉的自动化焊接定位方法，其特征在于：包括以下步骤：
步骤一、待定位焊缝图像采集；
采用工业摄像机拍摄待定位焊缝图像且将拍摄到的待定位焊缝图像传输给图像处理器；
步骤二、待定位焊缝图像分块；
图像处理器接收所述待定位焊缝图像并按照行间隔宽度d和列间隔宽度H将所述待定位焊缝图像分为M×N个待定位焊缝子图像Y1、Y2、…、YM×N，每个所述待定位焊缝子图像均由m×n个像素构成，其中，M为待定位焊缝子图像的行数，N为待定位焊缝子图像的列数，d、H、M、N、m和n均为自然数，d和H的单位均为像素；
步骤三、待定位焊缝图像降维；
图像处理器调用预先采用主成分分析法训练的降维矩阵W并根据公式Y′f＝WYf对M×N个待定位焊缝子图像进行降维处理，将M×N个待定位焊缝子图像Y1、Y2、…、YM×N转换为降维处理后的M×N个待定位焊缝子图像特征向量Y1′、Y2′、…、YM×N′，其中，Yf为第f个待定位焊缝子图像且
Figure RE-FDA0002427752210000011
Y′f为降维处理后的第f个待定位焊缝子图像特征向量，f的取值为1～M×N的自然数；
步骤四、待定位焊缝图像通过卷积神经网络进行分类；
图像处理器将进行降维处理后的M×N个待定位焊缝子图像特征向量输入预先训练得到的卷积神经网络中，得到分类结果；
步骤五、焊缝定位并自动化焊接。
2.按照权利要求1所述的一种基于机器视觉的自动化焊接定位方法，其特征在于：步骤四中所述卷积神经网络的结构包括输入层、卷积层C1、池化层S2、卷积层C3、池化层S4、卷积层C5、池化层S6、全连接层F7、全连接层F8和输出层；
输入层:将输入的彩色图像数据的大小统一为224*224*3；
卷积层C1：对输入的彩色图像数据卷积，进行特征提取，卷积核取11*11，步长取4，特征映射图谱数量取12，得到55*55*12的特征图；
池化层S2：对卷积层C1卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到27*27*12的特征图；
卷积层C3：对池化层S2降维后的特征图数据卷积，进行特征提取，卷积核取5*5，步长取2，特征映射图谱数量取48，得到27*27*48的特征图；
池化层S4：对卷积层C3卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取2，得到13*13*48的特征图；
卷积层C5：对池化层S4降维后的特征图数据卷积，进行特征提取，卷积核取3*3，步长取1，特征映射图谱数量取96，得到13*13*96的特征图；
池化层S6：对卷积层C5卷积后的特征图进行降维处理，采用自适应的池化方法进行特征提取，矩形区域取3*3，步长取1，得到6*6*96的特征图；
全连接层F7：设置1024个神经元，连接池化层S6输出的所有特征，设置ReLU函数为激活函数；
全连接层F8：设置512个神经元，与全连接层F7的神经元全连接，设置ReLU函数为激活函数；
输出层：设置2个神经元，与全连接层F8的神经元全连接，对输出结果进行二分类。
3.按照权利要求1所述的一种基于机器视觉的自动化焊接定位方法，其特征在于：步骤四中所述得到分类结果为“焊缝”或“非焊缝”。
4.按照权利要求1所述的一种基于机器视觉的自动化焊接定位方法，其特征在于：步骤五中所述焊缝定位的具体步骤为：
步骤501、图像处理器将降维处理后的M×N个待定位焊缝子图像特征向量的分类结果进行组合，构成对应于所述待定位焊缝图像的二值分类图像O(r,c)，所述二值分类图像O(r,c)的大小为M×N个像素，每一个像素对应一个子图像；其中，r为所述二值分类图像O(r,c)的行坐标，c为所述二值分类图像O(r,c)的列坐标；
步骤502、图像处理器对所述二值分类图像O(r,c)的每一行的像素点进行积分求和，得到所述二值分类图像O(r,c)的水平方向的积分投影曲线
Figure RE-FDA0002427752210000031
步骤503、图像处理器调用焊缝位置判断模块判断公式r2-r1＞D是否成立，当公式r2-r1＞D成立时，判定为所述待定位焊缝图像中的
Figure RE-FDA0002427752210000032
区域为焊缝所在位置区域；否则，当公式r2-r1＞D不成立时，判定为所述待定位焊缝图像中不包含焊缝；其中，D为待定位焊缝的最小实际宽度，D的单位为像素，ri∈[r1,r2]，阈值T的单位为像素。
CN201911332523.5A 2019-12-22 2019-12-22 一种基于机器视觉的自动化焊接定位方法 Pending CN113012092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911332523.5A CN113012092A (zh) 2019-12-22 2019-12-22 一种基于机器视觉的自动化焊接定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911332523.5A CN113012092A (zh) 2019-12-22 2019-12-22 一种基于机器视觉的自动化焊接定位方法

Publications (1)

Publication Number Publication Date
CN113012092A true CN113012092A (zh) 2021-06-22

Family

ID=76382907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911332523.5A Pending CN113012092A (zh) 2019-12-22 2019-12-22 一种基于机器视觉的自动化焊接定位方法

Country Status (1)

Country Link
CN (1) CN113012092A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116038112A (zh) * 2022-12-06 2023-05-02 西南石油大学 一种激光跟踪大型曲面板角焊系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116038112A (zh) * 2022-12-06 2023-05-02 西南石油大学 一种激光跟踪大型曲面板角焊系统及方法

Similar Documents

Publication Publication Date Title
CN105891215B (zh) 基于卷积神经网络的焊接视觉检测方法及装置
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
WO2022033076A1 (zh) 目标检测方法、装置、设备、存储介质及程序产品
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN112950576B (zh) 基于深度学习的输电线路缺陷智能识别方法及系统
CN114581456B (zh) 一种多图像分割模型的构建方法、图像检测方法及装置
CN112164048B (zh) 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN108021926A (zh) 一种基于全景环视系统的车辆刮痕检测方法及系统
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN113095445B (zh) 一种目标识别方法及装置
CN111199255A (zh) 基于darknet53网络的小目标检测网络模型及检测方法
CN115880288B (zh) 电子元件焊接的检测方法、系统及计算机设备
CN115775236A (zh) 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统
Li et al. Vision-based target detection and positioning approach for underwater robots
CN113012092A (zh) 一种基于机器视觉的自动化焊接定位方法
CN113012217A (zh) 基于图像处理的焊接焊缝定位用卷积神经网络的构建方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN115641368A (zh) 一种用于标定的离焦棋盘格图像特征提取方法
CN114758318A (zh) 一种基于全景视图的任意角度车位检测方法
CN113670268A (zh) 基于双目视觉的无人机和电力杆塔距离测量方法
CN117152687B (zh) 一种通信线路状态监测系统
CN114445800B (zh) 基于感兴趣区域特征聚集的车道线检测方法
CN113705403B (zh) 一种与全景成像系统融合的前方目标车辆碰撞预警方法
CN113487668B (zh) 一种半径不受限的可学习柱面反投影方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210622

WD01 Invention patent application deemed withdrawn after publication