CN110717502A - 一种脉冲激光拼焊图像中熔池识别方法 - Google Patents

一种脉冲激光拼焊图像中熔池识别方法 Download PDF

Info

Publication number
CN110717502A
CN110717502A CN201911005947.0A CN201911005947A CN110717502A CN 110717502 A CN110717502 A CN 110717502A CN 201911005947 A CN201911005947 A CN 201911005947A CN 110717502 A CN110717502 A CN 110717502A
Authority
CN
China
Prior art keywords
image
pixel
molten pool
gray
edge point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911005947.0A
Other languages
English (en)
Other versions
CN110717502B (zh
Inventor
王邦国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University
Original Assignee
Dalian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University filed Critical Dalian University
Priority to CN201911005947.0A priority Critical patent/CN110717502B/zh
Publication of CN110717502A publication Critical patent/CN110717502A/zh
Application granted granted Critical
Publication of CN110717502B publication Critical patent/CN110717502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视觉检测领域，涉及一种脉冲激光拼焊图像中熔池识别方法，首先从视频中提取图像并通过高斯滤波进行预处理，根据设定的阈值将图像中灰度值小于阈值的像素灰度值设定为零，并求梯度图像。然后利用灰度重心法初步求灰度值为非零像素的灰度重心；以灰度重心点为中心点，沿顺时针每间隔10°在图像上取设定长度的像素，每个方向上得到的最大灰度值像素坐标为像素级边缘点位置；由像素级边缘周围7×7区域内像素计算亚像素边缘点；最后用求得的亚像素级边缘点拟合圆，根据各亚像素级边缘点到拟合圆的距离差值，以及距离平方和与拟合圆半径的关系识别熔池。该方法能有效识别脉冲激光拼焊图像中的熔池，具有可靠性高，鲁棒性好的特点。

Description

一种脉冲激光拼焊图像中熔池识别方法
技术领域
本发明属于视觉检测领域，具体说是一种脉冲激光拼焊图像中熔池识别方法。
背景技术
脉冲激光拼焊过程中，脉冲激光作用在待焊件的焊缝上使金属熔融实现焊接。由于焊接用激光作用面积小，焊接过程中激光致熔池位置与焊缝出现偏差时会降低焊接质量甚至造成焊接失效，因此需要在焊接过程中对焊接偏差进行检测。焊接过程中，脉冲激光器发射激光的频率为20-30赫兹每秒，用设定为1000帧每秒拍摄频率的高速相机拍摄焊接视频。为消除高温熔池对拍摄质量的影响，在高速相机镜头前加装截止波长为430nm的短波通滤光片。由于焊接用脉冲激光器发射激光是非连续的，需要对视频中各帧图像进行识别，检测出激光致熔池图像。
发明内容
针对高速相机拍摄的脉冲激光拼焊视频中熔池识别问题，本申请提供一种脉冲激光拼焊图像中熔池识别方法，该方法根据脉冲激光拼焊图像中熔池形状特点，以熔池亚像素边缘点到其所拟合圆的距离与设定值间的关系为判断依据识别熔池，具有可靠性高，鲁棒性好的特点。
为实现上述目的，本申请的技术方案为：一种脉冲激光拼焊图像中熔池识别方法，具体包括如下步骤：
第一步，求焊接图像的梯度图像：从视频中提取的图像经高斯滤波后得到黑白图像；
第二步，求熔池像素级边缘点：先利用灰度重心法初步确定熔池的中心；
第三步，计算亚像素级边缘点与拟合圆的偏差值：利用求得的亚像素边缘点进行圆的拟合，拟合圆的圆心用Of表示，在图像I中的坐标为(xof,yof)。
进一步的，第一步的具体实现方法为：设定灰度阈值为100，将图像中灰度值小于该阈值的像素灰度值置为零后得到的图像表示为I；在图像上建立坐标系oxy，坐标系的原点在图像的左下角用o表示，x轴在图像的水平方向，y轴在图像的竖直方向上；图像I在水平方向和竖直方向上的像素数分别为tx和ty，分别在水平方向和竖直方向上计算图像I的偏导数Ix(xi,yj)和Iy(xi,yj)；
Ix(xk,yj)＝I(xk1+2,yi)-I(xk1,yj)；其中，k＝2,3…,tx-1，k1＝1,2,…,tx-2，j＝1,2,…,ty；
Iy(xi,yw)＝I(xi,yw1+2)-I(xi,yw1)；其中，w＝2,3…,ty-1，w1＝1,2…,ty-2，i＝1,2,…,tx；
图像I的偏导数用Ixy(xi,yj)表示，
Figure BDA0002242785080000021
进一步的，第二步的具体实现方法为：利用图像I上各像素的灰度值和像素坐标，分别在x轴和y轴上求得灰度重心Ot，Ot的坐标用(x0,y0)表示；以Ot点为中心，从水平方向开始每相隔10°角度，分别沿直线方向在梯度图像Ixy上取各像素的位置和其灰度值信息；在竖直方向左右两侧小于30°角度内不选取边缘点，共得到31组由像素坐标和其灰度组成数据；分别取每组数据中灰度值最大的像素对应的坐标为像素级边缘点(xpk,ypk)，再分别以各像素级边缘点为中心在图像I中取7×7区域内像素计算对应的亚像素边缘点(xsk,ysk)；其中，k＝1,2,…31。
进一步的，第三步的具体实现方法为：分别求各亚像素边缘点(xsk,ysk)到拟合圆Of的距离dk，
Figure BDA0002242785080000031
其中，rf为拟合圆的半径，k＝1,2,…31；亚像素边缘点到圆的距离dk的绝对值|dk|中最大值和最小值，分别用dmax和dmin表示；亚像素边缘点到圆距离的平方和用dsum表示，
Figure BDA0002242785080000032
若
Figure BDA0002242785080000033
且
Figure BDA0002242785080000034
则认为视频中的图像含脉冲激光致熔池；其中，τ＝0.3，ξ＝1.5。
本发明由于采用以上技术方案，能够取得如下的技术效果：将脉冲激光拼焊图像中熔池识别转化为由熔池的亚像素边缘点到由亚像素边缘点拟合圆的距离与拟合圆半径间关系作为判断依据。对于从高速相机拍摄的视频中提取的图像进行高斯滤波和将像素灰度小于设定阈值置零处理后，以灰度重心点为中心在偏导处理后的图像中从水平方向开始每间隔10°角沿直线取像素，灰度最大值像素坐标为像素级边缘点位置；再由原图像中像素级边缘点周围像素灰度值，求亚像素边缘点；最后根据亚像素边缘点到其拟合圆的距离与拟合圆半径的关系，识别所提取的图像是否可用于检测熔池与焊缝的偏差。该方法具有计算结果可靠，计算过程快速稳定的优点。
附图说明
图1脉冲激光拼焊图像中熔池识别流程图；
具体实施方式
本发明的实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
实施例1
本实施例提供一种脉冲激光拼焊图像中熔池识别方法，从视频中提取图像后，首先对提取的图像进行预处理，即对提取的图像进行高斯滤波，根据设定的阈值将图像中灰度值小于阈值的像素灰度值设定为零，并求梯度图像。然后利用灰度重心法初步求灰度值为非零像素的灰度重心，以所求的灰度重心点为中心点，水平向右的方向为起始方向，除了竖直方向左右两侧30°角度，沿顺时针每间隔10°在图像上取设定长度的像素，每个方向上得到的最大灰度值像素坐标为像素级边缘点位置；由像素级边缘周围7×7区域内像素灰度计算亚像素边缘点；最后用求得的亚像素级边缘点拟合圆，根据各亚像素级边缘点到拟合圆的距离差值，以及距离平方和与拟合圆半径的关系识别熔池。该方法根据脉冲激光拼焊图像中熔池形状特点，通过求取灰度值大于设定阈值的像素区域的边缘所拟合的圆与亚像素级边缘距离关系识别熔池，具有可靠性高，鲁棒性好的特点。
脉冲激光拼焊时激光器发射激光束是非连续的，应用高速相机拍摄的脉冲激光拼焊视频检测熔池与焊缝偏差时，要先对从视频提取的图像中熔池进行识别，对于焊缝位于竖直方向的脉冲激光拼焊熔池识别具体步骤如下：
第一步：求焊接图像的梯度图像
从视频中提取的图像经高斯滤波后得到黑白图像。设定灰度阈值为100，将图像中灰度值小于该阈值的像素灰度值置为零后得到的图像表示为I。为方便计算，在图像上建立坐标系oxy，坐标系的原点在图像的左下角用o表示，x轴在图像的水平方向，y轴在图像的竖直方向上。图像I在水平方向和竖直方向上的像素数分别为tx和ty，分别在水平方向和竖直方向上计算图像I的偏导数Ix(xi,yj)和Iy(xi,yj)。Ix(xk,yj)＝I(xk1+2,yi)-I(xk1,yj)；其中，k＝2,3…,tx-1，k1＝1,2,3…,tx-2，j＝1,2,…,ty。Iy(xi,yw)＝I(xi,yw1+2)-I(xi,yw1)；其中，w＝2,3…,ty-1，w1＝1,2…,ty-2,i＝1,2,…,tx；图像I的偏导数用Ixy(xi,yj)表示，
Figure BDA0002242785080000051
第二步：求熔池像素级边缘点
为有效求得熔池边缘，先利用灰度重心法初步确定熔池的中心。利用图像I上各像素的灰度值和像素坐标，分别在x轴和y轴上求得灰度重心Ot，Ot的坐标用(x0,y0)表示。以Ot点为中心，从水平方向开始每相隔10°角度，分别沿直线方向在梯度图像Ixy上取各像素的位置和其灰度值信息。为消除焊缝对熔池检测的影响，在竖直方向左右两侧小于30°角度内不选取边缘点。共得到31组由像素坐标和其灰度组成数据。分别取每组数据中灰度值最大的像素对应的坐标为像素级边缘点(xpk,ypk)，再分别以各像素级边缘点为中心在图像I中取7×7区域内像素计算对应的亚像素边缘点(xsk,ysk)；其中，k＝1,2,…31。
第三步：计算亚像素级边缘点与拟合圆的偏差值
利用求得的亚像素边缘点进行圆的拟合，拟合圆的圆心用Of表示，在图像I中的坐标为(xof,yof)。分别求各亚像素边缘点(xsk,ysk)到拟合圆Of的距离dk，
Figure BDA0002242785080000061
其中，rf为拟合圆的半径，k＝1,2,…31。亚像素边缘点到圆的距离dk的绝对值|dk|中最大值和最小值，分别用dmax和dmin表示。亚像素边缘点到圆距离的平方和用dsum表示，若
Figure BDA0002242785080000063
且
Figure BDA0002242785080000064
则认为视频中的图像含脉冲激光致熔池；其中，τ＝0.3，ξ＝1.5。本申请适合1KW以下功率的激光焊接。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种脉冲激光拼焊图像中熔池识别方法，其特征在于，具体包括如下步骤：
第一步，求焊接图像的梯度图像：从视频中提取的图像经高斯滤波后得到黑白图像；
第二步，求熔池像素级边缘点：先利用灰度重心法初步确定熔池的中心；
第三步，计算亚像素级边缘点与拟合圆的偏差值：利用求得的亚像素边缘点进行圆的拟合，拟合圆的圆心用Of表示，在图像I中的坐标为(xof,yof)。
2.根据权利要求1所述一种脉冲激光拼焊图像中熔池识别方法，其特征在于，第一步的具体实现方法为：设定灰度阈值为100，将图像中灰度值小于该阈值的像素灰度值置为零后得到的图像表示为I；在图像上建立坐标系oxy，坐标系的原点在图像的左下角用o表示，x轴在图像的水平方向，y轴在图像的竖直方向上；图像I在水平方向和竖直方向上的像素数分别为tx和ty，分别在水平方向和竖直方向上计算图像I的偏导数Ix(xi,yj)和Iy(xi,yj)；
Ix(xk,yj)＝I(xk1+2,yi)-I(xk1,yj)；其中，k＝2,3…,tx-1，k1＝1,2,…,tx-2，j＝1,2,…,ty；
Iy(xi,yw)＝I(xi,yw1+2)-I(xi,yw1)；其中，w＝2,3…,ty-1，w1＝1,2…,ty-2，i＝1,2,…,tx；
图像I的偏导数用Ixy(xi,yj)表示，
Figure FDA0002242785070000011
3.根据权利要求1所述一种脉冲激光拼焊图像中熔池识别方法，其特征在于，第二步的具体实现方法为：利用图像I上各像素的灰度值和像素坐标，分别在x轴和y轴上求得灰度重心Ot，Ot的坐标用(x0,y0)表示；以Ot点为中心，从水平方向开始每相隔10°角度，分别沿直线方向在梯度图像Ixy上取各像素的位置和其灰度值信息；在竖直方向左右两侧小于30°角度内不选取边缘点，共得到31组由像素坐标和其灰度组成数据；分别取每组数据中灰度值最大的像素对应的坐标为像素级边缘点(xpk,ypk)，再分别以各像素级边缘点为中心在图像I中取7×7区域内像素计算对应的亚像素边缘点(xsk,ysk)；其中，k＝1,2,…31。
4.根据权利要求1所述一种脉冲激光拼焊图像中熔池识别方法，其特征在于，第三步的具体实现方法为：分别求各亚像素边缘点(xsk,ysk)到拟合圆Of的距离dk，
Figure FDA0002242785070000021
其中，rf为拟合圆的半径，k＝1,2,…31；亚像素边缘点到圆的距离dk的绝对值|dk|中最大值和最小值，分别用dmax和dmin表示；亚像素边缘点到圆距离的平方和用dsum表示，
Figure FDA0002242785070000022
若
Figure FDA0002242785070000023
且
Figure FDA0002242785070000024
则认为视频中的图像含脉冲激光致熔池；其中，τ＝0.3，ξ＝1.5。
CN201911005947.0A 2019-10-22 2019-10-22 一种脉冲激光拼焊图像中熔池识别方法 Active CN110717502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911005947.0A CN110717502B (zh) 2019-10-22 2019-10-22 一种脉冲激光拼焊图像中熔池识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911005947.0A CN110717502B (zh) 2019-10-22 2019-10-22 一种脉冲激光拼焊图像中熔池识别方法

Publications (2)

Publication Number Publication Date
CN110717502A true CN110717502A (zh) 2020-01-21
CN110717502B CN110717502B (zh) 2023-09-05

Family

ID=69213027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911005947.0A Active CN110717502B (zh) 2019-10-22 2019-10-22 一种脉冲激光拼焊图像中熔池识别方法

Country Status (1)

Country Link
CN (1) CN110717502B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016127735A1 (zh) * 2015-02-13 2016-08-18 比亚迪股份有限公司 纹线距离的计算方法和装置
CN109934820A (zh) * 2019-03-22 2019-06-25 大连大学 一种激光拼焊待焊件图像中直线边缘亚像素检测方法
CN109978853A (zh) * 2019-03-22 2019-07-05 大连大学 一种直线焊缝激光拼焊中焊接位置与焊缝偏差计算方法
CN110232697A (zh) * 2019-05-30 2019-09-13 江苏大学 一种光斑边缘拟合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016127735A1 (zh) * 2015-02-13 2016-08-18 比亚迪股份有限公司 纹线距离的计算方法和装置
CN109934820A (zh) * 2019-03-22 2019-06-25 大连大学 一种激光拼焊待焊件图像中直线边缘亚像素检测方法
CN109978853A (zh) * 2019-03-22 2019-07-05 大连大学 一种直线焊缝激光拼焊中焊接位置与焊缝偏差计算方法
CN110232697A (zh) * 2019-05-30 2019-09-13 江苏大学 一种光斑边缘拟合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王邦国 等: "焊接激光束致熔池中心计算方法研究" *
王邦国: "激光致熔池图像获取及质心提取方法研究" *

Also Published As

Publication number Publication date
CN110717502B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109785291B (zh) 一种车道线自适应检测方法
CN110480127B (zh) 一种基于结构光视觉传感的焊缝跟踪系统及方法
CN105352437B (zh) 板卡位置检测方法及装置
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN109752392B (zh) 一种pcb板缺陷类型检测系统和方法
WO2020147639A1 (zh) 焊道轨迹及姿态实时跟踪检测方法、电子设备及介质
CN113269762B (zh) 屏幕不良检测方法、系统及计算机存储介质
CN106845410B (zh) 一种基于深度学习模型的火焰识别方法
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN112419298B (zh) 一种螺栓节点板锈蚀检测方法、装置、设备及存储介质
CN107014818B (zh) 一种镭雕缺陷视觉检测系统及方法
CN110111330B (zh) 手机屏幕检测方法
Zhang et al. Narrow-seam identification and deviation detection in keyhole deep-penetration TIG welding
CN110838097A (zh) 一种基于机器视觉的输送带偏移测量方法
JP6177541B2 (ja) 文字認識装置、文字認識方法及びプログラム
CN104331695A (zh) 一种鲁棒的圆形标志符形状质量检测方法
CN105205803A (zh) 显示面板缺陷检测方法
CN116993744A (zh) 一种基于阈值分割的焊缝缺陷检测方法
CN102663781A (zh) 一种基于视觉的亚像素级焊缝中心提取方法
CN110889874B (zh) 一种双目相机标定结果的误差评估方法
CN117876308A (zh) 基于图像分析的光伏板检测方法
CN108876771A (zh) 一种咬边焊接缺陷的检测方法
WO2024108971A1 (zh) 用于车辆底盘腐蚀评估的agv系统
CN110717502B (zh) 一种脉冲激光拼焊图像中熔池识别方法
CN110322508B (zh) 一种基于计算机视觉的辅助定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant