CN113436209B - 一种基于逐层缩进策略的新型焊缝中心线提取方法 - Google Patents

一种基于逐层缩进策略的新型焊缝中心线提取方法 Download PDF

Info

Publication number
CN113436209B
CN113436209B CN202110698358.6A CN202110698358A CN113436209B CN 113436209 B CN113436209 B CN 113436209B CN 202110698358 A CN202110698358 A CN 202110698358A CN 113436209 B CN113436209 B CN 113436209B
Authority
CN
China
Prior art keywords
weld
coordinate
sub
contour
root
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698358.6A
Other languages
English (en)
Other versions
CN113436209A (zh
Inventor
商亮亮
李佩齐
泮佳俊
张帆
张�浩
刘腾
傅怀梁
华亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202110698358.6A priority Critical patent/CN113436209B/zh
Publication of CN113436209A publication Critical patent/CN113436209A/zh
Application granted granted Critical
Publication of CN113436209B publication Critical patent/CN113436209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于逐层缩进策略的新型焊缝中心线提取方法,包括:获取焊缝的含有深度信息的RGB图像,进行二值化处理;建立基准平面坐标系;获取焊缝区域内焊缝轮廓边缘的坐标,并且根据该坐标绘制焊缝轮廓,获得根轮廓图像;以根焊缝轮廓为基准,多次向内收缩d个欧式距离,获得绘制有多个子焊缝轮廓的图像;在基准平面坐标系基础上,找到所有子焊缝轮廓的最大值和最小值;由内向外依次使用直线连接每个焊缝轮廓的上顶点,同时使用直线由内向外依次连接每个焊缝轮廓的下顶点;最后,将多个子焊缝轮廓中最内部的子焊缝轮廓的上顶点和下顶点进行连线,得到一条焊缝中心线。

Description

一种基于逐层缩进策略的新型焊缝中心线提取方法
技术领域
本发明涉及焊缝中心线提取技术领域,特别是涉及一种基于逐层缩进策略的新型焊缝中心线提取方法。
背景技术
焊接技术被誉为“工业裁缝”,被广泛应用到汽车、航空航天、海工等众多领域。传统的手工焊接方式早已不能满足现代企业的焊接要求,因此自动化焊接成为主流应用技术。而焊缝中心线的提取是自动化焊接过程中至关重要的基础技术。焊缝中心线提取工作的精度直接决定了焊缝识别的成功率和焊接效率,且对提高焊接质量有着重要意义。
焊缝跟踪过程中产生的弧光、烟雾以及飞溅会影响采集图像的质量,很大程度上会干扰焊缝中心线的识别准确度。获取焊缝中心线的位置是保证焊缝定位精度的重要因素,焊缝中心线提取也是传感器开发过程中的关键技术之一。
目前,在焊缝中心线的识别和定位工作中采用较多的是激光中心线提取方法。由于激光结构光三维重建的局限性,主要采用边缘检测和拟合的方式,这种方法适合没有噪声干扰的情况下对激光中心线进行提取。采用阈值分割的方式提取激光条纹,这种方法当出现较大弧光干涉时,提取的激光条纹区域将包括弧光区域,导致激光中心线提取失败。这些方法都无法适应大噪声干扰的情况。
飞行时间测距最早应用在超声测距仪上,其原理为:向被测物体发射可调制的红外光线,经接收端接收,通过分析发射光线与接收光线的相位差和时间差,从而获得待测物体的深度信息。再结合传统摄像头的拍摄,能够得到物体的三维信息。随着精密电子技术和微电子工艺的发展,解决了ToF摄像头分辨率低、噪点多、对时间测量的精度要求高等问题后,基于高性能光电子的飞行测距法在各领域得到了广泛的应用,如体感游戏、无人驾驶、环境建模等领域。通过查阅大量文献资料得知,基于ToF和逐层缩进策略的焊缝中心线识别技术研究尚属国内空白。
发明内容
有鉴于此,本发明的目的在于提供一种基于逐层缩进策略的新型焊缝中心线提取方法,用以解决背景技术中提及的技术问题,该方法能够提高焊缝中心线提取的准确率以及焊缝识别的效率。
为了实现以上目的,本发明提供了如下技术方案:
一种基于逐层缩进策略的新型焊缝中心线提取方法,包括如下步骤:
步骤S1、获取焊缝的含有深度信息的RGB图像,再对该RGB图像进行二值化处理,得到二值焊缝图;
步骤S2、将步骤S1中获取的二值焊缝图逆时针旋转90度,以其左下角顶点为原点,建立基准平面坐标系;
步骤S3、根据步骤S2建立的基准平面坐标系,获取焊缝区域内焊缝轮廓边缘的坐标,并且根据该坐标绘制焊缝轮廓,该焊缝轮廓定义为根焊缝轮廓,获得根轮廓图像P0
步骤S4、在步骤S3中得到的根轮廓图像P0上,以所述根焊缝轮廓为基准,多次向内收缩d个欧式距离,每收缩一次,即创建一次子焊缝轮廓,获得绘制有多个子焊缝轮廓的图像;
步骤S5、根据步骤S4中得到的绘制了多个子焊缝轮廓的图像,并且在所述基准平面坐标系基础上,找到所有子焊缝轮廓在y坐标轴方向上的最大值和最小值,并且找到与之对应的x坐标轴上最大值和最小值;
步骤S6、由内向外依次使用直线连接每个焊缝轮廓的上顶点,所述上顶点为最大值坐标点,同时使用直线由内向外依次连接每个焊缝轮廓的下顶点,所述下顶点为最小值坐标点;
最后,将所述多个子焊缝轮廓中最内部的子焊缝轮廓的上顶点和下顶点进行连线,得到一条焊缝中心线。
进一步的,所述步骤S1具体包括:
步骤S101、通过基于ToF技术的摄像头拍摄焊缝区域,获取焊缝区域的且含有深度信息的RGB图像;
步骤S102、通过中值滤波技术过滤过该RGB图像的图像噪点,得到处理后的RGB图像;
步骤S103、读取处理后的RGB图像上像素对应的颜色表示的深度数值信息,并对该处理后的RGB图像进行二值化处理,得到二值焊缝图。
进一步的,在所述步骤S103中,在进行二值化处理处理时,深度信息的阈值设置为128。
进一步的,在所述步骤S2中,所述建立基准平面坐标系具体包括:读取所述二值焊缝图的黑色部分的轮廓,得到轮廓边缘坐标矩阵,在该矩阵中,每一行为一对坐标值(x,y),第一列对应x坐标值,第二列对应y坐标值。
进一步的,在所述步骤S4中,欧式距离d的表达式为:
其中,k表示为向内收缩的次数,i为1到n之间的任意整数,n为根焊缝轮廓的坐标对的总数,xi、yi分别表示根焊缝轮廓上第i个坐标对应的横坐标值、纵坐标值;xj、yj分别表示根焊缝轮廓上第j个坐标对应的横坐标值、纵坐标值。
进一步的,k的取值为7。
本发明的有益效果是:
本发明由ToF摄像头采集包含深度信息的RGB焊缝图像,有效减少毛刺和噪声影响;不同于RGB或者灰度图像,可以避免焊件表面污物、划痕和阴影对焊缝轮廓识别的影响,可以提高焊缝中心线提取的准确率;与传统焊缝识别方法相比,需要更少的步骤就能得到二值化焊缝图像;得到焊缝中心线的同时也可获得其对应的深度信息,更便于后续焊缝精确定位的实现。
附图说明
图1为实施例1中提供的一种基于逐层缩进策略的新型焊缝中心线提取方法的流程示意图。
图2为实施例1中提供的二值焊缝图的示意图。
图3为实施例1中提供的根轮廓图像P0的示意图。
图4为实施例1中提供的往内缩了一个子焊缝轮廓后的示意图。
图5为实施例1中提供的绘制了根焊缝轮廓和其他焊缝轮廓的示意图。
图6为实施例1中提供的焊缝中心线的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
参见图1-图6,本实施提供一种基于逐层缩进策略的新型焊缝中心线提取方法,具体包括如下步骤:
一种基于逐层缩进策略的新型焊缝中心线提取方法,包括如下步骤:
步骤S1、获取焊缝的含有深度信息的RGB图像,再对该RGB图像进行二值化处理,得到二值焊缝图;
具体的说,在本实施例中,步骤S1具体包括:
步骤S101、通过基于ToF技术的摄像头拍摄焊缝区域,获取焊缝区域的且含有深度信息的RGB图像;
步骤S102、通过中值滤波技术过滤过该RGB图像的图像噪点,去除焊缝与背景区别较大的周边异常区域,得到处理后的RGB图像;
步骤S103、深度信息的阈值设置为128,读取处理后的RGB图像上像素对应的颜色表示的深度数值信息,并对该处理后的RGB图像进行二值化处理,低于阈值的图像部分为红色,超过阈值的图像部分为黑色,黑色部分为焊缝图像,二值化处理后得到红黑图,也称为二值焊缝图。
步骤S2、将步骤S1中获取的二值焊缝图逆时针旋转90度,以其左下角顶点为原点,建立基准平面坐标系;
具体的说,在步骤S2中,建立基准平面坐标系具体包括:读取二值焊缝图的黑色部分的轮廓,得到轮廓边缘坐标矩阵,在该矩阵中,每一行为一对坐标值(x,y),第一列对应x坐标值,第二列对应y坐标值。
步骤S3、根据步骤S2建立的基准平面坐标系,获取焊缝区域内焊缝轮廓边缘的坐标,并且根据该坐标绘制焊缝轮廓,该焊缝轮廓定义为根焊缝轮廓,获得根轮廓图像P0,如图3所示。
步骤S4、在步骤S3中得到的根轮廓图像P0上,以根焊缝轮廓为基准,多次向内收缩d个欧式距离,每收缩一次,即创建一次子焊缝轮廓,获得绘制有多个子焊缝轮廓的图像;
具体的说,在步骤S4中,欧式距离d的表达式为:
其中,k表示为向内收缩的次数,i为1到n之间的任意整数,n为根焊缝轮廓的坐标对的总数,xi、yi分别表示根焊缝轮廓上第i个坐标对应的横坐标值、纵坐标值;xj、yj分别表示根焊缝轮廓上第j个坐标对应的横坐标值、纵坐标值。
即为求得根焊缝轮廓中任意坐标对与其余(n-1)对坐标的距离的均值,再除以重复次数k。
具体的说,该步骤中,在根轮廓图像P0上,以根焊缝轮廓为基准内缩欧式距离d创建子焊缝轮廓,得到新的焊缝边缘第一子轮廓如图4所示,如此重复k次如图5所示。通过调整内缩的欧式距离d和次数k,实现焊缝中心线识别精度的控制。在本实施中,k的次数可取7。
步骤S5、根据步骤S4中得到的绘制了多个子焊缝轮廓的图像,如图5所示,并且在基准平面坐标系基础上,找到所有子焊缝轮廓在y坐标轴方向上的最大值和最小值,并且找到与之对应的x坐标轴上最大值和最小值;
具体的说,在本实施中,在基准坐标系下,在根轮廓图P0的基础上,多次绘制内缩后的子焊缝轮廓,如图5所示。最内层的子焊缝轮廓为P7(见图5),从其对应的坐标矩阵中找到第二列的最大值和最小值,也就是子焊缝轮廓P7在y坐标轴方向上的最大值和最小值;同时可得到与之对应的x坐标轴上最大值和最小值。重复此步骤,找到所有7层焊缝轮廓对应的最大值和最小值坐标对。
步骤S6、由内向外依次使用直线连接每个焊缝轮廓的上顶点,上顶点为最大值坐标点,同时使用直线由内向外依次连接每个焊缝轮廓的下顶点,下顶点为最小值坐标点;
最后,将多个子焊缝轮廓中最内部的子焊缝轮廓的上顶点和下顶点进行连线,得到一条焊缝中心线,如图6所示。
本发明未详述之处,均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (3)

1.一种基于逐层缩进策略的新型焊缝中心线提取方法,其特征在于,包括如下步骤:
步骤S1、获取焊缝的含有深度信息的RGB图像,再对该RGB图像进行二值化处理,得到二值焊缝图;
步骤S2、将步骤S1中获取的二值焊缝图逆时针旋转90度,以其左下角顶点为原点,建立基准平面坐标系;
步骤S3、根据步骤S2建立的基准平面坐标系,获取焊缝区域内焊缝轮廓边缘的坐标,并且根据该坐标绘制焊缝轮廓,该焊缝轮廓定义为根焊缝轮廓,获得根轮廓图像P0
步骤S4、在步骤S3中得到的根轮廓图像P0上,以所述根焊缝轮廓为基准,多次向内收缩d个欧式距离,每收缩一次,即创建一次子焊缝轮廓,获得绘制有多个子焊缝轮廓的图像;
步骤S5、根据步骤S4中得到的绘制了多个子焊缝轮廓的图像,并且在所述基准平面坐标系基础上,找到所有子焊缝轮廓在y坐标轴方向上的最大值和最小值,并且找到与之对应的x坐标轴上最大值和最小值;
步骤S6、由内向外依次使用直线连接每个焊缝轮廓的上顶点,所述上顶点为最大值坐标点,同时使用直线由内向外依次连接每个焊缝轮廓的下顶点,所述下顶点为最小值坐标点;
最后,将所述多个子焊缝轮廓中最内部的子焊缝轮廓的上顶点和下顶点进行连线,得到一条焊缝中心线;
所述步骤S1具体包括:
步骤S101、通过基于ToF技术的摄像头拍摄焊缝区域,获取焊缝区域的且含有深度信息的RGB图像;
步骤S102、通过中值滤波技术过滤过该RGB图像的图像噪点,得到处理后的RGB图像;
步骤S103、读取处理后的RGB图像上像素对应的颜色表示的深度数值信息,并对该处理后的RGB图像进行二值化处理,得到二值焊缝图;
在所述步骤S2中,所述建立基准平面坐标系具体包括:读取所述二值焊缝图的黑色部分的轮廓,得到轮廓边缘坐标矩阵,在该矩阵中,每一行为一对坐标值(x,y),第一列对应x坐标值,第二列对应y坐标值;
在所述步骤S4中,欧式距离d的表达式为:
其中,k表示为向内收缩的次数,i为1到n之间的任意整数,n为根焊缝轮廓的坐标对的总数,xi、yi分别表示根焊缝轮廓上第i个坐标对应的横坐标值、纵坐标值;xj、yj分别表示根焊缝轮廓上第j个坐标对应的横坐标值、纵坐标值。
2.根据权利要求1所述的一种基于逐层缩进策略的新型焊缝中心线提取方法,其特征在于,在所述步骤S103中,在进行二值化处理处理时,深度信息的阈值设置为128。
3.根据权利要求1所述的一种基于逐层缩进策略的新型焊缝中心线提取方法,其特征在于,k的取值为7。
CN202110698358.6A 2021-06-23 2021-06-23 一种基于逐层缩进策略的新型焊缝中心线提取方法 Active CN113436209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698358.6A CN113436209B (zh) 2021-06-23 2021-06-23 一种基于逐层缩进策略的新型焊缝中心线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698358.6A CN113436209B (zh) 2021-06-23 2021-06-23 一种基于逐层缩进策略的新型焊缝中心线提取方法

Publications (2)

Publication Number Publication Date
CN113436209A CN113436209A (zh) 2021-09-24
CN113436209B true CN113436209B (zh) 2023-11-17

Family

ID=77755204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698358.6A Active CN113436209B (zh) 2021-06-23 2021-06-23 一种基于逐层缩进策略的新型焊缝中心线提取方法

Country Status (1)

Country Link
CN (1) CN113436209B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059827A1 (ja) * 2013-10-25 2015-04-30 株式会社島津製作所 輪郭画像生成装置および核医学診断装置
CN107283028A (zh) * 2017-07-19 2017-10-24 南昌航空大学 一种直角流水孔焊缝识别跟踪焊接方法
CN110021017A (zh) * 2019-04-02 2019-07-16 南通大学 一种提取焊缝中心线的方法
CN110766669A (zh) * 2019-10-18 2020-02-07 南京大学 一种基于多目视觉的管线测量方法
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN111695575A (zh) * 2020-06-06 2020-09-22 南京理工大学 一种基于改进均值滤波法的焊缝图像特征点提取方法
CN111783773A (zh) * 2020-06-15 2020-10-16 北京工业大学 一种面向角度倾斜电线杆标识牌的矫正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983232B2 (en) * 2012-03-29 2015-03-17 Dcg Systems, Inc. Method for evaluating the centerline of an arbitrarily shaped object

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015059827A1 (ja) * 2013-10-25 2015-04-30 株式会社島津製作所 輪郭画像生成装置および核医学診断装置
CN107283028A (zh) * 2017-07-19 2017-10-24 南昌航空大学 一种直角流水孔焊缝识别跟踪焊接方法
CN110021017A (zh) * 2019-04-02 2019-07-16 南通大学 一种提取焊缝中心线的方法
CN110766669A (zh) * 2019-10-18 2020-02-07 南京大学 一种基于多目视觉的管线测量方法
CN110814465A (zh) * 2019-11-28 2020-02-21 华东交通大学理工学院 一种自动焊接焊缝轮廓提取的通用方法
CN111695575A (zh) * 2020-06-06 2020-09-22 南京理工大学 一种基于改进均值滤波法的焊缝图像特征点提取方法
CN111783773A (zh) * 2020-06-15 2020-10-16 北京工业大学 一种面向角度倾斜电线杆标识牌的矫正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微间隙焊缝磁光图像Otsu骨架法识别;李国华;高向东;萧振林;陈晓辉;;电焊机(03);109-131 *

Also Published As

Publication number Publication date
CN113436209A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN103093191B (zh) 一种三维点云数据结合数字影像数据的物体识别方法
CN114821114B (zh) 一种基于视觉系统的坡口切割机器人图像处理方法
CN109685732B (zh) 一种基于边界捕捉的深度图像高精度修复方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN105678776B (zh) 一种基于激光视觉传感器焊缝图像特征点提取方法
CN110246168A (zh) 一种移动巡检机器人双目图像拼接的特征匹配方法
CN109540925B (zh) 基于差影法与局部方差测量算子的复杂瓷砖表面缺陷检测方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN110097596A (zh) 一种基于opencv的目标检测系统
CN112184725B (zh) 一种沥青路面图像的结构光光条中心提取方法
CN116358449A (zh) 一种基于双目面结构光的飞机铆钉凹凸量测量方法
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN114820474A (zh) 一种基于三维信息的列车车轮缺陷检测方法
CN114252449B (zh) 一种基于线结构光的铝合金焊缝表面质量检测系统及方法
CN108182700B (zh) 一种基于两次特征检测的图像配准方法
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN107301371A (zh) 一种基于图像信息融合的非结构化道路检测方法及系统
CN114612412A (zh) 三维点云数据的处理方法及其用途、电子设备、存储介质
CN108182707B (zh) 采集不完整条件下的棋盘格标定模板及其自动识别方法
CN112330667B (zh) 一种基于形态学的激光条纹中心线提取方法
CN113436209B (zh) 一种基于逐层缩进策略的新型焊缝中心线提取方法
Li et al. A center-line extraction algorithm of laser stripes based on multi-Gaussian signals fitting
CN116883498A (zh) 基于灰度质心提取算法的视觉合作靶标特征点定位方法
CN115953456A (zh) 一种基于双目视觉的车辆外廓尺寸动态测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant