CN114309889B - 一种用于焊缝跟踪的激光视觉传感系统及方法 - Google Patents
一种用于焊缝跟踪的激光视觉传感系统及方法 Download PDFInfo
- Publication number
- CN114309889B CN114309889B CN202111571892.7A CN202111571892A CN114309889B CN 114309889 B CN114309889 B CN 114309889B CN 202111571892 A CN202111571892 A CN 202111571892A CN 114309889 B CN114309889 B CN 114309889B
- Authority
- CN
- China
- Prior art keywords
- laser
- weld
- seam
- image
- welding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明提供了一种用于焊缝跟踪的激光视觉传感系统及方法,所述系统包括工件、复合滤光片、CCD摄像机、侧边激光标线器以及后方激光标线器,所述侧边激光标线器和后方激光标线器放置于CCD摄像机的两边倾斜照射,所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上,通过复合滤光片采集到CCD摄像机上,经过图像处理后获得焊缝信息和偏移量,并判断出焊缝的空间位置。本发明的用于焊缝跟踪的激光视觉传感系统及方法用于自动焊接时焊缝空间位置识别和焊缝跟踪,可提升焊接质量。
Description
技术领域
本发明涉及焊缝跟踪技术领域,具体地,涉及一种用于焊缝跟踪的激光视觉传感系统及方法。
背景技术
目前国内的人防工程对接焊缝焊接多数还是采用手工焊接方法,存在工人工作条件恶劣,工作强度大的问题,同时焊缝成型、焊接效率以及焊接质量等都有待提高。焊接自动化技术以其优良的工作效率被广泛地应用到工业生产中,是焊接技术发展的必然趋势,是实现更安全、高效、智能生产的重要手段。
目前在自动焊接上采用的传感器主要是电弧传感器、机械传感器及视觉传感器等。电弧传感器是从焊接电弧自身直接提取焊缝位置偏差信号,不需要在焊枪上附加任何装置,因此其实时性好,可达性及焊枪运动的灵活性都非常好,尤其符合焊接过程低成本自动化的要求。它是利用电弧自身电参数的动静态变化作为特征信号,通过一定的控制策略实现高低及水平两个方向的跟踪控制。然而,电弧传感器只适用于V型、单V型、U型和角焊缝,能够获得的信息量较少,具有局限性,不适用于薄板对接焊接。
典型的机械接触式传感器是依导轮或者导杆在焊炬前方检测焊缝位置,通过焊缝形状对导杆或者导轮的强制力来导向,将焊缝偏差信息反映到检测器内,从而实现焊缝跟踪。机械接触式传感器结构简单,操作方便,价格便宜且不受电弧烟及飞溅等干扰。但是,由于机械式传感器信息量少,在自动焊接中,主要是与其它传感器配合来完成焊缝跟踪任务,一般不独立使用。
基于激光视觉的焊缝跟踪技术在焊接制造业中拥有很好的发展前景。激光视觉传感器采用非接触的传感方式,可以获取高质量的焊缝图像,有效提高焊缝跟踪的灵敏度和检测精度。激光光源具有亮度高、单色性好的优点,可以有效地削弱弧光对图像质量的影响,很好地保护焊缝特征信息,降低后续图像处理的难度。然而,单激光标线器照射工件,只能判别焊缝的中心特征点,得到的焊缝信息有限,且在遇到人防工程中的十字对接焊缝时,投影的激光条纹折线没有规律,无法提取焊缝中心点,失去焊缝跟踪功能。
发明内容
针对现有技术中的缺陷,本发明的目的在于提供一种可提升焊接质量的用于自动焊接时焊缝空间位置识别和焊缝跟踪的激光视觉传感系统及方法。
为解决上述问题,本发明的技术方案为:
一种用于焊缝跟踪的激光视觉传感系统,所述系统包括工件、复合滤光片、CCD摄像机、侧边激光标线器以及后方激光标线器,所述侧边激光标线器和后方激光标线器放置于CCD摄像机的两边倾斜照射,所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上,通过复合滤光片采集到CCD摄像机上,经过图像处理后获得焊缝信息和偏移量,并判断出焊缝的空间位置。
可选地,以焊接方向为参考,所述侧边激光标线器和后方激光标线器皆与竖直方向的夹角为20°,所述侧边激光标线器和后方激光标线器产生两道激光条纹,其中一道激光条纹用于判别焊缝信息和焊缝中心点,另外一道激光条纹用于判别焊缝的空间位置。
进一步地,本发明还提供一种用于焊缝跟踪的激光视觉传感方法,所述方法包括以下步骤:
对摄像机采集到的投影在工件上的初始图像采用ROI,提取目标区域图像;
对目标区域图像进行中值滤波,改善尖峰性干扰效果,保持边缘的陡峭,去除干扰;
对中值滤波后的图像进行灰度化处理和二值化处理,提高图像处理效率;
采用开操作处理所述二值化后的焊缝图像;以及
根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置。
可选地,所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括:通过侧边激光标线器和后方激光标线器产生两个激光条纹,其中一个激光条纹用于判别焊缝信息和焊缝中心点,另外一个激光条纹用于判别焊缝的空间位置。
可选地,所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括:通过两个激光条纹的分布信息计算出当前焊枪与焊缝的位置关系,引导焊枪自动跟踪焊缝。
可选地,所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括:根据激光条纹焊缝图像,通过计算机计算出对接焊缝的宽度、深度和纠偏量。
与现有技术相比,本发明采用多个激光传感器在黑暗环境下采集焊缝,实时扫描焊接坡口横截面,检测坡口的形状,获取焊缝图像简单、高效,响应速度快,实时性强,能满足智能控制的需要;提供两个不同方向的激光标线器,产生两道交叉激光条纹,采用交叉线激光判别焊缝空间位置,当激光条纹投影到墙面与平面连接处时产生折线,从而判别接近焊缝边界位置。
另外,可以自动判断焊接的空间位置,减少人工干预,提高焊接的自动化水平,提高焊接效率;具备连续提取焊缝特征点的能力,降低自动化焊接设备成本,适应人防工程十字对接焊缝焊接需求,使图像处理算法复杂度下降,提升焊接的连续性和准确性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的用于焊缝跟踪的激光视觉传感系统示意图;
图2为本发明实施例提供的边界位置折线示意图;
图3为本发明实施例提供的用于焊缝跟踪的激光视觉传感方法流程框图;
图4为本发明实施例提供的部分焊缝图像示意图;
图5为本发明实施例提供的焊缝信息计算示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
具体地,图1为本发明实施例提供的用于焊缝跟踪的激光视觉传感系统示意图,图2为本发明实施例提供的边界位置折线示意图,如图1和图2所示,所述系统包括:工件1、复合滤光片3、CCD摄像机4、侧边激光标线器2和后方激光标线器5,采用侧边激光标线器2和后方激光标线器5放置于CCD摄像机4的两边倾斜照射,CCD摄像机4垂直摄取图像,经过图像处理后获得焊缝信息和偏移量,以及判断焊缝的空间位置。
以焊接方向为参考,两个激光标线器2、5处于CCD摄像机4的后方和侧边,两激光标线器皆与竖直方向的夹角为20°,激光条纹投影在工件1上,通过复合滤光片3采集到CCD摄像机4,以产生两道交叉激光条纹,其中水平激光条纹负责判别焊缝信息和焊缝中心点,竖直激光条纹负责判别焊缝的空间位置。
对投影在工件1上的交叉光条纹进行灰度处理、取目标区域、二值化、形态学开操作以及提取焊缝中心线,利用水平方向中线与条纹的交点,求出焊缝特征点的位置;同时利用竖直方向,投影在壁面与平面的折线判断焊缝的空间位置。
具体地,图3所示为本发明实施例提供的一种用于焊缝跟踪的激光视觉传感方法流程框图,如图3所示,所述方法包括以下步骤:
S1:对摄像机采集到的投影在工件上的初始图像采用ROI,提取目标区域图像;
具体地,通过侧边激光标线器和后方激光标线器产生两个激光条纹,所述侧边激光标线器和后方激光标线器发射的激光条纹投影在工件上,通过复合滤光片采集到CCD摄像机,再经过后续图像处理。
S2:对目标区域图像进行中值滤波,改善尖峰性干扰效果,保持边缘的陡峭,去除干扰;
S3:对中值滤波后的图像进行灰度化处理和二值化处理,提高图像处理效率;
具体地,阈值分割不仅可以大量压缩数据,减少存储容量,而且能够大大简化后续的分析和处理步骤。当焊缝与周围灰度差较大、层次比较分明时,运用这种方法能够较好地检测出焊缝位置。所述二值化处理的二值函数为:
其中,T为指定的阈值。图片像素中比灰度T大就为白,比T小则为黑。二值化过程中,根据图像的统计分布性质,采用最大方差阈值法选取最优阈值。
S4:采用开操作处理所述二值化后的焊缝图像;
具体地,为了消除细小物体,在纤细处分离物体和平滑较大物体边界,既可以去除折线边缘毛刺,又能分离折线之间的连接,为中心线提取做准备。开操作一般会平滑物体的轮廓,断开较窄的狭颈并消除细的突出物。结构元B对集合A的开操作,表示为
因此,B对A的开操作就是B对A的腐蚀,紧接着用B对结果进行膨胀。
在本实施例中,为了更好地检测图像条纹和计算,对折线条纹的中心线提取显得格外重要,将条纹同一纵向坐标的边缘值相加除以2得到中心值的纵坐标,再将除中心点以外的点全部变为黑色或背景色。
S5:根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置。
对接焊缝激光条纹的处理,是要通过激光条纹的分布信息计算出当前焊枪与焊缝的位置关系,引导焊枪自动跟踪焊缝。确定各特征点在象素平面上的位置之后,通过计算机计算出纠偏量。
由于CCD摄像机一直处于正中位置,所拍图像左右对称,所以取处于图像中心的折线部分做图像处理,提升图像处理实时性。图4为截取部分焊缝图像示意图,如图4所示,首先确定1、2、3、4、5、6这6点的坐标位置,其基本思想是:从上往下沿y轴正方向的顺序搜索图像,第一和最后一列的黑点便是起始点1和结束点6。因为每一列最多只有一个像素点为黑,从起始点开始找起,若左三邻域或右三邻域的像素点为空白,则为特征点,由此判断折线点2、3、4、5、6,这样可以确定6个点的x、y值。列特征点搜索同理。逐行搜索列特征点时,若斜率发生明显变化,且并非特征点折线处,则判断为到达焊缝边界处,停止焊接。
接下来通过计算机计算对接焊缝的宽度、深度和纠偏量,其中,焊缝宽度为x3-x2。
因此焊丝与焊缝的对中偏差可由ROI后的焊缝两边未折线光纹的差的一半求得,即偏移量
如果Δx<0,则焊枪偏右;如果Δx>0,则焊抢偏左;如果Δx=0,则焊枪正好对准焊缝的中心。
如图5所示,图5中的虚线长度反应了深度信息,令其为h1,则
h1不是缝的深度,是焊缝深度与像面深度信息之间的关系,h2是焊缝深度,激光片以与CCD光轴成α角投向工件。实际深度h2与激光的投射角度α及h1有关,h2=h1cotα,便可以计算出对接焊缝的宽度、深度和纠偏量。
与现有技术相比,本发明采用多个激光传感器在黑暗环境下采集焊缝,实时扫描焊接坡口横截面,检测坡口的形状,获取焊缝图像简单、高效,响应速度快,实时性强,能满足智能控制的需要;提供两个不同方向的激光标线器,产生两道交叉激光条纹,采用交叉线激光判别焊缝空间位置,当激光条纹投影到墙面与平面连接处时产生折线,从而判别接近焊缝边界位置。
另外,可以自动判断焊接的空间位置,减少人工干预,提高焊接的自动化水平,提高焊接效率;具备连续提取焊缝特征点的能力,降低自动化焊接设备成本,适应人防工程十字对接焊缝焊接需求,使图像处理算法复杂度下降,提升焊接的连续性和准确性。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (5)
1.一种用于焊缝跟踪的激光视觉传感方法,其特征在于,所述方法包括以下步骤:
对摄像机采集到的投影在工件上的初始图像采用ROI,提取目标区域图像;
对目标区域图像进行中值滤波,改善尖峰性干扰效果,保持边缘的陡峭,去除干扰;
对中值滤波后的图像进行灰度化处理和二值化处理,提高图像处理效率;
采用开操作处理所述二值化后的焊缝图像;以及
根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置,具体包括:通过侧边激光标线器和后方激光标线器产生两个激光条纹,其中一个激光条纹用于判别焊缝信息和焊缝中心点,另外一个激光条纹用于判别焊缝的空间位置,通过两个激光条纹的分布信息计算出当前焊枪与焊缝的位置关系,引导焊枪自动跟踪焊缝。
4.根据权利要求1所述的用于焊缝跟踪的激光视觉传感方法,其特征在于,所述采用开操作处理所述二值化后的焊缝图像的步骤具体包括:所述开操作表示为一个拟合处理:A○B=∪{(B)z|(B)z∈A},其中∪{·}表示大括号中所有集合的并集。
5.根据权利要求1所述的用于焊缝跟踪的激光视觉传感方法,其特征在于,所述根据处理后的焊缝图像计算得到焊缝信息以及判断焊缝空间位置的步骤具体包括:根据激光条纹焊缝图像,通过计算机计算出对接焊缝的宽度、深度和纠偏量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111571892.7A CN114309889B (zh) | 2021-12-21 | 2021-12-21 | 一种用于焊缝跟踪的激光视觉传感系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111571892.7A CN114309889B (zh) | 2021-12-21 | 2021-12-21 | 一种用于焊缝跟踪的激光视觉传感系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114309889A CN114309889A (zh) | 2022-04-12 |
CN114309889B true CN114309889B (zh) | 2023-06-23 |
Family
ID=81053676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111571892.7A Active CN114309889B (zh) | 2021-12-21 | 2021-12-21 | 一种用于焊缝跟踪的激光视觉传感系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114309889B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107020449A (zh) * | 2017-04-26 | 2017-08-08 | 苏州睿牛机器人技术有限公司 | 焊缝跟踪传感器及其焊缝跟踪方法 |
CN112529858A (zh) * | 2020-12-02 | 2021-03-19 | 南京理工大学北方研究院 | 一种基于机器视觉的焊缝图像处理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100671019B1 (ko) * | 2005-06-30 | 2007-01-19 | 삼성중공업 주식회사 | 용접선 추적용 레이저 비전 센서 |
JP2010089117A (ja) * | 2008-10-07 | 2010-04-22 | Jfe Engineering Corp | 溶接用レーザ・視覚複合センサおよび溶接制御方法 |
CN103753015B (zh) * | 2013-12-27 | 2015-09-23 | 深圳市光大激光科技股份有限公司 | 一种激光焊接机焊缝跟踪系统及焊缝跟踪方法 |
CN104439620B (zh) * | 2014-12-09 | 2016-04-13 | 江苏科技大学 | 窄间隙焊接电弧摇动的适应控制方法及装置 |
CN107824940A (zh) * | 2017-12-07 | 2018-03-23 | 淮安信息职业技术学院 | 基于激光结构光的焊缝视觉跟踪系统及方法 |
CN109676243A (zh) * | 2019-01-21 | 2019-04-26 | 苏州实创德光电科技有限公司 | 基于双线激光结构光的焊缝识别与跟踪系统及方法 |
CN110064819B (zh) * | 2019-05-14 | 2021-04-30 | 苏州实创德光电科技有限公司 | 基于结构光的柱面纵向焊缝特征区域提取、焊缝跟踪方法及系统 |
-
2021
- 2021-12-21 CN CN202111571892.7A patent/CN114309889B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107020449A (zh) * | 2017-04-26 | 2017-08-08 | 苏州睿牛机器人技术有限公司 | 焊缝跟踪传感器及其焊缝跟踪方法 |
CN112529858A (zh) * | 2020-12-02 | 2021-03-19 | 南京理工大学北方研究院 | 一种基于机器视觉的焊缝图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114309889A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN210046133U (zh) | 基于激光结构光的焊缝视觉跟踪系统 | |
CN107424144B (zh) | 基于激光视觉的焊缝跟踪图像处理方法 | |
US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
Dinham et al. | Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding | |
CN103759648B (zh) | 一种基于激光双目视觉的复杂角焊缝位置检测方法 | |
CN110480127B (zh) | 一种基于结构光视觉传感的焊缝跟踪系统及方法 | |
CN105844622A (zh) | 一种基于激光视觉的v型坡口焊缝检测方法 | |
CN105678776B (zh) | 一种基于激光视觉传感器焊缝图像特征点提取方法 | |
JP5175528B2 (ja) | トンネル覆工のひび割れ検査装置 | |
US20130070095A1 (en) | Fast obstacle detection | |
CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
CN111127402A (zh) | 一种机器人焊接质量的视觉检测方法 | |
CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
CN113269762B (zh) | 屏幕不良检测方法、系统及计算机存储介质 | |
CN114240944B (zh) | 一种基于点云信息的焊接缺陷检测方法 | |
CN110717872A (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
CN111353993A (zh) | 一种基于机器视觉的螺纹角度测量方法 | |
CN112053376A (zh) | 一种基于深度信息的工件焊缝识别方法 | |
US20230186516A1 (en) | Method and flat bed machine tool for detecting a fitting position of a supporting bar | |
CN113909689B (zh) | 一种激光光条的管道焊接坡口特征提取方法 | |
Wu et al. | Research on robust laser vision feature extraction method for fillet welds with different reflective materials under uncertain interference | |
CN114309889B (zh) | 一种用于焊缝跟踪的激光视觉传感系统及方法 | |
Naji et al. | Square groove detection based on Förstner with Canny edge operator using laser vision sensor | |
CN114160926A (zh) | 一种用于焊缝跟踪的单斜线激光视觉传感方法及系统 | |
Wang et al. | Weld seam detection and feature extraction based on laser vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |