CN105678776B - 一种基于激光视觉传感器焊缝图像特征点提取方法 - Google Patents
一种基于激光视觉传感器焊缝图像特征点提取方法 Download PDFInfo
- Publication number
- CN105678776B CN105678776B CN201610017601.2A CN201610017601A CN105678776B CN 105678776 B CN105678776 B CN 105678776B CN 201610017601 A CN201610017601 A CN 201610017601A CN 105678776 B CN105678776 B CN 105678776B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- window
- laser
- weld
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本发明公开了一种基于激光视觉传感器焊缝图像特征点提取方法,该方法根据不同方向搜索第一个灰度非零值点可以快速的搜索焊缝图像的特征点,尤其是当图像存在倾斜角度时,利用旋转算法将激光条纹图像旋转到水平方向,从而可以快速搜索特征点C,并设计了一种窗口搜索算法快速的提取特征点B和D。采用本发明方法可以提高系统跟踪的鲁棒性,同时还有很强的抗干扰性,本方法稍加改进还可以用于带间隙的V型坡口和对接焊缝。
Description
技术领域
本发明涉及一种基于激光视觉焊缝跟踪系统中图像特征点快速提取方法,可广泛应用于机器人智能焊接等方面,属于先进制造与自动化领域。
背景技术
随着生产自动化和智能化技术的迅速发展,传统的示教再现式自动焊接因其自身的局限性逐步向借助传感器进行自动识别焊缝的智能焊接转变。激光视觉传感器是一种具有信息量大、测量精度高、抗电磁干扰能力强、适用范围广等一系列优点的无接触式传感器,已成为焊缝跟踪系统的主流发展方向和研究热点,国外已进入实用化阶段。在利用激光视觉传感器跟踪焊缝过程中,首先将激光投射到焊缝表面并由CCD摄取反射回来的接头轮廓光条纹图像,通过图像处理技术提取结构光条纹中心线,从而获取焊枪与焊缝的偏差信号和焊缝接头轮廓信息,最后实现焊接参数的实时调整,达到焊缝跟踪的目的。
激光视觉传感器的关键有两点:一是如何获取高质量的焊缝图像,这对后续的图像处理的复杂度和实时性至关重要;二是图像处理算法,图像处理作为整个处理过程的基础与核心决定了焊缝检测的成败,但结构光视觉传感器很容易受到一次反光、光条纹亮度分布不均、焊接弧光、烟雾和飞溅等影响,因此使得图像处理成为了整个检测处理环节中的一个难题。刘振国和陈志翔在《电焊机》(2009,Vol39,No.4:133-137)上发表了的“激光传感图像处理方法研究”,该文以典型的V型坡口焊缝为例,针对激光传感图像研究了用于焊缝跟踪的实时图像处理算法。文中改进的中值滤波算法减小了运算量,采用灰度比较得到最大值的方法巧妙的实现图像细化;针对倾斜的结构光图像,利用点与直线的距离关系和激光结构光图像的特点捕捉图像特征点。该方法具有可靠性高,抗杂散光或激光反光的优点,但是图像特征点的提取算法繁琐,效率急需提高。因此,必须发展一种图像提取方法,该方法既有很强的鲁棒性和对环境的抗干扰能力,同时能简化特征点提取的计算量和复杂程度,从而提高焊缝识别的实时性,进一步保证焊接质量和智能焊接的顺利。
发明内容
本发明目的在于提高焊缝跟踪系统的鲁棒性和图像处理效率,提出了一种基于激光视觉传感器焊缝图像特征点提取方法,以便快速的识别焊缝,对焊接参数做出快速调整。
本发明采用的技术方案为:一种基于激光视觉传感器焊缝图像特征点提取方法,包括如下具体步骤:
1)CCD摄像机摄取条形激光线投射在焊缝表面上的图像信息后,经过图像滤波、阈值分割、图像细化一系列预处理,得到清晰的激光条纹中心线;对于V型坡口,激光条纹有五个特征点需要提取,定义其所在坐标系,首先从左到右,从上到下逐次搜索第一个灰度非零值点,此点记为点A,其像素标记为(iA,jA);从右到左,从上到下逐次搜索第一个灰度非零值点,此点记为点E,其像素标记为(iE,jE);
2)利用旋转算法将激光线条图像旋转到水平方向,定义旋转后的坐标系为x′oy′;相应地,旋转后的图像中各特征点及其像素点记为A’、B’、C’、D’、E’,在旋转后的图像中从左到右,从上到下逐次搜索第一个灰度非零值点,此点记为点C’;
3)利用3×1的窗口搜索点B’和点D’:窗口中心点初始位置为(ia,jc),从初始位置逐次向左或向右搜索第一个窗口中各像素点灰度值总和为非零的位置,记此处的窗口中心点为点B’或D’;
4)根据B’、C’、D’点逆旋转算子求取原图像中B、C、D点,至此图像特征点提取完成,接着利用最小二乘法原理拟合各段直线,计算焊缝几何特征信息和偏差信息。
本发明首先利用CCD摄像机摄取条形激光线投射在焊缝上的图像信息,通过中值滤波(或均值滤波)对图像进行平滑处理,从而在一定程度上抑制图像中的噪声;接着采用迭代算法实现自动阈值分割,对图像进行二值化处理,把图像分割为目标和背景两部分,以利于后续的快速分析处理;通过边缘检测(如目前效果最好的Canny算子检测)后采取上下两侧同时搜索各列相元上下两个灰度值为255的点并记录其所在行标,最后求出两个行标的中值作为激光条纹的中心点,实现图像骨骼细化,图像细化有助于突出其形状特点和减少冗余信息;接着利用本发明方法提取图像的特征点,最终获取焊缝的几何特征信息和焊枪与焊缝的偏差信息。
本发明方法稍加改进还可以用于带间隙的V型坡口和对接焊缝。同样地,图像旋转后用搜索A、E点的方法搜索两个缝隙特征点,搜索窗口初始位置的中心点列标取两缝隙特征点列标的中值。
有益效果:采用本发明方法进行焊缝图像特征点提取,不仅可以使焊缝识别系统具有很强的鲁棒性和对环境的抗干扰能力,同时简化了特征点提取的计算量和复杂程度,从而提高了焊缝识别的实时性,为保证焊接质量具有一定的意义。
附图说明
图1是本发明涉及的未旋转的焊缝图像示意图;
图2是本发明涉及的旋转后的焊缝图像示意图;
图3是本发明涉及的图像特征点提取程序流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明。
如图1-3所示,一种基于激光视觉传感器焊缝图像特征点提取方法,包括如下具体步骤:
1、经过细化后的图像,得到的激光条纹中心线有五个特征点(A、B、C、D、E)需要提取,定义其所在坐标系,首先从左到右,从上到下逐次搜索第一个灰度非零值点,此点记为点A,其像素点标记为(iA,jA);从右到左,从上到下逐次搜索第一个灰度非零值点,此点记为点E,其像素标记为(iE,jE);
2、利用旋转算法将激光条纹图像旋转到水平方向,旋转角为θ,定义旋转后的坐标系为x′oy′。旋转后的图像中各像素点坐标按照旋转算法发生改变,但灰度值保持不变,记旋转后的图像中的各特征点及其像素点为A’、B’、C’、D’、E’。以A点为例,像素点及其灰度值变换关系表示如下:
其中,g(ia,ja)表示A’点的灰度值,g(iA,jA)表示A点的灰度值,旋转角θ:
3、图像旋转后A’E’与y′轴平行,此时可保证C’点在最下面,于是从左到右,从上到下逐次搜索第一个灰度非零值点,可以得到点C’;
4、设计一个3×1的窗口搜索点B’和点D’,窗口中心点初始位置为(ia,jc)。从初始位置逐次向左(右)移动窗口,搜索第一个窗口中各像素点灰度值总和G为非零值的位置,记此处的窗口中心点为点B’(D’)。如果想要更准确的识别特征点B、D的位置,可以将搜索窗口改为带有一定倾斜角度的窗口,窗口长度也可以加长,例如包含五个像素点(ia+n,j+n)(n=±2,±1,0)的左倾斜窗口,此窗口用来搜索B’点,搜索D’点的窗口则需改为右倾斜。同时当窗口中灰度值总和G满足非零的时候,记窗口中那个灰度非零值的点为B’(D’)点。
5、根据B’、C’、D’点及逆旋转矩阵求取原图像中B、C、D点,至此图像特征点提取完成,接着利用最小二乘法原理拟合各段直线,计算焊缝几何特征参数和焊枪与焊缝之间的偏差信息,控制系统根据此信号调节焊接参数进行纠偏,以达到实时跟踪的目的。
应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (2)
1.一种基于激光视觉传感器焊缝图像特征点提取方法,其特征在于:包括如下具体步骤:
1)CCD摄像机摄取条形激光线投射在焊缝表面上的图像信息后,经过图像滤波、阈值分割、图像细化一系列预处理,得到清晰的激光条纹中心线;对于V型坡口,激光条纹有五个特征点需要提取,定义其所在坐标系,首先从左到右,从上到下逐次搜索第一个灰度非零值点,此点记为点A,其像素标记为(iA,jA);从右到左,从上到下逐次搜索第一个灰度非零值点,此点记为点E,其像素标记为(iE,jE);
2)利用旋转算法将激光线条图像旋转到水平方向,定义旋转后的坐标系为x|oy′;相应地,旋转后的图像中各特征点记为A’、B’、C’、D’、E’,在旋转后的图像中从左到右,从上到下逐次搜索第一个灰度非零值点,此点记为点C’;
3)利用3×1的窗口搜索点B’和点D’:窗口中心点初始位置为(ia,jc),从初始位置逐次向左或向右搜索第一个窗口中各像素点灰度值总和为非零的位置,记此处的窗口中心点为点B’或D’;
4)根据B’、C’、D’点逆旋转算子求取原图像中B、C、D点,至此图像特征点提取完成,接着利用最小二乘法原理拟合各段直线,计算焊缝几何特征信息和偏差信息。
2.根据权利要求1所述的一种基于激光视觉传感器焊缝图像特征点提取方法,其特征在于:该方法用于带间隙的V型坡口和对接焊缝,图像旋转后用搜索A、E点的方法搜索两个缝隙特征点,搜索窗口初始位置的中心点列标取两缝隙特征点列标的中值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610017601.2A CN105678776B (zh) | 2016-01-11 | 2016-01-11 | 一种基于激光视觉传感器焊缝图像特征点提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610017601.2A CN105678776B (zh) | 2016-01-11 | 2016-01-11 | 一种基于激光视觉传感器焊缝图像特征点提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678776A CN105678776A (zh) | 2016-06-15 |
CN105678776B true CN105678776B (zh) | 2017-03-22 |
Family
ID=56300108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610017601.2A Expired - Fee Related CN105678776B (zh) | 2016-01-11 | 2016-01-11 | 一种基于激光视觉传感器焊缝图像特征点提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678776B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107798330B (zh) * | 2017-11-10 | 2021-07-20 | 上海电力学院 | 一种焊缝图像特征信息提取方法 |
CN109523548B (zh) * | 2018-12-21 | 2023-05-05 | 哈尔滨工业大学 | 一种基于临界阈值的窄间隙焊缝特征点提取方法 |
CN110480127B (zh) * | 2019-08-12 | 2021-11-26 | 广东工业大学 | 一种基于结构光视觉传感的焊缝跟踪系统及方法 |
CN110930368B (zh) * | 2019-10-31 | 2022-02-18 | 中船重工鹏力(南京)智能装备系统有限公司 | 一种薄板搭接焊缝实时焊接图像特征提取方法 |
CN111156921A (zh) * | 2019-12-18 | 2020-05-15 | 哈尔滨工业大学 | 一种基于滑动窗口均值滤波的轮廓数据处理方法 |
CN111103291A (zh) * | 2019-12-20 | 2020-05-05 | 广西柳州联耕科技有限公司 | 基于产品焊缝特征的图像识别与质量智能评价系统 |
CN111496344B (zh) * | 2020-04-08 | 2021-12-10 | 济南重工股份有限公司 | 一种基于激光传感器的v型坡口信息处理方法 |
CN112085752B (zh) * | 2020-08-20 | 2024-01-30 | 浙江华睿科技股份有限公司 | 一种图像的处理方法、装置、设备及介质 |
CN112381783B (zh) * | 2020-11-11 | 2022-10-11 | 湖南大学 | 一种基于红色线激光的焊缝轨迹提取方法 |
CN112489010A (zh) * | 2020-11-27 | 2021-03-12 | 桂林电子科技大学 | 一种焊缝快速识别方法、装置及存储介质 |
CN113643178A (zh) * | 2021-08-11 | 2021-11-12 | 宁锐慧创信息科技南京有限公司 | 一种基于方向搜索的离散激光条纹中心点跟踪方法 |
CN117444404B (zh) * | 2023-11-20 | 2024-03-29 | 北京绿能环宇低碳科技有限公司 | 一种激光焊接智能定位方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103500321B (zh) * | 2013-07-03 | 2016-12-07 | 无锡信捷电气股份有限公司 | 基于双动态窗的视觉引导焊接机器人焊缝快速识别方法 |
CN103759648B (zh) * | 2014-01-28 | 2016-05-25 | 华南理工大学 | 一种基于激光双目视觉的复杂角焊缝位置检测方法 |
CN104400265B (zh) * | 2014-10-08 | 2017-06-06 | 吴长兴 | 一种激光视觉引导的焊接机器人角接焊缝特征的提取方法 |
-
2016
- 2016-01-11 CN CN201610017601.2A patent/CN105678776B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN105678776A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678776B (zh) | 一种基于激光视觉传感器焊缝图像特征点提取方法 | |
He et al. | Weld seam profile detection and feature point extraction for multi-pass route planning based on visual attention model | |
CN105913415B (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
CN102636490B (zh) | 基于机器视觉的轴承防尘盖表面缺陷检测方法 | |
US20220152829A1 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
CN107705288B (zh) | 伪目标运动强干扰下的危险气体泄漏红外视频检测方法 | |
CN103425988B (zh) | 一种具有圆弧几何基元的实时定位与匹配方法 | |
CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
CN110814465B (zh) | 一种自动焊接焊缝轮廓提取的通用方法 | |
CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
CN110717872A (zh) | 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统 | |
CN107194866A (zh) | 减少拼接图像错位的图像融合方法 | |
CN104966302B (zh) | 一种任意角度激光十字的检测定位方法 | |
CN103247032A (zh) | 一种基于姿态补偿的微弱扩展目标定位方法 | |
CN108492306A (zh) | 一种基于图像轮廓的x型角点提取方法 | |
CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
CN107914067B (zh) | 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法 | |
CN110852990B (zh) | 一种基于图像处理的橡胶树斜刀痕检测方法 | |
CN111127542B (zh) | 一种基于图像的非合作目标对接环提取方法 | |
Lim et al. | Vision-based recognition of road regulation for intelligent vehicle | |
CN111091086B (zh) | 一种利用机器视觉技术提高物流面单特征信息识别率的方法 | |
CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
CN115255565A (zh) | 全局模式识别的窄间隙焊接坡口边缘视觉传感检测方法及应用 | |
CN114964206A (zh) | 一种单目视觉里程计目标位姿检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170322 Termination date: 20200111 |
|
CF01 | Termination of patent right due to non-payment of annual fee |