CN109636798A - 一种基于单相机的三维焊缝检测方法 - Google Patents

一种基于单相机的三维焊缝检测方法 Download PDF

Info

Publication number
CN109636798A
CN109636798A CN201811578248.0A CN201811578248A CN109636798A CN 109636798 A CN109636798 A CN 109636798A CN 201811578248 A CN201811578248 A CN 201811578248A CN 109636798 A CN109636798 A CN 109636798A
Authority
CN
China
Prior art keywords
image
camera
dimensional
pixel
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811578248.0A
Other languages
English (en)
Inventor
许靓
喻露
吴�灿
魏泽雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Great Audio Technology Co Ltd
Original Assignee
Wuhan Great Audio Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Great Audio Technology Co Ltd filed Critical Wuhan Great Audio Technology Co Ltd
Priority to CN201811578248.0A priority Critical patent/CN109636798A/zh
Publication of CN109636798A publication Critical patent/CN109636798A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Abstract

本发明公开一种基于单相机的三维焊缝检测方法，其通过对三维标定区域内的焊缝轨迹进行逐层成像，记录成像深度信息并计算出各成像面的图像清晰区域，再根据各个成像清晰区域和深度信息重建出包含焊缝轨迹信息的二维图，利用二维图像处理算法提取出焊缝二维像素坐标后，再计算出各焊缝坐标点的三维空间位坐标，得到完整的空间焊缝轨迹，完成基于单相机的三维焊缝检测。本发明采用单相机完成焊缝信息采集，系统结构简单、成本低、速度快，能有效提高系统智能化水平并推动工艺改造升级。

Description

一种基于单相机的三维焊缝检测方法
技术领域
本发明涉及一种基于单相机的三维焊缝检测方法，特别涉及一种基于单相机的机器视觉系统自动识别焊缝三维轨迹，引导激光实现精密焊接的方法，属激光加工技术领域。
背景技术
在激光精密焊接领域，经常需要对空间三维轨迹进行焊接，由于激光能量集中，且待焊接的产品容易变形，焊接时容许的位置偏移量较小，通用焊接系统无法保证焊接质量。为此，常采用视觉系统对焊缝的位置进行三维测量，现有方案为两台相机在三个维度上测量或者采用双目立体视觉测量。目前采用单相机进行三维视觉检测的方法已有一些，但是应用范围有限。发明专利《一种单相机倾斜摄影三维建模系统》（CN201510976788A）针对无人机等飞行器设计，精度低，不适用于工业精密加工场合。发明专利《单相机三维影像测量仪》（CN201610405743A）通过一部相机在两个光路成像，光学结构复杂，用于将小的待测物件放入测量仪内进行测量，无法嵌入到工业设备中。发明专利《单相机测量物体三维位置与姿态的方法》（CN201010184619A）没有考虑镜头景深的影响，需要固定的标记点，对产品有要求，不适用于高精度场合。
此外，传统通过逐层扫描获取物体三维外形尺寸的方式，无法准确重建出物体原本的颜色特征、表面标识等信息，不便于后期图像处理。
发明内容
本发明的目的是针对现有技术的不足，提出一种基于单相机的三维焊缝检测方法，是一种通过单相机视觉系统对三维标定区域内的物体进行逐层成像，记录成像深度信息并计算出各成像面的图像清晰区域，再根据各个成像清晰区域和深度信息重建出包含焊缝轨迹信息的二维图，通过对新二维图进行图像分析和处理，得到图像处理结果后，再根据每个像素点的深度信息计算出各像素点的空间位置关系，得到三维焊缝轨迹的方法。
为达到上述目的，本发明采用以下方案：
一种基于单相机的三维焊缝检测方法，是一种视觉系统通过单个相机获取图像，相机配置自动调节物镜的镜头；逐层成像时，视觉系统自动搜索最近端的成像平面，即距镜头最近的成像面，记录当前镜头物距f0，此时相机视场尺寸最小；框选出图像中清晰的初始焊缝特征区域R[w*h]，利用图像锐度算法计算当前区域内的图像锐度A, 锐度允许波动范围为α；随后，镜头物距每调节一个步长单位fs，相机抓拍一次图像，直到当前物距f与结束物距fe相等，此时成像视场长宽分别为l和m，相机视场尺寸最大，对应图像分辨率为W和H；由此获得了一系列物距和对应的图像；根据图像中心始终在镜头轴线上，可计算出所有图像清晰区域中任意两个像素点的空间位置关系；规定重建新二维图像的长宽仍然为l和m，对应图像分辨率为2W和2H，则新二维图中每个像素的长为l/2W和宽为m/2H；
其特征在于：提取每层图像的清晰区域时，先以焊缝特征区域[w*h]为最小单位计算每个区域的图像锐度；若当前区域锐度值在A±α范围内，则将该区域视为图像清晰区域，保存至该层的预处理图中，按此方法完成所有图像的预处理，得到各层图像的清晰区域；
定义一个包含2W*2H个元素的深度数组，用于存放新二维图中每个像素的物距，即深度信息；以新二维图的中心为基准，利用任意两个像素点的空间位置关系，将各层预处理图像的每个像素点的像素值和深度信息填入到新二维图和深度数组中，完成包含深度信息的新二维图的重建；
利用现有图像处理算法，根据焊缝特征，从新二维图中分析出焊缝的每个像素点坐标。根据像素长l/2W和宽m/2H，以及其深度信息，可得完整的空间焊缝轨迹，即完成基于单相机的三维焊缝检测。
如上所述的一种基于单相机的三维焊缝检测方法，其特征在于：激光焊接焦深为β，选取深度方向距离为β时对应的物距差作为步长单位fs。
如上所述的一种基于单相机的三维焊缝检测方法，其特征在于：选取焊缝识别区域的宽w和高h均为焊缝宽度所占像素的两倍。
本发明的有益效果是：
1、采用单相机和自动变焦镜头通过多层成像的方式完成三维特征采集，再将三维信息转化为二维图像，便于图像分析和处理。
2 、重建的二维图像保留了产品原有的色彩和标识等信息，便于后期图像处理，保证了图像处理精度。
3、 三维检测过程全自动完成，减少了检测过程中不可控因素干扰，并提高了检测效率。
4、系统结构简单、成本低、精度高，有效提高系统智能化水平并推动工艺改造升级。
附图说明
图1为本发明中的三维视觉检测流程图；
图2为本发明中的逐层成像流程图；
图3为本发明中的多层图像结构图。
图中的标记说明：图3：1—工业相机，2—调焦镜头，3—最近端成像平面，4—最远端成像平面，5—图像中心。
具体实施方式
下面对本发明的实施例作详细说明 , 为了使本发明实现的技术手段、特征与功效易于理解，将结合图示，阐述本发明本实施例的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参考附图1，一种基于单相机的三维焊缝检测方法，是一种通过单相机视觉系统对三维标定区域内的物体进行逐层成像，记录成像深度信息并计算出各成像面的图像清晰区域，再根据各个成像清晰区域和深度信息重建出包含焊缝轨迹信息的二维图，通过对新二维图进行图像分析和处理，得到图像处理结果后，再根据每个像素点的深度信息计算出各像素点的空间位置关系，得到三维焊缝轨迹的方法。。采用本方法重建的二维图像保留了产品原有的色彩和标识等信息，可灵活使用二维图像处理算法，保证了图像处理精度。所述方法不限于焊缝识别、轨迹识别，还可以运用到有精度需求的三维轨迹提取加工的领域。
执行检测前，设定三维检测区域已按照基于单相机的三维视觉检测的标定方法标定完成。将待检测产品放置在相机标定区域内，设定搜索起始物距fb、结束物距fe、步长fs。其中步长fs越大，则深度精度越差，但检测速度越快。本实施例中，设定激光焊接焦深为β，选取深度方向距离为β时对应的物距差为步长fs。参考附图2，逐层成像时，视觉系统自动搜索最近端的成像平面1，即距镜头最近的成像面，记录当前镜头2的物距f0。并框选出图像中清晰的焊缝识别区域R[w*h]，利用图像锐度算法计算当前区域内的图像锐度A。选取焊缝识别区域R[w*h]越大，则焊缝锐度特征越突出，但是后续对焊缝的识别包容性越小。对于横向的焊缝，选取焊缝识别区域的宽w和高h均为焊缝宽度所占像素的两倍。随后，镜头物距每调节一个步长单位fs，相机抓拍一次图像，直到当前物距f与结束物距fe相等。由此获得了一系列物距点和对应的图像，物距f即为每一层的图像深度信息。
由于焊缝通常为空间连续轨迹，每一层图像中必然有清晰的焊缝区域。设定焊缝锐度的波动范围为α。提取每层图像的清晰区域时，先以焊缝识别区域[w*h]为最小单位计算每个区域的图像锐度；若当前区域锐度值在A±α范围内，则将该区域保存至该层的预处理图中。按此方法完成所有图像的预处理。
对于任意一层图像上的像素点Pi(x,y)，根据其成像物距即该层图像的深度fi，由标定参数可知其成像视场的像素长度为dxi、宽度为dyi、图像横向分辨率Wi、图像纵向分辨率Hi。可得像素点Pi(x,y)距离该层图像中心点的距离为：
同理，对于另一层图像上的像素点Pj(x,y)，可知其成像物距fj、深度Zj、像素长度为dxi、像素宽度为dyi、图像横向分辨率Wj、图像纵向分辨率Hj。可得像素点Pj(x,y)距离该层图像中心点的距离为：
参考附图3，每次图像的中心点均在相机1和镜头2采图的轴向上，横向偏移和纵向偏移均为0，仅在深度上存在偏差。因此可得像素点Pi(x,y)与像素点Pi(x,y)的空间位置差为：
由此可计算出所有图像中任意两个像素点的空间位置关系。基于此，可将多层图像重建成一副包含深度信息的新的二维图像。要求重建后新二维图像所有像素点的像素宽度一致、像素高度也一致。由标定参数可知物距最长时的最远端成像平面4长宽分别为l和m，物距为，对应图像分辨率为W和H。要求新二维图像的长宽仍然为l和m，但对应图像分辨率为2W和2H。则单位像素长度为l/2W,宽度为m/2H。定义一个包含2W*2H个元素的深度数组，用于存放新二维图中每个像素的深度信息。以新二维图的中心为基准，其中心点Pc(x,y) = (W,H)，其三维坐标为：
像素点Pi(xi,yi)与最远端成像平面4的中心点的空间坐标差为：
则像素点Pi(xi,yi)在新二维图像坐标点为：
数组第个元素的值存储像素点深度。
由此可将各层预处理图像的每个像素点的像素值和深度信息填入到新二维图和深度数组中。即完成包含深度信息的新二维图的重建。
利用现有图像处理算法，根据焊缝灰度变化特征，从新二维图中分析出焊缝的每个像素点坐标，可得完整的空间焊缝轨迹，即完成基于单相机的三维焊缝检测。

Claims (3)

1.一种基于单相机的三维焊缝检测方法，是一种通过单相机视觉系统对三维标定区域内的物体进行逐层成像，记录成像深度信息并计算出各成像面的图像清晰区域，再根据各个成像清晰区域和深度信息重建出包含焊缝轨迹信息的二维图，通过对新二维图进行图像分析和处理，得到图像处理结果后，再根据每个像素点的深度信息计算出各像素点的空间位置关系，得到三维焊缝轨迹的方法；设定：
视觉系统通过单个相机获取图像，相机配置自动调节物镜的镜头；逐层成像时，视觉系统自动搜索最近端的成像平面，即距镜头最近的成像面，记录当前镜头物距f0，此时相机视场尺寸最小；框选出图像中清晰的初始焊缝特征区域R[w*h]，利用图像锐度算法计算当前区域内的图像锐度A，锐度允许波动范围为α；随后，镜头物距每调节一个步长单位fs，相机抓拍一次图像，直到当前物距f与结束物距fe相等，此时成像视场长宽分别为l和m，相机视场尺寸最大，对应图像分辨率为W和H；由此获得了一系列物距和对应的图像；根据图像中心始终在镜头轴线上，可计算出所有图像清晰区域中任意两个像素点的空间位置关系；规定重建新二维图像的长宽仍然为l和m，对应图像分辨率为2W和2H，则新二维图中每个像素的长为l/2W和宽为m/2H；
其特征在于：提取每层图像的清晰区域时，先以焊缝特征区域[w*h]为最小单位计算每个区域的图像锐度；若当前区域锐度值在A±α范围内，则将该区域视为图像清晰区域，保存至该层的预处理图中，按此方法完成所有图像的预处理，得到各层图像的清晰区域；
定义一个包含2W*2H个元素的深度数组，用于存放新二维图中每个像素的物距，即深度信息；以新二维图的中心为基准，利用任意两个像素点的空间位置关系，将各层预处理图像的每个像素点的像素值和深度信息填入到新二维图和深度数组中，完成包含深度信息的新二维图的重建；
利用现有图像处理算法，根据焊缝特征，从新二维图中分析出焊缝的每个像素点坐标，根据像素长l/2W和宽m/2H，以及其深度信息，可得完整的空间焊缝轨迹，即完成基于单相机的三维焊缝检测。
2.如权利要求1所述的一种基于单相机的三维焊缝检测方法，其特征在于：激光焊接焦深为β，选取深度方向距离为β时对应的物距差作为步长单位fs。
3.如权利要求1所述的一种基于单相机的三维焊缝检测方法，其特征在于：选取焊缝识别区域的宽w和高h均为焊缝宽度所占像素的两倍。
CN201811578248.0A 2018-12-24 2018-12-24 一种基于单相机的三维焊缝检测方法 Pending CN109636798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811578248.0A CN109636798A (zh) 2018-12-24 2018-12-24 一种基于单相机的三维焊缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811578248.0A CN109636798A (zh) 2018-12-24 2018-12-24 一种基于单相机的三维焊缝检测方法

Publications (1)

Publication Number Publication Date
CN109636798A true CN109636798A (zh) 2019-04-16

Family

ID=66076722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811578248.0A Pending CN109636798A (zh) 2018-12-24 2018-12-24 一种基于单相机的三维焊缝检测方法

Country Status (1)

Country Link
CN (1) CN109636798A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111157539A (zh) * 2019-12-11 2020-05-15 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN114264243A (zh) * 2021-12-31 2022-04-01 深圳明锐理想科技有限公司 一种检测压接焊点以及测量压接焊点之间线弧高度的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102155920A (zh) * 2011-03-22 2011-08-17 华中科技大学 一种基于微景深的焊接拼缝测量方法
CN104463964A (zh) * 2014-12-12 2015-03-25 英华达（上海）科技有限公司 获取物体三维模型的方法及设备
CN106971407A (zh) * 2017-02-16 2017-07-21 浙江工业大学 一种基于二维线结构光的焊缝三维重建方法
CN107454377A (zh) * 2016-05-31 2017-12-08 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和系统
US20180130226A1 (en) * 2016-11-07 2018-05-10 Lincoln Global, Inc. System and method for calibrating a welding trainer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102155920A (zh) * 2011-03-22 2011-08-17 华中科技大学 一种基于微景深的焊接拼缝测量方法
CN104463964A (zh) * 2014-12-12 2015-03-25 英华达（上海）科技有限公司 获取物体三维模型的方法及设备
CN107454377A (zh) * 2016-05-31 2017-12-08 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和系统
US20180130226A1 (en) * 2016-11-07 2018-05-10 Lincoln Global, Inc. System and method for calibrating a welding trainer
CN106971407A (zh) * 2017-02-16 2017-07-21 浙江工业大学 一种基于二维线结构光的焊缝三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健: "基于单目视觉的机器人焊缝识别与轨迹规划", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111157539A (zh) * 2019-12-11 2020-05-15 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN111157539B (zh) * 2019-12-11 2022-08-30 华中科技大学鄂州工业技术研究院 焊缝形貌监控方法、系统、装置及可读存储介质
CN114264243A (zh) * 2021-12-31 2022-04-01 深圳明锐理想科技有限公司 一种检测压接焊点以及测量压接焊点之间线弧高度的方法

Similar Documents

Publication Publication Date Title
CN101900536B (zh) 基于数字图像法的物体表面形貌的测量方法
CN109544679B (zh) 管道内壁的三维重建方法
CN110230998B (zh) 基于线激光和双目相机的快速精密三维测量方法和装置
CN108801135B (zh) 核燃料棒位姿自动识别装置
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
CN105115560B (zh) 一种船舱舱容的非接触测量方法
CN103761732A (zh) 一种可见光与热红外融合的立体成像装置及其标定方法
CN104215199B (zh) 一种假发头壳制作方法及系统
CN103292695A (zh) 一种单目立体视觉测量方法
CN103350281A (zh) 激光打标机自动调焦装置及自动调焦方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN105029691B (zh) 一种基于三维重建技术的卷烟空头检测方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN107560549A (zh) 一种激光视觉二维位移测量系统实用标定技术方案
CN106500625A (zh) 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN109636798A (zh) 一种基于单相机的三维焊缝检测方法
CN107845145A (zh) 一种电子显微场景下的三维重构系统及方法
CN103308000A (zh) 基于双目视觉的曲线物体测量方法
CN104123726B (zh) 基于消隐点的大锻件测量系统标定方法
CN101865721A (zh) 螺旋桨桨叶重量的自动测量新方法
Wang et al. A novel method for dense point cloud reconstruction and weld seam detection for tubesheet welding robot
CN104614372B (zh) 一种太阳能硅片检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190416

WD01 Invention patent application deemed withdrawn after publication