CN101358836B - 基于计算机视觉识别焊点中心位置的方法 - Google Patents
基于计算机视觉识别焊点中心位置的方法 Download PDFInfo
- Publication number
- CN101358836B CN101358836B CN2008101511973A CN200810151197A CN101358836B CN 101358836 B CN101358836 B CN 101358836B CN 2008101511973 A CN2008101511973 A CN 2008101511973A CN 200810151197 A CN200810151197 A CN 200810151197A CN 101358836 B CN101358836 B CN 101358836B
- Authority
- CN
- China
- Prior art keywords
- solder joint
- image
- coordinate
- prime
- actual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开的基于计算机视觉识别焊点中心位置的方法,通过架设于生产线上方的摄像头采集图像,并输入通过计算机,计算机首先对该图像设置标记位,计算得到焊点的实际偏移量;然后确定二值化的阈值,根据该阈值获得二值化图,通过二值化图确定焊点区域,再识别出焊点中心,之后,确定焊点中心的实际物理坐标,将该实际物理坐标传输给后续机械装置,为其提供定位信息。本发明方法,基于自动识别技术,对焊点的中心位置自动进行识别,对计算机的硬件要求较低,降低了设备造价,特别适合中小企业使用。
Description
技术领域
本发明属于焊接技术领域,涉及一种焊点中心位置的方法,具体涉及一种基于计算机视觉识别焊点中心位置的方法。
背景技术
准确、高效识别工件上的焊点是大型焊接自动化生产线完成自动焊接的关键。
目前,工件上的焊点识别大多依靠人工完成。自动识别的方法是在数字X射线实时成像的基础上,利用灰度、形状信息进行焊点中心位置的识别。该方法很大程度上克服了其他方法对测试途经的种种限制,能获得比较满意的识别结果,但该自动识别方法对计算机硬件的要求高、设备造价高,不适宜中小企业使用。
发明内容
本发明的目的是提供一种基于计算机视觉识别焊点中心位置的方法,可自动识别焊点中心位置,且对计算机硬件的要求较低,设备造价降低,特别适合中小企业使用。
本发明所采用的技术方案是,一种基于计算机视觉识别焊点中心位置的方法,通过架设于生产线上方的摄像头采集图像,并将该图像传入计算机,通过计算机对其进行分析计算,得到焊点的中心位置坐标,然后,将该中心位置坐标传输给后续机械装置,为机械装置提供定位信息,该方法按以下步骤进行:
步骤1:在工件上设置标记位
在工件的非主体位置设置一个大小确定的圆环形标记位;
步骤2:通过架设于生产线上方的摄像头采集图像,并将该图像传入计算机;
步骤3:计算目标的实际偏移量
根据步骤1设置的圆环形标记位和步骤2采集的图像,设实际内圆圆心的坐标为(0,0),图像中的内圆圆心坐标为(x,y),Δx为图像中x坐标相对于实际圆心坐标的偏移量,Δx=x,Δy为图像中y坐标相对于实际圆心坐标的偏移量,Δy=y,
按照下面的对应关系,计算得到目标的实际偏移量:
式中,r′为圆环形标记位的实际内圆半径,r为圆环形标记位在图像中的内圆半径,Δx′为焊点沿x坐标轴的实际偏移量,Δy′为焊点沿y坐标轴的实际偏移量;
步骤4:确定二值化的阈值
进入计算机设计界面,选择局部光照比较理想的焊盘照片,手动框选需识别焊盘的位置,并在该焊盘位置内选定包含光照亮度信息和焊盘的焊点大小、焊点基座颜色信息的焊点区域,然后,将选择框内的图像转换为HSV色系,其转换公式如下:
V=max(R,G,B)
其中,R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值,H为色调,表示不同的颜色,S为饱和度,表示颜色的纯度,V为亮度,表示颜色的明暗程度,
再采用如下公式,计算选择框内的V、H通道的均值μV,μH:
其中,Ω为框内焊点像素集合,NΩ为焊点像素集合中的像素点个数,
亮度均值μV<75时,采用色度均值μH作为二值化的阈值,亮度均值μV≥75时,采用亮度均值μV作为二值化的阈值,即阈值Th的计算公式为:
步骤5:获得二值化图
根据步骤4确定的二值化阈值Th,采用下式,获得二值化图;
式中,g(x,y)为获得的二值图;
步骤6:确定焊点区域
对步骤5得到的二值图像,进行贴标签,获得标签图像,统计该标签图像中标签编号相同的区域,即连通域中的像素个数,将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域,确定为焊点区域;
步骤7:识别焊点中心
对步骤6确定的焊点区域,根据下式计算得到焊点中心坐标:
式中,S表示连通域;Ns为连通域中像素的个数;(xm,ym)为焊点中心的坐标;
步骤8:确定焊点中心的实际物理坐标
若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内,则将步骤7计算获得的焊点中心坐标(xm,ym)与步骤3获得的实际偏移量Δx′和Δy′,通过下式:
计算获得焊点中心的实际物理坐标(x′,y′),并将该实际物理坐标(x′,y′)输入到后续机械,控制其定位、焊接;
若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时,程序返回一个异常信号,计算机不提示后续机械操作。
本发明的有益效果是,基于计算机自动识别技术,识别工件焊点的中心位置,具有非接触测量特有的无损检测特性,同时,对不同工件的不同位置、不同形状焊点的判别具有很强的适应性。基于计算机视觉获取的信息丰富、精确,应用广泛。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明为自动焊接系统提供一种自动确定焊点中心位置的方法。通过生产线上方架设的工业摄像头,采集图像,并将该图像传入计算机,利用计算机对传入的图像进行分析计算,然后,将分析计算得到的结果传输给后续机械装置,为其提供控制定位信息。
生产线使用的焊盘为梯形棱台,其顶面的焊点部分,即为需要识别焊点中心位置的区域。焊盘工件顶面焊点部分的大小、形状以及焊盘基座的颜色有较大差异。为了实时在线完成对焊点中心的准确识别定位,本发明方法按以下步骤进行:
步骤1:在工件上设置标记位
为了将图像中所测得的焊点大小、位置转换成焊点的实际物理尺寸,需进行相机标定,该标定采用设置标记位的方法完成,标记位的设置方法如下:
通常在工件的边角等非主体位置设置一个已知大小和形状的标记位,考虑到实际生产中工件摆放的随意性,标记位设置为一个圆环形;
步骤2:架设于生产线上方的摄像头采集步骤1设定的圆环形标记位的图像,并将该图像传入计算机;
步骤3:计算目标的实际偏移量
根据步骤1设置的圆环形标记位和步骤2采集的图像,设实际标记位的内圆圆心的坐标为(0,0),图像中标记位的内圆圆心坐标为(x,y),Δx为图像中x坐标相对于实际圆心坐标的偏移量,Δx=x,Δy为图像中y坐标相对于实际圆心坐标的偏移量,Δy=y,
按照以下公式,计算得到焊点实际移动的物理距离与图像中的目标像素距离之间的对应关系,即计算得到目标的实际偏移量:
式中,r′为圆环形标记位的实际内圆半径,r为圆环形标记位在图像中的内圆半径,Δx′为目标沿x坐标轴的实际偏移量,Δy′为目标沿y坐标轴的实际偏移量;
步骤4:确定二值化的阈值
进入计算机设计界面,选择局部光照比较理想的焊盘照片,手动框选需识别焊盘的位置,并选定焊点区域,该区域中包含当前情况下的光照亮度的信息与焊盘的焊点大小、焊点基座颜色的信息,然后,将选择框内的图像转换为HSV色系,其转换公式如下:
V=max(R,G,B)
其中,R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值,H为色调,表示不同的颜色,S为饱和度,表示颜色的纯度,V为亮度,表示颜色的明暗程度,
再采用如下公式,计算选择框内的V、H通道的均值μV,μH:
其中,Ω为框内焊点像素集合,NΩ为焊点像素集合中的像素点个数,
亮度均值μV<75时,采用色度均值μH作为二值化的阈值,亮度均值μV≥75时,采用亮度均值μV作为二值化的阈值,即阈值Th的计算公式为:
步骤5:获得二值化图
根据步骤4确定的二值化阈值Th,采用下式,获得二值化图:
式中,g(x,y)为获得的二值图;
步骤6:确定焊点区域
对步骤5得到的二值图像,进行贴标签,在获得标签图像的基础上,统计各个标签编号相同的区域,即连通域中的像素个数,将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域,确定为焊点区域;
步骤7:识别焊点中心
对步骤6确定的焊点区域,根据下式计算得到焊点中心坐标:
式中,S表示连通域,Ns为连通域中像素的个数,(xm,ym)为焊点中心的坐标;
步骤8:确定焊点中心的实际物理坐标
若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内,则将步骤7计算获得的焊点中心坐标(xm,ym)与步骤1获得的实际偏移量Δx′和Δy′,通过下式:
计算获得焊点中心的实际物理坐标(x′,y′),并将该实际物理坐标(x′,y′)输入到后续机械,控制其定位并进行焊接;
若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时,程序返回一个异常信号,计算机不提示后续机械操作。
Claims (1)
1.一种基于计算机视觉识别焊点中心位置的方法,通过架设于生产线上方的摄像头采集图像,并将该图像传入计算机,通过计算机对其进行分析计算,得到焊点的中心位置坐标,然后,将该中心位置坐标传输给后续机械装置,为机械装置提供定位信息,其特征在于,该方法按以下步骤进行:
步骤1:在工件上设置标记位
在工件的非主体位置设置一个大小确定的圆环形标记位;
步骤2:通过架设于生产线上方的摄像头采集图像,并将该图像传入计算机;
步骤3:计算目标的实际偏移量
根据步骤1设置的圆环形标记位和步骤2采集的图像,设实际内圆圆心的坐标为(0,0),图像中的内圆圆心坐标为(x,y),Δx为图像中x坐标相对于实际圆心坐标的偏移量,Δx=x,Δy为图像中y坐标相对于实际圆心坐标的偏移量,Δy=y,
按照下面的对应关系,计算得到目标的实际偏移量:
式中,r′为圆环形标记位的实际内圆半径,r为圆环形标记位在图像中的内圆半径,Δx′为焊点沿x坐标轴的实际偏移量,Δy′为焊点沿y坐标轴的实际偏移量;
步骤4:确定二值化的阈值
进入计算机设计界面,选择局部光照比较理想的焊盘照片,手动框选需识别焊盘的位置,并在该焊盘位置内选定包含光照亮度信息和焊盘的焊点大小、焊点基座颜色信息的焊点区域,然后,将选择框内的图像转换为HSV色系,其转换公式如下:
V=max(R,G,B)
其中,R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值,H为色调,表示不同的颜色,S为饱和度,表示颜色的纯度,V为亮度,表示颜色的明暗程度,
再采用如下公式,计算选择框内的V、H通道的均值μV,μH:
其中,Ω为框内焊点像素集合,NΩ为焊点像素集合中的像素点个数,
亮度均值μV<75时,采用色度均值μH作为二值化的阈值,亮度均值μV≥75时,采用亮度均值μV作为二值化的阈值,即阈值Th的计算公式为:
步骤5:获得二值化图
根据步骤4确定的二值化阈值Th,采用下式,获得二值化图:
式中,g(x,y)为获得的二值图;
步骤6:确定焊点区域
对步骤5得到的二值图像,进行贴标签,获得标签图像,统计该标签图像中标签编号相同的区域,即连通域中的像素个数,将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域,确定为焊点区域;
步骤7:识别焊点中心
对步骤6确定的焊点区域,根据下式计算得到焊点中心坐标:
式中,S表示连通域;Ns为连通域中像素的个数;(xm,ym)为焊点中心的坐标;
步骤8:确定焊点中心的实际物理坐标
若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内,则将步骤7计算获得的焊点中心坐标(xm,ym)与步骤3获得的实际偏移量Δx′和Δy′通过下式:
计算获得焊点中心的实际物理坐标(x′,y′),并将该实际物理坐标(x′,y′)输入到后续机械,控制其定位、焊接;
若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时,程序返回一个异常信号,计算机不提示后续机械操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101511973A CN101358836B (zh) | 2008-09-28 | 2008-09-28 | 基于计算机视觉识别焊点中心位置的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008101511973A CN101358836B (zh) | 2008-09-28 | 2008-09-28 | 基于计算机视觉识别焊点中心位置的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101358836A CN101358836A (zh) | 2009-02-04 |
CN101358836B true CN101358836B (zh) | 2010-09-29 |
Family
ID=40331353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101511973A Expired - Fee Related CN101358836B (zh) | 2008-09-28 | 2008-09-28 | 基于计算机视觉识别焊点中心位置的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101358836B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101966617B (zh) * | 2010-08-30 | 2012-11-28 | 东南大学 | 用于焊接机器人连续运动的激光视觉焊件特征检测方法 |
CN102778222B (zh) * | 2012-07-06 | 2016-03-02 | 中铁二十二局集团第一工程有限公司 | 一种隧道衬砌台车定位系统 |
CN102930266B (zh) * | 2012-09-28 | 2014-11-26 | 廖怀宝 | 一种用轮廓重心法定位PCB板Mark点的方法 |
CN103810458A (zh) * | 2012-11-07 | 2014-05-21 | 上海航天设备制造总厂 | 图像识别方法 |
CN103810459A (zh) * | 2012-11-07 | 2014-05-21 | 上海航天设备制造总厂 | 图像识别装置及利用所述装置的电池阵焊接系统 |
US9516762B2 (en) * | 2014-08-04 | 2016-12-06 | Ok International Inc. | Soldering iron with automatic soldering connection validation |
US10716220B2 (en) | 2014-08-04 | 2020-07-14 | Ok International, Inc. | Variable temperature controlled soldering iron |
US10688578B2 (en) | 2014-08-04 | 2020-06-23 | OK International, Inc | Variable temperature controlled soldering iron |
CN105139386B (zh) * | 2015-08-12 | 2017-12-26 | 南京航空航天大学 | 一种快速自动检测电气接插件焊点不合格品的图像处理方法 |
CN105279757B (zh) * | 2015-10-19 | 2018-10-16 | 广州视源电子科技股份有限公司 | 一种焊点定位方法及装置 |
CN105914157A (zh) * | 2016-04-28 | 2016-08-31 | 合肥祖安投资合伙企业(有限合伙) | 芯片封装工艺以及芯片封装结构 |
CN105957950B (zh) * | 2016-06-30 | 2019-02-19 | 鸿利智汇集团股份有限公司 | 一种led焊线方法 |
CN106780426B (zh) * | 2016-09-21 | 2023-05-23 | 南京师范大学 | 一种基于色彩特征模型的集成电路板多形态焊点定位方法 |
CN107203767B (zh) * | 2017-05-24 | 2020-01-14 | 深圳市神视检验有限公司 | 一种辅助实现自动化无损检测的方法及装置 |
CN107218889B (zh) * | 2017-05-24 | 2020-03-31 | 深圳市神视检验有限公司 | 一种测量位置的方法及装置 |
CN111556800A (zh) * | 2018-01-22 | 2020-08-18 | 日本制铁株式会社 | 焊接操作监视系统及焊接操作监视方法 |
CN109064440B (zh) * | 2018-06-19 | 2022-02-22 | 广东工业大学 | 一种基于机器视觉的喇叭音圈焊线识别方法 |
CN109660697B (zh) * | 2018-12-19 | 2021-06-18 | 森大(深圳)技术有限公司 | Pcb板定位误差自动修正方法、装置、设备及存储介质 |
CN109623151B (zh) * | 2019-02-20 | 2021-06-22 | 中铝瑞闽股份有限公司 | 一种基于点线激光的铝卷端面焊接系统 |
CN110328461B (zh) * | 2019-03-19 | 2021-07-23 | 重庆金康动力新能源有限公司 | 焊点定位方法及焊点定位装置 |
CN112053368B (zh) * | 2019-09-23 | 2023-07-21 | 华北电力大学(保定) | 一种用于薄板焊接的焊缝中心识别方法及系统 |
CN111504194A (zh) * | 2020-05-15 | 2020-08-07 | 深圳市振邦智能科技股份有限公司 | 应用在焊点检测aoi中的焊点定位方法 |
CN111740070A (zh) * | 2020-07-27 | 2020-10-02 | 无锡先导智能装备股份有限公司 | 电池密封钉装配控制方法、装置及设备 |
CN112881407A (zh) * | 2021-01-14 | 2021-06-01 | 广州大学 | 一种led芯片的焊接质量检测方法、系统、装置及介质 |
CN115482240B (zh) * | 2022-11-10 | 2023-03-21 | 富联裕展科技(深圳)有限公司 | 焊接设备稳定度的确定方法、装置、焊接设备及存储介质 |
-
2008
- 2008-09-28 CN CN2008101511973A patent/CN101358836B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101358836A (zh) | 2009-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101358836B (zh) | 基于计算机视觉识别焊点中心位置的方法 | |
CN112669393B (zh) | 一种激光雷达与相机联合标定方法 | |
CN105740856B (zh) | 一种基于机器视觉的指针式仪表示数读取方法 | |
CN103017869B (zh) | 一种基于数字图像处理的水位测定系统及方法 | |
CN104848851B (zh) | 基于多传感器数据融合构图的变电站巡检机器人及其方法 | |
CN110850723B (zh) | 一种基于变电站巡检机器人系统的故障诊断及定位方法 | |
CN106546263B (zh) | 一种基于机器视觉的激光水平仪出射激光线检测方法 | |
CN101660932A (zh) | 一种指针式汽车仪表自动校验方法 | |
CN108007388A (zh) | 一种基于机器视觉的转盘角度高精度在线测量方法 | |
CN109520706B (zh) | 一种汽车保险丝盒的螺孔坐标提取方法 | |
CN106204560B (zh) | 菌落挑选仪自动标定方法 | |
CN107931012A (zh) | 一种提取点胶路径的方法及点胶系统 | |
CN107065871A (zh) | 一种基于机器视觉的自走餐车识别定位系统及方法 | |
CN104197900A (zh) | 一种汽车仪表指针刻度识别方法 | |
CN103440629A (zh) | 激光标记自动跟踪的视频引伸计的数字图像处理方法 | |
CN108627104A (zh) | 一种零部件高度尺寸的点激光测量方法 | |
CN104181920A (zh) | 一种基于视觉的agv定位方法 | |
CN109389165A (zh) | 基于巡检机器人的变压器油位计识别方法 | |
CN113112543A (zh) | 一种基于视觉移动目标的大视场二维实时定位系统及方法 | |
CN113269729B (zh) | 一种基于深度图像对比的装配体多视角检测方法和系统 | |
CN107633508A (zh) | 一种计量产品印刷线路板外观验证方法及系统 | |
CN108627103A (zh) | 一种零部件高度尺寸的2d激光测量方法 | |
CN104021546B (zh) | 基于图像处理的工件标签在线快速定位方法 | |
CN114511620B (zh) | 一种基于Mask R-CNN的结构位移监测方法 | |
CN114476065B (zh) | 一种测绘工程测量用无人机遥感装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 Termination date: 20130928 |