CN101358836A - 基于计算机视觉识别焊点中心位置的方法 - Google Patents

Abstract

本发明公开的基于计算机视觉识别焊点中心位置的方法，通过架设于生产线上方的摄像头采集图像，并输入通过计算机，计算机首先对该图像设置标记位，计算得到焊点的实际偏移量；然后确定二值化的阈值，根据该阈值获得二值化图，通过二值化图确定焊点区域，再识别出焊点中心，之后，确定焊点中心的实际物理坐标，将该实际物理坐标传输给后续机械装置，为其提供定位信息。本发明方法，基于自动识别技术，对焊点的中心位置自动进行识别，对计算机的硬件要求较低，降低了设备造价，特别适合中小企业使用。

Description

基于计算机视觉识别焊点中心位置的方法

技术领域

本发明属于焊接技术领域，涉及一种焊点中心位置的方法，具体涉及一种基于计算机视觉识别焊点中心位置的方法。

背景技术

准确、高效识别工件上的焊点是大型焊接自动化生产线完成自动焊接的关键。

目前，工件上的焊点识别大多依靠人工完成。自动识别的方法是在数字X射线实时成像的基础上，利用灰度、形状信息进行焊点中心位置的识别。该方法很大程度上克服了其他方法对测试途经的种种限制，能获得比较满意的识别结果，但该自动识别方法对计算机硬件的要求高、设备造价高，不适宜中小企业使用。

发明内容

本发明的目的是提供一种基于计算机视觉识别焊点中心位置的方法，可自动识别焊点中心位置，且对计算机硬件的要求较低，设备造价降低，特别适合中小企业使用。

本发明所采用的技术方案是，一种基于计算机视觉识别焊点中心位置的方法，通过架设于生产线上方的摄像头采集图像，并将该图像传入计算机，通过计算机对其进行分析计算，得到焊点的中心位置坐标，然后，将该中心位置坐标传输给后续机械装置，为机械装置提供定位信息，该方法按以下步骤进行：

步骤1：在工件上设置标记位

在工件边角等非主体位置设置一个大小确定的圆环形标记位；

步骤2：通过架设于生产线上方的摄像头采集图像，并将该图像传入计算机；

步骤3：计算目标的实际偏移量

根据步骤1设置的圆环形标记位和步骤2采集的图像，设实际内圆圆心的坐标为(0，0)，图像中的内圆圆心坐标为(x，y)，Δx为图像中x坐标相对于实际圆心坐标的偏移量，Δx＝x，Δy为图像中y坐标相对于实际圆心坐标的偏移量，Δy＝y，

按照下面的对应关系，计算得到目标的实际偏移量：

$\left\{\begin{array}{c}{\mathrm{\Δx}}^{\′}=\mathrm{\Δx}\·\frac{r^{\′}}{r}\\ {\mathrm{\Δy}}^{\′}=\mathrm{\Δy}\·\frac{r^{\′}}{r}\end{array}\right.$

式中，r′为标示物的实际内圆半径，r为标示物在图像中的内圆半径，Δx′为焊点沿x坐标轴的实际偏移量，Δy′为焊点沿y坐标轴的实际偏移量；

步骤4：确定二值化的阈值

进入计算机设计界面，选择局部光照比较理想的焊盘照片，手动框选需识别焊盘的位置，并在该焊盘位置内选定包含光照亮度信息和焊盘的焊点大小、焊点基座颜色信息的焊点区域，然后，将选择框内的图像转换为HSV色系，其转换公式如下：

V＝max(R，G，B)

$S=\left\{\begin{array}{cc}[V-\min (R,G,B)]V& V>0\\ 0& V=0\end{array}\right.$

$H=\left\{\begin{array}{cc}60(G-B)/\mathrm{SV}& V=R\\ 60[2+(B-R)/\mathrm{SV}]& V=G\\ 60[4+(R-G)/\mathrm{SV}& V=B\\ 0& V=0\\ H+360& H<0\end{array}\right.$

其中，R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值，H为色调，表示不同的颜色，S为饱和度，表示颜色的纯度，V为亮度，表示颜色的明暗程度，

再采用如下公式，计算选择框内的V、H通道的均值μ_V，μ_H：

${\mathrm{\&mu;}}_f=\underset{(i,j)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}f(i,j)/N_{\mathrm{\&Omega;}},(f=V,H)$

其中，Ω为框内焊点像素集合，N_Ω为焊点像素集合中的像素点个数，

亮度均值μ_V＜75时，采用色度均值μ_H作为二值化的阈值，亮度均值μ_V≥75时，采用亮度均值μ_V作为二值化的阈值，即阈值Th得计算公式为：

步骤5：获得二值化图

根据步骤4确定的二值化阈值Th，采用下式，获得二值化图：

$g(x,y)=\left\{\begin{array}{c}1,f(x,y)\&GreaterEqual;\mathrm{Th}\\ 0,f(x,y)<\mathrm{Th}\end{array}\right.$

式中，g(x，y)为获得的二值图；

步骤6：确定焊点区域

对步骤5得到的二值图像，进行贴标签，获得标签图像，统计该标签图像中标签编号相同的区域，即连通域中的像素个数，将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域，确定为焊点区域；

步骤7：识别焊点中心

对步骤6确定的焊点区域，根据下式计算得到焊点中心坐标：

$x_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}x$ $y_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}y$

式中，S表示连通域；Ns为连通域中像素的个数；(x_m，y_m)为焊点中心的坐标；

步骤8：确定焊点中心的实际物理坐标

若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内，则将步骤7计算获得的焊点中心坐标(x_m，y_m)与步骤3获得的实际偏移量Δx′和Δy′，通过下式：

$\left\{\begin{array}{c}{x}^{\&prime;}=x_m+{\mathrm{\&Delta;x}}^{\&prime;}\\ y^{\&prime;}=y_m+{\mathrm{\&Delta;y}}^{\&prime;}\end{array}\right.$

计算获得焊点中心的实际物理坐标(x′，y′)，并将该实际物理坐标(x′，y′)输入到后续机械，控制其定位、焊接；

若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时，程序返回一个异常信号，计算机不提示后续机械操作。

本发明的有益效果是，基于计算机自动识别技术，识别工件焊点的中心位置，具有非接触测量特有的无损检测特性，同时，对不同工件的不同位置、不同形状焊点的判别具有很强的适应性。基于计算机视觉获取的信息丰富、精确，应用广泛。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明为自动焊接系统提供一种自动确定焊点中心位置的方法。通过生产线上方架设的工业摄像头，采集图像，并将该图像传入计算机，利用计算机对传入的图像进行分析计算，然后，将分析计算得到的结果传输给后续机械装置，为其提供控制定位信息。

生产线使用的焊盘为梯形棱台，其顶面的焊点部分，即为需要识别焊点中心位置的区域。焊盘工件顶面焊点部分的大小、形状以及焊盘基座的颜色有较大差异。为了实时在线完成对焊点中心的准确识别定位，本发明方法按以下步骤进行：

步骤1：在工件上设置标记位

为了将图像中所测得的焊点大小、位置转换成焊点的实际物理尺寸，需进行相机标定，该标定采用设置标记位的方法完成，标记位的设置方法如下：

通常在工件的边角等非主体位置设置一个已知大小和形状的标记位，考虑到实际生产中工件摆放的随意性，标记位设置为一个圆环形；

步骤2：架设于生产线上方的摄像头采集步骤1设定的圆环形标记位的图像，并将该图像传入计算机；

步骤3：计算目标的实际偏移量

根据步骤1设置的圆环形标记位和步骤2采集的图像，设实际标记位的内圆圆心的坐标为(0，0)，图像中标记位的内圆圆心坐标为(x，y)，Δx为图像中x坐标相对于实际圆心坐标的偏移量，Δx＝x，Δy为图像中y坐标相对于实际圆心坐标的偏移量，Δy＝y，

按照以下公式，计算得到焊点实际移动的物理距离与图像中的目标像素距离之间的对应关系，即计算得到目标的实际偏移量：

$\left\{\begin{array}{c}{\mathrm{\&Delta;x}}^{\&prime;}=\mathrm{\&Delta;x}\&CenterDot;\frac{r^{\&prime;}}{r}\\ {\mathrm{\&Delta;y}}^{\&prime;}=\mathrm{\&Delta;y}\&CenterDot;\frac{r^{\&prime;}}{r}\end{array}\right.$

式中，r′为标示物的实际内圆半径，r为标示物在图像中的内圆半径，Δx′为目标沿x坐标轴的实际偏移量，Δy′为目标沿y坐标轴的实际偏移量；

步骤4：确定二值化的阈值

进入计算机设计界面，选择局部光照比较理想的焊盘照片，手动框选需识别焊盘的位置，并选定焊点区域，该区域中包含当前情况下的光照亮度的信息与焊盘的焊点大小、焊点基座颜色的信息，然后，将选择框内的图像转换为HSV色系，其转换公式如下：

V＝max(R，G，B)

$S=\left\{\begin{array}{cc}[V-\min (R,G,B)]V& V>0\\ 0& V=0\end{array}\right.$

$H=\left\{\begin{array}{cc}60(G-B)/\mathrm{SV}& V=R\\ 60[2+(B-R)/\mathrm{SV}]& V=G\\ 60[4+(R-G)/\mathrm{SV}& V=B\\ 0& V=0\\ H+360& H<0\end{array}\right.$

其中，R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值，H为色调，表示不同的颜色，S为饱和度，表示颜色的纯度，V为亮度，表示颜色的明暗程度，

再采用如下公式，计算选择框内的V、H通道的均值μ_V，μ_H：

${\mathrm{\&mu;}}_f=\underset{(i,j)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}f(i,j)/N_{\mathrm{\&Omega;}},(f=V,H)$

其中，Ω为框内焊点像素集合，N_Ω为焊点像素集合中的像素点个数，

亮度均值μ_V＜75时，采用色度均值μ_H作为二值化的阈值，亮度均值μ_V≥75时，采用亮度均值μ_V作为二值化的阈值，即阈值Th的计算公式为：

步骤5：获得二值化图

根据步骤4确定的二值化阈值Th，采用下式，获得二值化图：

$g(x,y)=\left\{\begin{array}{c}1,f(x,y)\&GreaterEqual;\mathrm{Th}\\ 0,f(x,y)<\mathrm{Th}\end{array}\right.$

式中，g(x，y)为获得的二值图；

步骤6：确定焊点区域

对步骤5得到的二值图像，进行贴标签，在获得标签图像的基础上，统计各个标签编号相同的区域，即连通域中的像素个数，将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域，确定为焊点区域；

步骤7：识别焊点中心

对步骤6确定的焊点区域，根据下式计算得到焊点中心坐标：

$x_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}x$ $y_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}y$

式中，S表示连通域，N_s为连通域中像素的个数，(x_m，y_m)为焊点中心的坐标；

步骤8：确定焊点中心的实际物理坐标

若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内，则将步骤7计算获得的焊点中心坐标(x_m，y_m)与步骤1获得的实际偏移量Δx′和Δy′，通过下式：

$\left\{\begin{array}{c}{x}^{\&prime;}=x_m+{\mathrm{\&Delta;x}}^{\&prime;}\\ y^{\&prime;}=y_m+{\mathrm{\&Delta;y}}^{\&prime;}\end{array}\right.$

计算获得焊点中心的实际物理坐标(x′，y′)，并将该实际物理坐标(x′，y′)输入到后续机械，控制其定位并进行焊接；

若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时，程序返回一个异常信号，计算机不提示后续机械操作。

Claims (1)

1.一种基于计算机视觉识别焊点中心位置的方法，通过架设于生产线上方的摄像头采集图像，并将该图像传入计算机，通过计算机对其进行分析计算，得到焊点的中心位置坐标，然后，将该中心位置坐标传输给后续机械装置，为机械装置提供定位信息，其特征在于，该方法按以下步骤进行：

步骤1：在工件上设置标记位

在工件边角等非主体位置设置一个大小确定的圆环形标记位；

步骤2：通过架设于生产线上方的摄像头采集图像，并将该图像传入计算机；

步骤3：计算目标的实际偏移量

根据步骤1设置的圆环形标记位和步骤2采集的图像，设实际内圆圆心的坐标为(0，0)，图像中的内圆圆心坐标为(x，y)，Δx为图像中x坐标相对于实际圆心坐标的偏移量，Δx＝x，Δy为图像中y坐标相对于实际圆心坐标的偏移量，Δy＝y，

按照下面的对应关系，计算得到目标的实际偏移量：

$\left\{\begin{array}{c}\mathrm{\&Delta;}{x}^{\&prime;}=\mathrm{\&Delta;x}\&CenterDot;\frac{r^{\&prime;}}{r}\\ \mathrm{\&Delta;}{y}^{\&prime;}=\mathrm{\&Delta;y}\&CenterDot;\frac{r^{\&prime;}}{r}\end{array}\right.$

式中，r′为标示物的实际内圆半径，r为标示物在图像中的内圆半径，Δx′为焊点沿x坐标轴的实际偏移量，Δy′为焊点沿y坐标轴的实际偏移量；

步骤4：确定二值化的阈值

进入计算机设计界面，选择局部光照比较理想的焊盘照片，手动框选需识别焊盘的位置，并在该焊盘位置内选定包含光照亮度信息和焊盘的焊点大小、焊点基座颜色信息的焊点区域，然后，将选择框内的图像转换为HSV色系，其转换公式如下：

V＝max(R，G，B)

$S=\left\{\begin{array}{cc}[V-\min (R,G,B)/V& V>0\\ 0& V=0\end{array}\right.$

$H=\left\{\begin{array}{cc}60(G-B)/\mathrm{SV}& V=R\\ 60[2+(B-R)/\mathrm{SV}& V=G\\ 60+[4+(R-G)/\mathrm{SV}& V=B\\ 0& V=0\\ H+360& H<0\end{array}\right.$

其中，R、G、B分别表示拍摄到的图像的红色、绿色、蓝色通道的三基色值，H为色调，表示不同的颜色，S为饱和度，表示颜色的纯度，V为亮度，表示颜色的明暗程度，

再采用如下公式，计算选择框内的V、H通道的均值μ_V，μ_H：

${\mathrm{\&mu;}}_f=\underset{(i,j)\&Element;\mathrm{\&Omega;}}{\mathrm{\&Sigma;}}f(i,j)/N_{\mathrm{\&Omega;}},(f=V,H)$

其中，Ω为框内焊点像素集合，N_Ω为焊点像素集合中的像素点个数，

亮度均值μ_V＜75时，采用色度均值μ_H作为二值化的阈值，亮度均值μ_V≥75时，采用亮度均值μ_V作为二值化的阈值，即阈值Th得计算公式为：

步骤5：获得二值化图

根据步骤4确定的二值化阈值Th，采用下式，获得二值化图：

$g(x,y)=\left\{\begin{array}{c}1,f(x,y)\&GreaterEqual;\mathrm{Th}\\ 0,f(x,y)<\mathrm{Th}\end{array}\right.$

式中，g(x，y)为获得的二值图；

步骤6：确定焊点区域

对步骤5得到的二值图像，进行贴标签，获得标签图像，统计该标签图像中标签编号相同的区域，即连通域中的像素个数，将连通域中像素个数与步骤4中手动框选的焊盘区域中像素个数相近的连通域，确定为焊点区域；

步骤7：识别焊点中心

对步骤6确定的焊点区域，根据下式计算得到焊点中心坐标：

$x_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}x$ $y_m=\frac{1}{N_s}\&CenterDot;\underset{(x,y)\&Element;S}{\mathrm{\&Sigma;}}y$

式中，S表示连通域；N_s为连通域中像素的个数；(x_m，y_m)为焊点中心的坐标；

步骤8：确定焊点中心的实际物理坐标

若步骤6计算得到的焊点中心处于步骤5确定的焊点区域内，则将步骤7计算获得的焊点中心坐标(x_m，y_m)与步骤3获得的实际偏移量Δx′和Δy′，通过下式：

$\left\{\begin{array}{c}{x}^{\&prime;}=x_m+\mathrm{\&Delta;}{x}^{\&prime;}\\ y^{\&prime;}=y_m+\mathrm{\&Delta;}{y}^{\&prime;}\end{array}\right.$

计算获得焊点中心的实际物理坐标(x′，y′)，并将该实际物理坐标(x′，y′)输入到后续机械，控制其定位、焊接；

若步骤6计算得到的焊点中心在步骤5确定的焊点区域中无法获得或明显偏离该焊点区域时，程序返回一个异常信号，计算机不提示后续机械操作。