CN106851062A - 一种基于机器视觉的焊缝识别装置 - Google Patents

Abstract

本发明提供了一种跟踪精度高、抗干扰能力强的焊缝定位装置。一种基于机器视觉的焊缝识别装置，该装置使用带有红外滤光片的工业相机采集金属工件的图像，并通过内部集成的高性能嵌入式计算机实时分析分析相机采集到的图像，识别出图像中的焊缝，并输出。

Description

一种基于机器视觉的焊缝识别装置

技术领域

本发明创造属于机器视觉技术领域,尤其是涉及一种焊缝识别装置。

背景技术

不断进步的社会，要求我们不停地改善焊接工人的工作环境、提高产品焊接质量、提高生产效率。为了一劳永逸地解决以上问题工业焊接机器人渐渐的被用来代替工人来进行工作。

不过，现阶段工业焊接机器人的自动化水平还比较低，基本还停留在示教再现水平，针对不同的工件要进行反复的重复示教，这不仅降低了作业效率、增加了劳动力消耗，而且增加了生产成本、延长了生产周期。

另一方面，焊接过程中飞溅干扰、工件热变形、装配条件以及其他不确定性因素干扰的存在，使得目前在实际生产中使用的示教在线型焊接机器人一般无法满足焊接生产质量及多样性的要求。

智能型焊接机器人就要求一种跟踪精度高、抗干扰能力强、适用广泛的焊缝定位装置。

发明内容

本发明提供了一种跟踪精度高、抗干扰能力强、适用广泛的焊缝定位装置。

本发明需要保护的技术方案，表征为：

一种具有焊缝识别功能的工业相机，其特征在于：该装置包括相连接的红外线滤光系统、相机系统；

所述的红外线滤光系统包括环形红外线发射装置、红外线滤光片，置于金属工件与相机系统之前，

所述相机系统为工业相机，包括前端的相机镜头、集成相机内部的嵌入式计算机，所述嵌入式计算机包括机器视觉算法模块，

所述相机镜头周围设置有环形红外线发射装置并且相机镜头前设置有红外线滤光片，红外线发射器发射红外线被金属工件反射后经过红外滤光片滤光后进入工业相机；所述嵌入式计算机应用机器视觉算法模块实时处理相机镜头采集到的图像，分割出图像中的焊缝；嵌入式计算机输出二值图像，图像中白色区域表示探测到的焊缝，黑色区域表示工件非焊缝区域。

所述机器视觉算法模块，其图像处理的过程分为图像二值化、图像分割两个步骤，

所述步骤图像二值化使用最大类间方差法：

最大类间方差法确定出能把图像分成焊缝和背景的阈值，并使背景类和焊缝类间方差达到最大，

定义灰度级为L的图像I，定义函数I(x,y)为图像在坐标为(x,y)的点处的灰度，定义函数n(x)为灰度值为x的点在图像I中出现的次数，定义函数P(l)为灰度级l在图像中出现的概率。显然P(l)的计算方法如公式所示：

假设用阈值t把图像中的像素分为AB两类，

像素点属于A类的概率：

式中函数w(t)是随机变量t的概率分布函数

像素点属于B类的概率：

式中函数w(t)是随机变量t的概率分布函数

A类像素点的均值：

B类像素点的均值：

A类的类内方差：

B类的类内方差：

总体的均值：

μ＝p_a×μ_a+p_b×μ_b

A类和B类的类间方差：

σ＝p_a×(μ_a-μ)²+p_b×(μ_b-μ)²；

所述步骤图像分割使用水平集方法，具体是采用先验形状的二相水平集分割方法来分割焊缝：

给出基于区域的水平集模型的能量函数扩展为ε(φ,c,b)为平滑项，vL(φ)为长度约束项，μR_p(φ)为距离正则项，为形状约束项，代表曲线上所有点的曲率之和其中，P_k(x)表示点x处的曲率，H(φ)是一个阶跃函数,过滤掉φ>0和φ<0的情况，只剩下φ＝0的情形，从而第四项得到的是零水平集轮廓上所有点的曲率和；由于直线上任意一点曲率为0，且在所有边缘轮廓中是最小的，将焊缝轮廓的曲率和作为一个约束项加入到能量方程中，使得最后得到的焊缝逼近于一条直线。；

用一个近似的连续函数来替代: 求导得到其中，起到区域内的平滑作用；最后用梯度下降法求得φ＝0的点，即焊缝的轮廓。

所述相机系统包括机箱,所述机箱中又包括摄像头本体、嵌入式计算机、电源适配器；所述机箱外壳上设有摄像头本体前端的红外滤光片和红外线发射器；所述摄像头本体和红外发射器依次连接到嵌入式计算机，所述嵌入式计算机一方面控制着摄像头和红外发射器，另一方面负责识别图像中的焊缝。

优选地，所述电源适配器把交流电转换成直流电提供给装置内部的嵌入式计算机、摄像头等部件。

所述的摄像头的运行由嵌入式控制。

优选地，所述装置内设置有红外发射器，所述摄像头本体的前面设置有红外线滤光片。

优选地,所述装置还包括位于所述机箱外部的用于接通电缆的接线孔,所述接线孔与所述电源适配器连接。

优选地,嵌入式计算机使用arm处理器，运行高度定制版的linux系统，运行机器视觉算法模块机器视觉软件，分割出图像中焊缝。

优选地,所述嵌入式计算机还设置有无线网络模块。

优选地,所述装置还设置有用于与智能机器人连接的扩展槽。

本发明利用了金属工件对红外线反射率高的特点，分割精度高。

本装置承担了的焊缝分割的运算,减轻智能机器人服务器图像处理系统的运算压力。

附图说明

图1是本装置整体结构示意图。

其中，1是外部接口，外部接口分为输入输出两大类。输入接口指电源接口，为该装置提供电力。输出接口输出本装置的处理结果，以太网接口、USB接口。2是高性能嵌入式计算机。嵌入式计算机有两个作用：一是控制本装置的运行；二是处理摄像头的采集到的数据，通过机器视觉算法，识别出工件中的焊缝。3是工业相机，4是环形红外线发射器，5是红外滤光片。

图2是本装置采用的嵌入式计算机2的物理结构。

图3是本装置采用的嵌入式计算机2的逻辑结构。

图4是焊缝分割算法的流程图。

具体实施方式

以下实施例用于说明本发明技术方案,但不用来限制本发明的范围。

本发明提供一种具有焊缝分割功能的图像采集装置，所述装置包括机箱,位于所述机箱中的摄像头本体、电源适配器、高性能嵌入式计算机,以及位于所述机箱外壳上所述摄像头本体前端的红外线滤光片和红外线发射器；所述电源适配器、摄像头本体、红外线发射器依次电连接到所述高性能嵌入式计算机。所述机箱可以为金属材质,表面有喷漆。

本发明是在摄像头机箱内部集成高性能嵌入式计算机,直接在摄像头机箱内部对采集到的图像进行处理,然后将处理结果以二值图像的形式通过USB传输到智能焊接机器人的控制系统,从而极大地疏解上位机的处理压力。

所述电源适配器设置有交流电接线槽和适配器直流输出口,所述嵌入式计算机设置有电源口和摄像头接口,所述摄像头本体与电源适配器直流电输出口连接,所述蓄电池输出接口与所述电源口电连接,所述主控板摄像头接口与所述摄像头驱动板电连接。

所述摄像头还包括位于所述机箱外部的用于接通电缆的接线孔,所述接线孔与所述电源适配器电连接。

所述嵌入式计算机设置有高性能处理器,所述图像处理程序就运行于所述高性能处理器中。处理后的数据可以通过USB接口输出。

所述嵌入式计算机核心板为Micro2440，该核心板使用的内核为ARM920T。

如图2所示，所述的嵌入式计算机内核挂载了SDRAM模块、NAND FLASH模块、NORFLASH模块、RESET控制器模块、JTAG调试接口模块；通过接口板挂载了GPIO模块、电源控制器、SD存储卡控制器模块、串口控制器模块、USB控制器模块、以太网控制器模块、摄像头控制模块。

所述以太网控制器模块，型号为DM9000EP，对外提供一个100m RJ-45接口；串口控制器型号为MAX3232，采用的通信模式为RS232，对外提供一个串行接口；

所述USB控制器模块，型号为AU9254A21-HAS-GR，提供一个USB接口，可以接入U盘扩大存储容量，4个GPIO引出脚，用作中断测试；

所述电源控制器提供嵌入式计算机上3.3v和1.8v电源。

如图4所示，本发明技术方案的软件部分，其图像处理的过程分为两个步骤，图像二值化和图像分割。

图像二值化使用最大类间方差法。

最大类间方差法能确定出来把图像分成焊缝和背景的阈值，并使背景类和焊缝类间方差达到最大。两类之间使类间方差最大的分割意味着错分概率最小。

定义灰度级为L的图像I，定义函数I(x,y)为图像在坐标为(x,y)的点处的灰度，定义函数n(x)为灰度值为x的点在图像I中出现的次数，定义函数P(l)为灰度级l在图像中出现的概率。显然P(l)的计算方法如公式所示。

假设用阈值t把图像中的像素分为AB两类，则AB两类出现的概率、类均值和类内方差可以很容易得到。像素点属于A类的概率

式中函数w(t)是随机变量t的概率分布函数。

像素点属于B类的概率

式中函数w(t)是随机变量t的概率分布函数。

A类像素点的均值

B类像素点的均值

A类的类内方差

B类的类内方差

总体的均值

μ＝p_a×μ_a+p_b×μ_b

A类和B类的类间方差

σ＝p_a×(μ_a-μ)²+p_b×(μ_b-μ)²；

枚举t的值，当σ取得最大值时，用此时的t作为分类阈值对样本进行分类，即可以取得最佳的分类效果。

图像分割使用水平集方法。

考虑到焊缝的形状是直条型的，与其他曲线相比，它的曲率相对稳定且数值较小。将焊缝的曲率作为一个先验知识融入传统的水平集方法中，设计了一种基于先验形状的二相水平集分割方法来分割焊缝。

将Li Chunming等人为解决图像分割中存在的灰度不一致问题提出基于区域的水平集模型的能量函数扩展为其中，ε(φ,c,b)为平滑项，vL(φ)为长度约束项，μR_p(φ)为距离正则项，为形状约束项。

代表曲线上所有点的曲率之和。，其中，P_k(x)表示点x处的曲率，H(φ)是一个阶跃函数,因此过滤掉了φ>0和φ<0的情况，只剩下φ＝0的情形，从而第四项得到的是零水平集轮廓上所有点的曲率和。由于直线上任意一点曲率为0，且在所有边缘轮廓中是最小的，将焊缝轮廓的曲率和作为一个约束项加入到能量方程中，使得最后得到的焊缝逼近于一条直线。

在数学上可以用一个近似的连续函数来替代:因为求导得到其中，起到区域内的平滑作用。最后可以用梯度下降法求得φ＝0的点，即焊缝的轮廓。

Claims (1)

1.一种具有焊缝识别功能的工业相机，其特征在于：该装置包括相连接的红外线滤光系统、相机系统；

所述的红外线滤光系统包括环形红外线发射装置、红外线滤光片，置于金属工件与相机系统之前，

所述相机系统为工业相机，包括前端的相机镜头、集成相机内部的嵌入式计算机，所述嵌入式计算机包括机器视觉算法模块，

所述相机镜头周围设置有环形红外线发射装置并且相机镜头前设置有红外线滤光片，红外线发射器发射红外线被金属工件反射后经过红外滤光片滤光后进入工业相机；所述嵌入式计算机应用机器视觉算法模块实时处理相机镜头采集到的图像，分割出图像中的焊缝；嵌入式计算机输出二值图像，图像中白色区域表示探测到的焊缝，黑色区域表示工件非焊缝区域。

所述机器视觉算法模块，其图像处理的过程分为图像二值化、图像分割两个步骤，

所述步骤图像二值化使用最大类间方差法：

最大类间方差法确定出能把图像分成焊缝和背景的阈值，并使背景类和焊缝类间方差达到最大，

定义灰度级为L的图像I，定义函数I(x,y)为图像在坐标为(x,y)的点处的灰度，定义函数n(x)为灰度值为x的点在图像I中出现的次数，定义函数P(l)为灰度级l在图像中出现的概率。显然P(l)的计算方法如公式所示：

$P\left(l\right)=\frac{n\left(l\right)}{\underset{i=0}{\overset{L-1}{\&Sigma;}}n\left(i\right)}$

假设用阈值t把图像中的像素分为AB两类，

像素点属于A类的概率：

$P_a=\underset{i=0}{\overset{t}{\&Sigma;}}P\left(i\right)=w\left(t\right)$

式中函数w(t)是随机变量t的概率分布函数

像素点属于B类的概率：

$P_b=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}P\left(i\right)=1-w\left(t\right)$

式中函数w(t)是随机变量t的概率分布函数

A类像素点的均值：

${\mathrm{\&mu;}}_a=\underset{i=0}{\overset{t}{\&Sigma;}}ip\left(i\right|a)=\underset{i=0}{\overset{t}{\&Sigma;}}\frac{ip\left(i\right)}{p_a}$

B类像素点的均值：

${\mathrm{\&mu;}}_b=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}ip\left(i\right|b)=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}\frac{ip\left(i\right)}{p_b}$

A类的类内方差：

${\mathrm{\&sigma;}}_a^2=\underset{i=0}{\overset{t}{\&Sigma;}}{(i-{\mathrm{\&mu;}}_a)}^{2}P\left(i\right|a)=\underset{i=0}{\overset{t}{\&Sigma;}}\frac{{(i-{\mathrm{\&mu;}}_a)}^{2}P\left(i\right)}{p_a}$

B类的类内方差：

${\mathrm{\&sigma;}}_b^2=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}{(i-{\mathrm{\&mu;}}_b)}^{2}P\left(i\right|b)=\underset{i=t+1}{\overset{L-1}{\&Sigma;}}\frac{{(i-{\mathrm{\&mu;}}_b)}^{2}P\left(i\right)}{p_b}$

总体的均值：

μ＝p_a×μ_a+p_b×μ_b

A类和B类的类间方差：

σ＝p_a×(μ_a-μ)²+p_b×(μ_b-μ)²；

所述步骤图像分割使用水平集方法，具体是采用先验形状的二相水平集分割方法来分割焊缝：

给出基于区域的水平集模型的能量函数扩展为ε(φ,c,b)为平滑项，vL(φ)为长度约束项，μR_p(φ)为距离正则项，为形状约束项，代表曲线上所有点的曲率之和

其中，P_k(x)表示点x处的曲率，H(φ)是一个阶跃函数,

过滤掉φ>0和φ<0的情况，只剩下φ＝0的情形，从而第四项得到的是零水平集轮廓上所有点的曲率和；由于直线上任意一点曲率为0，且在所有边缘轮廓中是最小的，将焊缝轮廓的曲率和作为一个约束项加入到能量方程中，使得最后得到的焊缝逼近于一条直线。；

用一个近似的连续函数来替代: 求导得到

其中，e_i＝∫K(y-x)|I(x)-b(y)c_i|²dy，起到区域内的平滑作用；最后用梯度下降法求得φ＝0的点，即焊缝的轮廓。