发明内容
本发明的目的在于提出一种基于机器视觉的电子连接器制造过程监测方法,其能解决目前的机械控制系统无法对电子连接器的制作过程进行有效监测的问题。
为了达到上述目的,本发明所采用的技术方案如下:
基于机器视觉的电子连接器制造过程监测方法,其包括以下步骤:
步骤1、采集剥皮后的电线所露出的铜芯束的端面的第一图像,识别出所述第一图像中的铜芯的数量,将所述铜芯的数量与预设的铜芯数量值进行比对,若所述铜芯的数量与预设的铜芯数量值相等,则进行步骤2,否则指令机械控制系统丢弃所述电线;
步骤2、采集电线与连接端子冲压后形成的连接单元的第二图像,将第二图像与预设的模板图像进行比对,以使第二图像中的连接单元与预设的模板图像的连接单元位置匹配;
步骤3、根据在模板图像预设的第一检测区域、第二检测区域以及第三检测区域对第二图像进行检测,若同时满足条件一、条件二和条件三,则进行组装步骤,否则指令机械控制系统丢弃所述连接单元;
条件一:铜芯位于第一检测区域内;
条件二:第二检测区域内均具有铜芯和所述电线的胶皮;
条件三:第三检测区域内具有金属,且金属的面积大于或等于预设的面积阈值;
其中,第一检测区域为连接端子的压着位与插接位之间的区域;第二检测区域为连接端子的压着位与包胶位之间的区域;第三检测区域为连接端子的包胶位区域。
优选的,步骤1中,识别出所述第一图像中的铜芯的数量的过程包括如下子步骤:
步骤101、根据第一图像中的铜芯束的端面的轮廓得到铜芯束的图像区域;
步骤102、在所述图像区域中,采用固定阈值算法将铜芯束图像分割出来,对分割出来的铜芯束图像进行拉伸处理;
步骤103、对拉伸处理后的铜芯束图像采用分水岭分割算法对铜芯束图像进行分割,对进行分割后的铜芯束图像的面积进行计算,并根据预设的铜芯单元面积,得到铜芯束图像中铜芯的数量。进一步优选的,在进行步骤101之前,还有以下步骤:对第一图像进行去噪处理和平滑处理。
优选的,步骤2中,第二图像与预设的模板图像进行比对以使第二图像中的连接单元与预设的模板图像的连接单元位置匹配的过程包括如下子步骤;
步骤201、将第二图像转换为灰度图;
步骤202、采用归一化积相关图像匹配算法使第二图像与模板图像进行匹配得到相应的偏转角和位移量;
步骤203、根据公式一得到模板图像与第二图像之间的归一化互相关系数;
公式一:
其中,n为像素点个数,m
t为模板图像的像素值均值,m
i为第二图像的像素值均值,
为模板图像的像素值方差,
为第二图像的像素值方差,t(x,y)为模板图像的像素点位置,i(x,y)为第二图像的像素点的位置,score为归一化互相关系数;
步骤204、根据公式二,采用仿射变换算法使第二图像中的连接单元与预设的模板图像的连接单元位置匹配;
公式二:
其中,(x,y)为原始的第二图像的像素点的位置,为仿射变换后的第二图像的像素点的位置,dx为水平方向上的位移量,dy为垂直方向上的位移量,θ为偏转角。
优选的,步骤3中,采用边缘提取算法识别出第一检测区域内的铜芯。
优选的,步骤3中,条件二的判断过程为:采用纹理变换算法对第二检测区域内的图像进行处理,对经过纹理变换算法处理过的第二检测区域内的图像再进行自动阈值分割算法处理,得到胶皮图像,若胶皮图像占据整个第二检测区域或者第二检测区域内没有胶皮图像,则判断不满足条件二,否则满足条件二。
优选的,步骤3中,条件二的判断过程为:采用边缘提取算法识别出第二检测区域内的铜芯,得到铜芯图像,若铜芯图像占据整个第二检测区域或者第二检测区域内没有铜芯图像,则判断不满足条件二,否则满足条件二。
优选的,步骤3中,条件三的判断过程为:将第二图像转换为灰度图,采用固定阈值分割算法得到第三检测区域内的金属图像,计算所述金属图像的面积,若所述金属图像的面积大于或等于预设的面积阈值,则满足条件三,否则不满足条件三。
优选的,所述组装步骤包括如下子步骤:
将多个连接单元依次插装到端子座。
优选的,所述组装步骤包括如下子步骤:
采集待插装的连接单元的第三图像;
对第三图像中的连接单元的电线的胶皮的颜色进行识别;
若所述胶皮的颜色与预设的插装颜色顺序中的对应顺序的颜色匹配,则指令机械控制系统对所述连接单元进行插装,以使所述连接单元插装到端子座,否则,指令机械控制系统丢弃所述连接单元。
本发明具有如下有益效果:
采用机器视技术(即图像处理技术),对电子连接器的整个制造过程进行监测,有效避免某个生产环节出现问题而生产线仍然运作,从而有效降低生产成本、提高生产效率和成品率。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述。
如图1所示,一种基于机器视觉的电子连接器制造过程监测方法,其包括以下步骤:
步骤S1、采集剥皮后的电线所露出的铜芯束的端面的第一图像,识别出所述第一图像中的铜芯的数量,将所述铜芯的数量与预设的铜芯数量值进行比对,若所述铜芯的数量与预设的铜芯数量值相等,则进行步骤S2,否则指令机械控制系统丢弃所述电线。
具体而言,在机械控制系统中,可采用自动剥皮机对电线进行剥皮,使铜芯束外露,然后采用相机对铜芯束的端面进行拍摄,从而采集到第一图像。由于被拍摄的铜芯束的端面不是很平整,同时又是金属,为了使得拍出的图像亮度比较均匀,可采用球积分光源作为照明光源。在采集铜芯束端面图片时,为了突出铜芯束,还可以利用挡光板让入射光尽可能只照射在铜芯束的端面上,从而使得采集的铜芯束图像与背景分明,容易提取处理。
识别出所述第一图像中的铜芯的数量的过程包括如下子步骤:
步骤S101、由于采集的原始的第一图像都会有些噪声,可对第一图像进行去噪处理,然后再对其进行平滑处理,使得后面步骤对铜芯束的分割更容易。去噪处理和平滑处理均可采用邻域平均算法实现。
步骤S102、根据第一图像中的铜芯束的端面的轮廓得到铜芯束大致的图像区域;
步骤S103、在所述图像区域中,采用固定阈值算法将铜芯束图像分割出来,对分割出来的铜芯束图像进行拉伸处理,使得铜芯与铜芯之间的间距拉大,为接下来的分割做准备;
步骤S104、对拉伸处理后的铜芯束图像采用分水岭分割算法对铜芯束图像进行分割,分水岭分割算法,是一种基于拓扑理论的数学形态学的分割方法,其基本思想是把图像看成一副“地形图”,其中亮度比较强的地区像素值较大,而比较暗的地区像素值比较小,通过寻找“汇水盆地”和“分水岭界限”,对图像进行分割。对进行分割后的铜芯束图像的面积进行计算,并根据预设的铜芯单元面积,得到铜芯束图像中铜芯的数量,即将铜芯束图像面积除以铜芯单元面积就可以得到铜芯的数量,因为对于不同类型的电线,铜芯束的数量有所不同(如7芯、19芯、31芯等),铜芯的截面面积也有所不同(如0.12mm等),这些参数在监测前需要预先设置好。
步骤S2、采集电线与连接端子冲压后形成的连接单元的第二图像,将第二图像与预设的模板图像进行比对,以使第二图像中的连接单元与预设的模板图像的连接单元位置匹配。
需要说明的是,当将连接端子冲压到电线的两端后,需要检测连接端子是否冲压到位,可以通过检测几个特定工位来实现(如第一检测区域、第二检测区域和第三检测区域),由于每次冲压后连接端子在相机视野中的位置不同,因此需要重新定位。为此在检测之前首先采用了基于归一化积相关图像匹配算法(NCC)让第二图像与模板图像进行匹配来获得相应的偏转角度和位移量,归一化积相关图像匹配算法(NCC)通常被用做2个图像相似度的测度。NCC的优势是对2幅图像中的照明变化不敏感。为了提高匹配的速度,可先将彩色RGB图像转换为灰度图,然后再进行匹配。
具体的,第二图像与预设的模板图像进行比对以使第二图像中的连接单元与预设的模板图像的连接单元位置匹配的过程包括如下子步骤;
步骤S201、将第二图像转换为灰度图;
步骤S202、采用归一化积相关图像匹配算法使第二图像与模板图像进行匹配得到相应的偏转角和位移量;
步骤S203、根据公式一得到模板图像与第二图像之间的归一化互相关系数;
公式一:
其中,n为像素点个数,m
t为模板图像的像素值均值,m
i为第二图像的像素值均值,
为模板图像的像素值方差,
为第二图像的像素值方差,t(x,y)为模板图像的像素点位置,i(x,y)为第二图像的像素点的位置,score为归一化互相关系数;
步骤S204、根据公式二,采用仿射变换算法使第二图像中的连接单元与预设的模板图像的连接单元位置匹配;
公式二:
其中,(x,y)为原始的第二图像的像素点的位置,
为仿射变换后的第二图像的像素点的位置,dx为水平方向上的位移量,dy为垂直方向上的位移量,θ为偏转角。
由于在创建模板图像的时候已经明确模板图像中需要检测的区域位置,因此第二图像中连接端子的检测位置也就确定了。位置匹配结束之后,针对不同的检测区域采用不同的检测方法。
步骤S3、根据在模板图像预设的第一检测区域、第二检测区域以及第三检测区域对第二图像进行检测,若同时满足条件一、条件二和条件三,则进行组装步骤,否则指令机械控制系统丢弃所述连接单元。
条件一:铜芯位于第一检测区域内。在第一检测区域中,需要检测第一检测区域内的铜芯是否过长或过短,这两种情况都是不允许的。由于铜芯之间往往有些缝隙,这些缝隙入射光很难从中反射出来,而铜芯是金属材质的,对光的反射能力比较强,因此在图像中表现出来的是黑白相间的条纹。针对这个特点,可采用边缘提取算法来提取方向与铜芯方向一致的边缘,由于边缘与铜芯之间有对应关系,因此可以通过提取到的边缘来判断铜芯是否过长或过短(若铜芯超过第一检测区域的左边界则铜芯过长,若第一检测区域内没有铜芯,则铜芯过短)。提取边缘算法很多,例如Roberts算子: Sobel算子: 等,与它们相比Canny运用严格的数学方法对此问题进行了分析,推导出由4个指数函数线性组合形式的最佳边缘提取算子网,其算法的实质是用一个准高斯函数作平滑运算,然后以带方向的一阶微分定位导数最大值,Canny算子边缘检测是一种比较实用的边缘检测算子,具有很好的边缘检测性能。Canny边缘检测法利用高斯函数的一阶微分,它能在噪声抑制和边缘检测之间取得较好的平衡。本实施例可采用Canny算子提取边缘。
条件二:第二检测区域内均具有铜芯和所述电线的胶皮。在第二检测区域中主要检测胶皮是否过长或过短,有两种方法可以选择。第一种方法是提取胶皮区域,进而判断胶皮是否过长或过短(若胶皮超过左边界则过长,若没有胶皮则过短)。由于胶皮与铜芯的最大差异就是纹理不同,因此可以通过纹理变换算法使他们之间的灰度差异拉大,接着通过垂直方向上的平均操作即可将胶皮与铜芯分开,通过自动阈值算法即可提取胶皮区域。第二种方法是通过铜芯来判断胶皮是否过长或过短。若在第二检测区域内没有检测到铜芯则说明胶皮过长,若铜芯占据了整个第二检测区域则说明没有胶皮或胶皮过短。检测铜芯的方法与之前一样,也是采用边缘提取的方法。
具体的,条件二的第一种方法的判断过程为:采用纹理变换算法对第二检测区域内的图像进行处理,对经过纹理变换算法处理过的第二检测区域内的图像再进行自动阈值分割算法处理,得到胶皮图像,若胶皮图像占据整个第二检测区域或者第二检测区域内没有胶皮图像,则判断不满足条件二,否则满足条件二。
条件二的第二种方法的判断过程为:采用边缘提取算法识别出第二检测区域内的铜芯,得到铜芯图像,若铜芯图像占据整个第二检测区域或者第二检测区域内没有铜芯图像,则判断不满足条件二,否则满足条件二。
条件三:第三检测区域内具有金属,且金属的面积大于或等于预设的面积阈值。第三检测区域的检测相对简单一些,只需要在该区域检测是否有金属,并通过金属的面积判断连接端子是否将胶皮包好。由于金属相对于胶皮来说比较明亮,因此可以将彩色图像转换成灰度图像,通过固定阈值提取即可。
具体的,条件三的判断过程为:将第二图像转换为灰度图,采用固定阈值分割算法得到第三检测区域内的金属图像,计算所述金属图像的面积,若所述金属图像的面积大于或等于预设的面积阈值,则满足条件三,否则不满足条件三。
需要说明的是,连接端子的结构一般是由插接部、压着部和包胶部依次连接构成,插接部用于与端子座插装,压着部用于固定铜芯束,包胶部用于夹持固定胶皮。因此,第一检测区域为连接端子的压着位与插接位之间的区域;第二检测区域为连接端子的压着位与包胶位之间的区域;第三检测区域为连接端子的包胶位区域。
步骤S4(即组装步骤)、若对组装顺序没有要求,则将多个连接单元依次插装到端子座上即可。
若对组装顺序有要求,则还需要在插装前识别出电线的颜色,从而判断插装顺序是否符合预设要求。
具体包括如下子步骤:
采集待插装的连接单元的第三图像;
对第三图像中的连接单元的电线的胶皮的颜色进行识别;
若所述胶皮的颜色与预设的插装颜色顺序中的对应顺序的颜色匹配,则指令机械控制系统对所述连接单元进行插装,以使所述连接单元插装到端子座,否则,指令机械控制系统丢弃所述连接单元。例如:第一个待插装的连接单元的颜色为红色,插装颜色顺序为红灰绿黄,则第一个待插装的连接单元符合要求,第一个插装完后,继续拍摄并判断第二个待插装的连接单元的颜色,若为绿色,则不符合要求,将其丢弃,直到判断到符合颜色要求的待插装的连接单元,如此类推。
本实施例采用了多层感知器的神经网络进行颜色分类。神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。神经网络是一种运算模型,由大量的节点(或称神经元)和之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
首先构建一个三层的神经网络,输入节点有三个,分别为颜色的RGB三分量,隐含节点可预设为20个,输出节点数目为所有颜色的种数,输出结果为颜色的编号。
然后通过一定数量的样本学习得出一个理想的神经网络用于接下来的颜色识别。学习是神经网络研究的一个重要内容,它的适应性是通过学习实现的。根据环境的变化,对权值进行调整,改善系统的行为。有效的学习算法,使得神经网络能够通过连接权值的调整,构造客观世界的内在表示,形成具有特色的信息处理方法,信息存储和处理体现在网络的连接中。根据学习环境不同,神经网络的学习方式可分为监督学习和非监督学习。在这里本项目采用监督学习方式,在监督学习中,将训练样本的数据加到网络输入端,同时将相应的期望输出与网络输出相比较,得到误差信号,以此控制权值连接强度的调整,经多次训练后收敛到一个确定的权值。当样本情况发生变化时,经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。
本实施例可有效避对电子连接器生产过程中出现的电线剥皮不良和连接端子冲压不到位等质量缺陷。综合考虑了现有的所有型号的产品,分析它们的共性与特性,针对具体的检测对象,设计了合理的特征提取方法和模式判别算法,系统通用性好。
对于本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及变形,而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。