CN104034637A - 基于机器视觉的金刚线颗粒在线质检装置 - Google Patents

Abstract

本发明公开一种基于机器视觉的金刚线颗粒在线质检装置，所述质检装置包括滑块沿金刚线轴向方向移动的单轴机械臂，滑块上设有光学位移台，光学位移台上设有相互配合用于拍摄金刚线的显微镜头与摄像机；工作站，摄像机、控制单轴机械臂的PLC、数据库服务器与处理金刚线图像的工作站分别构成数据交换网络；利用机械臂与金刚线的同向运动减少摄像机与金刚线的相对速度差从而提高图像的清晰度，使用工作站对采集后的图像进行处理分析得到金刚线颗粒的统计数据，金刚线运动时就可以完成图像的采集与处理，实现在线质检，检测速度快，整个质检过程自动完成。

Description

基于机器视觉的金刚线颗粒在线质检装置

技术领域

本发明涉及切割线的检测领域，具体是一种基于机器视觉的金刚线颗粒在线质检装置。

背景技术

晶体硅是太阳能光伏产业、半导体产业的重要原材料，由于晶体硅是典型的硬脆性材料，目前采用金刚石线切割机对晶体硅进行切割，利用它切割晶体硅具有速度快，成本低，且环保的优点，而金刚石线切割机的主要工作部件是一根通过电镀在其表面固结了金刚石颗粒的切割钢丝，即为金刚线。切割晶体硅时，金刚线质量直接影响切割出的硅片的质量和生产效率，金刚线的生产过程中需要对其质量进行严格的监控，而决定金刚线质量的最重要的参数是固结在其表面不同粒度的金刚石颗粒的数量，传统的金刚线质检方法是采用离线检测的方式，将生产出的产品置于高倍显微摄像机下拍成照片，再经人工或计算机辅助分析获取金刚线的质量参数；这种方法的检测速度慢，检测过程不易控制。

发明内容

本发明的目的在于提供一种基于机器视觉的金刚线颗粒在线质检装置，该装置能够对金刚线颗粒进行在线质检，检测速度快，实现自动化控制检测。

本发明解决其技术问题所采用的技术方案是：

基于机器视觉的金刚线颗粒在线质检装置，包括滑块沿金刚线轴向方向移动的单轴机械臂，滑块上设有光学位移台，光学位移台上设有相互配合用于拍摄金刚线的显微镜头与摄像机，光学位移台上还设有对金刚线照明的LED灯；所述质检装置还包括交换机、控制单轴机械臂的PLC、存储金刚线数据的数据库服务器与处理金刚线图像的工作站，PLC、数据库服务器与工作站分别与交换机相连构成数据交换网络。

进一步的，所述LED灯采用可调节亮度的LED灯，质检装置包含用于调节LED灯亮度的模拟电流控制器。

进一步的，所述质检装置还包括用于摄像机标定的标定板，标定板竖直设置并通过固定杆与光学位移台固定连接；标定板的板面设有用于穿设金刚线的线槽，标定板板体沿竖直方向设有用于放置测微尺的尺槽，标定板的板面沿测微尺的侧边设有调节测微尺位置的调节螺栓。

进一步的，所述单轴机械臂采用TL 135-L10-S350-BD-P200。

进一步的，所述显微镜头采用MORITEX ML-Z07545。

进一步的，所述摄像机采用Point Grey FL3-GE-20S4M-C。

进一步的，所述LED灯采用 OPT-LS82-W，所述模拟电流控制器采用OPT-APA0824-4。

本发明的有益效果是，设置滑块能够沿金刚线轴线方向移动的单轴机械臂，利用机械臂与金刚线的同向运动减少摄像机与金刚线的相对速度差从而提高图像的清晰度，使用工作站对采集后的图像进行处理分析得到金刚线颗粒的统计数据，金刚线运动时就可以完成图像的采集与处理，实现在线质检，检测速度快，整个质检过程自动完成。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1是本发明的结构示意图；

图2是图1中单轴机械臂、摄像机、显微镜头与摄像机标定板的放大装配示意图；

图3是图1中标定板的放大示意图；

图4是本发明中工作台图像处理的流程图；

图5是10×10大小的二值化图像；

图6是图5的游程码表；

图7是建立图6游程码表的流程图。

具体实施方式

结合图1与图2所示，本发明提供的一种基于机器视觉的金刚线颗粒在线质检装置，包括滑块2沿金刚线4轴向方向移动的单轴机械臂1，滑块1上设有光学位移台3，本实施例的单轴机械臂1可采用CCTL公司的TL 135-L10-S350-BD-P200，其最高运动速度为0.5m/s，重复定位精度±0.02mm；光学位移台3上设有相互配合用于拍摄金刚线4的显微镜头7与摄像机6，通过光学位移台3可以对摄像机进行轴向与径向的调整，由于被检测对象金刚线及其上固结的颗粒几何尺寸很小，其中金刚线外径范围为0.10～0.50mm, 颗粒粒径范围为10～60μm，所以采用短焦距、大孔径、小视场的显微镜头7对金刚线成像，本实施例采用Moritex公司的手动变焦镜头ML-Z07545，使用时可根据具体检测的金刚线外径手动调整镜头放大倍数使视野中的金刚线上的颗粒易于辨识且数目合理；光学位移台3上还设有对金刚线照明的第一LED灯8与第二LED灯9，本实施例中采用OPT-LS82-W，能够形成高强度条形光源，采用前向照明能够保证照射金钢线上的颗粒；第一LED灯8与第二LED灯9还分别电连接有模拟电流控制器10，通过模拟电流控制器10实现对光源亮度的无级调节，也可以根据需要使用一个或是同时使用两个LED灯，本实施例中模拟电流控制器采用OPT-APA0824-4；所述质检装置还包括交换机15、控制单轴机械臂1的PLC13、存储金刚线数据的数据库服务器17与处理金刚线图像的工作站16，摄像机6、PLC13、数据库服务器17与工作站16分别与交换机15相连构成数据交换网络；本实施例中，PLC13可采用Simenis S7-200 CPU226，配装S7-200系列扩展以太网功能的EM-243模块；交换机15采用BL-SG108，支持千兆速率数据传输，提供8个以太网接口，可以满足本装置的要求；PLC13还电连接伺服驱动器14，伺服驱动器14与单轴机械臂1的伺服电机11相连用于驱动伺服电机11，伺服电机11的速度传感器12与PLC13的输入接口相连向PLC13反馈单轴机械臂的速度；由于单轴机械臂的驱动电机为Panasonic公司生产的MSMD022G1U伺服电机，故本实施例中伺服驱动器14选用Panasonic公司生产的伺服驱动器MADKT1507CA1。

结合图3所示，由于需要确定所拍摄的金刚线图像和实际的金刚线颗粒之间的几何关系，才能从获取图像坐标系下确定金刚线颗粒的尺寸，所以需要对摄像机进行标定；所述质检装置还包括用于摄像机标定的标定板18，标定板18竖直设置并通过固定杆23与滑块2固定连接；标定板18的朝向摄像机的板面设有用于穿设金刚线4的线槽19，标定板18的板体沿竖直方向设有用于放置测微尺21的尺槽20，标定板18的板面沿测微尺21侧边的设有调节测微尺21位置的调节螺栓22；在标定时，根据生产线上金刚线的参数调整镜头参数后，先将测微尺放入尺槽20内，使其与摄像机成像面平行，标定板18位置也是金刚线穿过的位置，因此可以保证生产过程中工作距离D_O基本保持不变，在拍摄到的测微尺上选定测微尺上的两个参考点A与B，图像中A’、 B’间以像素表示的距离为：

式中 为 A与B在世界坐标系下的距离， 为A与B在摄像机坐标系下的距离， D_O为工作距离，F为待标定系数，δ为图像传感器像元的大小，f为焦距，由于δ为常量，当f与D_O为定值时图像中的像素距离与世界坐标下的距离成线性关系，所以在标定前调整焦距f及工作距离D_O使采集的图像清晰，工作过程中只需保持f与D_O基本不变即可计算出F，利用F可在颗粒统计分析时根据像素单位表示的连通区域大小计算实际颗粒的大小；测微尺放置在齿槽中，不易损坏破裂，使用调节螺栓22可以方便地调整测微尺的位置，使用方便。

使用时，数据库服务器17将生产线上正在生产的金刚线数据信息通过交换机15发送给工作站16，工作站16根据金刚线的信息将控制指令发送给PLC13，PLC13根据收到的指令控制单轴机械臂1工作，使伺服电机11驱动滑块2沿金刚线4轴向方向移动，通过速度传感器12的反馈实现闭合控制，使滑块2的速度与金刚线4的速度保持同步，从而使光学位移台3带动其上的显微镜头7、摄像机6与LED灯移动，实现对金刚线图像的在线采集；摄像机6将拍摄的金刚线原始图像通过交换机15发送给工作站16，由工作站16对金刚线原始图像进行处理。

结合图4所示，工作站16图像处理的方法包含以下步骤：

a)工作站16采集所述摄像机6拍摄的金刚线原始图像，摄像机6采用GigE接口，通过交换机15与工作站16形成以太网互联，摄像机6将拍摄的金刚线原始图像发送给工作站16；

b)对金刚线原始图像进行RIO裁剪，RIO（Region of Interest）即兴趣区域，是图像中包含有用信息的部分，由于原始金刚线图像中有大面积不包含金刚线信息的区域，该区域的存在会增加后续图像分析的运算量，保存图像时，该区域也会增加硬盘空间，该区域可以通过计算从原始图像中裁剪出来，只保留包含金刚线信息的图像，将不包含金刚线信息的图像区域删除；

设图像大小为M×N,位于图像中的(i,j)处像素的灰度值为Ii,j，则

式中 Mean_i为图像第i行像素的平均灰度值，i∈[0,M-1]，j∈[0,N-1]；由于曝光时间极短，图像中的背景呈现全黑画面，而ROI中因为有目标物的反射作用，导致ROI中的行平均灰度值较大，ROI中的行平均灰度值明显高于背景区域，因此可以根据Mean_i确定ROI的位置；

c)对RIO裁剪后的图像进行滤波处理，去除图像的噪声；实际成像系统不可避免的都会受到外界的干扰而产生图像噪声降低图像质量，因此在对图像进行后续处理和分析之前需要部分的滤除噪声以减少其不利影响；由于噪声具有随机性，可使用一般随机噪声的消除方法予以抑制，本实施例中采用高斯滤波器，高斯滤波器是根据高斯函数的形状确定模板系数的线性平滑滤波器，二维高斯滤波模板中(x,y)处的滤波系数取值如下：

式中 σ为高斯分布参数，决定了高斯函数的平滑程度；高斯滤波能够在去除噪声的同时保留图像的轮廓；

d)对滤波后的图像进行二值化分割，二值化图像的过程就是突出图像中被检测颗粒的过程；二值化图像的常用手段是阈值法，即通过确定一个合适的灰度阈值Tb，将图像中所有像素按灰度值分为灰度大于Tb和灰度小于Tb的两部分，分别用来表示目标和背景，对于256级灰度图像，该过程可表示为：

式中 I_i,j——M×N的原图像的第(i,j)个元素；

I′_i,j——二值化图像中的第(i,j)个元素，i∈[0,M-1] ，j∈[0,N-1]；

阈值法分割灰度图像的难点在于阈值Tb的选取，目前通常有最大熵法、最大类间方差法与最小误差分率法； 使用最大熵法分割可以尽可能的保留更多信息，但容易将浅色的金钢丝图像作为有用信息而保留下来，最小误差法容易将噪声点作为目标保留下来，而最大类间方差法根据目标与背景之间的差别最大选取的阈值能较好的将目标颗粒从复杂背景中分割出来，故本实施例选用最大类间方差法将金刚线颗粒从背景图像中分割出来；

e) 采用形态学闭合运算对二值分割后的图像进行优化处理；

由于实际环境中存在的光照不均匀性以及颗粒不规则可能导致二值化图像中存在以下几种缺陷：

（1）孔洞，孔洞是由于颗粒不规则导致颗粒图像灰度不均匀产生的，孔洞的存在会使基于面积的粒径计算结果偏小；

（2）割断，对于“团聚”、粘结的颗粒之间的凹槽会出现暗缝，经过二值化后粘结颗粒会从暗缝处断开导致“团聚”判断失败；

（3）缩小，由于阴影的存在，并且颗粒反射面不平整，二值化后的图像中颗粒的面积会小于其实际面积；

上述三种缺陷均可以通过图像处理的形态学运算方法进行修正，本实施例采用闭合运算；

设I和S是整数空间的集合，其中I为图像区域集合，S为具有原点的结构元素，则S对I的闭合运算定义为：

由上式可知，利用闭合运算可以填充物体的孔洞，连接相近的物体，同时平滑物体的边界而不明显改变他们的面积，从而消除二值分割后图像的孔洞、割断与缩小缺陷；

f)采用基于游程码表搜索的连通区域标记法统计优化后图像的金刚线颗粒；颗粒统计是对ROI中的颗粒进行计数和分类的过程，二值化ROI中，每个连通区域表示一个目标颗粒，连通区域的大小与实际的颗粒大小成正比关系，因此只要对连通区域进行标记和分类即可；由于基于像素的连通区域标记法需要多次扫描图像以唯一确定目标对象的标记，费时较多，在时间要求严格的场合可能达不到实时性要求，所以本实施例中采用基于游程码的连通区域标记法，该方法是以游程码为单位对连通区域进行标记的方法，只需要一次快速扫描整幅图像以获取图像中的游程码信息，然后通过操作游程码减少对像素的操作从而提高标记效率；首先扫描二值化ROI图像并建立二值图像的另一种表示方法——游程码表，该表可完全反映二值图像中的目标连通区域与背景关系，因此只需对游程码表中的游程码进行标记即可实现对目标连通区域的标记；由于每个游程码中至少有一个像素，已滤除噪声的实际图像中除少数角点情况外，大部分游程码是由一段连续的目标像素组成，从而使构成连通区域的游程码数量远远小于连通区域包含的像素的数量，即可使用数量较少的游程码表达需要大量像素点表达的连通区域；同时，对于二值图像，游程码表中不需记录图像背景，搜索连通区域时可减少不必要的对背景像素的连通判断，一个连通区域的所有连通游程码一次被标记出并赋予一个唯一的标记号，不产生标记冲突，因此不需要建立等价表，也无需进行标号回传等修改标记号的操作，算法实现简单。

结合图5所示，以一幅简化的10×10大小的二值化图像为例，其中白色表示待标记的连通区域，黑色表示背景区域，根据本课题提出的算法，首先为图像的每一行分配存储该行游程码的存储空间，由于每行的游程码数目不确定，为节约存储空间，具体实现中可采用动态内存分配方式存储每一像素行中所有的游程码信息。再对该图像从左到右、从上到下的逐像素扫描，将每一行的每条游程码信息保存到为该行分配的存储空间中。一条游程码的存储格式如下：

RunLenth(start,end,blabeled,label,dir,length)，

其中：start为该游程码的起始点位置；end为该游程码的终点位置；blabeled为TRUE时表示该游程码已被标记，为FALSE时表示该游程码未被标记；label为游程码的标记号；dir为搜索方向，dir=UP表示需要在此游程码上一行搜索连通的游程码，dir=DOWN表示需要在此游程码的下一行搜索连通的游程码，length为游程码长度，可用于计算游程码面积：；

经过首次也是本算法中的唯一一次逐像素扫描之后可以获得如图6所示的一幅存储了像素中每一行中所有游程码信息的表——游程码表，该表的每一行记录了与原图像对应的像素行的所有游程码信息；该表保存了原二值图像中的所有信息，根据此表亦可完整复原原图像，此表结构相比于原二值图像大幅简化，建立游程码表的程序流程如图7所示，建立有成码表后搜索连通域、标记过程以及连通区域分类仅需要在此表中进行，通过建立游程码表并在其中搜索 “邻接游程码”可大幅减少搜索次数从而降低算法的总执行时间。

搜索产生的游程码表并标记连通区域的过程如下：

（1）取第i（0≤i≤M，M为图像高度）个像素行的游程码记录，若该行记录为空，说明该行无目标连通区域则直接跳至下一行搜索；若记录不为空，则依次取出每一个游程码；

（2）对第i行的第j（0≤j≤sum，sum第i行游程码总数）个游程码，如果blabeled成员为TRUE，则跳过此游程码取第j+1个游程码继续判断；如果blabeled成员为FALSE，则给label成员赋予标记号nlabel（初始值为0），将其length成员赋予记录连通区域面积的变量Area，并将该游程码添加到一个存储待搜索游程码的链表结构中，执行步骤（3）；

（3）检查待搜索游程码链表，如果待搜索游程码链表不为空，从中取出最后添加的游程码作为当前搜索游程码,执行步骤4；如果待搜索游程码链表已空，表明一个目标对象的搜索结束，根据此时Area值计算目标连通区域按面积等效的圆的直径D，并以此增加相关颗粒类别的计数值。然后给nlabel加1，并返回步骤（2）执行；

（4）根据当前游程码的dir成员决定搜索行：dir=UP时搜索当前游程码的上一行中的连通游程码，dir=DOWN时搜索当前游程码的下一行中的连通游程码。每搜索到一个连通且未标记的游程码，赋予其label成员nlabel，置其blabeled成员为TRUE，将其length成员累加至Area变量，并将其添加到待搜索链表的末尾，返回步骤（3）执行。如果当前游程码的上一行和下一行中都没有搜索到连通且未标记的游程码，则从待搜索游程码链表中删除当前游程码，并返回步骤（3）执行。搜索完一幅图像的游程码表之后，各连通区域所覆盖的游程码都已被赋予标识其所属区域的的标记号，同时在标记的过程中已完成目标连通区域的分类。图像中的连通区域的个数可由标记最后一个目标对象时的nlabel确定。

为减少金刚线运动产生的模糊图像应尽可能减少摄像机的曝光时间，但在曝光时间极短的条件下图像传感器的曝光量降低，导致采集的图像整体变暗，其对比度过低，使用户在工作站上看到的图像不清晰，因而在工作站16处理图像步骤d)的同时，采用直方图均衡法对RIO裁剪后的图像进行对比度增强处理，通过直方图均衡化可将集中于低灰度区域的直方图分布扩展至整个灰度级从而增加整体的亮度，将对比度增强处理后的图像用于阅读显示。

工作站16处理完图像后，将图像信息通过交换机15发送至数据库服务器17，数据库服务器17采用SQL Server对图像信息进行存储归档，方便用户调阅。

利用机械臂与金刚线的同向运动减少摄像机与金刚线的相对速度差从而提高图像的清晰度，使用工作站对采集后的图像进行处理分析得到金刚线颗粒的统计数据，金刚线运动时就可以完成图像的采集与处理，实现在线质检，检测速度快，整个质检过程自动完成。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同替换、等效变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (7)

1.基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述质检装置包括滑块(2)沿金刚线(4)轴向方向移动的单轴机械臂(1)，滑块(2)上设有光学位移台(3)，光学位移台(3)上设有相互配合用于拍摄金刚线的显微镜头(7)与摄像机(6)，光学位移台(3)上还设有对金刚线照明的LED灯；所述质检装置还包括交换机(15)、控制单轴机械臂的PLC(13)、存储金刚线数据的数据库服务器(17)与处理金刚线图像的工作站(16)，摄像机(6)、PLC(13)、数据库服务器(17)及工作站(16)分别与交换机(15)相连构成数据交换网络。

2.根据权利要求1所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述LED灯采用可调节亮度的LED灯，质检装置包含用于调节LED灯亮度的模拟电流控制器(10)。

3.根据权利要求1或2所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述质检装置还包括用于摄像机标定的标定板(18)，标定板(18)竖直设置并通过固定杆(23)与滑块(2)固定连接；标定板(18)的板面设有用于穿设金刚线的线槽(19)，标定板(18)的板体沿竖直方向设有用于放置测微尺(21)的尺槽(20)，标定板(18)的板面沿测微尺(21)的侧边设有调节测微尺(21)位置的调节螺栓(22)。

4.根据权利要求1所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述单轴机械臂采用TL 135-L10-S350-BD-P200。

5.根据权利要求1所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述显微镜头采用MORITEX ML-Z07545。

6.根据权利要求1所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述摄像机采用Point Grey FL3-GE-20S4M-C。

7.根据权利要求2所述的基于机器视觉的金刚线颗粒在线质检装置，其特征在于，所述LED灯采用 OPT-LS82-W，所述模拟电流控制器采用OPT-APA0824-4。