CN107470170A

CN107470170A - 基于机器视觉的pcb检测分拣系统及方法

Info

Publication number: CN107470170A
Application number: CN201710569768.4A
Authority: CN
Inventors: 王素娟; 屠子美; 沈知玮; 严学井
Original assignee: Shanghai Polytechnic University
Current assignee: Shanghai Polytechnic University
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2017-12-15
Anticipated expiration: 2037-07-13
Also published as: CN107470170B

Abstract

本发明公开了一种基于机器视觉的PCB检测分拣系统及方法。本发明系统包括机器视觉检测装置、机器人分拣装置和流水线控制装置；所述机器视觉检测装置包括智能相机，智能相机内设置微处理器；机器人分拣装置由工业机器人、真空气泵、气嘴和电子阀门组成，工业机器人和机器视觉检测装置中的智能相机相连实现通信，所述流水线控制装置由PLC控制器、限位开关和流水线组成，PLC控制器分别和机械视觉检测装置中的智能相机、机器人分拣装置中的工业机器人相连形成通信，PLC控制器根据工业机器人和智能相机给出的信号，控制流水线的移动，流水线运送PCB从检测工位到分拣工位。本发明节约了人工成本、提升了检测分拣效率和质量。

Description

基于机器视觉的PCB检测分拣系统及方法

技术领域

本发明属于PCB检测技术领域，具体的说，涉及一种基于机器视觉的PCB检测分拣系统及方法。

背景技术

基于机器视觉的PCB检测分拣系统是一套实用价值高、现实意义广的系统，其利用机器视觉的图像处理和模式识别技术实现PCB的智能检测及分拣，其能够读码溯源、检测PCB的缺陷，如：是否有缺件、错件（R、C和L）、测量排针是否弯曲、焊脚是否规整等，并且按分类分拣到不同的位置。该系统有检测速度快、定位精度高、实用性强等优点，可应用于PCB检测、分拣等流水线作业的工程领域。现有的许多工厂依然采用人工检测或者视觉检测速度慢和不具有自动分拣功能；也有许多算法只能检测一块PCB的一部分，要检测整块PCB耗时较长，程序执行较慢；有些程序的交互性不强，只能针对一种PCB做检测，并且不能根据实际情况更改检测区域和参数；有些系统检测和分拣是在同一个工位进行，影响工作的效率；还有些PCB检测不会按照不同缺陷来分类存放。

发明内容

为克服上述现有方法的缺陷，本发明提供了一种基于机器视觉的PCB检测分拣系统及方法。本发明方法可快速、准确而可靠地检测及分拣PCB，提高PCB检测效率和正确率，减少人工操作易出错的现象。

本发明中，通过机器视觉技术来检测PCB表面的缺陷，首先使用到的是软件配准，软件配准用到的是模板匹配的原理，在PCB上选取唯一且明显的特征作为模板匹配的对象，在程序设置的工具中选中这一块并加以训练，使计算机记住该模板，在下次PCB来的时候在ROI区域中再次匹配该模板，假设匹配成功能够找到相似的模板，就会给出一个模板相似度评分，评分到达所设阈值那么就用该模板的中心点作为原点坐标。否则，就是匹配失败PCB，模板匹配失败会被分拣。计算坐标值指的就是模板匹配后，模板的中心点作为坐标原点和机器人互相标定后，机器人的实际坐标就与相机的统一了。角度亦是如此，模板匹配后会有一个以模板的中心点形成的新坐标，这个角度与原来的角度的差值就是偏移角度。软件配准可以计算PCB的坐标值和偏转角度，放置PCB的时候放在指定区域即可，不需要再进行调整配准；能减少硬件配准所需要花费的时间和成本；PLC控制器的上位机上根据不同的PCB表面缺陷的情况，用户可自行编辑ROI和检测参数，从而使本检测流程广泛适用于多种PCB；机器人会按照不同的缺陷类型分拣，计算所得的坐标和角度会帮助机器人在不同的工位吸取到PCB放置到指定位置。免去人的工作量，按照不同的缺陷类型分拣也可以方便以后的加工或回收。

本发明的具体技术方案介绍如下。

本发明提供一种基于机器视觉的PCB检测分拣系统，其包括机器视觉检测装置、机

器人分拣装置和流水线控制装置；所述机器视觉检测装置包括智能相机，智能相机内设置微处理器；所述机器人分拣装置由工业机器人、真空气泵、气嘴和电子阀门组成，工业机器人和机器视觉检测装置中的智能相机相连实现通信，工业机器人根据智能相机传输过来的坐标、角度和分拣位信息将PCB分拣到指定分拣位置，真空气泵末端连接气嘴，气嘴安装在工业机器人的机械臂上，气嘴吸取PCB，电子阀门接收智能相机的I/O信号控制真空气泵吸放；所述流水线控制装置由PLC控制器、限位开关和流水线组成，PLC控制器分别和机器视觉检测装置中的智能相机、机器人分拣装置中的工业机器人相连形成通信，PLC控制器根据工业机器人和智能相机给出的信号，控制流水线的移动，流水线运送PCB从智能相机工位到工业机器人工位，即从检测工位到分拣工位，流水线上安装限位开关，限位开关给PLC控制器发送启停流水线的信号。

本发明中，机器视觉检测装置中还设置光源，光源设置在PCB和智能相机之间。其用于让智能相机采用到高对比度、高质量的图像；还设置电源，用于给智能相机和光源供电。

本发明中，PCB和智能相机设置在支架上。

本发明中，智能相机和工业机器人的工位上分别设置一限位开关。

本发明中，智能相机内的微处理器用于采集图像，并对图像进行处理。

本发明中，所述的机器人分拣，用户能够按照PCB的不同缺陷情况进行分拣，可以设置多个分拣工位，使PCB分拣细化；

本发明还提供一种上述基于机器视觉的PCB检测分拣系统的方法，具体步骤如下

（1）测量工业机器人工位与智能相机工位的偏移量，将机器人和智能相机标定至同一个坐标系下；放置PCB到流水线上，PLC控制器的上位机发送触发信号，智能相机拍照，采集图像；图像缩放后，通过模板匹配法对PCB实现定位，配准，计算出PCB的坐标和角度信息；

（2）智能相机读取PCB的二维码溯源，根据视觉检测流程对PCB进行检测；

（3）检测完成之后，智能相机发送PCB的坐标和角度信息给工业机器人，同时发送信号给PLC控制器运送PCB至下一个工位；

（4）工业机器人按照智能相机发送的PCB的坐标和角度信息进行吸取；

（5）工业机器人按照视觉检测流程中智能相机传输的分拣指令来分拣PCB到指定位置；

（6）PLC控制器的上位机显示检测结果，记录结果；其中：所述视觉检测的流程如下：

①PCB的二维码溯源与系统中预设的二维码吻合，如果是，则判断芯片是否在PCB上，如果是，转检测芯片的焊脚规整程度，否则对焊脚使用边缘增强算法后，检测焊脚规整程度；

②找到pin针位置，计算与原点的距离，判断是否弯曲；

③焊脚和pin针的检测结果合格，则转对图像进行中值滤波，否则发送分拣指令；

④检测电阻R是否有缺漏件，检测电容C是否有缺漏件，检测二极管L是否有缺漏件；

⑤所有检测项目合格，则发送分拣指令，产品完全合格；否则发送分拣指令，产品含有缺陷。

本发明中，步骤（1）中，图像缩放，在标定的情况下图像缩放后不会影响坐标值，但是会提高程序运行的速度。使用模板匹配法进行软件配准，在PCB图中寻找唯一且明显的特征，以此特征建立新的坐标；标定后相机与机器人的坐标精度达到10^-3厘米，图像检测精度能够达到10^-2厘米，使用软件配准的方式会自动找到各个检测的项目，省去了使用硬件配准的时间和成本。

本发明中，步骤（1）中，PCB放置到到流水线上，将PCB放到指定的支架上，角度和位置不用考虑，只要在智能相机的视野中即可。

本发明中，步骤（3）中，PCB的坐标、角度信息由智能相机传输到机器人，此时需要加上一个偏移量；视觉检测流程的运行时间约为60ms。

与现有技术相比，本发明的有益效果在于：

1、通过软件配准，减少硬件配准的成本和系统运行时间。

2、使用流水线使检测和分拣处于不同工位加快生产检测效率。

3、通过该算法程序能够提高PCB表面检测的效率和成功率。

4、对于不同缺陷有不同的提高PCB生产中找到不足，回收中按照种类回收提高利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统结构框图。

图2为检测方式程序流程图。

图3系统结果框图。

图中数字和字母所表示的相应部件名称：

10-智能相机； 20-工业机器人； 30-光源； 70-真空气泵；80-PLC控制器；90，110限位开关；100-流水线；120支架，130、分拣位置。

具体实施方式

以下结合附图和实施例对本发明作进一步详细描述，但本实施例并不用于限制本发明。

参见图1所示，本发明公开了一种基于机器视觉的PCB检测分拣系统，包括智能相机10、工业机器人20、光源30、支架120、路由器、PC机以及电源，真空气泵70， PLC控制器80，限位开关90、110和流水线100。

智能相机10内置微处理器，用于采集图像，完成图像的处理，并且能通过串口与工业机器人20实现通信；智能相机10与工业机器人20通信的数据有传送XY坐标、角度值、分拣位、控制气嘴的I/O指令；智能相机10上的光学镜头要配合物距和视野需要，用于配合智能相机获得高质量的图像，控制视野范围和进光量。

工业机器人20与智能相机10互相通信，用于将PCB搬运到指定分拣位置130；智能相机10通过串口将坐标和分拣判断发送给工业机器人20；工业机器人20按照接收到的坐标到指定位置吸取PCB，工业机器人20采用机器视觉高精度定位方法保证检测的准确性，智能相机10与工业机器人20标定后使用机器人的坐标值，即真实坐标，能够检测PCB的实际尺寸参数；PCB只要能够放在指定的区域内即可，有角度的偏转不影响检测；智能相机10会传输给工业机器人20指定抓取位置的坐标，使得PCB每次的摆放不需要过于精确，工业机器人20都可以通过坐标来抓取；PCB抓取后的摆放角度会在工业机器人10搬运的过程中有微调，会调整成为统一的角度摆放到分拣位置130，工业机器人10坐标精度达到0.001mm，图像处理精度达到0.01mm。

工业机器人20的机械臂六轴上需要安装一个气嘴，用于吸取PCB，气嘴的线由真空气泵70引出经过电子阀门来控制是否吸取；需要吸取时，电子阀门接收到信号后打开真空气泵70开始抽气；不需要吸取时，经过电子阀门的控制停止吸取。

光源30起到辅助作用，用于让智能相机10采用到高对比度、高质量的图像；光源30为白色LED光源，由于普通PCB表面是绿色且容易反光，使用常见的红光和蓝光会将表面颜色普遍打暗，对比度效果不好，采用到的是外直径为350mm的环形光源相当于是对PCB的一种垂直打光，避免反光现象影像图像质量。

支架120用于固定智能相机10、光源30以及放置PCB，在标定之后整套系统的坐标都统一到机器人坐标上（可能需要加偏移量），要保证互相的位置不再有相对的移动；放置PCB的支架120只需要指定一个范围即可，并不需要完全固定死PCB放置的位置；由于采用软件配准的方式，既可以省去硬件配准的成本，也可以省下系统进行的时间。

路由器接口大于三个，用于连接智能相机10、工业机器人20以及PC机，（PC机在这边指的就是上位机。即上文中提到的，该上位机装载有各种软件分别能够看见PLC，智能相机和工业机器人的运行，通过路由器可以简便切换监视对象。）方便监视运行流程和结果。

PC机与路由器连接，用于编辑图像和运行工业机器人；PC机（即上位机）内置Impact软件和Robot Studio，经过编程用户显示界面能够选择要显示的ROI区域、调整排针距离公差值、拖动编辑ROI区域显示和检测结果等功能；在运行检测中，主要是CPM显示检测结果，用户可以在PC机选择需要显示的结果、更改参数、显示检测结果等。

电源60用于为智能相机10和光源30供电，本发明系统还包括一接线盒，接线盒能够扩展开智能相机10的25芯专用线，用于将智能相机10的电源、控制电子阀门的I/O线和串口线全部与智能相机10连接。

PLC控制器80用于控制流水线的运动，当相机检测工作完成之后发送信号给PLC控制器80，由PLC控制器80控制流水线将待分拣的PCB移动到工业机器人20所在工位进行分拣。

限位开关90用于控制PCB放置的支架120准确能够移动到机器人的工位下，使工业机器人20能够准确实现吸取PCB的分拣实现。

由于机器人和相机在不同的工位上，其实际坐标并不一致，经软件标定后，增加偏移量即可使二者实现坐标统一。标定后相机与机器人的坐标精度达到10^-3厘米，图像检测精度能够达到10^-2厘米。视觉程序的运行时间约为60ms；上位机通过编程能够使用户简单地更改ROI区域、检测参数和显示结果的对象。

本发明装置的工作原理如下：

首先，拿到一批检测对象PCB后，需要调整光源30和智能相机10的光学镜头，使智能相机10能够获得高质量的图像，且相机视野合适；经过与工业机器人20实现坐标统一标定之后坐标已经显示为实际坐标值（不同工位可能需要加偏移量），将PCB放置到支架120上；支架120在设计的时候是位于智能相机10的正下方的，所以只要待检测PCB的中心放在支架的120中心附近即可，确保整个待检测项目都在相机的视野中。

当标定和PCB放置后，需要根据实际检测对象PCB更改工具参数，特别是不同的PCB元器件的个数不同、对比度也不同并且图像采集的质量也会不同；根据实际情况设置各项参数和ROI区域；在参数设置完成后，系统即可开始工作；由PLC控制器80的上位机（即PC机，此处提到的上位机均与PC机是统一的。当然上位机也可以分由多台组成，也可以集中于1台。）发送开始指令，智能相机10会自动拍照得到图像后自动完成检测，并且给工业机器人20发送坐标、角度和分拣位信息。

真空气泵70和工业机器人20配合分拣，流水线100、限位开关90和PLC控制器80配合起来将PCB从相机工位精确移动到机器人工位，当收到了智能相机10通过串口传来的坐标后，工业机器人20到指定位置去抓取，在搬运过程中调整摆放的角度，根据发送来的分拣位将PCB放置到指定位置；真空气泵70的吸放由智能相机10的I/O控制，当工业机器人20到位准备吸取时，工业机器人20会向智能相机10发送信号，由智能相机10来控制I/O信号。

图2是本实施例中采用的进行PCB检测的视觉检测流程图。按照这个流程图，进行操作，具体描述如下：

（1）系统标定，测量工业机器人20工位与智能相机10工位的偏移量，将工业机器人20和智能相机10标定至同一个坐标系下。具体的，如果工业机器人20和智能相机10的工位离得比较近可以标定到同一个坐标系下，那么偏移量为0；如果无法将工业机器人20和智能相机10标定至同一个坐标系下就需要再加上一个偏移量，使得智能相机10传输的坐标和角度能使被流水线100传送至机器人工位的PCB被抓取分拣。；

（2）初始化系统；

（3）放置PCB到支架120上，远程触发系统拍照，采集图像；

（4）图像缩放后，使用模板匹配法，在PCB图像上面找到一个合理的唯一且明显的特征作为模板。经过多次试验找到一个最合适的模板作为这批产品的模板，以后的每一件产品都对此进行匹配，如果达到阈值就可以进行之后的步骤，达不到阈值将会报错被分拣出去，实现PCB定位和配准；

（5）在相机与机器人标定，图像定位后，在图像上计算选取的模板的中心点会具体得到一个坐标值，并且以此中心点会有一个坐标。此时我们只要测量PCB上实际的距离，并且计算好中心坐标到吸取中心的偏移值即可，将其传输给机器人，机器人得到此坐标就可以进行吸取，且确保吸取的位置正确。计算可以吸取PCB的角度以及需要调整的角度；

（6）读取二维码溯源；

（7）与系统中预设的二维码吻合，如果是，则转步骤（8），否则进入步骤（9）；

（8）检测芯片1的焊脚规整程度；

（9）分拣；

（10）判断芯片2是否在PCB上，如果是，则转步骤（11），否则进入步骤（12）；

（11）检测焊脚规整程度；

（12）对焊脚使用边缘增强算法后，检测焊脚规整程度；

（13）找到pin针位置，计算与原点的距离，判断是否弯曲；

（14）焊脚和pin针的检测结果合格，则转步骤（15），否则进入步骤（16）；

（15）对图像进行中值滤波；

（16）分拣2；

（17）检测电阻（R）是否有缺漏件；

（18）检测电容（C）是否有缺漏件；

（19）检测二极管（L）是否有缺漏件；

（20）所有检测项目合格，则转步骤（21），否则进入步骤（22）；

（21）分拣3，产品完全合格；

（22）分拣4，产品含有缺陷。

（23）系统复位，等待下一个产品；

（24）结束。

使用本发明系统进行检测分拣的操作流程说明如下：

步骤1）、初始系统，进行标定，加载视觉检测程序至智能相机10视觉检测程序讲述智能视觉检测流程，包括了图像检测，串口发送坐标，触发PLC和气泵的I/O信号等。

步骤2）、设置各个训练定位模板、各个工具的阈值和选择ROI区域；如定位配准工具，在图像寻找到模板之后会对于寻找到的模板给分，如果分数过于低就会影响坐标的精度，所以要设置阈值。其他各个工具具体是检测各个不同的元器件和引脚，采用到的是灰度判断，如电容在图像中允许的灰度是12-20，那么我们需要在图像处理的视觉程序中设置该值，使其能够判断出灰度正确与否，以此确定结果。引脚的规整度是需要拉动ROI区域，设置每一个引脚的灰度的范围和宽度。以上步骤均需要大量样品进行实验才能达到最合适的效果。

步骤3）、在视觉检测程序中选择需要检测的项目，该过程中此时可以改动程序中各种参数和检测的对象，如选择是否检测元器件的错漏件等。

步骤4）、在智视觉检测程序选择各个分拣条件；

步骤5）、系统开机，复位；

步骤6）、放置PCB到流水线100上的指定位置；

步骤7）、上位机发送触发信号，相机拍照；

步骤8）、视觉检测程序检测完成之后，相机发送坐标和角度信息给工业机器人同时发送信号给PLC运送PCB至下一个工位；

步骤9）、工业机器人20按照智能相机10发送的坐标和角度信息进行吸取；

步骤10）、工业机器20人按照分拣指令来分拣PCB到指定位置；

步骤11）、PLC控制器80的上位机显示检测结果，记录结果；

步骤12）、工业机器人20复位，等待下一次触发；

步骤13）、结束。

Claims

1.一种基于机器视觉的PCB检测分拣系统，其特征在于，其包括机器视觉检测装置、机

器人分拣装置和流水线控制装置；所述机器视觉检测装置包括智能相机，智能相机内设置微处理器；所述机器人分拣装置由工业机器人、真空气泵、气嘴和电子阀门组成，工业机器人和机器视觉检测装置中的智能相机相连实现通信，工业机器人根据智能相机传输过来的坐标、角度和分拣位信息将PCB分拣到指定分拣位置，真空气泵末端连接气嘴，气嘴安装在工业机器人的机械臂上，气嘴吸取PCB，电子阀门接收智能相机传输的I/O信号控制真空气泵吸放；所述流水线控制装置由PLC控制器、限位开关和流水线组成，PLC控制器分别和机器视觉检测装置中的智能相机、机器人分拣装置中的工业机器人相连形成通信，PLC控制器根据工业机器人和智能相机给出的信号，控制流水线的移动，流水线运送PCB从智能相机工位到工业机器人工位，即从检测工位到分拣工位，流水线上安装限位开关，限位开关给PLC控制器发送启停流水线的信号。

2.根据权利要求1所述的机器视觉的PCB检测分拣系统，其特征在于，机器视觉检测装

置中还设置光源，光源设置在PCB和智能相机之间。

3.根据权利要求1所述的机器视觉的PCB检测分拣系统，其特征在于，PCB和智能相机

设置在支架上。

4.根据权利要求1所述的机器视觉的PCB检测分拣系统，其特征在于，智能相机和工业

机器人的工位上分别设置一限位开关。

5.根据权利要求1所述的机器视觉的PCB检测分拣系统，其特征在于，分拣工位有若干个。

6.一种采用权利要求1所述的系统进行PCB检测分拣的方法，其特征在于，具体步骤如下

（1）测量工业机器人工位与智能相机工位的偏移量，将工业机器人和智能相机标定至同一个坐标系下；放置PCB到流水线上，PLC控制器的上位机发送触发信号，智能相机拍照，采集图像；图像缩放后，通过模板匹配法对PCB实现定位，配准，计算出PCB的坐标和角度信息；

②找到pin针位置，计算与原点的距离，判断是否弯曲；

7.根据权利要求6所述的方法，其特征在于，通过图像的连通量分析方法检测芯片的焊脚规整程度。

8.根据权利要求6所述的方法，其特征在于，分拣根据实际的情况能够通过PC机与智能相机相连后在上位机上修改，可以分拣成多组。