CN105817430A - 基于机器视觉的产品检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的产品检测方法，该方法运用机器视觉、模板匹配实现对产品缺陷的自动检测，并定位出缺陷产品坐标，通过数据采集卡控制机械臂抓取不合格产品，放置到不合格区域，检测合格的产品经流水线传送到下一工站。本发明能够实现PCB板上电阻等电子元器件缺件、歪斜、参数错误及拨码开关状态不合格的细微检测，精度高；通过6自由度机械臂的抓边设置，将检测到的不合格产品自动抓取离开流水线，实现全过程的自动化；发明结合匹配和边缘检测的高精度定位，首先通过匹配来找到产品大致位置，再通过两条边的检测，来确定长方体产品的一个角的像素坐标和角度，将不合格产品自动抓取出来，能够实现对不同产品检测的适用性。

Description

基于机器视觉的产品检测方法

技术领域

本发明涉及一种产品检测技术，特别是涉及PCB板上电阻等电子元器件缺件、歪斜、参数错误及拨码开关状态是否正确等的机器视觉检测方法和控制机械臂抓取方法。

背景技术

随着当今工业生产水平的提高，人们对产品质量要求亦愈来愈高，在自动化生产已经成为必然趋势时，在线检测技术则在自动化生产中占有着越来越重要的地位。在现代工业自动化生产中，产品生产的特点是连续大批量生产，传统的人工检测，在给企业增加巨大的人工成本和管理成本的同时，仍然不能保证100%检验台格率(即“零缺陷”)，而当今企业之间的竞争，已经不允许哪怕是0.1%的缺陷存在。机器视觉检测技术具有速度快、精度高、自动化程度高等特点，能够满足在线检测的要求且易于实现信息集成，在实际中显示了广阔的前景。机械臂能模仿人手和臂的某些动作功能，它可代替人的繁重劳动以实现生产的机械化和自动化，帮助人们摆脱繁重的劳动和简单的重复劳动。

随着社会的发展，人工成本的增加，企业为了降低成本，增加竞争力，往往都会引进自动化程度更高的设备或生产线来提高生产效率，降低成本。例如苹果的代工厂富士康，在iPhone6的生产车间开设了多条全自动的生产线，使用机器自动化代替人工，极大的提高了生产效率。在其中的自动化生产流程中，全自动产品检测是其重要的组成部分。但在科技迅猛发展的当代，电子产品更新换代的周期大大缩短，单一的产品检测设备往往因为研制工作量大，成本高，适用性不强，已经不能满足的企业的要求，企业更乐意使用可扩展、适用性强、可以长期使用的全自动化产品检测系统。基于机器视觉的产品检测系统必将成为一种发展趋势。

发明内容

本发明的目的是要解决现有技术中产品检测精度不高、适用性不强等问题，而提出了一种基于机器视觉的产品检测方法。

本发明提出的基于机器视觉的产品检测方法，按照如下步骤进行：

第一步：预设样品灰度值，在图片中选定一区域，记录当前区域内的平均灰度值，红外光电传感器检测过程中，只有当该区域的平均灰度值在该范围内时，即灰度匹配时，系统才认定为当前有产品通过；

第二步：在图中标定一合格品所需的器件或器件的状态，设置需要检测该器件及其正确的角度，设定一个最小匹配相似度；

第三步：当红外光电传感器检测到有料通过时，电机停止运行；

第四步：摄像头自动拍摄一张图片，并将其与所述第二步中的合格品所需的器件或器件的状态进行匹配；

第五步：如匹配成功，则为合格品，电机继续运行，将产品送入下一生产线，跳转至第七步；反之，为不合格品，跳转至第六步；

第六步：经过抓边设置，机械臂抓取不合格品放到不合格品区域；

第七步：当前产品处理完毕后，电机继续运行。

更进一步具体实施方式中，所述的第六步，首先框定一个抓边位置区域，以此区域的中心点开始确定两条互相垂直的边，框出产品上端，在灰度值跳变最明显的边界处自动绘制一条红色的线段，即确定为上边，用同样的方法确定左边。

更进一步具体实施方式中，所述的第二步中，最小匹配相似度使用两种模板匹配方式即彩色匹配和灰度匹配，通过布尔量选择。

更进一步具体实施方式中，所述的灰度匹配，系统通过对已拍摄的照片进行扫描，将图片中每个像素点按事先规定的ROI模板进行灰度值匹配，匹配成功即认定有这一元器件，并将其框出，其中的相似度可自行设置。

更进一步具体实施方式中，所述的彩色匹配与灰度匹配，系统通过对已拍摄的照片进行扫描，将图片中每个像素点按事先规定的R、G、B分别进行匹配，匹配成功即认定有这一元器件，并将其框出，其中的相似度可自行设置。

更进一步具体实施方式中，所述的第六步抓边设置之前，机械臂运动过程首先需要调试机械臂的路径，调整每个舵机位置，然后保存为相应点的坐标，在自动运行中就可以根据事先设置好的路径进行动作，在抓取时再根据产品的坐标信息进行抓边设置。

更进一步具体实施方式中，机械臂的控制主要是通过控制6个舵机，通过不同占空比的PWM波，再通过6个数字口输出到舵机信号端，从而控制每个舵机的运转。

更进一步具体实施方式中，机械臂使用的舵机旋转范围为0-180度，所以每一个角度都对应一个固定比例的占空比的PWM波，通过自动运行和产品定位环节所获得的定位信息，再将信息转换成舵机的PWM波，输入舵机信号端口，从而控制舵机运动。

更进一步具体实施方式中，所述的步骤二中，其中最小匹配相似度的匹配模式分为角度偏移与位置偏移，最小匹配分数的范围为0-1000，1000代表检测图片中指定区域与模板的像素值是一致的，在这里将最小匹配参数设置成800，即图片中指定区域与模板的整体像素相似度为百分之八十，旋转角度即为匹配算法中能搜索定位到旋转图片的角度范围。

本发明的有益效果：

（1）本发明能够实现PCB板上电阻等电子元器件缺件、歪斜、参数错误及拨码开关状态不合格的细微检测，精度高。通过对100个样本的检测统计：完成一合格产品的检测需要约5秒时间（从红外光电传感器检测到有待测产品开始计时），若为不合格品需约9秒左右，检测准确率在92%以上。系统可通过对定位抓取速度和输送带传送速度的调节可进一步提高其检测速度。基于机器视觉的产品检测系统对于检测者与被检测品都不会产生任何损伤，可长时间稳定作测量、分析识别而不会疲劳，可以节省大量人力资源，为公司带来可观利益。

（2）通过本发明的6自由度机械臂的抓边设置，能够将检测到的不合格产品自动抓取离开流水线，实现全过程的自动化。

（3）发明使用到的定位方法是一种结合匹配和边缘检测的高精度定位，首先通过匹配来找到产品大致位置，再通过两条边的检测，来确定长方体产品的一个角的像素坐标和角度，将不合格产品自动抓取出来，能够实现不同产品的适用性。

附图说明

图1为系统总体构成图。

图2为系统总体示意图。

1传送带，2步进电机，3步进电机驱动器，4数据采集卡，5光源，6工业相机，7镜头，8红外光电传感器，9计算机，10机械臂，11待测产品，12待修箱。

图3为系统运行流程图。

图4为系统功能模块图。

图5为系统前面板。

图6为系统整体程序框图。

图7为系统运行时主界面。

图8为传送装置及机械臂手动调试界面。

图9为图像检测手动调试界面。

图10为系统输送装置控制程序框图。

图11为机械臂控制程序框图。

图12为检测有料保存界面。

图13为模板匹配设置界面。

图14为抓边设置界面。

图15为自动运行界面。

图16为产品图片拍摄。

图17为自动检测有料。

图18为检测产品缺陷VI。

图19为自动运行中检测VI（匹配Auto）。

图20为匹配VI。

图21为二维码旋转读取。

图22为定位VI。

图23为机械臂固定点抓取。

具体实施方式

以下结合附图对本发明作进一步详细描述。

图1为本发明的系统总体构成图，本系统主要包括了计算机，数据采集卡（ELVISII），机器视觉装置、传送装置、抓取装置和红外光电传感器（E18-D80NK）。所述的计算机是整个系统的核心，通过预先安装好的LabVIEW软件、NI-DAQ设备驱动和NIVisionDevelopmentsModule（VDM）视觉开发包，可实现对输送装置、机器视觉装置等设备进行编程控制。

图2为本发明的系统总体示意图，图中机器视觉装置包括光源，工业相机（Basler，acA1300-30um）、镜头（ComputarM0814-MP）和红外光电传感器。传送装置包括传送带，步进电机，步进电机驱动器（TB6560AHQ）。抓取装置主要为6自由度的机械臂，由4个TR213舵机和2个TR205舵机组成，每个舵机的的运行范围为0-180度，底座可旋转。

图3为系统运行流程图，系统上电后，点击计算机监控界面上的开启按钮，通过数据采集卡控制步进电机运行，传送带传送产品，当红外光电传感器检测到对象进入到待检测区域，步进电机停止运行，启动工业相机拍摄待检测对象的图像通过图像处理锁定目标位置并对检测对象各设置部分进行检测，若为合格品，记录该产品的二维码信息及检测过程数据，并控制步进电机继续运转将合格器送入下一工位，同时等待下一物料到达监测区域；若为不合格品，通过控制机械臂动作将检测对象放置到待修箱中等待处理，继而步进电机运转，等待下一物料到达监测区域，如此循环进行产品检测。

图4为系统功能模块图，系统软件全部采用LabVIEW编程语言，系统具有较高的通用性和良好的人机交互，测试流程遵循流水线设计要求，包括系统初始化、用户管理、系统配置、测试环节和数据管理等。系统初始化完成对工业相机、机械臂、步进电机初始状态的设置。用户管理设有两个等级，操作员和管理员。管理员拥有最大权限，可以设置修改参数；操作员只能按照管理员设定的测试要求，使用系统进行测试。系统配置包含硬件参数设置、调试和视觉参数设置、调试。硬件参数设置、调试可以实现对步进电机、机械臂、红外光电传感器进行手动调试或控制；视觉参数设置、调试可以实现（1）对产品检测模式的修改：彩色检测或灰度检测；（2）设置检测有料的区域；（3）设置检测产品的检测点；（4）待检测品定位参数的修改。测试环节包含视觉检测定位、系统硬件控制、错误处理。视觉检测定位实现根据已设定的参数进行产品检测；系统硬件控制可以实现根据配置文件信息和传感器控制步进电机，若检测为不合格产品则根据视觉定位控制6轴机械臂抓取并放入待修箱中；错误处理可以实现当运行中传感器出错，会提醒操作员，停止或继续程序；当程序运行中出现错误，系统会出现提示，并停止一切机械动作，等待操作员关闭程序。数据管理包含实时显示测试步骤及产品的测试结果和报表生成，即将测试数据生成指定格式的文件，供用户对产品进行追溯。

图5为系统前面板，操作员或管理员对系统的操作和控制都在此完成。前面板用选项卡控制进行设计，分为5个选项，分别为界面、登陆界面、自动测试、手动测试、参数设置和数据查询。

图6为系统整体程序框图，整个程序采用生产者/消费者（事件）设计模式，系统程序的运行都是通过前面板中的按钮触发相应的事件（生产者——用户界面响应），经过相应的队列将数据传递下去。本系统具有三个消费者，分别为流水线与退出、用户登陆/自动测试/手动测试及机械臂和参数设置，其分别对应着队列2、队列0和队列1。消费者2实现系统的初始化（包括界面、硬件初始化和配置文件的读取）、用户登陆、自动运行、手动测试、参数设置、数据查询和退出，对核心的自动运行和手动测试图中详细给出各分支；消息者3实现机械臂抓取、检测参数设置和抓边参数设置。

图7为系统运行时的主界面。在整个系统设计时考虑了用户权限，图7所示为管理员权限：可对系统进行手动测试、产品参数设置。若为操作员，则图7中仅“自动测试”按钮和“退出”按钮有效。

图8和图9为系统手动调试界面，包括电机运行和图像检测两选项，可对传送电机、机械臂舵机及图像检测过程进行单独控制。机械臂运动过程首先需要调试机械臂的路径，通过图8右侧选项，调整每个舵机位置，然后保存为相应点的坐标。在自动运行中就可以根据事先设置好的路径进行动作，在抓取时再根据产品的坐标信息调整抓取点。若需对待检测产品的检测区域或检测点进行变更，在自动运行前首先需对检测点及合格品模板进行设定，此过程需在图像检测选项界面中完成。首先点击“打开摄像头”按钮启动相机工作，继而按下“拍摄”按钮，得到合格品的模板（合格品照片）。继而可进入参数设置界面，当所有的参数设置完成后，可回到图9所示的界面，重新获取一张图片，在流水线未运行的情况下，对产品进行静态匹配检测。

图10为系统输送装置控制程序框图（电机运转），程序采用了双循环结构，（1）对步进电机和到位检测开关进行初始化（步进电机和红外光电传感器物理通道的设置）；（2）步进电机运动放于一While循环中，红外光电传感器实现对待测产品是否到位的检测放于另一While循环中，同时在此循环中检测前面板是否按下电机停止运行按钮；（3）停止步进电机运行和到位检测任务，并清除以释放内存空间。

图11为机械臂控制程序框图。机械臂的控制主要是通过控制6个舵机，程序中通过LabVIEW生成不同占空比的PWM波，再通过6个数字口输出到舵机信号端，从而控制每个舵机的运转。本设计中使用的舵机旋转范围为0-180度，所以每一个角度都对应一个固定比例的占空比的PWM波，通过自动运行和产品定位环节所获得的定位信息，再将信息转换成舵机的PWM波，输入舵机信号端口，从而轻松控制舵机运动。如图11所示，为PWM波生成并写入数字口的程序，由于舵机的运行范围的变化，如果发送PWM波是由0度至90度的突变，舵机在运行完动作后必定会因为惯性而发生抖动，通过将角度的变化细分，将微小变化的角度变化一点点写入舵机，控制舵机平稳运行，从而提高运行精度。

图12视觉检测参数设置界面，在自动运行前首先需完成相关检测参数的设定，在界面的左侧可实现对相关内容进行保存：检测有料保存、匹配模板保存（可设三个模板）、二维码保存和数据查询。右侧可对匹配模式、匹配个数、最小匹配分数、以及旋转角度等参数进行设置，其中匹配模式分为角度偏移与位置偏移，最小匹配分数的范围为0-1000，1000代表检测图片中指定区域与模板的像素值是一致的，在这里将最小匹配参数设置成800，即图片中指定区域与模板的整体像素相似度为百分之八十。旋转角度即为匹配算法中能搜索定位到旋转图片的角度范围。

参数设置步骤：

第一步：在图片中选定一区域，如图11所示，点击“检测有料保存”按钮，再点击右下方的“保存”按钮。该设置的主要功能是，记录当前区域内的平均灰度值，并可在右方设置一个范围，包含此灰度值。在正式检测环节中，只有当该区域的平均灰度值在该范围内时，系统才认定为当前有产品通过。

第二步：在图中标定一合格品所需的器件或器件的状态，如图13所示。点击“保存匹配1模板”，在右方可以设置需要检测该器件的个数及其正确的角度。同样可以给它设定一个最小匹配相似度，点击“保存”按钮。模板2、3及二维码匹配的设定同第二步。

图14为抓边设置界面。当合格品匹配参数设置完成后，进行抓边设置。该设置的主要功能是确定测试结果为不合格品的坐标，为机械臂的定位抓取提供准确数据。首先框定一个抓边位置区域，以此区域的中心点开始确定两条互相垂直的边。框出产品上端一个合适的范围，程序会在灰度值跳变最明显的边界处自动绘制一条红色的线段，即确定为上边，点击“下一步”按钮进行保存，用同样的方法确定左边。

图15为自动运行界面。所有参数设置完成后，在主界面点击“自动测试”按钮，系统开始自动测试。当检测到有料通过时，电机停止运行，摄像头自动拍摄一张图片，并将其与事先设定的各项参数模板进行匹配。如匹配成功，则为合格品，电机继续运行，将产品送入下一生产线；反之，为不合格品，经过抓边定位，机械臂将其抓起放置到不合格品区域。当前产品处理完毕后，电机继续运行。在这一界面，可以选择是否禁用检测有料，即决定程序是否要运行检测有料这一环节；同理，可以选择是否要进行缺陷的检测、二维码扫描以及坐标定位。其中，如果禁用坐标定位，则当检测出有不合格品时，机械臂将对默认点位进行抓取。

自动测试包含拍摄、检测有料、匹配检测、二维码扫描、坐标定位和机械臂坐标抓取。图16为产品图片拍摄，通过拍摄多幅图片，进行相加，再除以图片数，可以很好的消除掉图片中的噪声，对提高画质以及后继检测、定位等环节有很大的帮助。

图17为自动检测有料。在检测有料环节，通过检测用户之前设置好的一片图像区域的灰度值，来判断产品是否在流水线上，因为系统采用的流水线为白色布带，所以在没有产品的情况下，该区域的灰度值趋近于255，当然是否有料的灰度值范围，用户可以根据不同产品进行不同的设定。

图18为检测产品缺陷VI，在检测环节中使用模板匹配的方式来检测，有两种检测模式：彩色匹配和灰度匹配。图中检测模式为布尔量，若为假则为灰度匹配，若为真则为彩色匹配。图中的匹配Auto函数如图19所示，图19中的匹配VI函数如图20所示。在自动匹配（灰度匹配）环节，系统通过对已拍摄的照片进行扫描，将图片中每个像素点按事先规定的ROI模板进行灰度值匹配，匹配成功即认定有这一元器件，并将其框出，其中的相似度可自行设置。彩色匹配与灰度匹配的思路是类似的，在彩色匹配中需对R、G、B分别进行匹配。

图21为二维码旋转读取VI，通过读取产品二维码信息来记录其检测中的相关数据，便于系统操作员或管理员进行查询。

图22为产品定位VI，若在产品缺陷检测中为不合格中，则需对产品所在位置进行定位，获取其坐标，然后机械臂抓取。由于每一个产品都有自己的不同点，所以不能仅仅只靠匹配来获取产品的坐标，需要使用其他方法来提高定位的准确性，本程序中使用到的定位方法是一种结合匹配和边缘检测的高精度定位，首先通过匹配来找到产品大致位置，再通过两条边的检测，来确定长方体产品的一个角的像素坐标和角度。

图23为机械臂固定点抓取，包括机械臂端口初始化，将通过定位VI所得到的坐标信息（机械臂点位）输出，使机械臂动作，机械臂运动结束后关闭机械臂。

综上所述，本发明基于LabVIEW和IMAQVISION的机器视觉产品检测系统设计，该方法运用机器视觉、模板匹配实现对产品缺陷的自动检测，并定位出缺陷产品坐标，通过NI数据采集卡控制机械臂抓取不合格产品，放置到不合格区域，检测合格的产品经流水线传送到下一工站。机器视觉检测的参数可以根据不同产品由用户自行设置，机械臂的运动路径可根据需要进行重设定，从而实现系统的通用性。

Claims (9)

1.一种基于机器视觉的产品检测方法，其特征在于按照如下步骤进行：

第一步：预设样品灰度值，在图片中选定一区域，记录当前区域内的平均灰度值，红外光电传感器检测过程中，只有当该区域的平均灰度值在该范围内时，即灰度匹配时，系统才认定为当前有产品通过；

第二步：在图中标定一合格品所需的器件或器件的状态，设置需要检测该器件及其正确的角度，设定一个最小匹配相似度；

第三步：当红外光电传感器检测到有料通过时，电机停止运行；

第四步：摄像头自动拍摄一张图片，并将其与所述第二步中的合格品所需的器件或器件的状态进行匹配；

第五步：如匹配成功，则为合格品，电机继续运行，将产品送入下一生产线，跳转至第七步；反之，为不合格品，跳转至第六步；

第六步：经过抓边设置，机械臂将其抓起放置到不合格品区域；

第七步：当前产品处理完毕后，电机继续运行。

2.根据权利要求1的基于机器视觉的产品检测方法，其特征在于：

所述的第六步，首先框定一个抓边位置区域，以此区域的中心点开始确定两条互相垂直的边，框出产品上端，在灰度值跳变最明显的边界处自动绘制一条红色的线段，即确定为上边，用同样的方法确定左边。

3.根据权利要求1的基于机器视觉的产品检测方法，其特征在于：

所述的第二步中，最小匹配相似度使用两种模板匹配方式即彩色匹配和灰度匹配，通过布尔量选择。

4.根据权利要求3的基于机器视觉的产品检测方法，其特征在于：

所述的灰度匹配，系统通过对已拍摄的照片进行扫描，将图片中每个像素点按事先规定的ROI模板进行灰度值匹配，匹配成功即认定有这一元器件，并将其框出，其中的相似度可自行设置。

5.根据权利要求3的基于机器视觉的产品检测方法，其特征在于：所述的彩色匹配与灰度匹配，系统通过对已拍摄的照片进行扫描，将图片中每个像素点按事先规定的R、G、B分别进行匹配，匹配成功即认定有这一元器件，并将其框出，其中的相似度可自行设置。

6.根据权利要求1的基于机器视觉的产品检测方法，其特征在于：

所述的第六步抓边设置之前，机械臂运动过程首先需要调试机械臂的路径，调整每个舵机位置，然后保存为相应点的坐标，在自动运行中就可以根据事先设置好的路径进行动作，在抓取时再根据产品的坐标信息进行抓边设置。

7.根据权利要求1的基于机器视觉的产品检测方法，其特征在于：

机械臂的控制主要是通过控制6个舵机，通过不同占空比的PWM波，再通过6个数字口输出到舵机信号端，从而控制每个舵机的运转。

8.根据权利要求7的基于机器视觉的产品检测方法，其特征在于：

机械臂使用的舵机旋转范围为0-180度，所以每一个角度都对应一个固定比例的占空比的PWM波，通过自动运行和产品定位环节所获得的定位信息，再将信息转换成舵机的PWM波，输入舵机信号端口，从而控制舵机运动。

9.根据权利要求1的基于机器视觉的产品检测方法，其特征在于：

所述的步骤二中，其中最小匹配相似度的匹配模式分为角度偏移与位置偏移，最小匹配分数的范围为0-1000，1000代表检测图片中指定区域与模板的像素值是一致的，在这里将最小匹配参数设置成800，即图片中指定区域与模板的整体像素相似度为百分之八十，旋转角度即为匹配算法中能搜索定位到旋转图片的角度范围。