CN114612417A - 印刷电路板的缺陷定位设备、定位方法及光学检测系统 - Google Patents

Abstract

本发明公开了一种印刷电路板的缺陷定位设备、定位方法及光学检测系统，设备具有放置目标电路板的平台、向平台投影的投影装置以及向平台采集图像信息的摄像装置；设备的控制装置获取目标电路板预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过摄像装置获取目标电路板放置在平台上的第二图像；根据第二图像对第一图像进行标定，以计算出第一图像中的电路板相对于第二图像中的电路板的方位信息；根据方位信息对预判缺陷在第一图像上的位置信息进行转换，并对其进行投影。本发明可以不限定目标电路板的形状及放置在平台上的姿态角度，而对目标电路板上的缺陷进行准确投影。

Description

印刷电路板的缺陷定位设备、定位方法及光学检测系统

技术领域

本发明涉及电路板检修领域，尤其涉及一种印刷电路板的缺陷定位设备、定位方法及光学检测系统。

背景技术

现有技术中，自动光学检测(Automated Optical Inspection，简称AOI)设备基于光学原理来对印刷电路板(简称PCB)焊接生产中遇到的常见缺陷进行检测，而为了将检查出的PCB上的缺陷反馈给检修人员，提出了将缺陷投影在电路板上的解决方案。

现有的做法是，将电路板的其中一个角放置在工作台上的L形定位标处，然后再由运算单元根据PCB的原始设计图像生成基准坐标图像和标识符号，并作出投影。但是实际投影在工作台上的基准坐标图像并无法与印刷电路板尺寸完全吻合，原因比如是投影设备/工作台在使用一段时间后产生的机械误差，又或者是电路板并没有规范地放置在指定的区域，并且无法适用于非常规矩形状的电路板，比如圆形的电路板，其即使紧靠L形定位标，也无法确定相应的角度，这种情况下，即使投影的基准坐标图像与印刷电路板尺寸完全吻合，也无法确保标识符号准确地投影在缺陷区域。

并且现有的缺陷点投影技术只能投射一个不良点，人工无法仔细观察该点处的缺陷细节，若要从平台取下电路板又得比对找到刚投影的位置，十分不便于对微小的缺陷进行检修；另一方面，AOI设备作为检修站的上游，将全部的预判缺陷，包括误判为缺陷的点发送给检修站，检修过程中人工需要浪费时间来判断误判缺陷，而且生产中会出现成批量目标存在大量相似误判缺陷，大幅增加了人工检修时间。

现有技术中缺少一种适用各种形状的电路板，且能够准确地定位指示真正需要检修的缺陷位置的投影方案。

发明内容

本发明的目的是提供一种随意摆放电路板的情况下依然可以对电路板上的缺陷精准定位投影的印刷电路板的缺陷定位设备、定位方法及光学检测系统，并且无需限定电路板为方形形状。

为达到上述目的，本发明采用的技术方案如下：

一种印刷电路板的缺陷定位设备，包括投影装置、平台、摄像装置及控制装置，其中，所述平台被配置为放置目标电路板，所述投影装置投射的投影图像被配置为显示在所述平台处，所述摄像装置被配置为向所述平台采集图像信息；

所述控制装置与所述投影装置、摄像装置电连接，所述控制装置被配置为执行以下操作：

获取目标电路板预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过所述摄像装置获取目标电路板放置在平台上的第二图像；

根据所述第二图像对所述第一图像进行标定，标定的方法包括：分别识别第一图像中的电路板和第二图像中的电路板，计算出第一图像中的电路板相对于第二图像中的电路板的方位信息，所述方位信息包括偏移位移和偏转角度中的至少一种；

根据计算得到的方位信息对全部或部分所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

将所述的缺陷在待投影图像中的位置信息发送至所述投影装置，所述投影装置被配置为根据所述缺陷在待投影图像中的位置信息，对所述缺陷中的一个或多个进行投影。

进一步地，所述第一图像中的电路板相对于第二图像中的电路板的方位信息的计算方法包括：

在所述第二图像中选取至少第一基准点和第二基准点，根据图像匹配算法在所述第一图像中定位与所述第一基准点对应的第一对应点以及与所述第二基准点对应的第二对应点；

计算所述第一对应点至第一基准点的位移信息或者所述第二对应点至第二基准点的位移信息，得到所述偏移位移；或者，

根据所述第一基准点和第二基准点得到第一向量，根据所述第一对应点和第二对应点得到第二向量，计算所述第一向量与第二向量之间的夹角，得到所述偏转角度。

进一步地，标定的方法还包括：根据识别到的第一图像中的电路板和第二图像中的电路板，计算出第一图像中的电路板相对于第二图像中的电路板的缩放倍率；

所述控制装置被配置为根据所述方位信息和缩放倍率对所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息。

进一步地，在将所述的缺陷在待投影图像中的位置信息发送至所述投影装置之前还包括：对所述待投影图像进行校验，其包括以下步骤：

提取所述第一图像中的电路板的轮廓信息；

根据计算得到的方位信息对所述轮廓信息进行转换，得到相应的轮廓在待投影图像中的位置信息；

将所述的轮廓在待投影图像中的位置信息发送至所述投影装置，所述投影装置根据所述轮廓在待投影图像中的位置信息进行投影；

所述摄像装置拍摄第三图像，并将其发送至所述控制装置；

所述控制装置识别第三图像中投影的轮廓与电路板的轮廓的重合度，若重合度大于预设的重合百分比阈值，则校验通过，否则对所述第一图像重新标定。

进一步地，在将所述的缺陷在待投影图像中的位置信息发送至所述投影装置之前还包括：对所述待投影图像进行校验，其包括以下步骤：

根据计算得到的方位信息对所述第一对应点和第二对应点进行转换，得到其在待投影图像中的位置信息；

将所述第一对应点和第二对应点在待投影图像中的位置信息发送至所述投影装置，所述投影装置根据所述第一对应点和第二对应点在待投影图像中的位置信息进行投影；

所述摄像装置拍摄第三图像，并将其发送至所述控制装置；

所述控制装置识别第三图像中第一对应点/第二对应点是否与第一基准点/第二基准点重合，若重合，则校验通过，否则对所述第一图像重新标定。

根据本发明的另一方面，提供了一种印刷电路板的缺陷定位设备，包括投影装置、平台、摄像装置及控制装置，其中，所述平台被配置为放置目标电路板，所述投影装置投射的投影图像被配置为显示在所述平台处，所述摄像装置被配置为向所述平台采集图像信息；

所述控制装置与所述投影装置、摄像装置电连接，所述控制装置被配置为执行以下操作：

获取目标电路板预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过所述摄像装置获取目标电路板放置在平台上的第二图像；

根据预设的图像变换算法，对所述第一图像进行变换后得到第三图像；

将所述第三图像发送至所述投影装置并驱动其进行投影以及驱动所述摄像装置拍摄得到第四图像；

根据所述第四图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；

按照矫正后的图像变换算法的参数对所述第一图像或第三图像进行重新变换并投影，直至重新变换后的投影与所述目标电路板吻合，则保存当前的图像变换算法的参数；

根据所述当前的图像变换算法，对全部或部分所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

将所述的缺陷在待投影图像中的位置信息发送至所述投影装置，所述投影装置被配置为根据所述缺陷在待投影图像中的位置信息，对所述缺陷中的一个或多个进行投影。

进一步地，所述控制装置与AOI设备电连接，并从所述AOI设备接收所述目标电路板预扫描的第一图像以及预判缺陷；

所述缺陷定位设备还包括AI模块，其被配置为对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除，所述控制装置仅对判定为不良缺陷的预判缺陷在第一图像上的位置信息进行转换，得到其在待投影图像中的位置信息。

进一步地，所述AI模块基于预建立的不良点数据集和误判点数据集对所述预判缺陷进行分类，其中，所述不良点数据集被配置为存储不良缺陷的图像信息及对应的不良标签，所述误判点数据集被配置为存储误判缺陷的图像信息及对应的误判标签；

所述AI模块通过以下步骤对所述预判缺陷进行分类：

从所述不良点数据集和误判点数据集中分别取出全部或部分的信息，并放入临时数据集中；

将待分类的预判缺陷与所述临时数据集中的样本信息一一比较，计算出相应的欧氏距离；

取欧氏距离较近的预设数量的样本信息，统计其中不良标签和误判标签的数量；

若误判标签的数量大于不良标签的数量，则判定该预判缺陷为误判缺陷，否则判定该预判缺陷为不良缺陷。

进一步地，在AI模块对所述预判缺陷进行分类之前，还包括判断不良点数据集和误判点数据集中的样本数量是否大于预设的数量阈值，若是，则控制装置对所述预判缺陷进行分类；否则在所述投影装置对该预判缺陷进行投影后，由人工判断其为不良缺陷或误判缺陷；

若所述控制装置和/或人工判定该预判缺陷为不良缺陷，则将其图像信息及不良标签加入所述不良点数据集进行分类训练；若所述控制装置和/或人工判定该预判缺陷为误判缺陷，则将其图像信息及误判标签加入所述误判点数据集进行分类训练。

进一步地，所述印刷电路板的缺陷定位设备还包括反光装置，所述反光装置被配置为对所述投影装置投射的光路进行反射，以使所述投影装置的投影图像投射在所述平台处。

进一步地，所述印刷电路板的缺陷定位设备还包括显微成像装置，其与所述控制装置电连接，所述控制装置被配置为向所述显微成像装置发送显微指令，所述显微指令包括某一缺陷在待投影图像中的位置信息；

所述显微成像装置被配置为对所述显微指令中的位置处进行放大显示或者三维显示。

进一步地，所述印刷电路板的缺陷定位设备还包括人机交互装置，其与所述控制装置和/或投影装置和/或摄像装置电连接；

所述人机交互装置包括显示器、键盘、鼠标中的一种或多种。

根据本发明的又一方面，提供了一种印刷电路板的缺陷定位方法，包括以下步骤：

S101、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S102、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S103、根据所述基准图像对所述扫描图像进行标定，包括：分别识别扫描图像中的电路板和基准图像中的电路板，计算出扫描图像中的电路板相对于基准图像中的电路板的方位信息，所述方位信息包括偏移位移和偏转角度中的至少一种；

S104、根据计算得到的方位信息对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S105、对相应的缺陷进行投影。

进一步地，步骤S103还包括根据识别到的扫描图像中的电路板和基准图像中的电路板，计算出扫描图像中的电路板相对于基准图像中的电路板的缩放倍率；

步骤S104中，根据计算得到的方位信息和缩放倍率对所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息。

进一步地，步骤S103包括：在所述基准图像中选取至少第一基准点和第二基准点，根据图像匹配算法在所述扫描图像中定位与所述第一基准点对应的第一对应点以及与所述第二基准点对应的第二对应点；

计算所述第一对应点至第一基准点的位移信息或者所述第二对应点至第二基准点的位移信息，得到所述偏移位移；或者，

根据所述第一基准点和第二基准点得到第一向量，根据所述第一对应点和第二对应点得到第二向量，计算所述第一向量与第二向量之间的夹角，得到所述偏转角度。

进一步地，步骤S104之前还包括对所述待投影图像进行校验，包括以下步骤：

提取所述扫描图像中的电路板的轮廓信息；

根据计算得到的方位信息对所述轮廓信息进行转换，得到相应的轮廓在待投影图像中的位置信息；

根据所述轮廓在待投影图像中的位置信息进行投影，并拍摄投影图像；

识别投影图像中投影的轮廓与电路板的轮廓的重合度，若重合度大于预设的重合百分比阈值，则校验通过并执行S104、S105，否则返回执行步骤S103和S104。

进一步地，步骤S104之前还包括对所述待投影图像进行校验，包括以下步骤：

根据计算得到的方位信息对所述第一对应点和第二对应点进行转换，得到其在待投影图像中的位置信息；

根据所述第一对应点和第二对应点在待投影图像中的位置信息进行投影，并拍摄投影图像；

识别所述投影图像中第一对应点/第二对应点是否与第一基准点/第二基准点重合，若重合，则校验通过并执行S104、S105，否则返回执行步骤S103和S104。

根据本发明的另一方面，一种印刷电路板的缺陷定位方法，包括以下步骤：

S201、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S202、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S203、根据预设的图像变换算法，对所述扫描图像进行变换后得到预投影信息；

S204、对所述预投影信息进行投影，并启动所述摄像装置采集投影中图像；

S205、根据所述投影中图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；

S206、按照矫正后的图像变换算法的参数对所述扫描图像或预投影信息进行重新变换并投影，直至重新变换后的投影与所述目标电路板吻合，则保存当前的图像变换算法的参数；

S207、根据所述当前的图像变换算法，对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S208、对相应的缺陷进行投影。

进一步地，在对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换之前还包括：对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除，仅对判定为不良缺陷的预判缺陷在第一图像上的位置信息进行转换，得到其在待投影图像中的位置信息。

再一方面，本发明提供了一种光学检测系统，包括AOI设备以及如上所述的印刷电路板的缺陷定位设备，所述AOI设备与所述缺陷定位设备的控制装置通过有线方式或者无线方式连接。

进一步地，所述光学检测系统还包括传送机构和/或检修机构，其中，所述传送机构被配置为将所述AOI设备处完成扫描的电路板移送至缺陷定位设备的平台上；

所述检修机构被配置为在缺陷定位设备的投影装置的投影区域对电路板进行修理。

本发明提供的技术方案带来的有益效果如下：

a.通过设置定位的摄像装置，利用图像匹配算法和图像变换算法，无需人工矫正便可对目标进行定位；

b.通过设置投影装置、反光装置，利用光路在反光装置中的延长效果和定位摄像装置获取的位置信息，可对不同位置、不同角度的多种尺寸的目标进行有效投射；

c.投影装置不需要移动机械结构就可以更改投影图像，操作便捷。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一个示例性实施例提供的缺陷定位设备的结构示意图；

图2为本发明的一个示例性实施例提供的具有缺陷定位设备的光学检测系统的框架示意图；

图3为本发明的一个示例性实施例提供的第一图像的示意图；

图4为本发明的一个示例性实施例提供的第一种第二图像的示意图；

图5为本发明的一个示例性实施例提供的第二种第二图像的示意图；

图6为本发明的一个示例性实施例提供的第三种第二图像的示意图；

图7为本发明的一个示例性实施例提供的第一种PCB缺陷定位方法流程示意图；

图8为本发明的一个示例性实施例提供的第二种PCB缺陷定位方法流程示意图。

其中附图标记包括：1-投影装置，2-反光装置，3-平台，4-摄像装置，5-显微成像装置，6-目标电路板。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本发明的一个实施例中，提供了一种印刷电路板的缺陷定位设备，参见图1，所述缺陷定位设备包括投影装置1、平台3、摄像装置4及控制装置，其中，所述平台3被配置为放置目标电路板6，所述投影装置1投射的投影图像被配置为显示在所述平台3处，具体地，设置反光装置2对投影装置1投射的光路进行反射，以使所述投影装置1的投影图像投射在所述平台3处；所述摄像装置4固定设置在平台3的上方，其被配置为向所述平台3采集图像信息，摄像装置4可选为高速工业相机，并且反光装置2不对自目标电路板6至摄像装置4的光路产生阻挡，比如其可采用半反半透装置，其设置位置可以如图1所示设置在摄像装置4的下方，既可以对投影装置1的光路进行反射，又可以透射光路进摄像装置4，或者，反光装置2非图1所示，而是采用多个反光镜进行反射至目标电路板6，以避开摄像装置4的光路。

所述控制装置与所述投影装置1、摄像装置4电连接，投影装置2可选为投影仪，相比传统的激光投射，具有更改投影颜色、更改投影图案、更改投影大小、更改投影数量的功能，且投影图像更改不需要移动机械结构，不但能适应不同尺寸的目标电路板的需求，还能更改投射点的数量、颜色、大小，方便使用者看清，所述控制装置被配置为执行以下操作：

获取目标电路板6预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过所述摄像装置4获取目标电路板6放置在平台3上的第二图像；然后根据所述第二图像对所述第一图像进行标定，标定完成后，利用光路在反光装置2中的延长效果和定位的摄像装置4获取的位置信息，可对不同位置、不同角度的多种尺寸的目标进行有效投射，标定的方法具体如下：

参见图2，控制装置可以与自动光学检测(Automated Optical Inspection，简称AOI)设备电连接，AOI设备是基于光学原理来对印刷电路板(简称PCB)焊接生产中遇到的常见缺陷进行检测的设备，当自动检测时，AOI设备的摄像头自动扫描PCB，采集图像，经过图像处理，将焊点与数据库中的合格的参数进行比较，检查出PCB上的缺陷，以供维修人员修整。AOI将扫描PCB得到的图像即第一图像(参见图3)发送至缺陷定位设备的控制装置，可以一并发送检查出的PCB上的缺陷信息，包括缺陷位置信息，由于这些缺陷是AOI初步识别出的缺陷，其实际有可能是设备误判造成的，所以这里称其为预判缺陷。

将AOI设备上完成扫描的目标电路板6放置在平台3上，然后触发摄像装置4拍照，得到第二图像，本实施例中平台3不具有定位件，目标电路板6可以随意摆放，其在平台3上的成像可以参见图4。

根据所述第二图像对所述第一图像进行标定的目的是找到第一图像中电路板图像像素与第二图像中电路图像像素的位置对应关系，即分别识别第一图像中的电路板和第二图像中的电路板，计算出第一图像中的电路板相对于第二图像中的电路板的方位信息，所述方位信息包括偏移位移和偏转角度中的至少一种。

标定难度较低的一种情况为，比如电路板为矩形，电路板没有颠倒摆放在平台3上，即摆放的角度与标准位置的偏差角度范围为从逆时针90°至顺时针90°，并且可以通过预调节摄像装置4的工作参数，使其成像中的电路板的大小与AOI扫描图像中的电路板大小相同，

标定的方法则可以简化如下：在图4所示的第二图像中选取第一基准点和第二基准点(在图4中分别以★和▲表示，称★1和▲1)，根据图像匹配算法在图3所示的第一图像中定位与所述第一基准点对应的第一对应点(在图3中以★表示，称★2)以及与所述第二基准点对应的第二对应点(在图3中以▲表示，称其为▲2)；计算★2至★1的位移，得到偏移位移；根据★1和▲1得到第一向量，根据★2和▲2得到第二向量，计算所述第二向量偏转至平行于第一向量的角度，得到偏转角度。

显然，也可以计算▲2至▲1的位移，得到偏移位移，再计算所述第二向量偏转至平行于第一向量的角度，得到偏转角度。

对于摄像装置4成像中的电路板的大小与AOI扫描图像中的电路板大小不相同的情况，第二图像参见图5，计算★1与▲1的间距L1、★2与▲2的间距L2，缩放倍率为L1/L2，再结合上述的偏移位移和偏转角度，对所述预判缺陷在第一图像上的位置信息进行转换，得到预判缺陷由第一图像转到第二图像中的具体位置信息，即得到缺陷在待投影图像中的位置信息，这样将缺陷投影出来，其能够与摄像装置4成像中的电路板上的相应缺陷位置重合。

为了确保重合的准确性，在本发明的一个实施例中，对转换后的缺陷进行投影之前，还包括对所述待投影图像进行校验，校验的方式可选以下两种中的任意一种：

方式一的校验步骤包括：

提取所述第一图像中的电路板的轮廓信息；

根据计算得到的方位信息对所述轮廓信息进行转换，得到相应的轮廓在待投影图像中的位置信息；

将所述的轮廓在待投影图像中的位置信息发送至所述投影装置1，所述投影装置1根据所述轮廓在待投影图像中的位置信息进行投影；

在一个实施例中，可以通过人工来确认投影中的电路板轮廓是否与实际电路板轮廓重合，若大致重合，则人工按下【YES】按键来确认校验通过，控制装置接收到【NO】的信号后可以控制投影装置1进行投影；若人工判定不重合，则按下【NO】按键来表示校验不通过，控制装置接收到【NO】的信号后返回对第一图像重新标定。

在另一个实施例中，也可以通过非人工的方式进行校验，包括：所述摄像装置4拍摄第三图像，并将其发送至所述控制装置；所述控制装置识别第三图像中投影的轮廓与电路板的轮廓的重合度，若重合度大于预设的重合百分比阈值，则校验通过，否则对第一图像重新标定。

方式二的校验步骤包括：

根据计算得到的方位信息对所述第一对应点和第二对应点进行转换，得到其在待投影图像中的位置信息；

将所述第一对应点和第二对应点在待投影图像中的位置信息发送至所述投影装置1，所述投影装置1根据所述第一对应点和第二对应点在待投影图像中的位置信息进行投影；

所述摄像装置4拍摄第三图像，并将其发送至所述控制装置；

所述控制装置识别第三图像中第一对应点是否与第一基准点重合，以及第二对应点是否与第二基准点重合，若均重合，则校验通过，否则对所述第一图像重新标定。

或者如方式一，采用人工的方式判断第一对应点/第二对应点是否与第一基准点/第二基准点重合，在此不再赘述。

在选择基准点的时候，可以选择矩形电路板的对角点，本发明不限定适用电路板的具体形状，除了常规的矩形状电路板，还可以适用于异形电路板或者几何形状电路板，对于异形电路板，可以在异形凸出或凹进的轮廓线上选取多个点作为基准点。对于非异形的几何形状，比如如图6所示的圆形电路板，或者正多边形的电路板(未图示)，无法通过轮廓特征来确定基准点对应的对应点，而是可以通过图像处理器对图像中电路板上的器件或者线路的转折点进行识别，来选取三个以上定位点，以图像匹配出相应的对应点。

在本发明的一个实施例中，在对缺陷进行投影之前，还对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，正如上述预判缺陷是AOI初步识别出的缺陷，其实际有可能是设备误判造成的，如果将这部分缺陷投影出来，人工可能会疑惑，或者花另外的人工成本去去除这些假缺陷，因此本发明实施例能做到只投影不良缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除，所述控制装置仅对判定为不良缺陷的预判缺陷在第一图像上的位置信息进行转换，得到其在待投影图像中的位置信息。

具体对所述预判缺陷进行分类的AI模块可以集成在控制装置中，也可以集成在AOI设备中，也可以独立设置，本发明对其不作限定。

AI模块基于预建立的不良点数据集和误判点数据集对所述预判缺陷进行分类，其中，所述不良点数据集被配置为存储不良缺陷的图像信息及对应的不良标签，所述误判点数据集被配置为存储误判缺陷的图像信息及对应的误判标签；

AI模块通过以下步骤对所述预判缺陷进行分类：

从所述不良点数据集和误判点数据集中分别取出全部或部分的信息，并放入临时数据集中；

将待分类的预判缺陷与所述临时数据集中的样本信息一一比较，计算出相应的欧氏距离；为了计算欧式距离，将缺陷的信息携带标签信息存放到一个一维向量中，再存入相应的数据集。

取欧氏距离较近的预设数量的样本信息，统计其中不良标签和误判标签的数量；

若误判标签的数量大于不良标签的数量，则判定该预判缺陷为误判缺陷，否则判定该预判缺陷为不良缺陷。

在本发明的一个实施例中，将判定结果加入相应的数据集，具体为：若判定为误判缺陷，则将该缺陷的信息携带标签信息存放到一个一维向量中，再存入误判点数据集；若判定为不良缺陷，则将该缺陷的信息携带标签信息存放到一个一维向量中，再存入不良点数据集。

同理，在对所述预判缺陷进行分类之前，若不良点数据集和误判点数据集中的样本数量不够多(没达到预设的数量阈值)，则跳过分类筛选，直接进行投影，由人工判断其为不良缺陷或误判缺陷，并根据人工判定结果将该缺陷的信息携带标签信息存放到一个一维向量中，再存入相应的数据集中进行分类训练。这样做的目的是为了加入数据集后进行训练，提高数据集的样本数量，在作欧式判断的时候能够提高判定结果的准确性。

在本发明的一个实施例中，所述印刷电路板的缺陷定位设备还包括显微成像装置5，其与所述控制装置电连接，所述控制装置被配置为向所述显微成像装置5发送显微指令，所述显微指令包括某一缺陷在待投影图像中的位置信息；所述显微成像装置5被配置为对所述显微指令中的位置处进行放大显示或者三维显示。具体地，显微成像装置5可以为3D工业相机，显微成像装置5利用图像缩放和特征提取算法，可对目标上各个不良点的三维特征进行提取，使用者可以观察三维细节并快速确认不良点，实现快速检修。与摄像装置4位置固定不同，显微成像装置5包括驱动机构，驱动机构根据控制装置发送的显微指令，而将显微成像装置5移动到方便观察相应的缺陷的区域，在进行特征提取和图像缩放。

在本发明的一个实施例中，所述印刷电路板的缺陷定位设备还包括人机交互装置，比如显示器、键盘、鼠标等等，如有显示控制一体化的需要，也可以采用触控显示器，其与所述控制装置和/或投影装置1和/或摄像装置4电连接。在工作时，显示器可以向使用者展示AOI的判断信息图像和显微成像装置5的摄影图像，使用者通过键盘、鼠标可以操控控制装置。

本实施例还提供一种印刷电路板的缺陷定位方法，参见图7，其包括以下步骤：

S101、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S102、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S103、根据所述基准图像对所述扫描图像进行标定，包括：分别识别扫描图像中的电路板和基准图像中的电路板，计算出扫描图像中的电路板相对于基准图像中的电路板的方位信息，所述方位信息包括偏移位移、偏转角度、缩放倍率中的至少一种，具体标定方法参见上文详述，在此不再赘述；

对所述待投影图像进行校验，若校验通过，则继续往下执行，否则返回执行步骤S103和S104；具体校验的方法参见上述实施例。并且对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除。

S104、根据计算得到的方位信息对排除误判缺陷后的剩余预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S105、对相应的缺陷进行投影，投影的方式可以是逐一自动投影，也可以通过人机交互装置来控制某一个缺陷的投影，也可以单个/多个缺陷同时投影。

在本发明的一个实施例中，还提供了一种光学检测系统，包括AOI设备以及如上所述的印刷电路板的缺陷定位设备，所述AOI设备与所述缺陷定位设备的控制装置通过有线方式或者无线方式连接。所述光学检测系统还可以包括传送机构和/或检修机构，其中，所述传送机构被配置为将所述AOI设备处完成扫描的电路板移送至缺陷定位设备的平台3上，其可以包括传送装置和工装夹具，其中工装夹具设置在传送装置(比如传送带)上，工装夹具用于抓取/吸取电路板，并托载电路板，由传送装置带到平台3处，再由工装夹具将电路板卸载至平台3上；所述检修机构被配置为在缺陷定位设备的投影装置1的投影区域对电路板进行修理。

在本发明的一个实施例中，提供另一种印刷电路板的缺陷定位设备，不同于上述实施例中控制装置对第一图像的标定方法，本实施例中，在工作时，维修工站采集AOI设备所拍摄的目标电路板及预判缺陷的图像信息，并发送给控制装置，将目标电路板6放置在平台3后，定位摄像装置4将拍摄图像发送给控制装置，控制装置将投影图像发送给投影设备1，进行投影和自动矫正，最终投影与目标电路板重合，具体为：控制装置根据预设的图像变换算法，对所述第一图像进行变换后得到第三图像，投影装置1将第三图像投影出来，摄像装置4再次拍摄得到第四图像，由于预设的图像变换算法直接使图像转换成合格图像的概率比较小，这里所说的合格是指将第三图像投影出来，投影图像中的电路板与实际电路板吻合，因此，根据所述第四图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；比如，分析第四图像得到投影中的电路板相对于实际摆放在平台3上的目标电路板6方位偏左、转动角度顺时针偏大、偏大，则需要调节平移向量为向右，顺时针转动角调小，增大缩小倍率。

若新摄影图像中投影点与原始摄影图像中定位点错位，则进行投影矫正。矫正方法如下：利用原始摄影图像中定位点、投影图像中定位点、新摄影图像中投影点的位置信息，对预设的图像变换算法中的参数进行更改，利用更改后图像变换算法得到新投影图像，再次进行投影和摄影；控制装置比较新摄影图像中投影点与原始摄影图像中定位点，若错位，重复矫正方法，若完全重合，完成投影矫正。采用参数调整矫正方法，具有无需人工，用时短的特点，可以在使用者不进行操作的前提下由控制装置短时间内完成投影图像的定位，而且完成后后续标定点无需再次矫正位置，即假如一块电路板有十个预判缺陷，则在矫正完成后可以对这是个预判缺陷一一投影，中间不需要再次矫正。同时，本发明实施例利用参数调整矫正方法，只需对预设好的算法函数调整参数，运算量小，对硬件的要求低。

经过反复地矫正-投影-二次矫正-二次投影，使得投影的电路板图像不断逼近摆放在平台3上的目标电路板6，直至完全/大致重合，则将当前的图像变换算法的参数保存下来，作为后续对预判缺陷进行变换的参数。于此对应的印刷电路板的缺陷定位方法如图8所示，其包括以下步骤：

S201、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S202、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S203、根据预设的图像变换算法，对所述扫描图像进行变换后得到预投影信息；

S204、对所述预投影信息进行投影，并启动所述摄像装置采集投影中图像；

S205、根据所述投影中图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；

S206、按照矫正后的图像变换算法的参数对所述扫描图像或预投影信息进行重新变换并投影，直至重新变换后的投影与所述目标电路板吻合，则保存当前的图像变换算法的参数；

对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除。

S207、根据所述当前的图像变换算法，对排除误判缺陷后的剩余预判缺陷(即不良缺陷)在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S208、对相应的缺陷进行投影。

将预判缺陷分类为不良缺陷或误判缺陷的方法参见上述实施例，通过引用的方式并入本设备及方法实施例。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (21)

1.一种印刷电路板的缺陷定位设备，其特征在于，包括投影装置(1)、平台(3)、摄像装置(4)及控制装置，其中，所述平台(3)被配置为放置目标电路板(6)，所述投影装置(1)投射的投影图像被配置为显示在所述平台(3)处，所述摄像装置(4)被配置为向所述平台(3)采集图像信息；

所述控制装置与所述投影装置(1)、摄像装置(4)电连接，所述控制装置被配置为执行以下操作：

获取目标电路板(6)预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过所述摄像装置(4)获取目标电路板(6)放置在平台(3)上的第二图像；

根据所述第二图像对所述第一图像进行标定，标定的方法包括：分别识别第一图像中的电路板和第二图像中的电路板，计算出第一图像中的电路板相对于第二图像中的电路板的方位信息，所述方位信息包括偏移位移和偏转角度中的至少一种；

根据计算得到的方位信息对全部或部分所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

将所述的缺陷在待投影图像中的位置信息发送至所述投影装置(1)，所述投影装置(1)被配置为根据所述缺陷在待投影图像中的位置信息，对所述缺陷中的一个或多个进行投影。

2.根据权利要求1所述的印刷电路板的缺陷定位设备，其特征在于，所述第一图像中的电路板相对于第二图像中的电路板的方位信息的计算方法包括：

在所述第二图像中选取至少第一基准点和第二基准点，根据图像匹配算法在所述第一图像中定位与所述第一基准点对应的第一对应点以及与所述第二基准点对应的第二对应点；

计算所述第一对应点至第一基准点的位移信息或者所述第二对应点至第二基准点的位移信息，得到所述偏移位移；或者，

根据所述第一基准点和第二基准点得到第一向量，根据所述第一对应点和第二对应点得到第二向量，计算所述第一向量与第二向量之间的夹角，得到所述偏转角度。

3.根据权利要求1所述的印刷电路板的缺陷定位设备，其特征在于，标定的方法还包括：根据识别到的第一图像中的电路板和第二图像中的电路板，计算出第一图像中的电路板相对于第二图像中的电路板的缩放倍率；

所述控制装置被配置为根据所述方位信息和缩放倍率对所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息。

4.根据权利要求1至3中任一项所述的印刷电路板的缺陷定位设备，其特征在于，在将所述的缺陷在待投影图像中的位置信息发送至所述投影装置(1)之前还包括：对所述待投影图像进行校验，其包括以下步骤：

提取所述第一图像中的电路板的轮廓信息；

根据计算得到的方位信息对所述轮廓信息进行转换，得到相应的轮廓在待投影图像中的位置信息；

将所述的轮廓在待投影图像中的位置信息发送至所述投影装置(1)，所述投影装置(1)根据所述轮廓在待投影图像中的位置信息进行投影；

所述摄像装置(4)拍摄第三图像，并将其发送至所述控制装置；

所述控制装置识别第三图像中投影的轮廓与电路板的轮廓的重合度，若重合度大于预设的重合百分比阈值，则校验通过，否则对所述第一图像重新标定。

5.根据权利要求2所述的印刷电路板的缺陷定位设备，其特征在于，在将所述的缺陷在待投影图像中的位置信息发送至所述投影装置(1)之前还包括：对所述待投影图像进行校验，其包括以下步骤：

根据计算得到的方位信息对所述第一对应点和第二对应点进行转换，得到其在待投影图像中的位置信息；

将所述第一对应点和第二对应点在待投影图像中的位置信息发送至所述投影装置(1)，所述投影装置(1)根据所述第一对应点和第二对应点在待投影图像中的位置信息进行投影；

所述摄像装置(4)拍摄第三图像，并将其发送至所述控制装置；

所述控制装置识别第三图像中第一对应点/第二对应点是否与第一基准点/第二基准点重合，若重合，则校验通过，否则对所述第一图像重新标定。

6.一种印刷电路板的缺陷定位设备，其特征在于，包括投影装置(1)、平台(3)、摄像装置(4)及控制装置，其中，所述平台(3)被配置为放置目标电路板(6)，所述投影装置(1)投射的投影图像被配置为显示在所述平台(3)处，所述摄像装置(4)被配置为向所述平台(3)采集图像信息；

所述控制装置与所述投影装置(1)、摄像装置(4)电连接，所述控制装置被配置为执行以下操作：

获取目标电路板(6)预扫描的第一图像以及预判缺陷在第一图像上的位置信息，以及通过所述摄像装置(4)获取目标电路板(6)放置在平台(3)上的第二图像；

根据预设的图像变换算法，对所述第一图像进行变换后得到第三图像；

将所述第三图像发送至所述投影装置(1)并驱动其进行投影以及驱动所述摄像装置(4)拍摄得到第四图像；

根据所述第四图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；

按照矫正后的图像变换算法的参数对所述第一图像或第三图像进行重新变换并投影，直至重新变换后的投影与所述目标电路板(6)吻合，则保存当前的图像变换算法的参数；

根据所述当前的图像变换算法，对全部或部分所述预判缺陷在第一图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

将所述的缺陷在待投影图像中的位置信息发送至所述投影装置(1)，所述投影装置(1)被配置为根据所述缺陷在待投影图像中的位置信息，对所述缺陷中的一个或多个进行投影。

7.根据权利要求1或6所述的印刷电路板的缺陷定位设备，其特征在于，所述控制装置与AOI设备电连接，并从所述AOI设备接收所述目标电路板(6)预扫描的第一图像以及预判缺陷；

所述缺陷定位设备还包括AI模块，其被配置为对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除，所述控制装置仅对判定为不良缺陷的预判缺陷在第一图像上的位置信息进行转换，得到其在待投影图像中的位置信息。

8.根据权利要求7所述的印刷电路板的缺陷定位设备，其特征在于，所述AI模块基于预建立的不良点数据集和误判点数据集对所述预判缺陷进行分类，其中，所述不良点数据集被配置为存储不良缺陷的图像信息及对应的不良标签，所述误判点数据集被配置为存储误判缺陷的图像信息及对应的误判标签；

所述AI模块通过以下步骤对所述预判缺陷进行分类：

从所述不良点数据集和误判点数据集中分别取出全部或部分的信息，并放入临时数据集中；

将待分类的预判缺陷与所述临时数据集中的样本信息一一比较，计算出相应的欧氏距离；

取欧氏距离较近的预设数量的样本信息，统计其中不良标签和误判标签的数量；

若误判标签的数量大于不良标签的数量，则判定该预判缺陷为误判缺陷，否则判定该预判缺陷为不良缺陷。

9.根据权利要求7所述的印刷电路板的缺陷定位设备，其特征在于，在AI模块对所述预判缺陷进行分类之前，还包括判断不良点数据集和误判点数据集中的样本数量是否大于预设的数量阈值，若是，则AI模块对所述预判缺陷进行分类；否则在所述投影装置(1)对该预判缺陷进行投影后，由人工判断其为不良缺陷或误判缺陷；

若所述控制装置和/或人工判定该预判缺陷为不良缺陷，则将其图像信息及不良标签加入所述不良点数据集进行分类训练；若所述控制装置和/或人工判定该预判缺陷为误判缺陷，则将其图像信息及误判标签加入所述误判点数据集进行分类训练。

10.根据权利要求1或6所述的印刷电路板的缺陷定位设备，其特征在于，还包括反光装置(2)，所述反光装置(2)被配置为对所述投影装置(1)投射的光路进行反射，以使所述投影装置(1)的投影图像投射在所述平台(3)处。

11.根据权利要求1或6所述的印刷电路板的缺陷定位设备，其特征在于，还包括显微成像装置(5)，其与所述控制装置电连接，所述控制装置被配置为向所述显微成像装置(5)发送显微指令，所述显微指令包括某一缺陷在待投影图像中的位置信息；

所述显微成像装置(5)被配置为对所述显微指令中的位置处进行放大显示或者三维显示。

12.根据权利要求1或6所述的印刷电路板的缺陷定位设备，其特征在于，还包括人机交互装置，其与所述控制装置和/或投影装置(1)和/或摄像装置(4)电连接；

所述人机交互装置包括显示器、键盘、鼠标中的一种或多种。

13.一种印刷电路板的缺陷定位方法，其特征在于，包括以下步骤：

S101、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S102、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S103、根据所述基准图像对所述扫描图像进行标定，包括：分别识别扫描图像中的电路板和基准图像中的电路板，计算出扫描图像中的电路板相对于基准图像中的电路板的方位信息，所述方位信息包括偏移位移和偏转角度中的至少一种；

S104、根据计算得到的方位信息对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S105、对相应的缺陷进行投影。

14.根据权利要求13所述的印刷电路板的缺陷定位方法，其特征在于，步骤S103还包括根据识别到的扫描图像中的电路板和基准图像中的电路板，计算出扫描图像中的电路板相对于基准图像中的电路板的缩放倍率；

步骤S104中，根据计算得到的方位信息和缩放倍率对所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息。

15.根据权利要求13或14所述的印刷电路板的缺陷定位方法，其特征在于，步骤S103包括：在所述基准图像中选取至少第一基准点和第二基准点，根据图像匹配算法在所述扫描图像中定位与所述第一基准点对应的第一对应点以及与所述第二基准点对应的第二对应点；

计算所述第一对应点至第一基准点的位移信息或者所述第二对应点至第二基准点的位移信息，得到所述偏移位移；或者，

根据所述第一基准点和第二基准点得到第一向量，根据所述第一对应点和第二对应点得到第二向量，计算所述第一向量与第二向量之间的夹角，得到所述偏转角度。

16.根据权利要求13或14所述的印刷电路板的缺陷定位方法，其特征在于，步骤S104之前还包括对所述待投影图像进行校验，包括以下步骤：

提取所述扫描图像中的电路板的轮廓信息；

根据计算得到的方位信息对所述轮廓信息进行转换，得到相应的轮廓在待投影图像中的位置信息；

根据所述轮廓在待投影图像中的位置信息进行投影，并拍摄投影图像；

识别投影图像中投影的轮廓与电路板的轮廓的重合度，若重合度大于预设的重合百分比阈值，则校验通过并执行S104、S105，否则返回执行步骤S103和S104。

17.根据权利要求15所述的印刷电路板的缺陷定位方法，其特征在于，步骤S104之前还包括对所述待投影图像进行校验，包括以下步骤：

根据计算得到的方位信息对所述第一对应点和第二对应点进行转换，得到其在待投影图像中的位置信息；

根据所述第一对应点和第二对应点在待投影图像中的位置信息进行投影，并拍摄投影图像；

识别所述投影图像中第一对应点/第二对应点是否与第一基准点/第二基准点重合，若重合，则校验通过并执行S104、S105，否则返回执行步骤S103和S104。

18.一种印刷电路板的缺陷定位方法，其特征在于，包括以下步骤：

S201、利用AOI设备获得目标电路板的扫描图像以及预判缺陷在其上的位置信息；

S202、将所述目标电路板放置在平台上，启动摄像装置对其采集基准图像；

S203、根据预设的图像变换算法，对所述扫描图像进行变换后得到预投影信息；

S204、对所述预投影信息进行投影，并启动所述摄像装置采集投影中图像；

S205、根据所述投影中图像矫正所述图像变换算法的参数，所述图像变换算法的参数包括平移向量、转动角、缩放倍率中的一种或多种的组合；

S206、按照矫正后的图像变换算法的参数对所述扫描图像或预投影信息进行重新变换并投影，直至重新变换后的投影与所述目标电路板吻合，则保存当前的图像变换算法的参数；

S207、根据所述当前的图像变换算法，对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换，得到相应的缺陷在待投影图像中的位置信息；

S208、对相应的缺陷进行投影。

19.根据权利要求13或18所述的印刷电路板的缺陷定位方法，其特征在于，在对全部或部分所述预判缺陷在扫描图像上的位置信息进行转换之前还包括：对所述预判缺陷进行分类，分类类型包括不良缺陷或误判缺陷，若某一预判缺陷被判定为误判缺陷，则将其从投影范围内排除，仅对判定为不良缺陷的预判缺陷在第一图像上的位置信息进行转换，得到其在待投影图像中的位置信息。

20.一种光学检测系统，其特征在于，包括AOI设备以及如权利要求1至12中任一项所述的印刷电路板的缺陷定位设备，所述AOI设备与所述缺陷定位设备的控制装置通过有线方式或者无线方式连接。

21.如权利要求20所述的光学检测系统，其特征在于，还包括传送机构和/或检修机构，其中，所述传送机构被配置为将所述AOI设备处完成扫描的电路板移送至缺陷定位设备的平台(3)上；

所述检修机构被配置为在缺陷定位设备的投影装置(1)的投影区域对电路板进行修理。

Images