CN111999314B - 一种自动检查柔性pcb加工过程中变形的装置及其方法 - Google Patents

Abstract

本发明公开了一种自动检查柔性PCB加工过程中变形的装置及其方法，包括机械框架、加工底盘、多轴加工机器、待测PCB板、栅格投影光源、多台高速相机、多台工业机器人、震动记录仪、多个拉力计和检测系统，首先根据三个调整原则，对应调整待测PCB板加工前自动检查柔性PCB加工过程中变形的装置的三个测量参数；接着对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形或者出现无法恢复的变形，并且在出现无法恢复的变形时进行报警；最后将获取的多种数据输入所述检测系统中的反馈神经网络进行数据修正融合，并输出变形检测结果，提高加工设备整体加工稳定性。

Description

一种自动检查柔性PCB加工过程中变形的装置及其方法

技术领域

本发明涉及PCB检测技术领域，尤其涉及一种自动检查柔性PCB加工过程中变形的装置及其方法。

背景技术

PCB是放置电子元件的载体，是集成电路电信号传输的通道，PCB加工是现代电子产业中非常重要的一个环节，它的生产质量是集成电路正常工作的重要保障。

为了携带方便、节省能耗的需要，使得现有的PCB越来越薄，内部层数越来越多。越来越薄的PCB，使得其原有的PCB强度发生了变化，越来越具有柔性的特质。这对加工精度提出了十分严峻的挑战。在加工时，有时会因为钻头旋转力大于柔性PCB的正常保持的阈值，从而导致柔性PCB变形。这种变形主要表现为无法还原的褶皱。目前，这种褶皱主要为人工目测检测，这样的手段的缺点非常明显，一是需要有人实时在旁检测，耽误了人员工作；二是这种方法延时较大，很难在变形时准确获得当时的加工轴的参数，无法保证加工设备整体加工稳定性。

发明内容

本发明的目的在于提供一种自动检查柔性PCB加工过程中变形的装置及其方法，提高加工设备整体加工稳定性。

为实现上述目的，第一方面，本发明提供了一种自动检查柔性PCB加工过程中变形的方法，包括以下步骤：

根据三个调整原则，对应调整待测PCB板加工前的三个测量参数，其中，三调整原则包括调整相机姿态原则、调整相机与加工点距离原则和调整栅格投影光源姿态原则，三个测量参数为相机姿态、相机与加工点距离和栅格投影光源姿态；

对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形；

将获取的多种数据输入反馈神经网络进行数据修正融合，并输出变形检测结果；

其中，根据三个调整原则，对应调整待测PCB板加工前的三个测量参数，包括：

采用大津法将采集的图像二值化，并利用Hough变换计算所述图像中的所有直线的理论值，同时遍历设定横直线上的设定的多个像素值；

统计遍历得到的所有像素值为亮点的总数，并当所述总数小于95%时，调整相机姿态，并沿轨迹调整加工点位置，直至所述总数大于或等于95%；

其中，对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形，包括：

采用Hough变化计算相机中栅格的栅格线的拟合理论直线，并计算所述理论直线与对应栅格点的垂直距离和平均偏差，同时将所述平均偏差与设定阈值进行比较；

若所述平均偏差小于或等于所述设定阈值，则判断没有出现变形，进行下一个加工点的图像分析；

若所述平均偏差大于所述设定阈值，则判断出现变形，并在设定时间段后，对所述加工点再次进行检测，并在出现无法恢复的变形时进行报警。

其中，将获取的多种数据输入反馈神经网络进行数据修正融合，并输出变形检测结果，包括：

对变形数据进行人工修正学习，并将获取的多种数据输入反馈神经网络中进行数据融合，且输出是否为变形、不可恢复的变形、可恢复的变形三种，均为0和1表示，其中，多种所述数据包括拉力计的拉力值、震动记录仪采集的数据和图像分析结果。

第二方面，本发明提供了一种自动检查柔性PCB加工过程中变形的装置，如第一方面所提供的一种自动检查柔性PCB加工过程中变形的方法应用于自动检查柔性PCB加工过程中变形的装置中，所述自动检查柔性PCB加工过程中变形的装置包括机械框架、加工底盘、多轴加工机器、待测PCB板、栅格投影光源、多台高速相机、多台工业机器人、震动记录仪、多个拉力计和检测系统，所述加工底盘与所述机械框架可拆卸连接，并位于所述机械框架一侧，所述多轴加工机器位于所述加工底盘一侧，所述加工底盘具有固定卡槽，所述固定卡槽朝向远离所述机械框架一侧，所述待测PCB板与所述加工底盘可拆卸连接，并位于所述固定卡槽中，所述栅格投影光源位于所述待测PCB板上方，多台所述工业机器人位于所述机械框架一侧，多台所述高速相机与多台所述工业机器人固定连接，并位于靠近所述待测PCB板一侧，所述震动记录仪与所述加工底盘固定连接，并位于远离所述待测PCB板一侧，多个所述拉力计与所述待测PCB板固定连接，并位于所述待测PCB板四周，所述检测系统与多台所述高速相机、所述震动记录仪、多个所述拉力计和所述栅格投影光源连接，并位于所述加工底盘一侧。

本发明的一种自动检查柔性PCB加工过程中变形的装置及其方法，包括机械框架、加工底盘、多轴加工机器、待测PCB板、栅格投影光源、多台高速相机、多台工业机器人、震动记录仪、多个拉力计和检测系统，首先根据三个调整原则，对应调整待测PCB板加工前自动检查柔性PCB加工过程中变形的装置的三个测量参数；接着对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形或者出现无法恢复的变形，并且在出现无法恢复的变形时进行报警；最后将获取的多种数据输入所述检测系统中的反馈神经网络进行数据修正融合，并输出变形检测结果，提高加工设备整体加工稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种自动检查柔性PCB加工过程中变形的方法的步骤示意图。

图2是本发明提供的2台45角相机观测轨迹的示意图。

图3是本发明提供的寻找相机最佳距离的流程示意图。

图4是本发明提供的判断不可恢复变形的算法流程示意图。

图5是本发明提供的判断不可恢复变形的算法中几个点线关系的示意图。

图6是本发明提供的自动检查柔性PCB加工过程中变形的装置的俯视图。

图7是本发明提供的自动检查柔性PCB加工过程中变形的装置的侧视图。

1-机械框架、2-加工底盘、3-多轴加工机器、4-待测PCB板、5-栅格投影光源、6-高速相机、7-工业机器人、8-震动记录仪、9-拉力计、10-检测系统、11-固定卡槽。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1，本发明提供一种自动检查柔性PCB加工过程中变形的方法，包括以下步骤：

S101、根据三个调整原则，对应调整待测PCB板4加工前的三个测量参数。

具体的，调整原则就是在预先的位姿校正，是通过机器人运动和机器视觉观测，调整相关参数，从而获得后期精确的测量效果。其调整的原则有3个：第1个是调整相机的姿态，使得2个相机以45度角的角度、相互对称配合观测加工点附近全部区域，保证加工时加工点的周围图像不被加工轴遮挡，1台是平行侧面观测；第2个是调整相机与加工点的距离，使得相机成像范围中需要该相机检测的栅格线的宽度至少为3个像素，从而提高准确率。第3个是调整栅格投影光源5的姿态，使得其正面朝下，垂直于待测PCB板4；调整高度，使得其每个光栅产生的正方形距离为标准10mm。

对于第1个原则，如图2所示，本发明利用工业机器人7能够精确重复运动的能力，已知加工点的位置，那么以待测PCB板4的加工点为轴心，PCB平面为下边，往上找出45度角的上边，由于是一个平面，所以有无数个上边，这些上边构成一个顶点在加工点的圆锥体。然后在这个圆锥体上，根据2个工业机器人7执行端运动距离之和为最小、且可以实现对称的原则，找出一个垂直于待测PCB板4的竖面，这个竖面与圆锥形的交集的2根线，即找到了2个工业机器人7执行端可以观测运行的轨迹。本发明实施例中，如图2所示，垂直于待测PCB板4的竖面就是平行于横边的面，而它于圆锥体的交集就是2个边，这2个边就是2台相机的运行轨迹。

对于第2个原则，如图3所示，首先不断调整相机姿态，保证加工点在机器人相机正中心点正负偏差5个像素范围内，该内容比较简单，属于公知内容，在此不再赘述。然后采用大津法，把图像二值化，然后使用Hough变换，计算其每根线的理论值；然后以最中心的那个横线（成像中由于远近及遮挡的原因，对一个相机只需要分析其中心线及下半部分的图像，上半部分由另一个对称的相机成像及分析）的每个理论值中心点往外寻找外缘点（即垂直于每根线的方向上的像素各里外1个像素），2个外缘点加上这个中心点，统计所有这跟线上的3个点的总数N1，判断它们是否为亮点的总数，如果低于95%，那么就调整相机，沿第一个原则所找到的轨迹运动，更加接近中心点，直至大于等于95%。

对于第3个原则，调整栅格投影光源5的姿态，使得其正面朝下，垂直于待测PCB；调整高度，使得其每个光栅产生的正方形距离为标准10mm。这个工作为人工手动完成。

S102、对加工过程进行图像分析，并利用阈值法判断所述待测PCB板4是否出现变形。

具体的，在多轴异步加工时，不断分析图像，及时发现变形的情况。其过程为采用Hough变换，计算出相机中栅格的栅格线的拟合的理论直线，然后计算所有实际上的栅格点与理论直线的垂直距离，计算出它们的平均偏差，然后与设置的阈值做比较，如果小于等于该阈值，就是正常范围；如果大于，那么就是出现变形，记录此刻拉力值、时间。然后，等加工结束后，等待T1秒（T1默认为2秒），对变形点再次检测，如果仍然出现变形，说明该变形无法恢复，判定出现无法恢复的变形，那么就报警。

其判断变形与第二个调整原则类似，如图4、图5所示，采用大津法，把图像二值化，然后使用Hough变换，计算每根线的理论值；然后以最中心的那个横线

（成像中由于远近及遮挡的原因，对一个相机只需要分析其中心线及下半部分的图像

和

，上半部分由另一个对称的相机成像及分析）的每个理论值的中心点

往外寻找外缘点（即垂直于每根线的方向上的像素各里外1个像素

和

），2个外缘点加上这个中心点，统计总数N2，判断它们是否为亮点（即光栅点），如果低于T3%（T3默认为95），那么就认定出现变形。

出现无法恢复的变形是出现变形后，等加工结束后，等待2秒，对变形点再次检测，如果仍然出现变形，说明该变形无法恢复，判定出现无法恢复的变形，那么就报警。

S103、将获取的多种数据输入反馈神经网络进行数据修正融合，并输出变形检测结果。

具体的，数据融合修正是图像分析、拉力计9、震动记录仪8数据的关联性，发现、分析变形，利用多源数据提高分析的可靠性，或者反向测定检测手段的阈值，用于裁剪配置使用。数据融合修正的作用是为了利用多元数据，减少摄像头等待第2次判断的时间，从而提高在线检测的速度。

数据修正融合的过程是：

步骤1，由人工再次判断每次出现无法恢复的变形的情况，是否存在通过更长的时间后可以达到恢复的状态的情况，即由人工修正学习样本。这些样本的数据的输入是图像分析模块、拉力计9、震动记录仪8数据的数据，输出是是否出现无法恢复的开关量。

步骤2，使用常见的反馈神经网络（BPN），将图像分析中的N2、拉力计9的各个拉力值、震动记录仪8的数据，作为输入，输入到BPN的输入端。输出层为是否为不是变形、不可恢复的变形、可恢复的变形三种，均为0和1表示，0表示不是，1表示是。本实施例中，输入端，拉力计9为横向4个，纵向3个，两侧共计（4+3）*2=14个输入源。震动仪为X\Y\Z的3个方向的速度和加速度共计6个值，所以输入层为（1+14+6）=21个神经元，输出为3个神经元，中间层被设定为（21+3）*2=48个神经元。这样可以训练出一个在使用T1秒等待时间下，尽量准确的多源数据融合的BPN。达到利用多源数据，减少摄像头等待第2次判断的时间，从而提高在线检测的速度的效果。

步骤3，由于还存在有些使用单位想在减少成本的情况下，尽量达到测试的效果，所以存在研究只利用图像分析模块、拉力计9、震动记录仪8进行本功能的简化版本的装置的情况。那么此刻为统计步骤1中的数据中，输出为出现变形时的图像分析模块、拉力计9、震动记录仪8数据的数据中，所有单次数据的最大值的集合，然后在该集合中统计出最小值。作为它们的单一数据来源时，实现测量时的上限阈值。达到反向测定检测手段的阈值，用于裁剪配置使用，降低成本。

请参阅图6和图7，本发明提供一种自动检查柔性PCB加工过程中变形的装置，所述自动检查柔性PCB加工过程中变形的装置包括机械框架1、加工底盘2、多轴加工机器3、待测PCB板4、栅格投影光源5、多台高速相机6、多台工业机器人7、震动记录仪8、多个拉力计9和检测系统10，所述加工底盘2与所述机械框架1可拆卸连接，并位于所述机械框架1一侧，所述多轴加工机器3位于所述加工底盘2一侧，所述加工底盘2具有固定卡槽11，所述固定卡槽11朝向远离所述机械框架1一侧，所述待测PCB板4与所述加工底盘2可拆卸连接，并位于所述固定卡槽11中，所述栅格投影光源5位于所述待测PCB板4上方，多台所述工业机器人7位于所述机械框架1一侧，多台所述高速相机6与多台所述工业机器人7固定连接，并位于靠近所述待测PCB板4一侧，所述震动记录仪8与所述加工底盘2固定连接，并位于远离所述待测PCB板4一侧，多个所述拉力计9与所述待测PCB板4固定连接，并位于所述待测PCB板4四周，所述检测系统10与多台所述高速相机6、所述震动记录仪8、多个所述拉力计9和所述栅格投影光源5连接，并位于所述加工底盘2一侧。

在本实施方式中，机械框架1为用于隔离外部光源，放置多轴加工设备，固定本发明其他硬件结构；加工底盘2作用是固定待测PCB板4，它上面有个固定卡槽11，确定了PCB的左上角在整个加工空间中的位置。多台加工机器人的初始位姿也是预先固定好的，这样，多台工业机器人7及其携带的各种其他检测结构和待测的PCB板之间就有了一个相对准确的相对初始位姿。多轴加工机器3是用于给待测PCB加工的设备，具体来讲是多轴异步的钻孔机，它们的每个钻头可以通过编程，实现控制待测PCB接触力，同时可以计算出它们在某一时刻的合力。它被放置在加工底盘2的正上方，本实施例中采用的是南京大量数控科技有限公司的多轴钻孔机。

如图6所示，待测PCB板4被绑定在加工底盘2上，左上角被安置在加工底盘2上的固定卡槽11上，周边被M*N个拉力计9通过夹子拉伸着，每个拉力计9通过机械框架1上旋钮旋转，在保持不形变的情况下，提供着一定的初始拉力值，每个拉力计9初始值均为F1。保留一个初始值的作用是用于检测当多个转头旋转的力为反方向，呈现从内往外的拉伸力时，由于拉力计9仅仅能够测得一个方向的力，所以是测不出这种情况的。通过设置一个拉力初始值，能够通过拉伸力的减少变化，测得这种反方向力的目的。本实施例中横排有2排各4个拉力计9，纵排有2排各3个拉力计9。

栅格投影光源5为可以发出栅格化的光线，它被固定在一个工业机器人7上，照射在待测PCB板4上，当待测PCB板4发生形变时，原本标准距离的栅格就会发生变化，被高速相机6观测到，用于给算法识别，分析位置，从而得出观测结论。它被放置在加工底盘2的正上方，朝下方发射光线，照在待测PCB板4上，产生栅格。本发明实施例中采用的是西安远心光学系统有限公司BT-GI192型栅格投影光源5。

高速相机6为至少3台，每个高速相机6固定在一个工业机器人7上，用于从3个正交位置的侧面以固定的角度，观测待测PCB板4上栅格光线的视频图片，并把视频图片发送给电脑，以进一步采用算法进行分析，本发明实施例中，采用的是3台巴斯勒acA640-100gc高速相机6，2台45度角观测，1台侧面观测。

多台工业机器人7用于可以精确运动，从而带动高速相机6从不同位姿观测不同加工点，实现精细测量。它们被固定在加工底盘2的四周，它们与加工底盘2上的固定卡槽11的相对位置为已知，本发明实施例中采用的是4台ABB公司的IRB120型6自由度工业机器人7，3台用于运动相机，1台用于运动栅格投影光源5。

震动记录仪8用于在高频采样率下采集记录采集点的震动数据，包括有三轴加速度计和陀螺仪提供了6自由度数据，其数量依据需要设置，使用时为了保证采集效果，数据不实时一一传输，等待震动结束后，应电脑要求，数据一次性打包发送。本发明实施例中，采用的是Dytran 4401 VibraCorder™ 6-自由度振动记录仪，它被放置在底盘下方。

多个拉力计9为拉力传感器，用于检测待测PCB板4的各个方向的力的变化，从而拟合出待测PCB板4每个点的力、力矩。本发明实施例中，采用的是14个大洋DYLY-108型100牛顿的拉力计9。

检测系统10可以是电脑，用于控制所有设备的工作，包括栅格投影光源5开关、高速相机6拍摄、获得震动记录仪8的工作数据、获得各个拉力计9的工作数据、给后期算法分析提供计算资源，主要可以是包括预先位姿校正模块、图像分析、数据融合修正模块这三大模块。其中，预先位姿校正模块是正常工作前的内容，它主要的任务是通过机器人运动和机器视觉观测，调整相关参数，从而获得后期精确的测量效果。图像分析模块是在多轴异步加工时，不断分析图像，及时发现变形的情况。数据融合修正模块是分析图像分析模块、拉力计9、震动记录仪8数据的关联性，发现、分析变形，利用多源数据提高分析的可靠性，或者反向测定检测手段的阈值，用于裁剪配置使用。

通过实现本发明，可以在加工（例如钻孔机等）柔性印刷电路板（PCB）时，自动检测柔性PCB是否变形的设备，从而警示操作人员，优化它们运动参数的装置。在使用了它的数据后，人们可以用于进一步分析参数，然后人工设置加工设备的各个运动参数，从而提高加工设备整体加工稳定性。

本发明的一种自动检查柔性PCB加工过程中变形的装置及其方法，包括机械框架1、加工底盘2、多轴加工机器3、待测PCB板4、栅格投影光源5、多台高速相机6、多台工业机器人7、震动记录仪8、多个拉力计9和检测系统10，首先根据三个调整原则，对应调整待测PCB板4加工前自动检查柔性PCB加工过程中变形的装置的三个测量参数；接着对加工过程进行图像分析，并利用阈值法判断所述待测PCB板4是否出现变形或者出现无法恢复的变形，并且在出现无法恢复的变形时进行报警；最后将获取的多种数据输入所述检测系统10中的反馈神经网络进行数据修正融合，并输出变形检测结果，提高加工设备整体加工稳定性。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (3)

1.一种自动检查柔性PCB加工过程中变形的方法，其特征在于，包括以下步骤：

根据三个调整原则，对应调整待测PCB板加工前的三个测量参数，其中，三调整原则包括调整相机姿态原则、调整相机与加工点距离原则和调整栅格投影光源姿态原则，三个测量参数为相机姿态、相机与加工点距离和栅格投影光源姿态；

对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形；

将获取的多种数据输入反馈神经网络进行数据修正融合，并输出变形检测结果，其中，多种所述数据包括拉力计的拉力值、震动记录仪采集的数据和图像分析结果；

其中，根据三个调整原则，对应调整待测PCB板加工前的三个测量参数，包括：

采用大津法将采集的图像二值化，并利用Hough变换计算所述图像中的所有直线的理论值，以中心的那个直线的每个理论值中心点往外寻找外缘点，2个外缘点加上这个中心点，统计所有这根线上的3个点为亮点的总数；

当所述总数小于95%时，调整相机，沿第一个原则所找到的轨迹运动，直至所述总数大于或等于95%；所述2个外缘点为垂直于每根线的方向上的像素各里外1个像素；其中，所述轨迹通过以下方式找到：以待测PCB板的加工点为轴心，PCB平面为下边，往上找出45度角的上边，这些上边构成一个顶点在加工点的圆锥体；然后在这个圆锥体上，根据2个工业机器人执行端运动距离之和为最小、且可以实现对称的原则，找出一个垂直于待测PCB板的竖面，这个竖面与圆锥体的交集的2根线，即2台相机的运行轨迹；

其中，对加工过程进行图像分析，并利用阈值法判断所述待测PCB板是否出现变形，包括：

采用Hough变化计算相机中栅格的栅格线的拟合理论直线，并计算所述理论直线与对应栅格点的垂直距离和平均偏差，同时将所述平均偏差与设定阈值进行比较；

若所述平均偏差小于或等于所述设定阈值，则判断没有出现变形，进行下一个加工点的图像分析；

若所述平均偏差大于所述设定阈值，则判断出现变形，并在设定时间段后，对所述加工点再次进行检测，并在出现无法恢复的变形时进行报警。

2.如权利要求1所述的一种自动检查柔性PCB加工过程中变形的方法，其特征在于，将获取的多种数据输入反馈神经网络进行数据修正融合，并输出变形检测结果，包括：

对变形数据进行人工修正学习，并将获取的多种数据输入反馈神经网络中进行数据融合，且输出是否为变形、不可恢复的变形、可恢复的变形三种，均为0和1表示，其中，多种所述数据包括拉力计的拉力值、震动记录仪采集的数据和图像分析结果。

3.一种自动检查柔性PCB加工过程中变形的装置，如权利要求1至权利要求2任一项所提供的一种自动检查柔性PCB加工过程中变形的方法应用于自动检查柔性PCB加工过程中变形的装置中，其特征在于，

所述自动检查柔性PCB加工过程中变形的装置包括机械框架、加工底盘、多轴加工机器、待测PCB板、栅格投影光源、多台高速相机、多台工业机器人、震动记录仪、多个拉力计和检测系统，所述加工底盘与所述机械框架可拆卸连接，并位于所述机械框架一侧，所述多轴加工机器位于所述加工底盘一侧，所述加工底盘具有固定卡槽，所述固定卡槽朝向远离所述机械框架一侧，所述待测PCB板与所述加工底盘可拆卸连接，并位于所述固定卡槽中，所述栅格投影光源位于所述待测PCB板上方，多台所述工业机器人位于所述机械框架一侧，多台所述高速相机与多台所述工业机器人固定连接，并位于靠近所述待测PCB板一侧，所述震动记录仪与所述加工底盘固定连接，并位于远离所述待测PCB板一侧，多个所述拉力计与所述待测PCB板固定连接，并位于所述待测PCB板四周，所述检测系统与多台所述高速相机、所述震动记录仪、多个所述拉力计和所述栅格投影光源连接，并位于所述加工底盘一侧。

Images