CN116698877A - 一种基于光栅投影的芯片外观检测装置和方法 - Google Patents

Abstract

本发明公开了一种基于光栅投影的芯片外观检测装置和方法，属于芯片检测技术领域，检测装置，包括数字投影设备、工业相机和工业相机镜头，数字投影设备的投影视野与工业相机的拍摄视野交叉形成公共视野，芯片位于公共视野中。检测方法包括以下步骤：搭建结构光三维测量系统，并标定系统参数；投影编码结构光图案到芯片表面，捕获变形的光栅图案，计算机处理条纹图像，结合标定系统参数获取芯片三维数据；映射芯片点云至二维图像，获取散热片和引脚位置的三维数据；细分引脚区域的点云，并分别与散热片所在平面比较，完成共面度和站立度指标的测量。本发明可以实时、全面和准确地对芯片外观进行检测。

Description

一种基于光栅投影的芯片外观检测装置和方法

技术领域

本发明涉及芯片检测技术领域，具体地说，涉及一种基于光栅投影的芯片外观检测装置和方法。

背景技术

芯片在经过封装工序后，外观上有一定概率会产生个体差异，可能直接影响其性能和可靠性。由于其广泛应用于集成电路的生成制造，继而会进一步影响后续生产环节的顺利进行和最终产品的质量。因此，芯片的外观检测是一项必不可少的重要环节，是IC产品质量保证的前提。

现有的检测技术有以下几种：1、人工检测，其可通过显微镜的辅助观察芯片的外观情况，但一方面其检测效率十分低下，准确性因人而异，且含有主观因素成分，另一方面，人工检测成本高昂，无法大量应用。2、基于工业相机发展的二维图像视觉检测方法，虽然可满足大部分的芯片外观指标检测需求，但其需要检测的指标体现在二维层面，对于诸如站立度、共面度这种强烈体现在三维层面的指标，传统二维检测方法显得束手无策。3、基于线激光的三维扫描设备，其与传动装置配合可测量完整的芯片点云数据，但速度受限，成本较高，不适用于芯片的快速生产制造的场合。

基于结构光对IC引脚的共面度的测量在现阶段也有研究，比如公开号为CN103954241A，公开日为2014年7月30日的中国专利文献公开了一种基于结构光的IC引脚共面度测量系统及其测量方法，能够将IC引脚共面度的测量转化为基于机器视觉的智能化测量，引脚的共面度测量在图像上映射为芯片表面与引脚表面光栅条纹间的高度差。该专利具有一定的局限性，仅能测量IC引脚的共面度，无法全面、实时且准确地对芯片外观进行检测。

发明内容

1.发明所要解决的技术问题

针对现有的芯片外观检测技术中无法全面、实时且准确地对芯片外观进行检测的问题，本发明提供一种基于光栅投影的芯片外观检测装置，能够通过数字投影设备和工业相机对芯片引脚的站立度和共面度进行全面测量，能够实时准确地对芯片外观进行检测。

本发明还提供一种基于光栅投影的芯片外观检测方法，应用了上述的基于光栅投影的芯片外观检测装置，通过数字投影设备投射预编码图案至芯片表面，再由工业相机拍摄变形条纹图像，结合预编码提供的信息和系统标定参数解算目标区域三维数据，测量出芯片引脚的站立度和共面度。

2.技术方案

为了实现上述目的，本发明提供一种基于光栅投影的芯片外观检测装置，包括数字投影设备、工业相机和工业相机镜头，所述工业相机镜头安装在工业相机上并与工业相机形成同一拍摄视野，所述数字投影设备的投影视野与工业相机的拍摄视野交叉形成公共视野，芯片位于公共视野中；工业相机通过工业相机镜头获取数字投影设备投影到芯片表面的图案并传输给外部的计算机。

进一步的，所述数字投影设备的光路与工业相机的光路交叉形成夹角。

进一步的，所述夹角的角度为20°～30°。

进一步的，还包括壳体，所述数字投影设备、工业相机和工业相机镜头均设置在壳体的内部，所述数字投影设备的投影端向工业相机镜头的方向倾斜设置；所述壳体上对应数字投影设备的投影端、工业相机镜头的位置分别开设有投影口和拍摄口。

进一步的，所述壳体内部对应投影口位置设置有滤光片座，所述滤光片座内部安装有投影滤光片，所述投影滤光片正对数字投影设备的投影端。

进一步的，所述拍摄口安装有镜头盖板，镜头盖板内部安装有相机滤光片。

进一步的，所述壳体的内部设置有相机夹具，相机夹具将工业相机和工业相机镜头固定。

本发明还提供一种基于光栅投影的芯片外观检测方法，应用了上述的芯片外观检测装置，包括以下步骤：

S1、搭建结构光三维测量系统，包括数字投影设备、工业相机和工业相机镜头，并标定系统参数；

S2、通过数字投影设备投影编码结构光图案到芯片表面，工业相机捕获变形的光栅图案，由计算机处理条纹图像，并结合标定的系统参数获取芯片三维数据；

S3、根据Z轴坐标，映射芯片点云至二维图像，以独立获取散热片和引脚位置的三维数据；

S4、细分引脚区域的点云，并分别与散热片所在平面比较，以完成共面度和站立度指标的测量。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下有益效果：

(1)本发明的一种基于光栅投影的芯片外观检测装置，芯片放置在数字投影设备和工业相机的公共视野中，数字投影设备的投影在芯片表面的图案可以被工业相机清楚的拍摄捕获，投影图案信息传输给外部的计算机进行解算、分析，进而测量芯片引脚的站立度和共面度，可以实时、全面和准确地对芯片外观进行检测。

(2)本发明的一种基于光栅投影的芯片外观检测装置，数字投影设备的光路与工业相机的光路形成夹角，使数字投影设备照射到芯片上的光可以被容易工业相机拍摄到。夹角的角度为20°～30°，可以使得在芯片位于公共视野的情况下，公共视野可以位于数字投影设备和工业相机各自视野的中央。

(3)本发明的一种基于光栅投影的芯片外观检测装置，数字投影设备和工业相机设置在壳体的内部，可以使本装置结构紧凑、设备集成度高，同时可以隔绝灰尘，避免环境光的干扰，提高测量准确度。投影滤光片和相机滤光片可以过滤掉其他颜色光的干扰，进一步提高测量结果。相机夹具可以将工业相机和工业相机镜头固定，防止二者后期松动。

(4)本发明的一种基于光栅投影的芯片外观检测方法，通过数字投影设备投射预编码图案至芯片表面，再由工业相机拍摄变形条纹图像，结合预编码提供的信息和系统标定参数解算目标区域三维数据，测量出芯片引脚的站立度和共面度，可以实时、全面和准确地对芯片外观进行检测。

附图说明

在附图中，尺寸和比例不代表实际产品的尺寸和比例。附图仅仅是说明性的，并且为了清楚起见，省略了某些非必要的元件或特征。

图1为本发明实施例的芯片外观检测装置的内部结构示意图；

图2为本发明实施例的基于光栅投影的芯片外观检测方法流程图；

图3为本发明实施例的芯片外观检测方法某一姿态标定板采样位置示意图；

图4为本发明实施例的芯片外观检测方法Z轴数据映射图；

图5为本发明实施例的芯片外观检测方法的散热片平面和引脚点云划分图。

示意图中的标号说明：

1、数字投影设备；2、工业相机；3、工业相机镜头；4、壳体；5、滤光片座；6、相机夹具。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。这里所描述的仅仅是根据本发明的优选实施方式，本领域技术人员可以在优选实施方式的基础上想到能够实现本发明的其他方式，其他方式同样落入本发明的范围。

实施例1

本实施例提供一种基于光栅投影的芯片外观检测装置，如图1所示，包括数字投影设备1、工业相机2和工业相机镜头3，三者设置在壳体4的内部，可以使本装置结构紧凑、设备集成度高，同时可以隔绝灰尘，避免环境光的干扰，提高测量准确度。数字投影设备1的投影端向工业相机镜头3的方向倾斜设置，数字投影设备1的光路与工业相机2的光路交叉形成夹角，可以使得数字投影设备1的投影视野与工业相机2和工业相机镜头3的拍摄视野交叉形成公共视野，芯片位于公共视野中。工业相机2通过工业相机镜头3获取数字投影设备1投影到芯片表面的图案并传输给外部的计算机。外部的计算机对投影图案信息进行解算、分析，进而测量芯片引脚的站立度和共面度，可以实时、全面和准确地对芯片外观进行检测。本实施例中，数字投影设备1主要采用投影仪。

本实施例中，作为进一步的限定，夹角的角度为20°～30°，可以使得在芯片位于公共视野的情况下，公共视野可以位于数字投影设备1和工业相机2各自视野的中央。壳体4上对应数字投影设备1的投影端、工业相机镜头3的位置分别开设有投影口和拍摄口，方便光路传播。壳体4内部对应投影口位置设置有滤光片座5，滤光片座5内部安装有投影滤光片，投影滤光片正对数字投影设备1的投影端。拍摄口安装有镜头盖板，镜头盖板内部安装有相机滤光片。两种滤光片可以过滤掉其他颜色光的干扰，进一步提高测量结果。壳体4的内部设置有相机夹具6，相机夹具6将工业相机2和工业相机镜头3固定，防止后期松动。

本实施例提供一种基于光栅投影的芯片外观检测方法，在Windows操作系统中，通过Visual Studio平台用C++语言实现了TO263芯片外观指标测量操作。

应用本方法进行TO263芯片外观指标测量主要包括数字投影设备1投射编码光栅图案至TO263芯片表面，由工业相机2采集变形的条纹图像，获取条纹图像的主值相位、周期次数以去除包裹，结合系统标定参数解算芯片点云数据，映射Z轴数据至二维图像以获取散热片平面位置点云和引脚位置点云数据，拟合平面并细分引脚区域以测量站立度和共面度三个操作步骤，具体步骤如下，步骤中未标明的单位都以毫米为单位：

步骤S1：搭建结构光三维测量系统，其由单个数字投影设备1、单个工业相机2和工业相机镜头3组成，如图1所示，并标定系统参数；

在本步骤中，标定系统时，通过“正推矩阵”映射图像二维像素坐标至相机三维空间坐标，以采样该位置相位值与其对应的相机三维空间坐标系下三维点组成的样本。

步骤S2：通过数字投影设备1投影编码结构光图案到TO263芯片表面，工业相机2捕获变形的光栅图案，由计算机处理条纹图像，并结合标定的系统参数获取芯片三维数据；

本步骤即可应用于测量系统的标定中，也应用实际外观指标测量中，该步骤目的是获取目标区域的相位数据以在标定或测量中提供更多信息，具体来说包括如下内容：

步骤S201：采用六步移相法兼顾速度与测量精度，相移图案的主值相位通过最小二乘法公式获取：

其中，φ表示主相位值，Ik表示第k幅图像。本实施例中包括16幅图像，即k可以取值1到16，N为16。

步骤S202：采用正反格雷码图案，解算目标区域的全局分量和直接分量，公式如下：

其中，b是用户根据经验设置的数值，一般在0～1之间，包括0和1两个端点值。p为二维图像上的某一坐标；L_p ⁺是拍摄的所有格雷码中，每个像素位置的最大值，如有10张格雷码图，则在图像中某一位置如(100，100)处就有10个值，即其中最大值，同理，L_p ^-为最小值。L_d称为直接光，即光直接照亮的地方，L_g为间接光，即不是由投影仪直接照亮的地方。

再根据如下规则二值化格雷码图案：

其中，d为公式(2)中的L_d(p)，itotal为公式(2)中的L_g(p)，由此格雷码图像的二值化更加鲁棒，点云中的飞点数量更少；c为一设定常量，一般为5。

步骤S203：格雷码图案解码得到周期次数K1，其补码图案解码得到周期次数K2，补码可以极大程度降低周期次数跳变引起的误差；则两者相结合主值相位可根据下式展开：

其中，θ表示无包裹的相位值，即从主值相位和周次次数K1，K2联合得出。

最后，在标定时结合其他信息完成系统参数的标定，又可在测量时结合标定的系统参数解算目标区域的点云数据。

特别的，测量时，点云数据由下述公式获取：

其中，Zc，Xc，Yc表示相机坐标系下的三维点；m表示当前图像中的横坐标，n表示当前图像中的纵坐标，以像素为单位；m₀表示图像主点横坐标，n₀表示图像主点纵坐标，相机标定中的术语；fx表示图像横向放大因子，fy表示图像纵向放大因子；a₁～a₈为系统标定的参数。

步骤S3：根据Z轴坐标，映射芯片点云至二维图像，以独立获取散热片和引脚位置的三维数据，如图4所示；

步骤S4：细分引脚区域的点云，并分别与散热片所在平面比较，如图5所示，以完成共面度和站立度指标的测量。需要说明的是，本实施例中的散热片为芯片的一部分，位于芯片的表面。

本步骤主要是完成芯片外观指标的测量，具体来说包括如下内容：

步骤S401：芯片散热片平面点云数据根据以下公式拟合平面：

Ax+By+Cz＝D (4)

其中，A、B、C、D为拟合平面的公式系数，x、y、z是一系列用来拟合平面的三维点。

步骤S402：细分芯片引脚位置数据为若干区域，每个区域包括若干点云，根据以下公式计算点云到拟合平面的距离d：

其中，x₀、y₀、z₀是被测量的点，即用该公式可以算出此点距离拟合平面的距离。

各区域中点云到拟合平面距离取均值，并比较所有区域均值找出最大值，以测量引脚的站立度，比较各引脚最大值以测量共面度。

实施例2

在标定系统参数时，具体方法如下：

步骤一：标定系统时，标定板以不同姿态放置在工业相机2视野下的不同位置，并且同一位置分别拍摄数字投影设备1工作时光栅图案照射在标定板上的图像和数字投影设备1不工作时标定板图像。

需要说明的是，因为获取标定板图片时，需要数字投影设备1工作时投射到标定板表面的图案，有需要数字投影设备1不工作时正常光照亮的标定板图像，而两者之间，标定板的位置不能有变化，即标定板位于同一位置。

步骤二：照射有光栅图案的标定板图像用以获取标定板上无包裹相位值，具体方法见上述步骤S2；不同位姿的标定板图像用以标定工业相机2。需要说明的是，因为要拍摄很多次标定板图像，每次的标定板需要同时有平移和旋转的变化，即位姿。

步骤三：具体地，工业相机2标定时，简化相机成像过程为针孔模型，并引入镜头的径向和切向畸变以提升精度，公式如下：

其中，s表示比例因子，可为任意实数，m、n为图像的横、纵坐标；A表示相机内部参数；R表示旋转矩阵，即世界坐标系到相机坐标系的旋转关系；T表示平移矩阵，即世界坐标系到相机坐标系的平移关系；X_w、Y_w、Z_w为世界坐标系中的任意一个三维点。

其中，x_d，y_d为畸变后的归一化坐标；x，y为未畸变的归一化坐标。

由于世界坐标系XY平面建立在标定板平面，即Zw恒为零，则至少3张标定板图像可标定出相机内部参数A，径向畸变系数k₁，k₂，k₃，切向畸变系数p₁，p₂，以及不同位姿标定板对应的R1，T1，R2，T2，R3，T3……

步骤四：由标定板平面至相机成像平面，有单应性矩阵H如下：

H＝A[r_x r_y T] (8)

则由相机成像平面至任意一标定板平面，即“正推矩阵”G如下：

其中，g₁-g₉表示正推矩阵中的元素，其为3x3的矩阵。

据此，相机成像平面转换至任意一标定板平面操作如下：

步骤五：标定板平面分布阵列对称白圆，且有定位方向的五个大圆，即采样位置，如图3所示；首先，通过图像处理技术定位大圆中心亚像素坐标，取整后获取该位置的相位值，然后，对整数像素坐标去畸变后，根据公式(10)获取其对应的相机三维空间坐标下坐标，完成相位值-空间三维坐标样本的采集，最后，更换“正推矩阵”重复操作获取大量样本解算如下方程以标定系统参数a₁～a₈：

特别的，令a₈＝1可简化计算。

以上示意性地对本发明创造及其实施方式进行了描述，该描述没有限制性，在不背离本发明的精神或者基本特征的情况下，能够以其他的具体形式实现本发明。附图中所示的也只是本发明创造的实施方式之一，实际的结构并不局限于此，权利要求中的任何附图标记不应限制所涉及的权利要求。所以，如果本领域的普通技术人员受其启示，在不脱离本创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本专利的保护范围。此外，“包括”一词不排除其他元件或步骤，在元件前的“一个”一词不排除包括“多个”该元件。产品权利要求中陈述的多个元件也可以由一个元件通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (15)

1.一种基于光栅投影的芯片外观检测装置，其特征在于，包括数字投影设备(1)、工业相机(2)和工业相机镜头(3)，所述工业相机镜头(3)安装在工业相机(2)上并与工业相机(2)形成同一拍摄视野，所述数字投影设备(1)的投影视野与工业相机(2)的拍摄视野交叉形成公共视野，芯片位于公共视野中；工业相机(2)通过工业相机镜头(3)获取数字投影设备(1)投影到芯片表面的图案并传输给外部的计算机。

2.根据权利要求1所述的一种基于光栅投影的芯片外观检测装置，其特征在于，所述数字投影设备(1)的光路与工业相机(2)的光路交叉形成夹角。

3.根据权利要求2所述的一种基于光栅投影的芯片外观检测装置，其特征在于，所述夹角的角度为20°～30°。

4.根据权利要求1所述的一种基于光栅投影的芯片外观检测装置，其特征在于，还包括壳体(4)，所述数字投影设备(1)、工业相机(2)和工业相机镜头(3)均设置在壳体(4)的内部，所述数字投影设备(1)的投影端向工业相机镜头(3)的方向倾斜设置；所述壳体(4)上对应数字投影设备(1)的投影端、工业相机镜头(3)的位置分别开设有投影口和拍摄口。

5.根据权利要求4所述的一种基于光栅投影的芯片外观检测装置，其特征在于，所述壳体(4)内部对应投影口位置设置有滤光片座(5)，所述滤光片座(5)内部安装有投影滤光片，所述投影滤光片正对数字投影设备(1)的投影端。

6.根据权利要求4所述的一种基于光栅投影的芯片外观检测装置，其特征在于，所述拍摄口安装有镜头盖板，镜头盖板内部安装有相机滤光片。

7.根据权利要求4所述的一种基于光栅投影的芯片外观检测装置，其特征在于，所述壳体(4)的内部设置有相机夹具(6)，相机夹具(6)将工业相机(2)和工业相机镜头(3)固定。

8.一种基于光栅投影的芯片外观检测方法，应用了权利要求1-7任意一项所述的芯片外观检测装置，其特征在于，包括以下步骤：

S1、搭建结构光三维测量系统，包括数字投影设备(1)、工业相机(2)和工业相机镜头(3)，并标定系统参数；

S2、通过数字投影设备(1)投影编码结构光图案到芯片表面，工业相机(2)捕获变形的光栅图案，由计算机处理条纹图像，并结合标定的系统参数获取芯片三维数据；

S3、根据Z轴坐标，映射芯片点云至二维图像，以独立获取散热片和引脚位置的三维数据；

S4、细分引脚区域的点云，并分别与散热片所在平面比较，以完成共面度和站立度指标的测量。

9.根据权利要求8所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S1中，标定系统时，通过“正推矩阵”映射图像二维像素坐标至相机三维空间坐标，以采样该位置相位值与其对应的相机三维空间坐标系下三维点组成的样本。

10.根据权利要求8所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S2中，采用六步移相法兼顾速度与测量精度，相移图案的主值相位通过最小二乘法公式获取：

其中，表示主相位值，I_k表示第k幅图像，N表示图像总幅数。

11.根据权利要求10所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S2中，采用正反格雷码图案，解算目标区域的全局分量和直接分量，公式如下：

其中，b为常数，0≤b≤1；p为二维图像上的某一坐标；L_p ⁺是拍摄的所有格雷码中，每个像素位置的最大值；L_p ^-是拍摄的所有格雷码中，每个像素位置的最小值；L_d表示直接光，L_g表示间接光；再根据规则二值化格雷码图案。

12.根据权利要求10所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S2中，解码格雷码图案得到周期次数K1，解码格雷码的补码图案得到周期次数K2，K1和K2相结合主值相位可根据下式展开：

其中，θ表示无包裹的相位值；

测量时，点云数据由下述公式获取：

其中，Zc，Xc，Yc表示相机坐标系下的三维点；m表示当前图像中的横坐标，n表示当前图像中的纵坐标；m₀表示图像主点横坐标，n₀表示图像主点纵坐标；fx表示图像横向放大因子，fy表示图像纵向放大因子；a₁～a₈为系统标定的参数。

13.根据权利要求8所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S4中，芯片散热片平面点云数据根据以下公式拟合平面：

Ax+By+Cz＝D； (4)

其中，A、B、C、D为拟合平面的公式系数，x、y、z是一系列用来拟合平面的三维点；

细分芯片引脚位置数据为若干区域，每个区域包括若干点云，根据以下公式计算点云到拟合平面的距离d：

其中，x₀、y₀、z₀是被测量的点；

各区域中点云到拟合平面距离取均值，并比较所有区域均值找出最大值，以测量引脚的站立度，比较各引脚最大值以测量共面度。

14.根据权利要求8所述的一种基于光栅投影的芯片外观检测方法，其特征在于，在所述步骤S1中，标定系统时，标定板以不同姿态放置在工业相机(2)视野下的不同位置，工业相机(2)在同一位置分别拍摄数字投影设备(1)工作时光栅图案照射在标定板上的图像和数字投影设备(1)不工作时标定板图像；照射有光栅图案的标定板图像获取标定板上无包裹相位值。

15.根据权利要求14所述的一种基于光栅投影的芯片外观检测方法，其特征在于，工业相机(2)标定时，简化相机成像过程为针孔模型，并引入镜头的径向和切向畸变以提升精度，公式如下：

其中，s表示比例因子，可为任意实数，m、n为图像的横、纵坐标；A表示相机内部参数；R表示旋转矩阵，即世界坐标系到相机坐标系的旋转关系；T表示平移矩阵，即世界坐标系到相机坐标系的平移关系；X_w、Y_w、Z_w为世界坐标系中的任意一个三维点。