CN103543167B - 一种基于知识库的三维x射线断层扫描检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于知识库的三维X射线断层扫描检测系统，包括数据采集模块、切片重建模块、图像分割模块、图像配准模块、缺陷检测模块以及知识库管理模块，其中数据采集模块，用于采集CT投影数据；切片重建模块，根据采集到的CT投影数据进行二维切片重建，恢复切片CT图像；图像分割模块，对切片CT图像分割出芯片重点部位的CT图像信息；图像配准模块，将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；缺陷检测模块，提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型。本发明的系统及方法，其缺陷定位准确、质量检测精确度高。

Description

一种基于知识库的三维X射线断层扫描检测系统及方法

技术领域

本发明涉及精密电子高端芯片的三维封装过程的质量检测领域，特别涉及一种应用在高端芯片封装过程中基于知识库的三维X射线断层扫描检测系统及方法。

背景技术

精密电子高端芯片的三维封装，除采用了一般二维封装的技术外，还采用了多层布线或者是层间叠装互联的复杂封装技术，这些技术使得SiP芯片从裸片到封装以及到印刷电路板的质量检测都变得更加困难。

应用二维X射线成像技术对三维封装器件进行检测时，因三维封装器件的所有层次都是同时看到的，裸片和各个层次的导线压焊点会叠加在X射线图像上，故检测人员根据此X射线图像无法确定对应的层次和位置，即使采用斜角X射线，也无法有效解决此问题，给分析和质量检测带来了极大的困扰。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于知识库的三维X射线断层扫描检测系统，其缺陷定位准确、质量检测精确度高。

本发明的另一目的在于提供一种基于知识库的三维X射线断层扫描检测方法。

本发明的目的通过以下的技术方案实现：

一种基于知识库的三维X射线断层扫描检测系统，包括数据采集模块、切片重建模块、图像分割模块、图像配准模块、缺陷检测模块以及知识库管理模块，其中

数据采集模块，用于采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据；

切片重建模块，根据采集到的CT投影数据进行二维切片重建，恢复切片CT图像；

图像分割模块，对切片CT图像分割出芯片重点部位的CT图像信息；

图像配准模块，将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

缺陷检测模块，提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型；

知识库管理模块，存储数据采集模块采集的芯片标准CT数据、有缺陷芯片的CT数据、待检测芯片的投影数据，以及切片重建模块重建的切片CT图像，供其它模块调用。

图像分割模块中，所述的切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割。

缺陷检测模块中，所述的提取待检测芯片CT图像特征的方法具体包含以下步骤：

a、对经过图像分割模块处理的2D切片图像提取闭合轮廓；

b、采用改进的基于分割的等值面提取算法提取各切片图像的等值面；

c、将相邻切片的等值面采用基于区域增长的立方体算法进行连接，实现3D立体重建；

d、采用多层面显示的方法，使外轮廓具有透明效果，便于观测模型内部，更便于对缺陷进行检测和分析；

e、采用基于形状的插值算法代替普通的三线性插值实现虚拟切割算法，获得重建物体的任意方向的切片显示。

所述的基于知识库的三维X射线断层扫描检测系统，还包括预处理模块，对数据采集模块采集到的CT投影数据进行降噪处理。由于采集到的投影数据中不可避免含有噪声影响，所以在切片重建模块中除了利用对CT投影数据恢复切片图，还利用预处理模块对CT投影数据进行降噪处理，以得到质量较好的重建切片图。

预处理模块中，所述的降噪处理的方法为各向异性平滑处理方法，具体包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度。

所述的芯片缺陷包括缺焊、错焊、少锡、多锡、断线、粘脚、断脚；

所述的芯片的重点部位包括焊点、连线、多层印刷电路板；

缺陷检测模块中，所述的缺陷类型及对应的检测方法，包括以下几个方面：

a、断脚和断线：对配准后的CT图像和体素模型脚和线的坐标进行比较，并使用灰度参数来判断某脚和某条线是否为断开的；

b、缺焊和错焊：对待检测芯片的每一个脚是否需要焊接进行标定，然后，找到模型对应的CT图像中的每一个脚，判断是否需要焊接；

c、少锡、多锡：使用形态参数对少锡、多锡进行判读；

d、粘脚：分割每一个脚，使用连同域分析判断粘脚。

一种基于知识库的三维X射线断层扫描检测方法，包含以下顺序的步骤：

1）利用数据采集模块采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据，并存储在知识库管理模块中；

2）对数据采集模块采集到的CT投影数据，切片重建模块进行二维切片重建，恢复切片CT图像；

3）通过图像分割模块对切片CT图像分割出待检测芯片重点部位的CT图像信息；

4）通过图像配准模块将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

5）通过缺陷检测模块提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型。

步骤2）中，进行二维切片重建之前，对采集到的CT投影数据先进行降噪处理。

所述的降噪处理方法，包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度。

步骤3）中，所述的切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割。

步骤5）中，所述的提取待检测芯片CT图像特征的方法具体包含以下步骤：

a、对经过图像分割模块处理的2D切片图像提取闭合轮廓；

b、采用改进的基于分割的等值面提取算法提取各切片图像的等值面；

c、将相邻切片的等值面采用基于区域增长的立方体算法进行连接，实现3D立体重建；

d、采用多层面显示的方法，使外轮廓具有透明效果，便于观测模型内部，更便于对缺陷进行检测和分析；

e、采用基于形状的插值算法代替普通的三线性插值实现虚拟切割算法，获得重建物体的任意方向的切片显示。

本发明与现有技术相比，具有如下优点和有益效果：

1、缺陷定位准确：本发明采用基于知识的3D X射线断层扫描检测方法来对3D复杂封装过程进行缺陷检测，通过对多幅2D断层图像的重构叠加再现三维物体立体图。

2、质量检测精确度高：本发明可以通过三维立体图多角度、多方位观察物体的内部特征，直观得到缺陷的位置、取向、形状及尺寸大小等三维参数信息，结合密度分析技术还可以确定缺陷的性质，解决了缺陷空间定位、深度定量及综合定性分析等问题。

3、自动化程度高：通过知识库的应用，可自动对检测到的缺陷进行分类，并通过学习机制根据检测结果对知识库进行更新。

4、质量检测更为方便：分析本发明可以对三维物体进行虚拟切割，得到任意角度，任意位置的切片，可使测试人员看到封装中的不同层次和不同物体，同时和其他可能引起混淆的细节分开，以便更好地进行缺陷分析和质量控制。

附图说明

图1为本发明所述的一种基于知识库的三维X射线断层扫描检测系统的结构示意图；

图2为本发明所述的一种基于知识库的三维X射线断层扫描检测方法的流程图。

具体实施方式

如图1，一种基于知识库的三维X射线断层扫描检测系统，包括数据采集模块、预处理模块、切片重建模块、图像分割模块、图像配准模块、缺陷检测模块以及知识库管理模块，通过系统人机交互界面，使用者可以进行相应的操作，其中

数据采集模块，用于采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据，其中芯片的缺陷包括缺焊、错焊、少锡、多锡、断线、粘脚、断脚；

预处理模块，对数据采集模块采集到的CT投影数据进行降噪处理，其中降噪处理的方法为各向异性平滑处理方法，具体包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度；

异性平滑处理方法是根据图像不同方向上的梯度而确定扩散系数，在平滑噪声的同时有效保留图像的细节信息；对于图像中任意像素点f(i，j)选取上、下、左、右四个方向的梯度值来计算该点变换后的灰度值；以计算向上梯度为例，计算式为：

$\▿f(i,j)=\sqrt{{[f(i,j)-f(i-1,j)]}^2},$

其次计算其对应的扩散系数，本发明中选取的扩散系数计算式为：

$c(i,j)=\frac{1}{1+k\·{|\▿f(i,j)|}^2},$

同理计算其余3个方向的梯度值及对应扩散系数，最后计算变换后的灰度值为：

$\begin{array}{c}g(i,j)=f(i,j)\\ +[c(i-1,j)\·f(i-1,j)+c(i+1,j)\·f(i+1,j)\\ +c(i,j-1)\·f(i,j-1)+c(i,j+1)\·f(i,j+1)]/4\end{array};$

切片重建模块，根据采集到的CT投影数据进行二维切片重建，恢复切片CT图像；

图像分割模块，对切片CT图像分割出芯片重点部位的CT图像信息，其中重点部位包括焊点、连线、多层印刷电路板，其中切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割；

进一步地，结合多阈值及连通域分析的分割方法是基于势函数聚类自适应确定分割类数，具体过程如下：

a、利用势函数聚类的方法求出图像分类个数C以及每一类聚类中心灰度值h_c，C＝l，2，…C;

b、设分割阈值为t_k，k＝1.2，…C-1；

c、将阈值在t_k与h_k之间遍历，k＝1，2，…C-l，选取使形状连通度最大的一组分割阈值为最优分割阈值组；

d、利用得到的最优分割阈值组进行多阈值图像分割；

图像配准模块，将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

缺陷检测模块，提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型，其中提取待检测芯片CT图像特征的方法具体包含以下步骤：

a、对经过图像分割模块处理的2D切片图像提取闭合轮廓；

b、采用改进的基于分割的等值面提取算法提取各切片图像的等值面；

c、将相邻切片的等值面采用基于区域增长的立方体算法进行连接，实现3D立体重建；

d、采用多层面显示的方法，使外轮廓具有透明效果，便于观测模型内部，更便于对缺陷进行检测和分析；

e、采用基于形状的插值算法代替普通的三线性插值实现虚拟切割算法，获得重建物体的任意方向的切片显示；

其中，缺陷类型及对应的检测方法，包括以下几个方面：

a、断脚和断线：对配准后的CT图像和体素模型脚和线的坐标进行比较，并使用灰度参数来判断某脚和某条线是否为断开的；

b、缺焊和错焊：对待检测芯片的每一个脚是否需要焊接进行标定，然后，找到模型对应的CT图像中的每一个脚，判断是否需要焊接；

c、少锡、多锡：使用形态参数对少锡、多锡进行判读；

d、粘脚：分割每一个脚，使用连同域分析判断粘脚；

知识库管理模块，存储数据采集模块采集的芯片标准CT数据、有缺陷芯片的CT数据、待检测芯片的投影数据，以及切片重建模块重建的切片CT图像，供其它模块调用。

如图2，一种基于知识库的三维X射线断层扫描检测方法，包含以下顺序的步骤：

1）利用数据采集模块采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据，并存储在知识库管理模块中；

2）对数据采集模块采集到的CT投影数据，先进行降噪处理，降噪处理方法为异性平滑处理方法，包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度；

异性平滑处理方法是根据图像不同方向上的梯度而确定扩散系数，在平滑噪声的同时有效保留图像的细节信息;对于图像中任意像素点f(i，j)选取上、下、左、右四个方向的梯度值来计算该点变换后的灰度值；以计算向上梯度为例，计算式为：

$\▿f(i,j)=\sqrt{{[f(i,j)-f(i-1,j)]}^2},$

其次计算其对应的扩散系数，本发明中选取的扩散系数计算式为：

$c(i,j)=\frac{1}{1+k\·{|\▿f(i,j)|}^2},$

同理计算其余3个方向的梯度值及对应扩散系数，最后计算变换后的灰度值为：

$\begin{array}{c}g(i,j)=f(i,j)\\ +[c(i-1,j)\·f(i-1,j)+c(i+1,j)\·f(i+1,j)\\ +c(i,j-1)\·f(i,j-1)+c(i,j+1)\·f(i,j+1)]/4\end{array};$

然后通过切片重建模块进行二维切片重建，恢复切片CT图像；

3）通过图像分割模块对切片CT图像分割出待检测芯片重点部位的CT图像信息，其中切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割；

进一步地，结合多阈值及连通域分析的分割方法是基于势函数聚类自适应确定分割类数，具体过程如下：

a、利用势函数聚类的方法求出图像分类个数C以及每一类聚类中心灰度值h_c，c＝1，2，…C；

b、设分割阈值为t_k，k＝1，2，…C-1；

c、将阈值在t_k与h_k之间遍历,k＝1，2…C-1，选取使形状连通度最大的一组分割阈值为最优分割阈值组；

d、利用得到的最优分割阈值组进行多阈值图像分割；

4）通过图像配准模块将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

5）通过缺陷检测模块提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型，其中提取待检测芯片CT图像特征的方法具体包含以下步骤：

a、对经过图像分割模块处理的2D切片图像提取闭合轮廓；

b、采用改进的基于分割的等值面提取算法提取各切片图像的等值面；

c、将相邻切片的等值面采用基于区域增长的立方体算法进行连接，实现3D立体重建；

d、采用多层面显示的方法，使外轮廓具有透明效果，便于观测模型内部，更便于对缺陷进行检测和分析；

e、采用基于形状的插值算法代替普通的三线性插值实现虚拟切割算法，获得重建物体的任意方向的切片显示；

所述的缺陷类型及对应的检测方法，包括以下几个方面：

a、断脚和断线：对配准后的CT图像和体素模型脚和线的坐标进行比较，并使用灰度参数来判断某脚和某条线是否为断开的；

b、缺焊和错焊：对待检测芯片的每一个脚是否需要焊接进行标定，然后，找到模型对应的CT图像中的每一个脚，判断是否需要焊接；

c、少锡、多锡：使用形态参数对少锡、多锡进行判读；

d、粘脚：分割每一个脚，使用连同域分析判断粘脚。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于知识库的三维X射线断层扫描检测系统，其特征在于，包括数据采集模块、切片重建模块、图像分割模块、图像配准模块、缺陷检测模块以及知识库管理模块，其中

数据采集模块，将用于采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据；

切片重建模块，根据采集到的CT投影数据进行二维切片重建，恢复切片CT图像；

图像分割模块，对切片CT图像分割出芯片重点部位的CT图像信息；

图像配准模块，将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

缺陷检测模块，提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型；

缺陷检测模块中，所述的提取待检测芯片CT图像特征的方法具体包含以下步骤：

a、对经过图像分割模块处理的2D切片图像提取闭合轮廓；

b、采用改进的基于分割的等值面提取算法提取各切片图像的等值面；

c、将相邻切片的等值面采用基于区域增长的立方体算法进行连接，实现3D立体重建；

d、采用多层面显示的方法，使外轮廓具有透明效果，便于观测模型内部，更便于对缺陷进行检测和分析；

e、采用基于形状的插值算法代替普通的三线性插值实现虚拟切割算法，获得重建物体的任意方向的切片显示；

知识库管理模块，存储数据采集模块采集的芯片标准CT数据、有缺陷芯片的CT数据、待检测芯片的投影数据，以及切片重建模块重建的切片CT图像，供其它模块调用；

图像分割模块中，所述的切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割。

2.根据权利要求1所述的基于知识库的三维X射线断层扫描检测系统，其特征在于，该系统还包括预处理模块，对数据采集模块采集到的CT投影数据进行降噪处理。

3.根据权利要求2所述的基于知识库的三维X射线断层扫描检测系统，其特征在于，预处理模块中，所述的降噪处理的方法为各向异性平滑处理方法，具体包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度。

4.根据权利要求1所述的基于知识库的三维X射线断层扫描检测系统，其特征在于，所述的芯片缺陷包括缺焊、错焊、少锡、多锡、断线、粘脚、断脚；

所述的芯片的重点部位包括焊点、连线；

缺陷检测模块中，所述的缺陷类型及对应的检测方法，包括以下几个方面：

a、断脚和断线：对配准后的CT图像和体素模型脚和线的坐标进行比较，并使用灰度参数来判断某脚和某条线是否为断开的；

b、缺焊和错焊：对待检测芯片的每一个脚是否需要焊接进行标定，然后，找到模型对应的CT图像中的每一个脚，判断是否需要焊接；

c、少锡、多锡：使用形态参数对少锡、多锡进行判读；

d、粘脚：分割每一个脚，使用连通域分析判断粘脚。

5.一种基于权利要求1所述的系统的基于知识库的三维X射线断层扫描检测方法，包含以下顺序的步骤：

1)将利用数据采集模块采集标准CT投影数据的芯片置于载物平台，开启X射线断层扫描机，转换载物平台的角度，获取多组CT投影数据，并采集有缺陷芯片的CT投影数据以及待检测芯片的CT投影数据，并存储在知识库管理模块中；

2)对数据采集模块采集到的CT投影数据，切片重建模块进行二维切片重建，恢复切片CT图像；

3)通过图像分割模块对切片CT图像分割出待检测芯片重点部位的CT图像信息；

所述的切片CT图像分割方法为结合多阈值及连通域分析的分割方法，具体包含以下步骤：

a、绘制经过预处理去噪的图像的灰度直方图，通过迭代计算得到多个分割阈值；

b、结合连通域分析法及水平集算法，将低对比度问题转化为不同拓扑结构中的较高对比度分割问题进行分割；

4)通过图像配准模块将待检测的CT图像与标准CT图像进行配准，找出两者之间的对应关系，使之对应的部分具有可比性；

5)通过缺陷检测模块提取待检测芯片CT图像特征，并与知识库内芯片标准CT图像对应特征进行比较,判断待检测芯片是否有缺陷及缺陷的类型。

6.根据权利要求5所述的基于知识库的三维X射线断层扫描检测方法，其特征在于，步骤2)中，进行二维切片重建之前，对采集到的CT投影数据先进行降噪处理，其中降噪处理方法，包含以下顺序的步骤：

a、分析工业CT图像中噪声的来源和性质，建立噪声的模拟数学模型；

b、结合缺陷目标边缘模糊且对比度较低的特性，采用多尺度地各向异性的滤波，对不同性质的像素采用不同的滤波尺度。