CN112308854A - 一种芯片表面瑕疵的自动检测方法、系统及电子设备 - Google Patents

Abstract

本发明涉及一种芯片表面瑕疵的自动检测方法、系统及电子设备，包括对芯片图像进行光照补偿，得到第一芯片图像；对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；对所述第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像；利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果。使得对芯片表面瑕疵的检测更加智能化，更加便利，可以加快工业生产的效率。

Description

一种芯片表面瑕疵的自动检测方法、系统及电子设备

技术领域

本发明涉及图像处理及模式识别领域，尤其涉及一种芯片表面瑕疵的自动检测方法、系统及电子设备。

背景技术

芯片生产线芯片检测的主要任务是利用要利用图像获取仪器，获得芯片的图像后传入到后续的处理识别单元进行芯片表面的瑕疵进行检测，以此来确定芯片是否符合生产要求。

针对芯片表面的瑕疵的识别技术，目前主流方法都注重于将芯片的各种预处理之上，以此获得更好的处理结果。常用的深度学习的方法所需要的样本量巨大，同时由于图像的成像方式以及十六位图像显示的问题，导致图像巨大，进行图像推理速度慢，还需要大量人工进行标定数据，导致了准确率不高；此外，深度学习的数量统计，面积统计等不同的量化指标也会形成很大的误差，使得环境适应性不强。

在深度学习的背景下，受原图像的大小所限，使得出现在原图像中的瑕疵点所占像素点数量小，这带来了检测的精度问题；由于深度学习所带来的数据量过大，也带来了检测的速度过慢的问题。

发明内容

为了克服现有的芯片表面瑕疵检测时准确性不高、检测精度低以及检测速度过慢的问题，本发明提供了一种芯片表面瑕疵的自动检测方法。

第一方面，为了解决上述技术问题，本发明提供了一种芯片表面瑕疵的自动检测方法，包括以下步骤：

对芯片图像进行光照补偿，得到第一芯片图像；

对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

对所述第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像；

利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果。

本发明提供的芯片表面瑕疵的自动检测方法的有益效果是：对图像进行光照补偿，可以校正芯片图像中光照不均匀的位置，；高斯滤波处理可以增强图像的对比度，使得图像更加干净、清晰；而线性融合，可以达到突出图像中瑕疵点的作用，利用最大熵分割方法，可以使得瑕疵点与背景分离，此时二值图像中芯片表面的瑕疵点更为清晰，方便后续对芯片瑕疵进行识别和统计，使得在提高瑕疵检测速度的同时也提高了检测准确性和精度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，对芯片图像进行光照补偿之前，还包括：

获取原始图像，并对所述原始图像进行预处理，得到第一原始图像；

对所述第一原始图像进行边缘检测，获取所述第一原始图像中芯片的轮廓，并将所述轮廓从所述第一原始图像中剪切出来，形成第二原始图像；

对所述第二原始图像进行预处理，得到芯片图像。

采用上述进一步方案的有益效果是：工业上检测芯片表面瑕疵时，获取的原始图像是含有芯片以及芯片检测台的图像，对原始图像进行灰度化、滤波操作和二值化等预处理可以使得图像更加清晰，方便后续处理；而从原始图像中检测到芯片的轮廓，通过对该轮廓的像素位置的计算，将轮廓剪切出来，可以方便后续对芯片上的瑕疵进行检测；而对第二原始图像进行高斯滤波、非局部均值滤波等预处理，使得图像更加清晰和准确，方便了后续的检测。

进一步，所述对第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像包括：

根据第六公式对所述第一芯片图像和所述第二芯片图像进行第一次线性融合，得到第一中间图像，所述第六公式为：

F(x₂,y₂)＝αM(x₂,y₂)+βI_result(x₂,y₂)+φ，其中F(x₂,y₂)为表示所述第一中间图像的二维函数，I_result(x₂,y₂)为表示所述第一芯片图像的二维函数，M(x₂,y₂)为表示所述第二芯片图像的二维函数，α为所述第二芯片图像的第二加权系数，β为所述第一芯片图像的第一加权系数，φ为灰度偏移值，(x₂,y₂)为所述第一中间图像F(x₂,y₂)的像素点的像素坐标；

根据第七公式并利用所述第一中间图像F(x₂,y₂)进行第二次线性融合，得到所述第三芯片图像，所述第七公式为：

R(x₃,y₃)＝αF(x₃,y₃)+βF(x₃,y₃)+φ，其中R(x₃,y₃)为表示所述第三芯片图像的二维函数，α为所述第二芯片图像的第二加权系数，β为所述第一芯片图像的第一加权系数，φ为灰度偏移值，(x₃,y₃)为所述第三芯片图像R(x₃,y₃)的像素点的像素坐标。

采用上述进一步方案的有益效果是：第一次线性融合可以得到芯片中非瑕疵点的背景突出的第一中间图像，第二次线性融合可以突出第一中间图像中的高频信息，凸显出芯片中的瑕疵点，区分出背景和瑕疵点。

进一步，所述对芯片图像进行光照补偿，得到第一芯片图像包括：

利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像。

优选地，所述利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像包括：

根据第一公式得到芯片图像的全局平均亮度Light_average，所述第一公式为：

其中，M×N表示芯片图像的分辨率，p(x,y)表示芯片图像中像素坐标为(x,y)的像素点的灰度值；

按照m×n个像素点的方式将芯片图像I(x,y)切分为多个切分块，根据第二公式得到每个切分块的平均亮度Light_avgBatch，所述第二公式为：

将所有切分块的平均亮度Light_avgBatch进行组合，形成亮度矩阵L(x,y)；

根据第三公式得到亮度矩阵L(x,y)与全局平均亮度Light_average之间的亮度差值矩阵V(x,y)，所述第三公式为：V(x,y)＝L(x,y)-Light_average；

对亮度差值矩阵V(x,y)进行双三次插值，得到V(x,y)_M×N，并根据第四公式得到对芯片图像I(x,y)进行光照补偿后所得到的第一芯片图像，所述第四公式为：I_result(x₁,y₁)＝I(x₁,y₁)-V(x₁,y₁)_M×N，其中I_result(x₁,y₁)为表示所述第一芯片图像的二维函数，(x₁,y₁)为所述第一芯片图像的像素点的像素坐标。

采用上述方案的有益效果是：基于均值的非均匀光照补偿方法可以全方面地平衡芯片图像中的色彩方便了后续的处理。

进一步，所述利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像包括：

根据第八公式计算出所述第三芯片图像的第一熵H(T)，根据第九公式算出所述第三芯片图像的第二熵H(B)，所述第八公式为：

所述第九公式为：

其中，L为所述第三芯片图像中共有的灰度级的数量，t为分割阈值的阈值门限，0≤i≤L，P_i为灰度级i在所述第三芯片图像中的概率，

且P_n≥0；

根据第十公式和第十一公式计算得到所述阈值门限t，所述第十公式为：φ(t)＝H(T)+H(B)，所述第十一公式为：arg_tmaxφ(t)，其中φ(t)为中间函数。

将所述第三芯片图像中灰度级大于所述阈值门限t的像素点作为前景，将所述第三芯片图像中灰度级小于所述阈值门限t的像素点作为背景；并将所述前景的灰度级设为255，所述背景的灰度级设为0，得到二值图像。

采用上述进一步方案的有益效果是：可以有效地利用阈值门限将所述第三芯片图像的瑕疵点前景和非瑕疵点背景进行分割，更清晰地突出瑕疵点及其位置，从而方便了后续对芯片瑕疵点的检测。

进一步，所述对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像包括：

根据第五公式对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像，其中所述第五公式为：

其中(x₀,y₀)为所述第二芯片图像M(x₀,y₀)的像素点的像素坐标。

采用上述进一步方案的有益效果是：根可以有效地去除所述第一芯片图像中的高频信号，增强图像的对比度，使得图像更加干净、清晰，方便后续对图像进行处理。

进一步，所述根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果包括：

根据所述二值图像判断芯片表面是否有瑕疵，若是，则标定并统计瑕疵点的数量和每个瑕疵点的面积，得到所述瑕疵点的量化数据，根据所述量化数据得到检测结果；若否，则检测结果为所述芯片表面没有瑕疵。

采用上述进一步方案的有益效果是：因为二值图像的瑕疵点已经十分地清晰，所以可以较为迅速地对瑕疵点进行统计和量化等操作，得到较为准确的检测结果；如果没有瑕疵，则可以省去上述步骤，从而提高芯片瑕疵的检测速度。

第二方面，本发明提供了一种芯片表面瑕疵的自动检测系统，包括第一预处理模块、第一图像处理模块、第二图像处理模块和结果统计模块，

所述第一预处理模块用于对芯片图像进行光照补偿，得到第一芯片图像；

所述第二预处理模块用于对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

所述第一图像处理模块用于对所述第一芯片图像和第二芯片图像进行线性融合，得到第三芯片图像；

所述第二图像处理模块用于利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

所述结果统计模块用于根据所述二值图像判断芯片表面是否有瑕疵，得到所述检测结果。

本发明提供的芯片表面瑕疵的自动检测系统的有益效果是：第一预处理模块对图像进行光照补偿，可以校正芯片图像中光照不均匀的位置，方便后续对图像进行处理；第二预处理模块的高斯滤波处理可以增强图像的对比度，使得图像更加干净、清晰；而第一图像处理模块进行线性融合后，可以达到突出图像中瑕疵点的作用，第二图像处理模块利用最大熵分割方法处理，可以使得瑕疵点与背景分离，此时所述二值图像中芯片表面的瑕疵点更为清晰，方便后续结果统计模块对芯片瑕疵进行识别和统计，使得在提高瑕疵检测速度的同时也提高了检测准确性和精度。

第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现上述任一项技术方案所述的一种芯片表面瑕疵的自动检测方法的步骤。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的一种芯片表面瑕疵的自动检测方法的流程示意图之一；

图2为本发明实施例的一种芯片表面瑕疵的自动检测方法的流程示意图之二；

图3为本发明实施例的一种芯片表面瑕疵的自动检测系统的结构示意图；

图4为第一原始预处理模块、图像提取模块和第二原始预处理模块的结构示意图；

图5为本发明实施例的一种电子设备的结构示意图。

具体实施方式

下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。

如图1所示，本发明一种芯片表面瑕疵的自动检测方法的实施例，包括以下步骤：

S2、对芯片图像进行光照补偿，得到第一芯片图像；

S3、对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

S4、对所述第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像；

S5、利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

S6、根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果。

对图像进行光照补偿，可以校正芯片图像中光照不均匀的位置，使得光照场景对图像处理过程中的影响达到最小，方便后续处理；高斯滤波处理可以减少其他高频信号对图像造成的干扰，使得图像更加干净、清晰；而线性融合可以达到突出图像中瑕疵点的作用，使得图像信息更为全面、丰富，有利于进一步分析处理以及自动识别；最后利用最大熵分割方法处理，可以使得瑕疵点与背景分离，此时使得二值图像中芯片表面的瑕疵点更为清晰，方便后续对芯片瑕疵进行识别和统计，在提高瑕疵检测速度的同时也提高了检测准确性和精度。

优选地，S2包括：

S20、利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像。具体地：

根据第一公式得到芯片图像的全局平均亮度Light_average，第一公式为：

其中，M×N表示芯片图像的分辨率，p(x,y)表示芯片图像中像素坐标为(x,y)的像素点的灰度值；

然后，将芯片图像切分成多个m×n个像素点大小的切分块，其中，m×n是相对于M×N等比例缩小的分辨率，根据第二公式得到每个切分块的平均亮度Light_avgBatch，第二公式为：

得到每个切分块的平均亮度之后，将所有切分块的平均亮度Light_avgBatch进行组合，形成亮度矩阵L(x,y)；

之后，再根据第三公式得到亮度矩阵L(x,y)与全局平均亮度Light_average之间的亮度差值矩阵V(x,y)，第三公式为：

V(x,y)＝L(x,y)-Light_average

对所述亮度差值矩阵V(x,y)进行双三次插值，也就是将亮度差值矩阵V(x,y)从m×n大小的分辨率放大到M×N分大小的分辨率，从而得到放大后的V(x,y)_M×N；

最后，根据第四公式得到第一芯片图像，第四公式为：

I_result(x₁,y₁)＝I(x₁,y₁)-V(x₁,y₁)_M×N

其中I_result(x₁,y₁)为表示第一芯片图像的二维函数，(x₁,y₁)为第一芯片图像的像素点的像素坐标。

基于均值的非均匀光照补偿方法可以平衡芯片图像中的色彩，方便了后续的处理。其中，不限于基于均值的非均匀光照补偿方法，还可以采用其他的光照补偿方法，如GrayWorld色彩均衡算法、基于参考白的算法等。

具体地，S3包括：

S30、根据第五公式对第一芯片图像进行高斯滤波处理，得到第二芯片图像，该第五公式也就是高斯函数为：

其中(x₀,y₀)为所述第二芯片图像M(x₀,y₀)的像素点的像素坐标；进行第一次高斯滤波时，模板取值为0，标准差σ取值不为0，标准差σ是高斯模板中最重要的一个参数，它代表了整个图像数据的离散程度，如果σ的值较小，生成的高斯模板中心的权值系数就越大，如果σ的值较大时，则生成的高斯模板中的权值系数之间相差不会太大，对一个图像的平滑效果就越明显。在本发明中这一步实验标准差σ取值为15，模板大小取值为0，目的是为将一个均匀光照的图像转换为一个灰度相差不大的图像。

对第一芯片图像进行高斯滤波处理可以有效地去除第一芯片图像中的高频信号，增强图像的对比度，使得图像更加干净、清晰，方便后续对图像进行处理；此外，此步骤中的高斯滤波处理需要进行至少一次。

优选地，S4包括：

S40、根据第六公式将光照补偿及高斯滤波处理后的第二芯片图像，和光照补偿后的第一芯片图像进行第一次线性融合，得到第一中间图像，第六公式为：

F(x₂,y₂)＝αM(x₂,y₂)+βI_result(x₂,y₂)+φ

其中F(x₂,y₂)为表示第一中间图像的二维函数，I_result(x₂,y₂)为表示第一芯片图像的二维函数，M(x₂,y₂)为表示第二芯片图像的二维函数，α为第二芯片图像的第二加权系数，β为第一芯片图像的第一加权系数，φ为灰度偏移值，(x₂,y₂)为第一中间图像F(x₂,y₂)的像素点的像素坐标；

S41、根据第七公式并利用第一中间图像F(x₂,y₂)进行第二次线性融合，得到第三芯片图像，所述第七公式为：

R(x₃,y₃)＝αF(x₃,y₃)+βF(x₃,y₃)+φ

其中R(x₃,y₃)为表示第三芯片图像的二维函数，α为第二芯片图像的第二加权系数，β为第一芯片图像的第一加权系数，φ为灰度偏移值，(x₃,y₃)为第三芯片图像R(x₃,y₃)的像素点的像素坐标。

线性融合可以将同一个图像的两种不同灰度表现进行对比，第一次线性融合可以将芯片中非瑕疵点的背景突出，而第二次线性融合突出第一中间图像中的高频信息，凸显出芯片中的瑕疵点，区分出背景和瑕疵点。

优选地，S5包括：

设分割阈值为t,

Pi≥0，T表示为i∈{0,1,...,t}的分布，即阈值分割的前景像素的累积概率，B表示为i∈{t+1,...,L-1}的分布，即阈值分割的背景像素的累积概率，具体形式为：

所以，根据第八公式计算出第三芯片图像的第一熵H(T)，第八公式为：

根据第九公式算出第三芯片图像的第二熵H(B)，第九公式为：

其中，L为第三芯片图像中所有像素点的灰度级的最大值，t为分割阈值的阈值门限，0≤i≤L，P_i为灰度级i在第三芯片图像中的概率，

且P_n≥0；

根据第十公式得到中间函数φ(t)，第十公式为：

φ(t)＝H(T)+H(B)

根据第十一公式计算得到所述阈值门限t，第十一公式为：

arg_tmaxφ(t)

最后，将第三芯片图像中灰度级大于所述阈值门限t的像素点作为前景，将第三芯片图像中灰度级小于所述阈值门限t的像素点作为背景；并将前景的灰度级设为255，背景的灰度级设为0，得到二值图像。

利用最大熵分割方法，可以有效地利用阈值门限将第三芯片图像的瑕疵点前景和非瑕疵点背景进行分割，更清晰地突出瑕疵点及其位置，方便了后续对芯片瑕疵点的检测。

优选地，S6包括：

根据二值图像判断芯片表面是否有瑕疵，若是，则标定并统计瑕疵点的数量和每个瑕疵点的面积，得到所述瑕疵点的量化数据，根据所述量化数据得到检测结果；若否，则检测结果为所述芯片表面没有瑕疵。

其中通过二值图像判断出判断芯片表面是否有瑕疵的具体技术细节为本领域技术人员所悉知，在此不作赘述。如果有瑕疵，因为二值图像中瑕疵点已经十分地清晰，所以可以较为迅速地对瑕疵点进行统计和量化等操作，得到较为准确的检测结果；如果没有瑕疵，则可以省去上述步骤，从而提高芯片瑕疵的检测速度。

如图2所示，为本发明的实施例在对芯片图像进行光照补偿之前所要进行的处理步骤，包括：

S10、获取原始图像，并对所述原始图像进行预处理，得到第一原始图像；

S11、对所述第一原始图像进行边缘检测，获取所述第一原始图像中芯片的轮廓，并将所述轮廓从所述第一原始图像中剪切出来，形成第二原始图像；

S12、对所述第二原始图像进行预处理，得到芯片图像。

其中，对原始图像进行的预处理包括灰度化、滤波操作、二值化等，可以去除图像中的干扰，方便后续对图像进行处理；对第二原始图像进行预处理包括高斯滤波、非局部均值滤波等，可以去除图像中的干扰，方便后续对图像进行处理。

具体地，S11包括：

遍历检测出第一原始图像中像素值大于0的像素点(x₄,y₄)，并根据第十二公式得到像素点(x₄,y₄)在x方向的梯度值G_x(x₄,y₄)，第十二公式为：

G_x(x₄,y₄)＝H(x₄+1,y₄)-H(x₄-1,y₄)

根据第十三公式得到像素点(x₄,y₄)在y方向上的梯度值G_y(x₄,y₄)，第十三公式为：

G_y(x₄,y₄)＝H(x₄,y₄+1)-H(x₄,y₄-1)

然后，根据第十四公式得到第一原始图像像素点(x₄,y₄)的梯度值G(x₄,y₄)，第十四公式为：

最后，根据第十五公式得到第一原始图像像素点(x₄,y₄)的梯度方向α(x₄,y₄)，第十五公式为：

通过获取每个像素点的图像梯度并记录像素位置，找到合适的芯片轮廓的大小，计算轮廓像素点的位置，通过轮廓像素点的位置将轮廓从第一原始图像中剪切出来，形成第二原始图像。在利用一些仪器获取图像时，所获得的原始图像是包括芯片检测平台和芯片的图像，通过边缘检测检测得到仅含有芯片的第二原始图像，可以提高后续芯片瑕疵检测的精度，提高准确性。

进一步地，上述方法可以于windows10操作系统下的VS2015及以上的系统进行操作，其中OpenCV开源库版本为3.4.8。

在上述各实施例中，虽然对步骤进行了排序，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图3所示，为本发明实施例提供的一种芯片表面瑕疵的自动检测系统，包括第一预处理模块220、第二预处理模块230、第一图像处理模块240、第二图像处理模块250和结果统计模块260：

所述第一预处理模块220用于对芯片图像进行光照补偿，得到第一芯片图像；

所述第二预处理模块230用于对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

所述第一图像处理模块240用于对所述第一芯片图像和第二芯片图像进行线性融合，得到第三芯片图像；

所述第二图像处理模块250用于利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

所述结果统计模块260用于根据所述二值图像判断芯片表面是否有瑕疵，得到所述检测结果。

第一预处理模块220可以校正芯片图像中光照不均匀的位置，使得光照场景对图像处理过程中的影响达到最小方便后续对图像进行处理；第二预处理模块230可以减少其他高频信号对图像造成的干扰，增强图像的对比度，使得图像更加干净、清晰，方便后续对图像进行处理；而第一图像处理模块240可以达到突出图像中瑕疵点的作用，同时使得图像信息更为全面、丰富，有利于对图像的进一步分析处理以及自动识别；最后第二图像处理模块250可以使得瑕疵点与背景分离，方便后续结果统计模块260对芯片瑕疵进行识别和统计，使得在提高瑕疵检测速度的同时也提高了检测准确性和精度。

优选地，第一预处理模块220用于：

利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像，具体地：

根据第一公式得到芯片图像的全局平均亮度Light_average，第一公式为：

其中，M×N表示芯片图像的分辨率，p(x,y)表示芯片图像中像素坐标为(x,y)的像素点的灰度值；

然后，将芯片图像切分成多个m×n个像素点大小的切分块，其中，m×n是相对于M×N等比例缩小的分辨率，根据第二公式得到每个切分块的平均亮度Light_avgBatch，第二公式为：

得到每个切分块的平均亮度之后，将所有切分块的平均亮度Light_avgBatch进行组合，形成亮度矩阵L(x,y)；

之后，再根据第三公式得到亮度矩阵L(x,y)与全局平均亮度Light_average之间的亮度差值矩阵V(x,y)，第三公式为：

V(x,y)＝L(x,y)-Light_average

对亮度差值矩阵V(x,y)进行双三次插值，也就是将亮度差值矩阵V(x,y)从m×n大小的分辨率放大到M×N大小的分辨率，得到放大后的V(x,y)_M×N；

最后，根据第四公式得到第一芯片图像，第四公式为：

I_result(x₁,y₁)＝I(x₁,y₁)-V(x₁,y₁)_M×N

其中I_result(x₁,y₁)为表示所述第一芯片图像的二维函数，(x₁,y₁)为所述第一芯片图像的像素点的像素坐标。

基于均值的非均匀光照补偿方法可以平衡芯片图像中的色彩，方便了后续的处理。其中，对对芯片图像进行光照补偿不限于基于均值的非均匀光照补偿方法，还可以采用其他的光照补偿方法，如GrayWorld色彩均衡算法、基于参考白的算法等。

优选地，第二预处理模块230具体用于：

根据第五公式对第一芯片图像进行高斯滤波处理，得到第二芯片图像，该第五公式也就是高斯函数为：

其中(x₀,y₀)为所述第二芯片图像M(x₀,y₀)的像素点的像素坐标；进行第一次高斯滤波时，模板取值为0，标准差σ取值不为0，标准差σ是高斯模板中最重要的一个参数，它代表了整个图像数据的离散程度，如果σ的值较小，生成的高斯模板中心的权值系数就越大，如果σ的值较大时，则生成的高斯模板中的权值系数之间相差不会太大，对一个图像的平滑效果就越明显。在本发明中这一步实验标准差σ取值为15，模板大小取值为0，目的是为将一个均匀光照的图像转换为一个灰度相差不大的图像。

对第一芯片图像进行高斯滤波处理可以有效地去除所述第一芯片图像中的高频信号，增强图像的对比度，使得图像更加干净、清晰，方便后续对图像进行处理；此外，此步骤中的高斯滤波处理需要进行至少一次。

优选地，第一图像处理模块240具体用于：

根据第六公式将光照补偿及高斯滤波处理后的第二芯片图像，和光照补偿后的第一芯片图像进行第一次线性融合，得到第一中间图像，第六公式为：

F(x₂,y₂)＝αM(x₂,y₂)+βI_result(x₂,y₂)+φ

其中F(x₂,y₂)为表示第一中间图像的二维函数，I_result(x₂,y₂)为表示第一芯片图像的二维函数，M(x₂,y₂)为表示第二芯片图像的二维函数，α为第二芯片图像的第二加权系数，β为第一芯片图像的第一加权系数，φ为灰度偏移值，(x₂,y₂)为第一中间图像F(x₂,y₂)的像素点的像素坐标；

根据第七公式并利用第一中间图像F(x₂,y₂)进行第二次线性融合，得到第三芯片图像，第七公式为：

R(x₃,y₃)＝αF(x₃,y₃)+βF(x₃,y₃)+φ

其中R(x₃,y₃)为表示第三芯片图像的二维函数，α为第二芯片图像的第二加权系数，β为第一芯片图像的第一加权系数，φ为灰度偏移值，(x₃,y₃)为第三芯片图像R(x₃,y₃)的像素点的像素坐标。

线性融合可以将同一个图像的两种不同灰度表现进行对比，第一次线性融合可以将芯片中非瑕疵点的背景突出，而第二次线性融合突出第一中间图像中的高频信息，凸显出芯片中的瑕疵点，区分出背景和瑕疵点。

优选地，所述第二图像处理模块250具体用于：

利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像，包括：

设分割阈值为t,

Pi≥0，T表示为i∈{0,1,...,t}的分布，即阈值分割的前景像素的累积概率，B表示为i∈{t+1,...,L-1}的分布，即阈值分割的背景像素的累积概率，具体形式为：

所以，根据第八公式计算出第三芯片图像的第一熵H(T)，第八公式为：

根据第九公式算出第三芯片图像的第二熵H(B)，第九公式为：

其中，L为第三芯片图像中所有像素点的灰度级的最大值，t为分割阈值的阈值门限，0≤i≤L，P_i为灰度级i在第三芯片图像中的概率，

且P_n≥0；

根据第十公式得到中间函数φ(t)，第十公式为：

φ(t)＝H(T)+H(B)

根据第十一公式计算得到所述阈值门限t，第十一公式为：

arg_tmaxφ(t)

最后，将第三芯片图像中灰度级大于所述阈值门限t的像素点作为前景，将第三芯片图像中灰度级小于所述阈值门限t的像素点作为背景；并将前景的灰度级设为255，背景的灰度级设为0，得到二值图像。

利用最大熵分割方法，可以有效地利用阈值门限将第三芯片图像的瑕疵点前景和非瑕疵点背景进行分割，更清晰地突出瑕疵点及其位置，方便了后续对芯片瑕疵点的检测。

优选地，所述结果统计模块260具体用于：

根据二值图像判断芯片表面是否有瑕疵，若是，则标定并统计瑕疵点的数量和每个瑕疵点的面积，得到所述瑕疵点的量化数据，根据所述量化数据得到检测结果；若否，则检测结果为所述芯片表面没有瑕疵。

其中通过二值图像判断出判断芯片表面是否有瑕疵的具体技术细节为本领域技术人员所悉知，在此不作赘述。如果有瑕疵，因为二值图像中的瑕疵点已经十分地清晰，所以可以较为迅速地对瑕疵点进行统计和量化等操作，得到较为准确的检测结果；如果没有瑕疵，则可以省去上述步骤，从而提高芯片瑕疵的检测速度。

如图4所示，在使用第一预处理模块对图像进行处理之前，还包括第一原始预处理模块210、图像提取模块211和第二原始预处理模块212，

所述第一原始预处理模块210用于获取原始图像，并对所述原始图像进行预处理，得到第一原始图像；

所述图像提取模块211用于对所述第一原始图像进行边缘检测，获取所述第一原始图像中芯片的轮廓，并将所述轮廓从所述第一原始图像中剪切出来，形成第二原始图像；

所述第二原始预处理模块212用于对所述第二原始图像进行预处理，得到芯片图像。

其中，第一原始预处理模块210中的预处理包括灰度化、滤波操作、二值化等，可以去除图像中的干扰，方便后续对图像进行处理；第二原始预处理模块212中的预处理包括高斯滤波、非局部均值滤波等，可以去除图像中的干扰，方便后续对图像进行处理。

具体地，图像提取模块211用于：

遍历检测出第一原始图像中像素值大于0的像素点(x₄,y₄)，并根据第十二公式得到像素点(x₄,y₄)在x方向的梯度值G_x(x₄,y₄)，第十二公式为：

G_x(x₄,y₄)＝H(x₄+1,y₄)-H(x₄-1,y₄)

根据第十三公式得到像素点(x₄,y₄)在y方向上的梯度值G_y(x₄,y₄)，第十三公式为：

G_y(x₄,y₄)＝H(x₄,y₄+1)-H(x₄,y₄-1)

然后，根据第十四公式得到第一原始图像像素点(x₄,y₄)的梯度值G(x₄,y₄)，第十四公式为：

最后，根据第十五公式得到第一原始图像像素点(x₄,y₄)的梯度方向α(x₄,y₄)，第十五公式为：

通过获取每个像素点的图像梯度并记录像素位置，找到合适的芯片轮廓的大小，计算轮廓像素点的位置，通过轮廓像素点的位置将轮廓从第一原始图像中剪切出来，形成第二原始图像。在利用一些仪器获取图像时，所获得的原始图像是包括芯片检测平台和芯片的图像，通过边缘检测检测出芯片轮廓，并将芯片轮廓从第一原始图像中剪切出来，得到仅含有芯片的第二原始图像，可以提高后续芯片瑕疵检测的精度，提高准确性。

如图5所示，本发明实施例的一种电子设备300，包括存储器310、处理器320及存储在所述存储器310上并在所述处理器320上运行的程序330，所述处理器320执行所述程序330时实现上述任一实施的芯片表面瑕疵的自动检测方法的步骤。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种芯片表面瑕疵的自动检测方法，其特征在于，包括以下步骤：

对芯片图像进行光照补偿，得到第一芯片图像；

对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

对所述第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像；

利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果。

2.根据权利要求1所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述对芯片图像进行光照补偿之前，还包括：

获取原始图像，并对所述原始图像进行预处理，得到第一原始图像；

对所述第一原始图像进行边缘检测，获取所述第一原始图像中芯片的轮廓，并将所述轮廓从所述第一原始图像中剪切出来，形成第二原始图像；

对所述第二原始图像进行预处理，得到芯片图像。

3.根据权利要求1所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述对所述第一芯片图像和所述第二芯片图像进行线性融合，得到第三芯片图像包括：

根据第六公式对所述第一芯片图像和所述第二芯片图像进行第一次线性融合，得到第一中间图像，所述第六公式为：F(x₂,y₂)＝αM(x₂,y₂)+βI_result(x₂,y₂)+φ，其中F(x₂,y₂)为表示所述第一中间图像的二维函数，I_result(x₂,y₂)为表示所述第一芯片图像的二维函数，M(x₂,y₂)为表示所述第二芯片图像的二维函数，α为所述第二芯片图像的第二加权系数，β为所述第一芯片图像的第一加权系数，φ为灰度偏移值，(x₂,y₂)为所述第一中间图像F(x₂,y₂)的像素点的像素坐标；

根据第七公式并利用所述第一中间图像F(x₂,y₂)进行第二次线性融合，得到所述第三芯片图像，所述第七公式为：R(x₃,y₃)＝αF(x₃,y₃)+βF(x₃,y₃)+φ，其中R(x₃,y₃)为表示所述第三芯片图像的二维函数，α为所述第二芯片图像的第二加权系数，β为所述第一芯片图像的第一加权系数，φ为灰度偏移值，(x₃,y₃)为所述第三芯片图像R(x₃,y₃)的像素点的像素坐标。

4.根据权利要求1所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述对芯片图像进行光照补偿，得到第一芯片图像包括：

利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像。

5.根据权利要求4所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述利用基于均值的非均匀光照补偿方法对所述芯片图像进行光照补偿，得到第一芯片图像包括：

根据第一公式得到所述芯片图像的全局平均亮度Light_average，所述第一公式为：

其中，M×N表示所述芯片图像的分辨率大小，p(x,y)表示所述芯片图像中像素坐标为(x,y)的像素点的灰度值；

按照m×n个像素点的方式将所述芯片图像I(x,y)切分为多个切分块，根据第二公式得到每个所述切分块的平均亮度Light_avgBatch，所述第二公式为：

将所有所述切分块的平均亮度Light_avgBatch进行组合，形成亮度矩阵L(x,y)；

根据第三公式得到所述亮度矩阵L(x,y)与所述全局平均亮度Light_average之间的亮度差值矩阵V(x,y)，所述第三公式为：V(x,y)＝L(x,y)-Light_average；

对所述亮度差值矩阵V(x,y)进行双三次插值，得到V(x,y)_M×N，并根据第四公式得到对所述芯片图像I(x,y)进行光照补偿后所得到的第一芯片图像，所述第四公式为：I_result(x₁,y₁)＝I(x₁,y₁)-V(x₁,y₁)_M×N，其中I_result(x₁,y₁)为表示所述第一芯片图像的二维函数，(x₁,y₁)为所述第一芯片图像的像素点的像素坐标。

6.根据权利要求1所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像包括：

根据第八公式计算出所述第三芯片图像的第一熵H(T)，根据第九公式算出所述第三芯片图像的第二熵H(B)，所述第八公式为：

所述第九公式为：

其中，L表示所述第三芯片图像中所有像素点的灰度级的最大值，t为分割阈值的阈值门限，0≤i≤L，P_i为灰度级i在所述第三芯片图像中的概率，

且Pn≥0；

根据第十公式和第十一公式计算得到所述阈值门限t，所述第十公式为：φ(t)＝H(T)+H(B)，所述第十一公式为：arg_tmaxφ(t)，其中φ(t)为中间函数；

将所述第三芯片图像中灰度级大于所述阈值门限t的像素点作为前景，将所述第三芯片图像中灰度级小于所述阈值门限t的像素点作为背景；并将所述前景的像素点的灰度级设为255，所述背景的像素点的灰度级设为0，得到所述二值图像。

7.根据权利要求1-6任一所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像包括：

根据第五公式对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像，其中所述第五公式为：

其中(x₀,y₀)为所述第二芯片图像M(x₀,y₀)的像素点的像素坐标。

8.根据权利要求1-6任一项所述的一种芯片表面瑕疵的自动检测方法，其特征在于，所述根据所述二值图像判断芯片表面是否有瑕疵，得到检测结果包括：

根据所述二值图像判断芯片表面是否有瑕疵，若是，则标定并统计瑕疵点的数量和每个瑕疵点的面积，得到所述瑕疵点的量化数据，根据所述量化数据得到检测结果；若否，则检测结果为所述芯片表面没有瑕疵。

9.一种芯片表面瑕疵的自动检测系统，其特征在于，包括第一预处理模块、第二预处理模块、第一图像处理模块、第二图像处理模块和结果统计模块，

所述第一预处理模块用于对芯片图像进行光照补偿，得到第一芯片图像；

所述第二预处理模块用于对所述第一芯片图像进行高斯滤波处理，得到第二芯片图像；

所述第一图像处理模块用于对所述第一芯片图像和第二芯片图像进行线性融合，得到第三芯片图像；

所述第二图像处理模块用于利用最大熵分割方法对所述第三芯片图像进行处理，得到二值图像；

所述结果统计模块用于根据所述二值图像判断芯片表面是否有瑕疵，得到所述检测结果。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的一种芯片表面瑕疵的自动检测方法的步骤。

Images