CN117314901A - 一种尺度自适应的芯片检测神经网络系统 - Google Patents

Abstract

本发明涉及神经网络技术领域，具体涉及一种尺度自适应的芯片检测神经网络系统，该系统将待处理图像分割成若干个待选区域，获取待选区域的特征量，结合待选区域内像素点的特征向量和标准向量的夹角值的大小，得到待选区域内每个标准向量的本征量，从而得到待选区域对应的初步合并区域，根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值，从而得到保留合并区域，构成最终合并区域，根据最终合并区域边界的大小和形状，构成锚框，使用SSD神经网络，输入待处理图像和锚框，输出芯片缺陷区域边界框的位置信息。本发明通过自适应锚框，减少网络中的数据训练量，提高芯片检测的准确性。

Description

一种尺度自适应的芯片检测神经网络系统

技术领域

本发明涉及神经网络技术领域，具体涉及一种尺度自适应的芯片检测神经网络系统。

背景技术

在利用神经网络对芯片进行检测时，当输入一张含有待检测芯片的图像时，神经网络将会在不同尺度的特征层上进行检测。这可以通过在不同尺度的特征层上应用滑动窗口或基于锚框的方法来实现。通过在不同尺度上进行检测，网络能够对不同尺度的芯片进行准确的检测和定位。芯片的尺度在实际应用中可能变化较大，有些芯片可能非常小，而有些可能非常大。对于神经网络来说，检测小尺寸芯片和大尺寸芯片的难度不同。较小的芯片可能会因为分辨率不足或特征模糊而难以检测，而较大的芯片可能会导致定位不准确或计算复杂度增加。在尺度自适应的过程中，神经网络可能面临尺度间隔不连续的问题。这意味着神经网络需要检测到不同尺度的芯片，但这些尺度之间可能没有充足的中间尺度样本来进行训练。这可能导致神经网络在某些尺度之间的检测性能较差。

现有的问题：传统的锚框需要大量的数据集来判定，且判定时锚框的尺寸大小一般为遍历匹配训练集中已有的结果，且匹配的尺寸一般较为固定，而图像中的芯片尺寸不同，当神经网络中预设的锚框尺寸不合适时，会影响检测性能和效率。

发明内容

本发明提供一种尺度自适应的芯片检测神经网络系统，以解决现有的问题。

本发明的一种尺度自适应的芯片检测神经网络系统采用如下技术方案：

本发明一个实施例提供了一种尺度自适应的芯片检测神经网络系统，该系统包括以下模块：

图像采集模块：用于利用流水线上的工业相机采集芯片图像，任意选取一张芯片图像进行灰度化和高斯滤波去噪处理，得到待处理图像；

区域合并模块：用于将待处理图像分割成若干个待选区域，任意选取一个待选区域，记为目标区域；根据目标区域内的像素点灰度值，得到目标区域内的纹路像素点；根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，得到目标区域的特征量；

根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量；根据目标区域内所有标准向量的本征量的大小，得到目标区域的总本征量和目标向量；根据待处理图像中所有待选区域内的总本征量和目标向量，得到每个待选区域对应的初步合并区域；根据待处理图像中所有待选区域对应的初步合并区域，构成合并区域；

锚框设置模块：用于根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值；根据质疑区域的修正判断值、合并区域的修正判断值，得到保留合并区域；所述合并区域的修正判断值与质疑区域的修正判断值的获取方式一致；根据待处理图像中所有的保留合并区域，构成最终合并区域；根据最终合并区域边界的大小和形状，构成待处理图像的锚框；

芯片检测模块：用于使用SSD神经网络，输入待处理图像和待处理图像的锚框，输出待处理图像中芯片缺陷区域边界框的位置信息。

进一步地，所述将待处理图像分割成若干个待选区域包括：

从待处理图像的左上角开始，向下逐行的从左到右，依次将待处理图像分割成大小为的不重复的待选区域；其中a为预设的分块尺寸。

进一步地，所述根据目标区域内的像素点灰度值，得到目标区域内的纹路像素点包括：

将目标区域内的像素点灰度方差，记为梯度阈值；

使用Sobel算子，得到目标区域内每个像素点的灰度梯度值；

将目标区域内灰度梯度值大于梯度阈值的像素点，记为纹路像素点。

进一步地，所述根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，得到目标区域的特征量包括：

根据待处理图像内像素点的灰度值，构建待处理图像的灰度共生矩阵；根据灰度共生矩阵内的元素，计算灰度共生矩阵的信息熵；将灰度共生矩阵的信息熵，记为待处理图像的整体梯度信息熵；

根据待处理图像内，目标区域之外的像素点的灰度值，构建待处理图像的第二灰度共生矩阵；根据第二灰度共生矩阵内的元素，计算第二灰度共生矩阵的信息熵；将第二灰度共生矩阵的信息熵，记为目标区域的局部梯度信息占比；

若目标区域内纹路像素点的数量大于预设的数量阈值时，使用Sobel算子，得到目标区域内每个纹路像素点横向上的灰度梯度值和纵向上的灰度梯度值，分别记为每个纹路像素点的横坐标权重和纵坐标权重；

以待处理图像的左上角为坐标原点、水平向右为横轴正方向、垂直向下为纵轴正方向，构建平面坐标系；在平面坐标系上，得到待处理图像中每个像素点的横坐标值和纵坐标值；

根据待处理图像的整体梯度信息熵、目标区域的局部梯度信息占比、纹路像素点的横纵坐标值以及横纵坐标权重，得到目标区域的特征量；

若目标区域内纹路像素点的数量小于等于预设的数量阈值时，将目标区域的特征量设置为预设的初始特征量。

进一步地，所述根据待处理图像的整体梯度信息熵、目标区域的局部梯度信息占比、纹路像素点的横纵坐标值以及横纵坐标权重，得到目标区域的特征量对应的具体计算公式为：

，其中A为目标区域的特征量，B为待处理图像的整体梯度信息熵，C为目标区域的局部梯度信息占比，n为目标区域内纹路像素点的数量，/>和/>分别为目标区域内中心像素点的横坐标值和纵坐标值，/>和/>为目标区域内第i个纹路像素点的横坐标值和纵坐标值，/>为目标区域内第i个纹路像素点的横坐标权重的归一化值，/>为目标区域内第i个纹路像素点的纵坐标权重的归一化值，b为预设的常数。

进一步地，所述根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量包括：

根据目标区域内像素点灰度值，使用SIFT快速角点检测算法，得到目标区域内每个像素点的特征向量；

根据目标区域内中心像素点分别到每个非中心像素点的方向和欧式距离，构成内每个非中心像素点对应的标准向量；

将目标区域内任意一个像素点，记为目标像素点；计算目标像素点的特征向量分别与所有标准向量的夹角值，将所述向量的夹角值中的最小值对应的标准向量，记为目标像素点的标准向量；

根据每个标准向量对应的目标区域内的像素点数量、每个标准向量对应的目标区域内的像素点中的纹路像素点的数量、目标区域的特征量，得到目标区域内每个标准向量的本征量。

进一步地，所述根据每个标准向量对应的目标区域内的像素点数量、每个标准向量对应的目标区域内的像素点中的纹路像素点的数量、目标区域的特征量，得到目标区域内每个标准向量的本征量对应的具体计算公式为：

，其中/>为目标区域内第j个标准向量的本征量，/>为目标区域内第j个标准向量对应的目标区域内的像素点数量，a为预设的分块尺寸，n为目标区域内纹路像素点的数量，/>为目标区域内第j个标准向量对应的目标区域内的像素点中的纹路像素点的数量，A为目标区域的特征量。

进一步地，所述根据目标区域内所有标准向量的本征量的大小，得到目标区域的总本征量和目标向量；根据待处理图像中所有待选区域内的总本征量和目标向量，得到每个待选区域对应的初步合并区域包括：

统计目标区域内所有标准向量的本征量中的最大值，将所述本征量中的最大值对应的本征量，记为目标区域的总本征量；将所述本征量中的最大值对应的标准向量，记为目标区域的目标向量；

在待处理图像中，任意选取一个与目标区域相邻的待选区域，若所述待选区域内的中心像素点沿所述待选区域的目标向量的方向遍历会经过目标区域时，将所述待选区域记为初始待选区域；

若与目标区域相邻的所有待选区域中不存在初始待选区域时，将目标区域记为无效区域；

若与目标区域相邻的所有待选区域中存在初始待选区域时，将目标区域分别与所有初始待选区域的总本征量的差异的均值，记为临界阈值；

任意选取一个初始待选区域，若所述初始待选区域与目标区域的总本征量的差异小于临界阈值时，将所述初始待选区域记为最终待选区域；

若与目标区域相邻的所有待选区域中不存在最终待选区域时，将目标区域记为无效区域；

若与目标区域相邻的所有待选区域中存在最终待选区域时，根据目标区域与所有最终待选区域，构成目标区域对应的初步合并区域。

进一步地，所述根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值包括：

将任意一个初步合并区域，记为目标合并区域；计算目标合并区域中所有待选区域的目标向量之和，记为总目标向量；

若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值大于等于预设的夹角阈值时，将目标合并区域记为无效合并区域；

若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值小于预设的夹角阈值时，将目标合并区域记为质疑区域；

将质疑区域内所有像素点灰度值的方差与质疑区域内所有纹路像素点灰度值的方差的差值的绝对值，记为质疑区域的偏差率；

将质疑区域内每个纹路像素点与其距离最近的纹路像素点的欧式距离，记为每个纹路像素点的可信距离；

根据质疑区域的偏差率、所有纹路像素点的可信距离、纹路像素点的数量，得到质疑区域的修正判断值对应的具体计算公式为：

，其中R为质疑区域的修正判断值，/>为质疑区域内第/>个纹路像素点的可信距离，k为质疑区域内纹路像素点的数量，H为质疑区域的偏差率，为线性归一化函数。

进一步地，所述根据质疑区域的修正判断值、合并区域的修正判断值，得到保留合并区域包括：

若质疑区域的修正判断值大于合并区域的修正判断值时，将质疑区域记为保留合并区域；

若质疑区域的修正判断值小于等于合并区域的修正判断值时，将质疑区域记为无效合并区域。

本发明的技术方案的有益效果是：

本发明实施例中，将待处理图像分割成若干个待选区域，任意选取一个待选区域，记为目标区域，根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，目标区域的特征量。根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量，从而得到每个待选区域对应的初步合并区域，根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值，从而得到保留合并区域，根据所有的保留合并区域，构成最终合并区域，根据最终合并区域边界的大小和形状，构成待处理图像的锚框，使用SSD神经网络，输入待处理图像和待处理图像的锚框，输出待处理图像中芯片缺陷区域边界框的位置信息。其中针对锚框的尺寸大小无法做到自适应匹配的技术问题，本实施例通过综合整体特征量和局部特征量在特征量和方向走向本征量两个方向、以及分布离散程度和连续性两个角度上对图像划分结果进行合并操作，实现了在锚框匹配之前对芯片图像进行处理，根据芯片尺寸和其表面电路纹理与边界纹理在图像上呈现出的不同特性对芯片图像进行边缘检测的权重值赋予，使得在进行锚框匹配时对图像边缘尺寸的选取结果结合了芯片表面电路纹理与边界纹理的分布，优化了SSD神经网络算法的技术效果，由此，本发明通过自适应锚框，减少SSD神经网络中的数据训练量，提高SSD神经网络进行芯片检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种尺度自适应的芯片检测神经网络系统的模块流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种尺度自适应的芯片检测神经网络系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种尺度自适应的芯片检测神经网络系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种尺度自适应的芯片检测神经网络系统的模块流程图，该系统包括以下模块：

模块101：图像采集模块。

本实施例使用SSD神经网络进行芯片检测，SSD神经网络输入的是待检测芯片的图像和预设的不同尺寸的锚框，输出的是检测目标的相应边界框的位置信息。SSD神经网络会在每个空间位置生成一组不同的尺度和长宽比的锚框，对于每个锚框，SSD神经网络会同时进行目标分类和边界框回归的预测。但是由于预先不知道待检测芯片的图像中目标区域的大小，因此预设的锚框尺寸不适应待检测芯片的图像中目标区域，导致检测效果较差，而预设大量的不同尺寸的锚框时，会导致SSD神经网络中的数据训练量较大。所需说明的是，锚框是一种预定义的边界框。

因此本实施例通过获取采集的每张图像对应的自适应锚框，以其为SSD神经网络的预设锚框，以此改进SSD神经网络，减少SSD神经网络中的数据训练量，提高SSD神经网络进行芯片检测准确性。

在芯片制造过程中，一条检测流水线上的芯片尺寸规格可能是不一样的，因此在采集到的芯片图像中，需要对不同尺寸的芯片进行不同的锚框选取以进行后续的神经网络识别。但是在实际中采集到的芯片图像会由于工厂机房的噪声干扰而附带许多噪声点，在本就纹路复杂的芯片表面产生较多的干扰，扰乱锚框的选取，因此需要对一手采集到的芯片图像进行滤波以保证在确认芯片尺寸最为核心的边缘区域的图像质量不受到噪声干扰，利用流水线上的工业相机采集芯片图像，任意取一张芯片图像进行灰度化和高斯滤波去噪处理，得到待处理图像。其中，图像灰度化和高斯滤波均为公知技术，具体方法在此不做介绍。

模块102：区域合并模块。

已知在进行锚框的选取的过程中，由于流水线上的芯片尺寸不一，往往需要根据边缘检测检测到待处理图像中的芯片边缘从而对锚框的尺寸进行选取，且由于不同型号规格的芯片的内部结构不统一、芯片表面的电路纹理较为紊乱并且芯片的边缘纹路较之于电路纹路往往是若边缘而难以找到等问题，传统的锚框尺寸匹配效果往往较差，因此需要在原有锚框的基础上进行锚框的拆分重组得到一个最终合并区域即最终的检测区域。

对锚框进行拆分重组时，首先要对锚框进行拆分并对锚框内部的信息量进行评判作为子锚框的特征量进行后续的重组，由于芯片表面的电路纹理会对锚框的内部信息产生较大影响，同时芯片表面的电路纹理也会决定着锚框的重组走向，因此利用芯片表面的电路纹理进行分析得到每个子锚框的特征量，这样的操作利用了整体特征量的分析，在很大程度上减少了噪声对检测结果的影响。

根据待处理图像内像素点的灰度值，构建待处理图像的灰度共生矩阵。再根据灰度共生矩阵内的元素，计算灰度共生矩阵的信息熵，将灰度共生矩阵的信息熵记为待处理图像的整体梯度信息熵。其中，灰度共生矩阵的构建和计算矩阵的信息熵均为公知技术，具体方法在此不做介绍。

本实施例设定的分块尺寸a等于3，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。从待处理图像的左上角开始，向下逐行的从左到右，依次将待处理图像分割成大小为的不重复的待选区域。所需说明的是，若待处理图像的行数或者列数不是a的倍数时，待处理图像会有几行或者几列无法被分割成/>的不重复的待选区域，但这几行或者几列处于图像的边界位置，一般为图像的不重要区域，其对后续的分析几乎无影响，因此不需要对这几行或者几列进行分析。

将待处理图像分割的任意一个待选区域，记为目标区域。将目标区域内的像素点灰度方差，记为梯度阈值。使用Sobel算子，得到目标区域内每个像素点的灰度梯度值。将目标区域内灰度梯度值大于梯度阈值的像素点，记为纹路像素点。

按照上述方式，得到待处理图像分割的每一个待选区域内的纹路像素点。

再使用Sobel算子，得到目标区域内每个纹路像素点在横向上的灰度梯度值和纵向上的灰度梯度值，分别记为每个纹路像素点的横坐标权重和纵坐标权重。所需说明的是，灰度梯度值为标量，只有大小、没有方向，Sobel算子可以根据横向Sobel模板，例如，以及纵向Sobel模板，例如/>，计算像素点的横向上的灰度梯度值和纵向上的灰度梯度值。

使用最小最大规范法，分别对目标区域所有纹路像素点的横坐标权重和纵坐标权重进行归一化处理至[0,1]区间内。所需说明的是，若目标区域只有一个纹路像素点，则该纹路像素点的横坐标权重和纵坐标权重的归一化值都为1。

其中，Sobel算子和最小最大规范法均为公知技术，具体方法在此不做介绍。

根据待处理图像内，目标区域之外的像素点的灰度值，构建待处理图像的第二灰度共生矩阵，再根据第二灰度共生矩阵内的元素，计算第二灰度共生矩阵的信息熵，将第二灰度共生矩阵的信息熵，记为目标区域的局部梯度信息占比。

由此可知目标区域的特征量A的计算公式为：

当时，A的获取方式如下：

；

当时，A的获取方式如下：

，其中A为目标区域的特征量，为初始特征量，B为待处理图像的整体梯度信息熵，C为目标区域的局部梯度信息占比，n为目标区域内纹路像素点的数量，/>为数量阈值，/>和/>分别为目标区域内中心像素点的横坐标值和纵坐标值，/>和/>为目标区域内第i个纹路像素点的横坐标值和纵坐标值。所需说明的是，以待处理图像的左上角为坐标原点、水平向右为横轴正方向、垂直向下为纵轴正方向，构建平面坐标系，在平面坐标系上，得到待处理图像中每个像素点的横坐标值和纵坐标值。/>为目标区域内第i个纹路像素点的横坐标权重的归一化值，/>为目标区域内第i个纹路像素点的纵坐标权重的归一化值，b为常数。本实施例设定的初始特征量/>，数量阈值/>，常数/>，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。

所需说明的是：当目标区域内纹路像素点的数量n小于等于数量阈值时，说明目标区域内无电路纹路，则将目标区域的特征量A设置为初始特征量/>。当目标区域内纹路像素点的数量n大于数量阈值/>时，说明目标区域内存在电路纹路，表示目标区域内所有纹路像素点在位置上分布的离散程度，当坐标加权后的纹路像素点与目标区域几何中心的偏差较大时，则较大，且将其减b用以衡量加权坐标与目标区域几何中心原本相等时的两种数量级，令b为2，用以将目标区域的特征量在其数量级下进行意义赋予以避免计算结果为0。之所以考虑/>，而不用其他的算法进行考虑，是因为利用这种衡量偏差的方式在后续还会利用其计算每个待选区域中所有纹路像素点在方向上的倾向，利用这部分特征量对待选区域进行重组，当这部分量越大时，说明该待选区域的整体偏差越大，其特征量越大。C为目标区域的局部梯度信息占比，体现了目标区域在整体区域内的离散程度的占比，B为待处理图像的整体梯度信息熵，体现了待处理图像整体的离散程度，一定区域内灰度共生矩阵中灰度像素对的信息熵反映了该区域内电路纹路的复杂程度，因此用/>与C的乘积，除以C，表示目标区域的特征量A。

在进行特征量的分析之后，已经就每个待选区域的差异程度进行了考虑，已经可以大致通过每个待选区域的特征量将电路纹理的差异性体现出来，但是在后续对待选区域进行合并时如果仅仅考虑差异程度在数值上的差异而没有考虑方向上的特征，那么合并时的具体合并操作就会是繁琐且低效的，因此对每个待选区域进行方向特征量的分析。

根据目标区域内像素点灰度值，使用SIFT快速角点检测算法，得到目标区域内每个像素点的特征向量。其中，SIFT快速角点检测算法为公知技术，具体方法在此不做介绍。

根据目标区域内中心像素点分别到每个非中心像素点的方向和欧式距离，构成目标区域内每个非中心像素点对应的标准向量。所需说明的是，本实施例中分割的待选区域大小为，且a为3，因此目标区域内存在八个标准向量，八个标准向量的方向相当于目标区域内中心像素点的八邻域方向，故当选取的a大于3时，只计算目标区域内中心像素点的八邻域上的像素点的向量。

将目标区域内任意一个像素点，记为目标像素点。计算目标像素点的特征向量分别与所有标准向量的夹角值，将所述向量的夹角值中的最小值对应的标准向量，记为目标像素点的标准向量。

按照上述方式，得到目标区域内每一个像素点的标准向量。所需说明的是，每一个像素点对应一个标准向量，但一个标准向量可能对应多个像素点。

由此可知目标区域内每个标准向量的本征量的计算公式为：

，其中/>为目标区域内第j个标准向量的本征量，/>为目标区域内第j个标准向量对应的目标区域内的像素点数量，a为分块尺寸，n为目标区域内纹路像素点的数量，/>为目标区域内第j个标准向量对应的目标区域内的像素点中的纹路像素点的数量，A为目标区域的特征量。

所需说明的是：为目标区域内第j个标准向量的方向置信度，该标准向量对应的像素点数量越多，说明目标区域内大部分像素点的特征向量的方向为该标准向量的方向，可体现目标区域的特征方向。/>表示目标区域内重要的纹路像素点的纹路沿该标准向量的方向的走向特征，其值越大，说明目标区域内的纹路走向越接近于该标准向量的方向。因此用/>为目标区域内第j个标准向量的方向特征，用/>和A的乘积，表示目标区域内第j个标准向量的本征量，其值越大，说明目标区域内的纹路走向为该标准向量的方向的可能性越大，且纹路复杂度越高、越重要。

统计目标区域内所有标准向量的本征量中的最大值，将所述本征量中的最大值对应的本征量，记为目标区域的总本征量；将所述本征量中的最大值对应的标准向量，记为目标向量。

按照上述方式，得到待处理图像分割的每一个待选区域的总本征量和目标向量。

统计待处理图像中目标区域的所有相邻待选区域，若任意一个相邻待选区域内的中心像素点沿其目标向量的方向遍历经过目标区域时，将该相邻待选区域记为初始待选区域。由此得到，目标区域的所有相邻待选区域中的初始待选区域。若目标区域的所有相邻待选区域中不存在初始待选区域时，则将目标区域记为无效区域。

若目标区域的所有相邻待选区域中存在初始待选区域时，计算目标区域分别与所有初始待选区域的总本征量的差值的绝对值，将目标区域分别与所有初始待选区域的总本征量的差值的绝对值的均值，记为临界阈值。若目标区域分别与任意一个初始待选区域的总本征量的差值的绝对值小于临界阈值，则将该初始待选区域记为最终待选区域，由此得到目标区域的所有相邻待选区域中的最终待选区域。若目标区域的所有相邻待选区域中不存在最终待选区域时，则将目标区域记为无效区域。若目标区域的所有相邻待选区域中存在最终待选区域时，则根据目标区域与所有最终始待选区域，构成初步合并区域。所需说明的是，当目标区域为无效区域时，目标区域不存在对应的初步合并区域。

按照上述方式，得到待处理图像分割的每一个待选区域对应的初步合并区域。根据待处理图像中所有待选区域对应的初步合并区域，构成合并区域。

模块103：锚框设置模块。

由于集成电路板表面的电路纹理的分布往往在其一面上的走向是不封闭的，因此需要依次对电路纹理进行区分，而且合并区域并没有考虑待选区域中整体连续性的判断，可能会导致不合理的合并，因此需要在对整体差异性进行分析的同时对整体的一致连续性进行评判，得到修正判断值，根据修正判断值对每个待选区域的待合并区域进行合并得到最终合并区域。具体的实现流程为：首先，先将部分初步合并区域进行筛选得到质疑区域，对质疑区域进行修正判断值的衡量，然后，计算每个质疑区域的修正判断值与标准值的偏差情况，最后，将质疑区域进行合并或去除，得到最终合并区域。

本实施例设定的夹角阈值为10度，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。将任意一个初步合并区域，记为目标合并区域，计算目标合并区域中所有待选区域的目标向量之和，记为总目标向量；计算目标合并区域中每一个待选区域的目标向量与总目标向量的夹角值，若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值小于夹角阈值时，将目标合并区域记为质疑区域；若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值大于等于夹角阈值时，将目标合并区域记为无效合并区域。

当目标合并区域为质疑区域时，统计质疑区域内纹路像素点的数目，计算质疑区域内所有纹路像素点灰度值的方差，再计算质疑区域内所有像素点灰度值的方差/>，将质疑区域内所有像素点灰度值的方差/>与所有纹路像素点灰度值的方差/>的差值的绝对值，记为质疑区域的偏差率。统计质疑区域内每个纹路像素点和与其最邻近的纹路像素点的欧式距离，记为每个纹路像素点的可信距离，由此可知质疑区域的修正判断值R的计算公式为：

，其中R为质疑区域的修正判断值，/>为质疑区域内第/>个纹路像素点的可信距离，k为质疑区域内纹路像素点的数量，H为质疑区域的偏差率。为线性归一化函数，将数据值归一化至[0,1]区间内。

所需说明的是：当质疑区域内所有纹路像素点的可信距离的平均长度较长时，说明该质疑区域内的纹路像素点的分布较为离散，说明在该质疑区域内所有的纹路像素点的分布的连续性是不足的，因此对这部分参考量进行取到数操作，而当质疑区域内的偏差率H较大时，说明此质疑区域内电路纹理的分布是在整体中较为分散的，也说明该质疑区域内所有的纹路像素点的分布的连续性是不足的，因此也进行取倒数，综合两部分因素的考虑，第一部分通过纹路像素点位置分布得到了具体的分布连续度，第二部分则是通过整体分布差异量进行分析，综合得到归一化的修正判断值/>，为质疑区域的修正判断值，用以表征质疑区域被合并或去除的判断依据。

按照上述方式，得到合并区域的修正判断值。所需说明的是，质疑区域为一个初步合并区域，故将合并区域当作一个初步合并区域，可以按照上述方式得到合并区域的修正判断值。

若质疑区域的修正判断值R大于合并区域的修正判断值时，将质疑区域对应的目标合并区域，记为保留合并区域；若质疑区域的修正判断值R小于等于合并区域的修正判断值时，将质疑区域对应的目标合并区域，记为无效合并区域。

按照上述方式，判断待处理图像中每一个初步合并区域被记为保留合并区域、还是无效合并区域，得到待处理图像中所有的保留合并区域；根据待处理图像中所有的保留合并区域，构成最终合并区域。根据最终合并区域边界的大小和形状，构成待处理图像的锚框。所需说明的是，若待处理图像中不存在保留合并区域时，则使用传统的SSD神经网络对待处理图像进行检测。

模块104：芯片检测模块。

使用SSD神经网络，输入待处理图像和待处理图像的锚框，输出待处理图像中芯片缺陷区域边界框的位置信息。利用SSD算法得到芯片检测结果的具体的实现过程为：预先采集若干芯片并对其缺陷类型进行标注得到训练集，使用预训练的ResNet卷积神经网络作为基础模型，将待处理图像输入到一系列卷积层和特征处理层中，在每个特征层上应用最终合并区域的边界大小和形状作为锚框生成候选框；对于每个锚框，计算其与真实边界框的IoU重叠程度，将每个锚框分配给与其具有最大重叠度的真实边界框，为分配的锚框标注类别标签和边界框偏移量，利用交叉熵损失函数和对边界框进行回归损失分析，使用分配的锚框的类别标签和边界框偏移量与预测的类别概率和边界框坐标进行比较，计算损失值；使用标注的样本进行模型的训练。通过反向传播和随机梯度下降算法更新模型的参数；重复迭代该过程，直到模型达到收敛或达到预定义的训练轮次；使用训练好的模型进行芯片检测预测。对预测结果进行后处理，应用非极大值抑制去除重叠的候选框，根据设定的标签阈值筛选出可靠的检测结果作为芯片检测结果，完成尺度自适应的芯片检测。本实施例中设定的标签阈值由预先采集的若干芯片的训练集的模型的参数得到，其它实施方式中可设置为其它值，本实施例不进行限定。

按照上述方式，可以得到流水线上的工业相机采集的每一张芯片图像中芯片缺陷区域。

至此，本发明完成。

综上所述，在本发明实施例中，将待处理图像分割成若干个待选区域，任意选取一个待选区域，记为目标区域，根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，目标区域的特征量。根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量，从而得到每个待选区域对应的初步合并区域，根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值，从而得到保留合并区域，根据所有的保留合并区域，构成最终合并区域，根据最终合并区域边界的大小和形状，构成待处理图像的锚框，使用SSD神经网络，输入待处理图像和待处理图像的锚框，输出待处理图像中芯片缺陷区域边界框的位置信息。本发明通过自适应锚框，减少SSD神经网络中的数据训练量，提高SSD神经网络进行芯片检测准确性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种尺度自适应的芯片检测神经网络系统，其特征在于，该系统包括以下模块：

图像采集模块：用于利用流水线上的工业相机采集芯片图像，任意选取一张芯片图像进行灰度化和高斯滤波去噪处理，得到待处理图像；

区域合并模块：用于将待处理图像分割成若干个待选区域，任意选取一个待选区域，记为目标区域；根据目标区域内的像素点灰度值，得到目标区域内的纹路像素点；根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，得到目标区域的特征量；

根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量；根据目标区域内所有标准向量的本征量的大小，得到目标区域的总本征量和目标向量；根据待处理图像中所有待选区域内的总本征量和目标向量，得到每个待选区域对应的初步合并区域；根据待处理图像中所有待选区域对应的初步合并区域，构成合并区域；

锚框设置模块：用于根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值；根据质疑区域的修正判断值、合并区域的修正判断值，得到保留合并区域；所述合并区域的修正判断值与质疑区域的修正判断值的获取方式一致；根据待处理图像中所有的保留合并区域，构成最终合并区域；根据最终合并区域边界的大小和形状，构成待处理图像的锚框；

芯片检测模块：用于使用SSD神经网络，输入待处理图像和待处理图像的锚框，输出待处理图像中芯片缺陷区域边界框的位置信息。

2.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述将待处理图像分割成若干个待选区域包括：

从待处理图像的左上角开始，向下逐行的从左到右，依次将待处理图像分割成大小为的不重复的待选区域；其中a为预设的分块尺寸。

3.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据目标区域内的像素点灰度值，得到目标区域内的纹路像素点包括：

将目标区域内的像素点灰度方差，记为梯度阈值；

使用Sobel算子，得到目标区域内每个像素点的灰度梯度值；

将目标区域内灰度梯度值大于梯度阈值的像素点，记为纹路像素点。

4.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据待处理图像内像素点的灰度值和目标区域内的纹路像素点的数量、纹路像素点的横纵坐标值、纹路像素点的横纵坐标权重，得到目标区域的特征量包括：

根据待处理图像内像素点的灰度值，构建待处理图像的灰度共生矩阵；根据灰度共生矩阵内的元素，计算灰度共生矩阵的信息熵；将灰度共生矩阵的信息熵，记为待处理图像的整体梯度信息熵；

根据待处理图像内，目标区域之外的像素点的灰度值，构建待处理图像的第二灰度共生矩阵；根据第二灰度共生矩阵内的元素，计算第二灰度共生矩阵的信息熵；将第二灰度共生矩阵的信息熵，记为目标区域的局部梯度信息占比；

若目标区域内纹路像素点的数量大于预设的数量阈值时，使用Sobel算子，得到目标区域内每个纹路像素点横向上的灰度梯度值和纵向上的灰度梯度值，分别记为每个纹路像素点的横坐标权重和纵坐标权重；

以待处理图像的左上角为坐标原点、水平向右为横轴正方向、垂直向下为纵轴正方向，构建平面坐标系；在平面坐标系上，得到待处理图像中每个像素点的横坐标值和纵坐标值；

根据待处理图像的整体梯度信息熵、目标区域的局部梯度信息占比、纹路像素点的横纵坐标值以及横纵坐标权重，得到目标区域的特征量；

若目标区域内纹路像素点的数量小于等于预设的数量阈值时，将目标区域的特征量设置为预设的初始特征量。

5.根据权利要求4所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据待处理图像的整体梯度信息熵、目标区域的局部梯度信息占比、纹路像素点的横纵坐标值以及横纵坐标权重，得到目标区域的特征量对应的具体计算公式为：

，其中A为目标区域的特征量，B为待处理图像的整体梯度信息熵，C为目标区域的局部梯度信息占比，n为目标区域内纹路像素点的数量，/>和/>分别为目标区域内中心像素点的横坐标值和纵坐标值，/>和/>为目标区域内第i个纹路像素点的横坐标值和纵坐标值，/>为目标区域内第i个纹路像素点的横坐标权重的归一化值，/>为目标区域内第i个纹路像素点的纵坐标权重的归一化值，b为预设的常数。

6.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据目标区域内像素点的特征向量和标准向量的夹角值的大小、目标区域的特征量，得到目标区域内每个标准向量的本征量包括：

根据目标区域内像素点灰度值，使用SIFT快速角点检测算法，得到目标区域内每个像素点的特征向量；

根据目标区域内中心像素点分别到每个非中心像素点的方向和欧式距离，构成内每个非中心像素点对应的标准向量；

将目标区域内任意一个像素点，记为目标像素点；计算目标像素点的特征向量分别与所有标准向量的夹角值，将所述向量的夹角值中的最小值对应的标准向量，记为目标像素点的标准向量；

根据每个标准向量对应的目标区域内的像素点数量、每个标准向量对应的目标区域内的像素点中的纹路像素点的数量、目标区域的特征量，得到目标区域内每个标准向量的本征量。

7.根据权利要求6所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据每个标准向量对应的目标区域内的像素点数量、每个标准向量对应的目标区域内的像素点中的纹路像素点的数量、目标区域的特征量，得到目标区域内每个标准向量的本征量对应的具体计算公式为：

，其中/>为目标区域内第j个标准向量的本征量，/>为目标区域内第j个标准向量对应的目标区域内的像素点数量，a为预设的分块尺寸，n为目标区域内纹路像素点的数量，/>为目标区域内第j个标准向量对应的目标区域内的像素点中的纹路像素点的数量，A为目标区域的特征量。

8.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据目标区域内所有标准向量的本征量的大小，得到目标区域的总本征量和目标向量；根据待处理图像中所有待选区域内的总本征量和目标向量，得到每个待选区域对应的初步合并区域包括：

统计目标区域内所有标准向量的本征量中的最大值，将所述本征量中的最大值对应的本征量，记为目标区域的总本征量；将所述本征量中的最大值对应的标准向量，记为目标区域的目标向量；

在待处理图像中，任意选取一个与目标区域相邻的待选区域，若所述待选区域内的中心像素点沿所述待选区域的目标向量的方向遍历会经过目标区域时，将所述待选区域记为初始待选区域；

若与目标区域相邻的所有待选区域中不存在初始待选区域时，将目标区域记为无效区域；

若与目标区域相邻的所有待选区域中存在初始待选区域时，将目标区域分别与所有初始待选区域的总本征量的差异的均值，记为临界阈值；

任意选取一个初始待选区域，若所述初始待选区域与目标区域的总本征量的差异小于临界阈值时，将所述初始待选区域记为最终待选区域；

若与目标区域相邻的所有待选区域中不存在最终待选区域时，将目标区域记为无效区域；

若与目标区域相邻的所有待选区域中存在最终待选区域时，根据目标区域与所有最终待选区域，构成目标区域对应的初步合并区域。

9.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据初步合并区域中待选区域的目标向量、像素点的灰度值、纹路像素点的可信距离，得到质疑区域的修正判断值包括：

将任意一个初步合并区域，记为目标合并区域；计算目标合并区域中所有待选区域的目标向量之和，记为总目标向量；

若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值大于等于预设的夹角阈值时，将目标合并区域记为无效合并区域；

若总目标向量分别与目标合并区域中所有待选区域的目标向量的夹角值的均值小于预设的夹角阈值时，将目标合并区域记为质疑区域；

将质疑区域内所有像素点灰度值的方差与质疑区域内所有纹路像素点灰度值的方差的差值的绝对值，记为质疑区域的偏差率；

将质疑区域内每个纹路像素点与其距离最近的纹路像素点的欧式距离，记为每个纹路像素点的可信距离；

根据质疑区域的偏差率、所有纹路像素点的可信距离、纹路像素点的数量，得到质疑区域的修正判断值对应的具体计算公式为：

，其中R为质疑区域的修正判断值，/>为质疑区域内第/>个纹路像素点的可信距离，k为质疑区域内纹路像素点的数量，H为质疑区域的偏差率，为线性归一化函数。

10.根据权利要求1所述一种尺度自适应的芯片检测神经网络系统，其特征在于，所述根据质疑区域的修正判断值、合并区域的修正判断值，得到保留合并区域包括：

若质疑区域的修正判断值大于合并区域的修正判断值时，将质疑区域记为保留合并区域；

若质疑区域的修正判断值小于等于合并区域的修正判断值时，将质疑区域记为无效合并区域。