CN110598753A

CN110598753A - 一种基于主动学习的缺陷识别方法

Info

Publication number: CN110598753A
Application number: CN201910759496.3A
Authority: CN
Inventors: 杨华; 尹周平; 毛芳勤; 宋开友; 万千
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2019-08-16
Filing date: 2019-08-16
Publication date: 2019-12-20

Abstract

本发明属于图像处理技术领域，并公开了一种基于主动学习的缺陷识别方法，包括如下步骤：S1获取待测对象的图像样本，对一部分图像样本进行随机标记获得已标记样本剩下的图像样本记为未标记样本利用更新多分类神经网络模型；S2计算中各样本的熵值，并将分为高置信度标记样本未标记样本和待标记样本S3对进行自动及人工标记获得自动标记样本和人工标记样本由和构建新标记样本S4利用更新神经网络模型，判断神经网络模型是否收敛，若是，则结束，若否，令t＝t+1，转入步骤S5；S5重复步骤S2～S4直至神经网络模型收敛。本发明可有效减少缺陷识别中对人工标记的依赖，具有识别精度高、速度快等优点。

Description

一种基于主动学习的缺陷识别方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于主动学习的缺陷识别方法。

背景技术

当前高性能深度学习模型对于标记数据的高度依赖，导致其在工业的实际应用中因为人工标记的困难而难以实际应用。主动学习(Active Learning)是一种在保证模型性能的情况下，尽可能减少人工标记量的高效方法。主动学习主要包含以下几个步骤：首先，主动学习需要一些极少数的标记样本去初始化分类器，这些标记样本的数量远远少于完整训练一个分类器所需的数量；之后，利用特定的筛选策略从当前未标记的样本中挑选出特定数量的样本，这些挑选出来的样本由人工进行标记；最后这些新标记的样本用于分类器的增量训练。以上几个步骤一直循环，直到分类器的训练收敛。通过恰当的筛选策略，主动学习可以挑选出那些更具有代表性的未标记样本，即那些对分类器的训练有更大作用的样本，用于人工标记。与未采取主动学习，即传统的随机抽取进行标记，基于主动学习的方法可以在更少人工标记量的条件下实现分类器的训练。但具体如何实现上述主动学习的过程，并将其应用于缺陷识别中，目前还没有一个完整的可行方案，因此需要进行研究与设计，以获得一种可行的缺陷识别通用方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于主动学习的缺陷识别方法，其利用一部分已标记样本初始化分类模型，并基于初始化的模型将未标记样本分为三部分，之后对待标记样本进行自动标记与人工标记以构建新标记样本，最后将新标记样本用于更新分类模型，以此实现迭代，完成待测对象的缺陷分类识别，在保证精度的情况下大幅度减少对人工标记的依赖，具有识别精度高、速度快等优点，可有效减少在Mura缺陷识别中对于人工标记的依赖。

为实现上述目的，本发明提出了一种基于主动学习的缺陷识别方法，其包括如下步骤：

S1获取待测对象的图像样本，对一部分图像样本进行随机标记获得已标记样本剩下的图像样本记为未标记样本利用已标记样本更新多分类神经网络模型获得更新的神经网络模型，其中t＝0；

S2利用更新的神经网络模型计算未标记样本中各样本对应的熵值，根据各样本对应的熵值将未标记样本分为高置信度标记样本未标样本和待标记样本三个部分；

S3对待标记样本的一部分进行自动标记获得自动标记样本待标记样本中未被自动标记的样本进行人工标记记为人工标记样本由高置信度标记样本自动标记样本和人工标记样本构建新标记样本而新标记样本加上已标记样本则作为下一轮迭代的已标记样本，即而未标记样本减去新标记样本则作为下一轮迭代的未标记样本，即

S4利用新标记样本更新神经网络模型，判断神经网络模型是否收敛，若是，则完成一轮迭代并结束，若否，则令t＝t+1，并转入步骤S5以继续进行迭代；

S5重复步骤S2～S4直至神经网络模型收敛，以此完成待测对象的缺陷识别。

作为进一步优选的，多分类神经网络模型采用如下方式更新：

当以进行更新时，更新公式为：

其中，θ₁是神经网络模型的参数，表示的样本数量，n是Mura缺陷的类别数，I(*)为指示函数，I_i是中的样本，y_i是样本I_i对应的标签，p是在已知参数θ₁情况下，样本I_i属于类别c的概率；

当以进行更新时，更新公式为：

其中，θ₁是神经网络模型的参数，N_N表示的样本数量，n是Mura缺陷的类别数，I(*)为指示函数，I_i是中的样本，y_i是样本I_i对应的标签，p是在已知参数θ₁情况下，样本I_i属于类别c的概率。

作为进一步优选的，步骤S2中各样本对应的熵值E_i采用如下公式计算：

其中，I_i是中的样本，y_i是样本I_i对应的标签，n是Mura缺陷的类别数，θ₁是训练获得的神经网络模型的参数，p是在已知参数θ₁情况下，样本I_i属于类别c的概率。

作为进一步优选的，步骤S2中的高置信度标记样本利用预设的阈值进行筛选，当样本的熵值低于阈值时将其归为高置信度标记样本

作为进一步优选的，步骤S2中未标样本和待标记样本采用如下方式确定：从未标记样本中未被标记为高置信度标记样本的剩余样本中选取多个熵值最大的样本作为初始待标记样本，然后在初始待标记样本中根据多样性指标选取出多个样本作为待标记样本则

作为进一步优选的，步骤S3中利用SFM模型对待标样本实现自动标记以获得自动标记样本

作为进一步优选的，步骤S3中构建了新标记样本之后，利用新标记样本更新SFM模型。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：本发明通过利用一部分已标记样本初始化分类模型(多分类神经网络模型)，然后利用初始化的模型获取未标记样本的熵值，进而根据熵值将其分成三部分，之后将待标记样本中的一部分进行自动标记，剩下的一部分人工标记，并构建新标记样本，最后将新标记样本用于更新分类模型，以此实现迭代，完成待测对象的缺陷的分类识别，该方法利用主动学习，可以在保证精度的情况下大幅度减少对人工标记的依赖，在少量人工标记的情况下获得高性能的分类模型，具有识别精度高、速度快等优点。

附图说明

图1是本发明实施例提供的基于主动学习的缺陷识别算法的流程图；

图2是本发明实施例提供的基于主动学习的缺陷识别算法的细节图；

图3是本发明的基于DCEQS(多样性度量)的未标记样本的分类示意图；

图4是本发明的基于SFM(相似性度量)的自动标定方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1-2所示，本发明实施例提供的一种基于主动学习的缺陷识别算法，该算法主要包含两个大部分，即初始化部分以及迭代部分，具体如下：

(一)初始化部分

S1获取待测对象的图像样本(例如一万张)，对其一部分(例如10％)进行随机标记，获得标记样本剩下的未标记样本为其中，t＝0，即初始化时角标0表示初始化环节，未开始迭代，也可将表示为D_I，利用标记样本训练一个多分类的神经网络模型，神经网络模型的更新公式L_cls如下：

其中，θ₁是神经网络模型的参数，表示的样本数量，n是Mura缺陷的类别数，I(*)为指示函数，括号内条件满足时即y_i＝c该函数输出为1，不满足时该函数输出为0，y_i是样本I_i对应的标签，I_i是中的样本，p是在已知参数θ₁情况下，样本I_i属于类别c的概率。通过以上公式的优化求解，可以得到神经网络的参数θ₁的值，作为输出。

(二)迭代部分

在每一次迭代中，利用上标t表示具体的迭代轮次，例如表示第t次迭代中的已标记样本，表示第t次迭代中的未标记样本，t的初始值为0，即步骤S1初始化部分的t，未开始迭代时t＝0，开始迭代后，t＝1,2,3…。下面对以及的具体构成进行定义：

当t＝0时，即初始化时，

当t>0时，即开始迭代时，其中，表示第t轮迭代中新标记的样本。

该迭代部分包括以下步骤：

S2基于DCEQS(Diverse Cost-Effective Query Strategy)的样本筛选：

利用更新的神经网络模型计算未标记样本中各样本对应的熵值，根据各样本对应的熵值将未标记样本分为高置信度标记样本未标记样本和待标记样本三个部分，具体包括如下步骤：

S21熵值的获取

无标记的样本通过已获得初始参数θ₁的神经网络模型运算，可以得到其中每一个样本对应的熵值E_i，计算公式如下：

其中，θ₁是步骤S1训练获得的神经网络模型的参数，n是Mura缺陷的类别数，I_i是中的样本，y_i是样本I_i对应的标签，p是在已知参数θ₁情况下，样本I_i属于类别c的概率。

S22未标记样本的分类

中的每个样本Ι_i都已求解一个各自的熵值E_i，根据这些熵值，将会被分成三部分：高置信度的标记样本未标样本待标记样本具体包括如下步骤：

S221高置信度样本的选择

首先，设置一个用于熵值筛选的阈值δ_H，中的样本根据其对应的熵值E_i，若E_i＜δ_H，则归为高置信度样本同时利用以下公式对内的各样本进行标签的自动标记：

具体而言，当中的样本I_i经过初始参数θ₁已知的神经网络模型运算后，可以得到I_i分属于不同类别(即公式中的c，此时c的范围由样本的类别个数决定)的概率，选取最大的概率值对应的类别作为该样本的标签。一般将δ_H设置地足够低(0.15以下)以保证足够的置信度。

S222未标样本待标记样本的选取

当样本的熵值不满足公式E_i＜δ_H时，这些样本不会被选择为高置信度样本，这部分样本仍然是未标记样本。在这一部分样本中，选取h个(例如128个)熵值最大的样本作为初始待标记样本，之后在初始待标记样本中，根据多样性指标选取出最终的k个样本作为待标样本其具体的规则如下：

首先，在h个样本中，计算每个样本I_i与所有其他样本I_j之间的特征距离：

其中，s_i和s_j是I_i和I_j通过神经网络模型计算得到的特征向，f_distance(s_i,s_j)表示I_i和I_j特征向量之间的欧式距离；

然后，所有h个样本的d_i都会被计算，按特征距离降序排列，最终选取k个(例如32个)最具有多样性的样本(即选取前k个样本)：

通过以上的公式，最终待标记样本被选取出来，最后剩下的未被选择为和则作为未标样本暂时不进行处理；

最终，DCEQS把未标记样本分成了三个部分：自动标记的高置信度样本待标记样本以及未标样本其中，各个种类的样本之间的关系遵循以下的规则：

同时现有的已标记的样本和新的自动标记的高置信度样本形成了新一轮的已标记样本用于后续的待标记样本的自动标记步骤，其满足以下规则：

S3对待标记样本的一部分进行自动标记获得自动标记样本待标记样本中未被自动标记的样本记为人工标记样本具体的上述得到的待标记样本通过SFM(Similarity-measurement Filter Module)计算待标记样本和已标记样本之间的相似度，对待标记样本中的一部分进行自动标记，这部分被自动标记的样本记作具体流程如下：

S31基于SFM的自动标记

SFM主要是基于深度孪生网络的结构，具体来说，首先在已标记样本中抽取一个样本其中上标c表示该样本对应的类别；从待标记样本中抽取样本I_j，然后和I_j被同时送入孪生网络SFM中，这里的孪生网络两个分支采取了共享权重的方式，共享权重可以保证两个样本会被映射到同行一个特征空间，以便于公平地进行相似性的度量。之后，两个样本对应的特征向量和通过作差得到差别特征向量：

其中，是样本通过孪生网络(不包含全连接层)计算得到特征向量，是样本I_j通过孪生网络(不包含全连接层)计算得到特征向量；

然后f_d通过全连接层，最后得到一个概率分布其概率分布表示两个样本之间属于同一类别的概率，可由以下公式表示：

其中，p是在已知参数θ₂的情况下，样本I_j和同属于类别c的概率，sigmoid是常用的概率转换函数，将特征值转换为概率分布。

同时待标记样本I_j要与已标记样本集合中的一大部分样本进行相似度量，确定最后的所属类别。每个类别中有m(一般m取100)个已标记的样本可用于相似性的度量，在GPU的大规模并行下，很多的相似性度量任务可以同时并行。具体来说，未标记样本I_j的类别是c的概率由以下公式组成：

其中，θ₂表示孪生网络的参数，y_j表示样本I_j的类别，p是在已知参数θ₂的情况下，样本I_j和同属于类别c的概率。

同时，为了避免错误标签的产生，利用了一个阈值δ_P来过滤一些可能会产生错误标签的结果。具体来说，阈值的计算公式如下：

其中，是概率最高的类别对应的概率。

其中，是概率大小第二高的类别对应的概率。

以上表示，当满足阈值条件时，I_j的标签与最大概率所对应的标签相同，不满足概率时，I_j仍然保持为待标记。这样，一部分未标记样本I_j即可被自动标记，并且控制好阈值δ_P(一般取大于0.2)，可以避免错误标签的出现。同时，为了保证更好的置信度，I_j会与很多标记样本计算特征相似度。并且这些计算可以通过GPU的并行来节省大量时间。通过SFM，一部分待标记样本可以被自动标记，记作

S32人工自动标记

中剩下的未能被自动标记的样本会被人工标记，这部分样本被记作也就是：

最终本轮新标记的样本由三个部分组成：自动标记的高置信度样本被SFM自动标注的样本以及人工标注的样本其组成关系如下：

S4利用新标记样本更新神经网络模型，判断神经网络模型是否收敛，若是，则完成一轮迭代并结束，若否，则令t＝t+1，并转入步骤S5以继续进行迭代，具体的：

新标记的样本用于对分类器(即之前已更新过的多分类神经网络模型)进行更新学习，其满足以下规律：

首先SFM模型被更新，其更新规则如下：

其中，I(*)是一个指示函数，即括号内条件满足时即y_i＝y_j时该函数为1，不满足时该函数输出为0，p(y_i＝y_j|I_i,I_i；θ₂)是SFM的输出，N_N表示新标记样本的样本数量，θ₂是SFM中孪生网络模型的参数，I_i为新标记样本中的样本。

类似地，分类器(即之前已更新过的多分类神经网络模型)也通过更新：

其中，θ₁是分类器模型的参数，I(*)是一个指示函数，即括号内条件满足时即y_i＝c时该函数为1，不满足时该函数输出为0，N_N表示新标记样本的样本数量，n表示样本的类别数量，I_i为新标记样本中的样本，p是在已知参数θ₁情况下，样本I_i属于类别c的概率。

S5过程的迭代

新标记的样本用于对分类器进行更新学习后，新标记的样本和已标记的样本作为下一轮迭代的已标记样本

而下一轮迭代的未标记样本则满足以下的规则：

剩下的未标记样本利用更新的分类器，获取到每个样本对应的熵值，即利用新标记样本更新神经网络模型后转入步骤S2进入下一次迭代，直到分类器训练收敛。

本发明所提出的方法首先利用一部分已标记样本初始化分类模型，然后利用初始化的模型，获取到未标记样本的熵值，根据熵值将初始未标记样本分成待标记样本、高置信度样本、未标样本；之后利用SFM将待标记样本中的一部分进行自动标记，剩下的一部分人工标记；最后将新标记的样本用来更新分类模型。该算法利用主动学习，可以在保证精度的情况下大幅度减少对人工标记的依赖，特别适用于TFT-LCD(薄膜晶体管液晶显示器，Thinfilm transistor liquid crystal display)Mura缺陷的识别算法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于主动学习的缺陷识别方法，其特征在于，包括如下步骤：

S1 获取待测对象的图像样本，对一部分图像样本进行随机标记获得已标记样本剩下的图像样本记为未标记样本利用已标记样本更新多分类神经网络模型获得更新的神经网络模型，其中t＝0；

S2 利用更新的神经网络模型计算未标记样本中各样本对应的熵值，根据各样本对应的熵值将未标记样本分为高置信度标记样本未标样本和待标记样本三个部分；

S3 对待标记样本的一部分进行自动标记获得自动标记样本待标记样本中未被自动标记的样本进行人工标记记为人工标记样本由高置信度标记样本自动标记样本和人工标记样本构建新标记样本而新标记样本加上已标记样本则作为下一轮迭代的已标记样本，即而未标记样本减去新标记样本则作为下一轮迭代的未标记样本，即

S4 利用新标记样本更新神经网络模型，判断神经网络模型是否收敛，若是，则完成一轮迭代并结束，若否，则令t＝t+1，并转入步骤S5以继续进行迭代；

S5 重复步骤S2～S4直至神经网络模型收敛，以此完成待测对象的缺陷识别。

2.如权利要求1所述的基于主动学习的缺陷识别方法，其特征在于，多分类神经网络模型采用如下方式更新：

当以进行更新时，更新公式为：

其中，θ₁是神经网络模型的参数，表示的样本数量，n是Mura缺陷的类别数，I(*)为指示函数，I_i是中的样本，y_i是样本I_i对应的标签，p是在已知参数θ₁情况下样本I_i属于类别c的概率；

当以进行更新时，更新公式为：

其中，θ₁是神经网络模型的参数，N_N表示的样本数量，n是Mura缺陷的类别数，I(*)为指示函数，I_i是中的样本，y_i是样本I_i对应的标签，p是在已知参数θ₁情况下样本I_i属于类别c的概率。

3.如权利要求1所述的基于主动学习的缺陷识别方法，其特征在于，步骤S2中各样本对应的熵值E_i采用如下公式计算：

其中，I_i是中的样本，y_i是样本I_i对应的标签，n是Mura缺陷的类别数，θ₁是训练获得的神经网络模型的参数，p是在已知参数θ₁情况下样本I_i属于类别c的概率。

4.如权利要求1所述的基于主动学习的缺陷识别方法，其特征在于，步骤S2中的高置信度标记样本利用预设的阈值进行筛选，当样本的熵值低于阈值时将其归为高置信度标记样本

5.如权利要求1-4任一项所述的基于主动学习的缺陷识别方法，其特征在于，步骤S2中未标样本和待标记样本采用如下方式确定：从未标记样本中未被标记为高置信度标记样本的剩余样本中选取多个熵值最大的样本作为初始待标记样本，然后在初始待标记样本中根据多样性指标选取出多个样本作为待标记样本则

6.如权利要求1-5任一项所述的基于主动学习的缺陷识别方法，其特征在于，步骤S3中利用SFM模型对待标样本实现自动标记以获得自动标记样本

7.如权利要求6所述的基于主动学习的缺陷识别方法，其特征在于，步骤S3中构建了新标记样本之后，利用新标记样本更新SFM模型。