CN112037222A - 一种神经网络模型的自动更新方法及系统 - Google Patents

Abstract

本发明公开了一种神经网络模型的自动更新方法及系统，导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；获取产线上待检测产品的第一检测图片集合，检测模块依据当前神经网络模型检测待检测产品以获取检测数据集合，检测数据集合包括第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；利用人机交互对检测数据集合进行人工复判并获取人工复判结果，所述人工复判包括对漏检样本进行样本标注；根据人工复判结果从第一检测图片集合获取新的样本数据集，更新样本数据集，从而实现利用过漏检数据自动更新用于检测的神经网络模型。

Description

一种神经网络模型的自动更新方法及系统

技术领域

本发明属于图像检测技术领域，更具体地，涉及一种神经网络模型的自动更新方法及系统。

背景技术

近几年随着人工智能算法，尤其是人工智能算法中的深度神经网络（深度学习）的落地，AOI检测系统普遍采用深度学习的方式进行检测。其中，训练系统是指利用深度学习网络反复推断一批标注好的缺陷的图片，并反向传播。

一个深度学习系统需要定期的进行更新，更新是指将检测系统判断错了的图片重新投入训练系统进行训练，训练出新的模型更新到检测系统。如何筛选出模型判断错了的图片，也就是所说的过检和漏检的图片，属于深度学习系统数据处理的关键步骤。

通常的模型更新方法具体如下，检测系统在产线上进行检测并得出检测结果后，客户会对检测系统的检测结果进行复判，分别是对AOI检测拍的画面进行复判，以及客户通过观察产品实物进行复判，人工操作通过过漏检的结果获取对应的产品编码，根据产品编码去检测系统里取得该产品对应的照片，再人为的重新标注一遍。检测系统检测到的缺陷信息并没有很好的利用起来。明明检测系统已经有检测结果了，但人工还是需要重复标注一遍，同时整个系统是离散的，也就是说每个模块都是单独的软件，但并没有一个系统将这些串起来。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了一种神经网络模型的自动更新方法及系统，其目的在于解决如何利用过漏检数据自动更新用于检测的神经网络模型的问题。

为实现上述目的，按照本发明的一个方面，提供了一种神经网络模型的自动更新方法，该方法包括：

导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

获取产线上待检测产品的第一检测图片集合，检测模块依据当前神经网络模型检测待检测产品以获取检测数据集合，检测数据集合包括第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；

利用人机交互对检测数据集合进行人工复判并获取人工复判结果，人工复判包括对漏检样本进行样本标注；

根据人工复判结果从第一检测图片集合获取新的样本数据集，更新样本数据集。

作为本发明的进一步改进，神经网络模型包括第一神经网络子模型、第二神经网络子模型和第三神经网络子模型；

第一神经网络子模型用于获取所述第一检测图片的图片ID、初级缺陷类型、缺陷位置及第二检测图片集合，第二检测图片为依据初级缺陷类型及缺陷位置对第一检测图片进行裁剪得到的缺陷图片，将第一神经网络子模型的输出输入给第二神经网络子模型或第三神经网络子模型；

第二神经网络子模型用于依据初级缺陷类型和第二检测图片判断其对应的细分缺陷类型，输出缺陷编码，并将其输出输入给第三神经网络子模型；

第三神经网络子模型用于利用第二检测图片及其对应的初级缺陷类型或细分缺陷类型，判断是否存在过检，并输出第一检测图片的ID以及对应的过检自动判断结果。

作为本发明的进一步改进，首级缺陷类型包括点缺陷、线缺陷、mura缺陷和大面积mura缺陷。

作为本发明的进一步改进，依据点缺陷的具体形状进一步细分以获取点缺陷的细分缺陷类型。

作为本发明的进一步改进，依据mura缺陷的具体形状进一步细分以获取mura缺陷的细分缺陷类型。

作为本发明的进一步改进，神经网络模型的更新过程包括：

将样本数据集的图片和标注信息按批次送入神经网络，图片在神经网络中正向传播的结果带入网络设计的loss函数，根据loss函数进行反向传播对神经网络中所有节点参数进行更新。

作为本发明的进一步改进，第一检测图片为预处理后的图片，所述预处理的过程包括：直方图均衡化、图片放缩和切分。

为实现上述目的，按照本发明的另一个方面，提供了一种神经网络模型的自动更新系统，该系统包括神经网络模型训练模块、产线检测子系统和复判模块，产线检测子系统包括图片获取模块和检测模块，其中，

神经网络模型训练模块用于导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

图片获取模块用于获取产线上的待检测产品的第一检测图片集合；

检测模块用于依据当前神经网络模型检测待检测产品以获取检测数据集合，检测数据集合包括第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；

复判模块用于利用人机交互对检测数据集合进行人工复判并获取人工复判结果，人工复判包括对漏检样本进行样本标注；还用于根据人工复判结果从所述第一检测图片集合获取新的样本数据集，更新样本数据集。

作为本发明的进一步改进，神经网络模型包括第一神经网络子模型、第二神经网络子模型和第三神经网络子模型；

第一神经网络子模型用于获取第一检测图片的图片ID、初级缺陷类型、缺陷位置及第二检测图片集合，第二检测图片为依据初级缺陷类型及缺陷位置对第一检测图片进行裁剪得到的缺陷图片，将第一神经网络子模型的输出输入给第二神经网络子模型或第三神经网络子模型；

第二神经网络子模型用于依据初级缺陷类型和第二检测图片判断其对应的细分缺陷类型，输出缺陷编码，并将其输出输入给第三神经网络子模型；

第三神经网络子模型用于利用第二检测图片及其对应的初级缺陷类型或细分缺陷类型，判断是否存在过检，并输出第一检测图片的ID以及对应的过检自动判断结果。

为实现上述目的，按照本发明的另一个方面，提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述方法的步骤。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

（1）本发明提供的一种神经网络模型的自动更新方法及系统，其通过制作样本数据集，并通过闭环系统进行样本数据集的传递，实现利用过漏检数据自动更新用于检测的神经网络模型。

（2）本发明提供的一种神经网络模型的自动更新方法及系统，其通过第一神经网络子模型、第二神经网络子模型和第三神经网络子模型，通过神经网络识别各类缺陷并进一步细分各类缺陷，并通过对裁剪后的检测图片进一步地检测，从而控制过漏检指标以提高检测精度。

附图说明

图1是本发明实施例提供的一种神经网络模型的自动更新系统的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明所提供的一种神经网络模型的自动更新方法及系统，其通过制作样本数据集，并通过闭环系统进行样本数据集的传递，实现利用过漏检数据自动更新用于检测的神经网络模型。

下面结合实施例和附图对本发明提供的神经网络模型的自动更新方法及系统的结构和工作原理进行详细说明。

一种神经网络模型的自动更新方法，包括如下步骤：

导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

获取产线上待检测产品的第一检测图片集合，这里第一检测图片集合指一个或多个用于待检测产品检测的第一检测图片所组成的图片集合，将每张第一检测图片标注对应的ID以用于后续识别，检测模块依据当前神经网络模型检测待检测产品以获取检测数据集合，检测数据集合包括第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果，利用第一检测图片的ID可以从第一检测图片集合中获取对应第一检测图片，缺陷位置可以便于后续在检测图片中快速定位至缺陷位置，并通过缺陷编码获取对应的缺陷类型，同时可参考过检自动判断结果进行后续判断；

导入检测数据集并显示所述缺陷编码及检测图片，利用人机交互对检测数据集合进行人工复判并获取人工复判结果，人工复判包括对漏检样本进行样本标注，根据人工复判结果从第一检测图片集合获取新的样本数据集，更新样本数据集。

可选的，第一检测图片为预处理后的图片，预处理的过程包括：直方图均衡化、图片放缩和切分。

可选的，神经网络模型包括第一神经网络子模型、第二神经网络子模型和第三神经网络子模型，其中，

第一神经网络子模型用于获取第一检测图片的图片ID、初级缺陷类型、缺陷位置及第二检测图片集合，第二检测图片集合指一个或多个用于待检测产品检测的第二检测图片所组成的图片集合，将每张第二检测图片标注对应的ID以用于后续识别，其中，第一神经网络子模型的输入为待检测产品ID及第一检测图片，第一神经网络子模型的输出为第二检测图片及对应的首级缺陷类型，其中，第二检测图片为依据首级缺陷类型及缺陷位置对第一检测图片进行裁剪得到的缺陷图片，以供后续模型进行进一步地精确判断，第一神经网络子模型的输入或输出还可以依据需要增加其他的内容，例如，输出还可以包括待检测产品ID、第一检测图片等需要增加的内容；第一神经网络子模型还用于依据首级缺陷类型判断将其输出输入给第二神经网络子模型或第三神经网络子模型，具体地，对于首级缺陷类型下还存在细分缺陷类型的，将第一神经网络子模型的输出作为第二神经网络子模型的输入，对于首级缺陷类型下不存在进一步细分缺陷类型的，将第一神经网络子模型的输出作为第三神经网络子模型的输入；例如，可以依据缺陷的具体形状将点缺陷将其进一步细分为点A缺陷、点B缺陷和点C缺陷，可以依据缺陷的具体形状将mura缺陷将其进一步细分为mura0缺陷、mura1缺陷和mura2缺陷，上述点缺陷和mura缺陷的细分规则可以依据缺陷的具体形状来制定，当然还可以依据需求从缺陷的其他维度指定缺陷的细分规则，而对于线缺陷和大面积缺陷其并不存在进一步细分缺陷类型，当然，以上仅为一个示例，上述首级缺陷类型是否进行细分可依据检测需求进行相应的调整。

第二神经网络子模型用于依据初级缺陷类型和第二检测图片判断其对应的细分缺陷类型，输出缺陷编码，并将其输出输入给第三神经网络子模型，第二神经网络子模型的输入包括第二检测图片及对应的初级缺陷类型，第二神经网络子模型的输出包括其对应的细分缺陷类型和缺陷编码；第二神经网络子模型的输入或输出还可以依据需要增加其他的内容，例如，输入还包括待检测产品ID，输出还可以包括待检测产品ID、第一检测图片等需要增加的内容；第二神经网络子模型将其输出输入给第三神经网络子模型；

第三神经网络子模型用于利用第二检测图片及其对应的初级缺陷类型或细分缺陷类型再次判断待检测产品是否存在缺陷，判断是否存在过检，并输出第一检测图片的ID以及对应的过检自动判断结果，例如输出对应的缺陷码，如点A、点B和点C分别对应缺陷码0、1和2，线缺陷对应缺陷码3，mura0、mura1和mura2分别对应缺陷码4、5和6，大面积mura对应缺陷码7；第三神经网络子模型的输入包括第二检测图片及对应的首级缺陷类型或细分缺陷类型，第三神经网络子模型的输出包括待检测产品是否存在缺陷和对应的缺陷码；第三神经网络子模型的输入或输出还可以依据需要增加其他的内容，例如，输入还包括待检测产品ID，输出还可以包括待检测产品ID、第一检测图片等需要增加的内容；

可利用复判模块用于显示缺陷编码及信息，利用人机交互模块获取复判结果，复判结果包括缺陷码标注缺陷类型和裁剪后的缺陷图片；具体地，对于用户而言看到的是图以及图上的缺陷，每个缺陷用缺陷所属的缺陷类型对应的缺陷码来标识。缺陷的检测流程为，先将图片进行预处理，再对图片用深度学习检测模型进行检测，检测出具体的缺陷位置，比如一个点缺陷，会检测出点的具体位置。将缺陷根据其位置进行裁剪，裁剪出的缺陷小图进行深度学习分类模型进行分类，这个分类模型会对该缺陷小图进行更细粒度的分类，这就是一个多分类模型（第二神经网络子模型）。比如将点缺陷分为更具体的点缺陷类型。接着需要进行一个精细的二分类（第三神经网络子模型），这个二分类的目的是控制过漏检指标，将这个点缺陷进一步进行判断，进一步的细分为需要上报的点缺陷，最终输出该缺陷的缺陷码。需要说明的是，有的步骤不需要多分类模型，可以由检测模型直接输出到二分类模型。

神经网络模型还用于将复判结果作为新的训练集，对神经网络模型进行再训练及更新，将更新后的检测系统进行后续检测。作为一个优选的实施例，用于神经网络模型训练的数据集包括工件id、工件缺陷id、缺陷中心点x、缺陷中心点y、缺陷宽w、缺陷高h以及缺陷码。可以利用工件缺陷id获取初级缺陷类型，利用缺陷码获取细分缺陷类型，具体地，神经网络模型的训练系统获取到上述信息后，通过工具将图片以及图片缺陷信息制作成数据集，数据集是一个规定格式的文件夹，数据集里应该包含存放图片的文件夹，存放标注文件的文件夹，记录文件信息的文件，这几类文件以及信息，文件信息包含图片相对路径，图片是属于训练集、验证集还是测试集，图片对应的标注。

具体地，训练系统将数据集内的图片和标注信息按批次送入神经网络，神经网络经过正向传播，将结果带入网络设计的loss函数，根据该函数进行反向传播，反向传播将对神经网络中所有节点参数进行更新。图片经过检测系统判断NG/OK，然后经过复判系统筛选出过漏检的数据，这些数据包含新的需要学习的特征，需要将这些特征更新到模型权重文件里面去。模型和数据集的映射关系就说明了数据如何对应到具体的算法模型里的结构。具体而言就是过漏检的原始图片框选出缺陷，新增到已有的检测数据集中，制作新版本的检测数据集。将该版本的检测数据集投入训练，根据loss进行反向传播，更新检测数据集的CNN骨干网络层和边框回归层，不需要更新nms层。接着将检测数据集内的图片根据标注的缺陷框抠出缺陷小图，新增到多分类数据集中制作多分类的新版本数据集。根据loss函数进行反向传播，更新多分类模型的CNN骨干网络和softmax层。将多分类的某一类进行NG/OK的判等划分，新增到该分类的NG/OK二分类数据集中，制作对于该分类的二分类，这一二分类数据集主要作用是用作缺陷强度的判断，根据loss函数进行反向传播，更新二分类模型的CNN骨干网络和softmax层。最终达到将新增的缺陷特征更新到检测算法中去，这样，根据新的模型权重进行推断的检测算法，不仅能识别就有的特征，也能识别新的特征。达到更新算法权重提升检测系统最终准确率的目的。

图1是本发明实施例提供的一种神经网络模型的自动更新系统的示意图。如图1所示，该系统包括神经网络模型训练模块、产线检测子系统和复判模块，产线检测子系统包括图片获取模块和检测模块，其中，

神经网络模型训练模块用于导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

图片获取模块用于获取产线上的待检测产品的第一检测图片集合；

检测模块用于依据当前神经网络模型检测所述待检测产品以获取检测数据集合，检测数据集合包括第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；

复判模块用于利用人机交互对检测数据集合进行人工复判并获取人工复判结果，人工复判包括对漏检样本进行样本标注；还用于根据人工复判结果从所述第一检测图片集合获取新的样本数据集，更新样本数据集。

该系统的实现原理、技术效果与上述方法类似，此处不再赘述。

本实施例还提供了一种电子设备，其包括至少一个处理器、以及至少一个存储器，其中，存储器中存储有计算机程序，当计算机程序被处理器执行时，使得处理器执行实施例中的基于图像检测的晶圆计数的方法的步骤，具体步骤参见实施例，此处不再赘述；本实施例中，处理器和存储器的类型不作具体限制，例如：处理器可以是微处理器、数字信息处理器、片上可编程逻辑系统等；存储器可以是易失性存储器、非易失性存储器或者它们的组合等。

该电子设备也可以与一个或多个外部设备 (如键盘、指向终端、显示器等)通信，还可与一个或者多个使得用户能与该电子设备交互的终端通信，和/或与使得该电子设备能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。

本实施例还提供了一种计算机可读介质，其存储有可由电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行实施例中的基于图像检测的晶圆计数的方法的步骤。计算机可读介质的类型包括但不限于SD卡、U盘、固定硬盘、移动硬盘等存储介质。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种神经网络模型的自动更新方法，其特征在于，该方法包括：

导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

获取产线上待检测产品的第一检测图片集合，检测模块依据当前神经网络模型检测所述待检测产品以获取检测数据集合，所述检测数据集合包括所述第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；

利用人机交互对所述检测数据集合进行人工复判并获取人工复判结果，所述人工复判包括对漏检样本进行样本标注；

根据人工复判结果从所述第一检测图片集合获取新的样本数据集，更新样本数据集。

2.如权利要求1所述的一种神经网络模型的自动更新方法，其中，神经网络模型包括第一神经网络子模型、第二神经网络子模型和第三神经网络子模型；

所述第一神经网络子模型用于获取所述第一检测图片的图片ID、初级缺陷类型、缺陷位置及第二检测图片集合，所述第二检测图片为依据初级缺陷类型及缺陷位置对第一检测图片进行裁剪得到的缺陷图片，将所述第一神经网络子模型的输出输入给第二神经网络子模型或第三神经网络子模型；

所述第二神经网络子模型用于依据初级缺陷类型和第二检测图片判断其对应的细分缺陷类型，输出缺陷编码，并将其输出输入给第三神经网络子模型；

所述第三神经网络子模型用于利用第二检测图片及其对应的初级缺陷类型或细分缺陷类型，判断是否存在过检，并输出所述第一检测图片的ID以及对应的过检自动判断结果。

3.如权利要求2所述的一种神经网络模型的自动更新方法，其中，所述首级缺陷类型包括点缺陷、线缺陷、mura缺陷和大面积mura缺陷。

4.如权利要求3所述的一种神经网络模型的自动更新方法，其中，依据点缺陷的具体形状进一步细分以获取点缺陷的细分缺陷类型。

5.如权利要求3所述的一种神经网络模型的自动更新方法，其中，依据mura缺陷的具体形状进一步细分以获取mura缺陷的细分缺陷类型。

6.如权利要求1-5中任一项所述的一种神经网络模型的自动更新方法，其中，神经网络模型的更新过程包括：

将所述样本数据集的图片和标注信息按批次送入神经网络，图片在神经网络中正向传播的结果带入网络设计的loss函数，根据所述loss函数进行反向传播对神经网络中所有节点参数进行更新。

7.如权利要求1-5中任一项所述的一种神经网络模型的自动更新方法，其中，所述第一检测图片为预处理后的图片，所述预处理的过程包括：直方图均衡化、图片放缩和切分。

8.一种神经网络模型的自动更新系统，其特征在于，该系统包括神经网络模型训练模块、产线检测子系统和复判模块，产线检测子系统包括图片获取模块和检测模块，其中，

所述神经网络模型训练模块用于导入样本数据集，利用样本的数据集训练并更新神经网络模型，将训练好的或者更新后的神经网络模型输入给检测模块；

所述图片获取模块用于获取产线上的待检测产品的第一检测图片集合；

所述检测模块用于依据当前神经网络模型检测所述待检测产品以获取检测数据集合，所述检测数据集合包括所述第一检测图片的ID、缺陷位置、缺陷编码以及过检自动判断结果；

所述复判模块用于利用人机交互对所述检测数据集合进行人工复判并获取人工复判结果，所述人工复判包括对漏检样本进行样本标注；还用于根据人工复判结果从所述第一检测图片集合获取新的样本数据集，更新样本数据集。

9.如权利要求8所述的一种神经网络模型的自动更新系统，其中，所述神经网络模型包括第一神经网络子模型、第二神经网络子模型和第三神经网络子模型；

所述第一神经网络子模型用于获取所述第一检测图片的图片ID、初级缺陷类型、缺陷位置及第二检测图片集合，所述第二检测图片为依据初级缺陷类型及缺陷位置对第一检测图片进行裁剪得到的缺陷图片，将所述第一神经网络子模型的输出输入给第二神经网络子模型或第三神经网络子模型；

所述第二神经网络子模型用于依据初级缺陷类型和第二检测图片判断其对应的细分缺陷类型，输出缺陷编码，并将其输出输入给第三神经网络子模型；

所述第三神经网络子模型用于利用第二检测图片及其对应的初级缺陷类型或细分缺陷类型，判断是否存在过检，并输出所述第一检测图片的ID以及对应的过检自动判断结果。

10.一种计算机可读介质，其特征在于，其存储有可由电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行权利要求1～7任一项所述方法的步骤。

Images