CN115272166A - 模型训练方法、缺陷目标检测方法、装置及存储介质 - Google Patents

Abstract

本申请提供一种模型训练方法、缺陷目标检测方法、装置及存储介质，涉及智能制造与人工智能技术领域，能够提高对液晶面板中的较小的目标的检测准确度。该方法包括：确定多个缺陷样本和预设损失函数；预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、预设缺陷目标的任一个预测边界框的坐标信息、预设缺陷目标的实际面积、以及预设缺陷目标的多个预测面积；基于预设损失函数构建第一神经网络模型；将多个缺陷样本输入第一神经网络模型中进行训练，确定缺陷目标检测模型；缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。本申请实施例用于模型训练过程中。

Description

模型训练方法、缺陷目标检测方法、装置及存储介质

技术领域

本申请涉及智能制造与人工智能技术领域，尤其涉及一种模型训练方法、缺陷目标检测方法、装置及存储介质。

背景技术

为了提高面板的质量，本领域技术人员提出了一种神经网络模型(例如，YOLOV5模型)来对面板上的缺陷目标进行检测，这样便于维护人员对存在缺陷的液晶面板进行优化，进而提高液晶面板的质量。

目前，现有的YOLOV5模型是基于兼容并交比损失函数(compatible intersectionover union，CIOU)损失函数进行训练的。但是，CIOU损失函数的参数中包括样本框的长宽比(即长度和宽度的比值)。对于较小的目标来说，该较小的目标可能为一个点，这样该较小的目标不存在长宽比，导致现有的YOLOV5模型不能适用于该类较小的目标，或者导致该类较小的目标的检测结果与实际差距较大，进而降低了YOLOV5模型对面板中的较小的目标的检测准确度。

发明内容

本申请提供一种模型训练方法、缺陷目标检测方法、装置及存储介质，能够提高对液晶面板中的较小的目标的检测准确度。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种模型训练方法，该方法包括：确定多个缺陷样本和预设损失函数；一个缺陷样本为一个缺陷面板的采集图；预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、预设缺陷目标的任一个预测边界框的坐标信息、预设缺陷目标的实际面积、以及预设缺陷目标的多个预测面积；实际面积根据实际边界框的坐标信息确定；多个预测面积根据预设缺陷目标的多个预测边界框的坐标信息确定；预设缺陷目标为多个缺陷样本中的任一个缺陷样本中的缺陷目标；基于预设损失函数构建第一神经网络模型；将多个缺陷样本输入第一神经网络模型中进行训练，确定缺陷目标检测模型；缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

上述技术方案至少带来以下有益效果：本申请提供的模型训练方法，通过预设损失函数构建第一神经网络模型，这样使得本申请是通过预设损失函数对第一神经网络模型进行优化的。其中，预设损失函数的参数包括：缺陷目标的实际边界框的坐标信息、缺陷目标的任一个预测边界框的坐标信息、缺陷目标的实际面积、以及缺陷目标的多个预测面积。由上述可知，本申请的预设损失函数是依靠缺陷目标的实际边界框和预测边界框的坐标信息、以及缺陷目标的实际面积和多个预测面积，不过度依赖缺陷目标的边界框的长宽比，这样对于一些较小的目标来说，即使不存在长宽比，也能被计算到，不会被丢失，这样本申请的预设损失函数相比于现有技术的 CIOU损失函数来说，能够更加适应于较小的缺陷目标的检测，提高了对面板中的较小的目标的检测准确度。

在一种可能的实现方式中，预设损失函数满足以下公式：

其中，PDA为损失函数值；L为预设缺陷目标的实际边界框的中心点与预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离；S为实际面积与多个预测面积之和；

L满足以下公式：

其中，(A_x1，A_y1)和(A_x2，A_y2)为实际边界框中任一条对角线的两个端点；(B_x1，B_y1)和(B_x2，B_y2)为任一个预测边界框中任一条对角线的两个端点；

S满足以下公式：

其中，W为任一个预测边界框的宽；h为任一个预测边界框的长；R 为任一个预测边界框的半径。

在一种可能的实现方式中，获取一个缺陷面板的采集图；采集图的尺寸大于或等于预设尺寸；通过目标工具确定一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

在一种可能的实现方式中，步骤1、获取第i次训练的多个训练样本；在i为1的情况下，一个训练样本为一个缺陷样本；在i大于1的情况下，一个训练样本包括：一个缺陷样本、以及第i-1次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息；目标预测边界框为多个预测边界框中，损失函数值大于或等于预设阈值的预测边界框；i为正整数；步骤2、对多个训练样本中的每个训练样本执行如下操作，以得到第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和第i次训练时每个缺陷样本中缺陷目标的目标值；将一个训练样本输入第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息；多个第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的多个预测边界框的坐标信息；根据预设损失函数确定多个第一预测边界框中每个第一预测边界框的损失函数值；确定多个第一预测边界框中，损失函数值大于或等于预设阈值的第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为第i次训练时一个缺陷样本中缺陷目标的目标值；步骤3、根据第i次训练时每个缺陷样本中缺陷目标的目标值对第i次训练的第一神经网络模型进行优化，确定第i次训练的第二神经网络模型；步骤4、确定第i-1次训练的第二神经网络模型的评估指标和第i次训练的第二神经网络模型的评估指标，并确定第i-1次训练的第二神经网络模型和第i次训练的第二神经网络模型中，评估指标较优的神经网络模型为第i次训练的第三神经网络模型；步骤5、若当前训练轮数小于预设训练轮数，则将第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及每个缺陷样本确定为第i+1次训练的多个训练样本，将第i次训练的第三神经网络模型确定为第i+1次训练的第一神经网络模型，依次执行步骤1、步骤2、步骤3、步骤4、以及步骤5；若当前训练轮数等于预设训练轮数，则确定最后一次训练得到的第三神经网络模型为缺陷目标检测模型。

在一种可能的实现方式中，获取多个验证样本和多个验证样本中每个验证样本的实际边界框的坐标信息；将多个验证样本输入第四神经网络模型中，确定多个验证样本的目标预测边界框的坐标信息；第四神经网络模型为第一神经网络模型或者第二神经网络模型；根据多个验证样本的实际边界框的坐标信息和多个验证样本的目标预测边界框的坐标信息，确定第四神经网络模型的评估指标。

第二方面，本申请提供一种缺陷目标检测方法，应用于包括上述第一方面和第一方面的任一种可能的实现方式中所描述的缺陷目标检测模型中，该方法包括：获取目标面板的采集图；将采集图输入缺陷目标检测模型中，确定采集图中的缺陷目标的边界框的坐标信息。

上述技术方案至少带来以下有益效果：本申请提供的缺陷目标检测方法，可以通过基于预设损失函数构建和优化的缺陷目标检测模型，确定采集图中的缺陷目标的边界框的坐标信息。本申请的预设损失函数是依靠缺陷目标的实际边界框和预测边界框的坐标信息、以及缺陷目标的实际面积和多个预测面积，不过度依赖缺陷目标的边界框的长宽比，这样对于一些较小的目标来说，即使不存在长宽比，也能被计算到，不会被丢失，这样本申请的预设损失函数相比于现有技术的CIOU损失函数来说，能够更加适应于较小的缺陷目标的检测，提高了对面板中的较小的目标的检测准确度。

第三方面，本申请提供一种模型训练装置，该装置包括：处理单元；处理单元，用于：确定多个缺陷样本和预设损失函数；一个缺陷样本为一个缺陷面板的采集图；预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、预设缺陷目标的任一个预测边界框的坐标信息、预设缺陷目标的实际面积、以及预设缺陷目标的多个预测面积；实际面积根据实际边界框的坐标信息确定；多个预测面积根据预设缺陷目标的多个预测边界框的坐标信息确定；预设缺陷目标为多个缺陷样本中的任一个缺陷样本中的缺陷目标；基于预设损失函数构建第一神经网络模型；将多个缺陷样本输入第一神经网络模型中进行训练，确定缺陷目标检测模型；缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

在一种可能的实现方式中，预设损失函数满足以下公式：

其中，PDA为损失函数值；L为预设缺陷目标的实际边界框的中心点与预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离；S为实际面积与多个预测面积之和；

L满足以下公式：

其中，(A_x1，A_y1)和(A_x2，A_y2)为实际边界框中任一条对角线的两个端点；(B_x1，B_y1)和(B_x2，B_y2)为任一个预测边界框中任一条对角线的两个端点；

S满足以下公式：

其中，W为任一个预测边界框的宽；h为任一个预测边界框的长；R 为任一个预测边界框的半径。

在一种可能的实现方式中，处理单元，还用于：获取一个缺陷面板的采集图；采集图的尺寸大于或等于预设尺寸；通过目标工具确定一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

在一种可能的实现方式中，处理单元，还用于：步骤1、获取第i次训练的多个训练样本；在i为1的情况下，一个训练样本为一个缺陷样本；在i大于1的情况下，一个训练样本包括：一个缺陷样本、以及第i-1次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息；目标预测边界框为多个预测边界框中，损失函数值大于或等于预设阈值的预测边界框； i为正整数；步骤2、对多个训练样本中的每个训练样本执行如下操作，以得到第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和第i次训练时每个缺陷样本中缺陷目标的目标值；将一个训练样本输入第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息；多个第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的多个预测边界框的坐标信息；根据预设损失函数确定多个第一预测边界框中每个第一预测边界框的损失函数值；确定多个第一预测边界框中，损失函数值大于或等于预设阈值的第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为第i次训练时一个缺陷样本中缺陷目标的目标值；步骤3、根据第i次训练时每个缺陷样本中缺陷目标的目标值对第i次训练的第一神经网络模型进行优化，确定第i次训练的第二神经网络模型；步骤4、确定第i-1次训练的第二神经网络模型的评估指标和第i次训练的第二神经网络模型的评估指标，并确定第i-1次训练的第二神经网络模型和第i次训练的第二神经网络模型中，评估指标较优的神经网络模型为第i次训练的第三神经网络模型；步骤5、若当前训练轮数小于预设训练轮数，则将第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及每个缺陷样本确定为第i+1次训练的多个训练样本，将第i次训练的第三神经网络模型确定为第i+1次训练的第一神经网络模型，依次执行步骤1、步骤2、步骤3、步骤4、以及步骤5；若当前训练轮数等于预设训练轮数，则确定最后一次训练得到的第三神经网络模型为缺陷目标检测模型。

在一种可能的实现方式中，处理单元，还用于：获取多个验证样本和多个验证样本中每个验证样本的实际边界框的坐标信息；将多个验证样本输入第四神经网络模型中，确定多个验证样本的目标预测边界框的坐标信息；第四神经网络模型为第一神经网络模型或者第二神经网络模型；根据多个验证样本的实际边界框的坐标信息和多个验证样本的目标预测边界框的坐标信息，确定第四神经网络模型的评估指标。

第四方面，本申请提供一种缺陷目标检测装置，应用于第三方面和第三方面的任一种可能的实现方式中所描述的缺陷目标检测模型中，该装置包括：通信单元和处理单元；通信单元，用于获取目标面板的采集图；处理单元，用于将采集图输入缺陷目标检测模型中，确定采集图中的缺陷目标的边界框的坐标信息。

第五方面，本申请提供了一种模型训练装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的模型训练方法。

第五方面，本申请提供了一种缺陷目标检测装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第二方面所描述的缺陷目标检测方法。

第七方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的模型训练方法，或者第二方面所描述的缺陷目标检测方法。

第八方面，本申请提供一种包含指令的计算机程序产品，当计算机程序产品在模型训练装置或者缺陷目标检测装置上运行时，使得模型训练装置或者缺陷目标检测装置执行如第一方面和第一方面的任一种可能的实现方式中描述的模型训练方法，或者第二方面所描述的缺陷目标检测方法。

第九方面，本申请提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中描述的模型训练方法，或者第二方面所描述的缺陷目标检测方法。

具体的，本申请中提供的芯片还包括存储器，用于存储计算机程序或指令。

附图说明

图1为本申请实施例提供的一种计算设备的结构图；

图2为本申请实施例提供的一种模型训练方法的流程图；

图3为本申请实施例提供的一个实际边界框#1和一个预测边界框#2 的示意图；

图4为本申请实施例提供的另一种模型训练方法的流程图；

图5为本申请实施例提供的另一种模型训练方法的流程图；

图6为本申请实施例提供的另一种模型训练方法的流程图；

图7为本申请实施例提供的一种缺陷目标检测方法的流程图；

图8为本申请实施例提供的一种模型训练装置的结构示意图；

图9为本申请实施例提供的一种缺陷目标检测装置的结构示意图。

具体实施方式

下面结合附图对本申请实施例提供的模型训练方法、缺陷目标检测方 法、装置及存储介质进行详细地描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和 B，单独存在B这三种情况。

本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。

此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本申请实施例提供的方法可以通过电子设备执行。电子设备可以为终端设备，例如，银行系统中的无线终端等；还可以是台式电脑、个人计算机等设备。电子设备也可以为服务器，该服务器可以是一个单独的服务器设备，也可以是一个服务器集群。该服务器还可以是云服务器。本申请实施例对电子设备的具体设备类型不予限定。

图1为本申请实施例提供的一种计算设备的结构示意图。如图1所示，该计算设备100包括：至少一个处理器101，通信线路102，以及至少一个通信接口104，还可以包括存储器103。其中，处理器101，存储器103以及通信接口104三者之间可以通过通信线路102连接。

处理器101可以是一个中央处理器(central processing unit，CPU)，也可以是特定集成电路(application specific integrated circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个数字信号处理器(digital signalprocessor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。

通信线路102可以包括一通路，用于在上述组件之间传送信息。

通信接口104，用于与其他设备或通信网络通信，可以使用任何收发器一类的装置，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。

存储器103可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory， CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于包括或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一种可能的设计中，存储器103可以独立于处理器101存在，即存储器103可以为处理器101外部的存储器，此时，存储器103可以通过通信线路102与处理器101相连接，用于存储执行指令或者应用程序代码，并由处理器101来控制执行，实现本申请下述实施例提供的软件升级方法。又一种可能的设计中，存储器103也可以和处理器101集成在一起，即存储器103可以为处理器101的内部存储器，例如，该存储器103为高速缓存，可以用于暂存一些数据和指令信息等。

作为一种可实现方式，处理器101可以包括一个或多个CPU，例如图 1中的CPU0和CPU1。作为另一种可实现方式，计算设备100可以包括多个处理器，例如图1中的处理器101和处理器107。作为再一种可实现方式，计算设备100还可以包括输出设备105和输入设备106。

此外，本申请实施例描述的通信系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新通信系统的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

随着智能机器的快速发展，智能机器的面板(例如，液晶面板)的需求量也大大的增加，并且对于面板的质量要求也日渐提高。但是，日常的操作失误、材料损坏、以及意外碰撞等问题均会导致面板上出现不同类型的缺陷，从而降低了面板的质量。

为了提高面板的质量，本领域技术人员提出了一种基于两阶段检测网络的显示面板微缺陷检测方法，该方法是基于两个阶段的网络网络模型检测(例如，快速的区域卷积神经网络(faster region-convolutional neural networks，faster R-CNN)Faster)，这样虽然能对液晶面板上的缺陷进行有效的检测，但是由于该检测方法是两个阶段的操作构成的，这样会导致检测的耗时较长，并且无法满足实时检测的需求。

为了在提高缺陷检测的效率的基础上，进一步面板的质量，本领域技术人员提出了一种基于YOLOV5模型的缺陷检测方法。该方法包括以下5 个阶段：获取目标缺陷图、划分目标缺陷图的数据集、训练神经网络模型的、验证训练后的神经网络模型、以及检测应用。该方法仅通过一个阶段的神经网络模型对缺陷进行检测，这样提高了缺陷检测的效率。并且， YOLOV5模型训练中损失函数包括：缺陷目标分类预测、缺陷目标边界框预测、以及缺陷目标置信度预测，通过上述损失函数中这三类的综合预测可提升训练能力，进而提高了YOLOV5模型的检测准确度。

目前，现有的YOLOV5模型是基于CIOU损失函数进行训练的。但是， CIOU损失函数的参数中包括样本框的长宽比(即长度和宽度的比值)。对于较小的目标来说，该较小的目标可能为一个点，这样该较小的目标不存在长宽比，导致现有的YOLOV5模型不能适用于该类较小的目标，或者导致该类较小的目标的检测结果与实际差距较大，进而降低了YOLOV5模型对面板中的较小的目标的检测准确度。

为了解决上述现有技术中存在的问题，本申请实施例提出了一种模型训练方法，能够提高对液晶面板中的较小的目标的检测准确度。如图2所示，该方法包括：

S201、计算设备确定多个缺陷样本和预设损失函数。

其中，一个缺陷样本为一个缺陷面板的采集图。预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、预设缺陷目标的任一个预测边界框的坐标信息、预设缺陷目标的实际面积、以及预设缺陷目标的多个预测面积。实际面积根据实际边界框的坐标信息确定。多个预测面积根据预设缺陷目标的多个预测边界框的坐标信息确定。预设缺陷目标为多个缺陷样本中的任一个缺陷样本中的缺陷目标。

一种可能的实现方式中，预设损失函数满足以下公式1：

其中，PDA为损失函数值。L为预设缺陷目标的实际边界框的中心点与预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离。S为实际面积与多个预测面积之和。

由上述公式1可知，预设损失函数是以e作为底数的，这样可以控制损失函数值的归一化(即通过上述预设损失函数将损失函数值控制在[0， 1]范围内)，损失函数值的归一化可以有利于第一神经网络模型的优化，这样可以提升后续确定的缺项目标检测模型的准确度。

L满足以下公式2：

其中，(A_x1，A_y1)和(A_x2，A_y2)为实际边界框中任一条对角线的两个端点。(B_x1，B_y1)和(B_x2，B_y2)为任一个预测边界框中任一条对角线的两个端点。

示例性的，如图3所示，图3示出了一个实际边界框#1和一个预测边界框#2。图3中的L为实际边界框#1的中心点与预测边界框#2的中心点之间的欧式距离。

S满足以下公式3：

其中，W为任一个预测边界框的宽。h为任一个预测边界框的长。R 为任一个预测边界框的半径。

在一些可选的示例中，当缺陷目标的面积较大时，计算设备可以将该缺陷目标的边界框确定为矩形。当缺陷目标的面积较小时，计算设备可以将该缺陷目标的边界框确定为圆。

S202、计算设备基于预设损失函数构建第一神经网络模型。

在一种可行的实现方式中，计算设备在构建第一神经网络模型的过程中，还需要配置模型参数。

示例性的，模型参数包括以下至少一项：批次(batch size)、训练轮数(epoch)、以及学习率(learning rate)。

其中，批次是指一次输入第一神经网络模型中的缺陷样本的数量。

示例性的，以有10个缺陷样本，且神第一经网络模型的批次是2为例进行说明：计算设备需要分5次输入上述10个缺陷样本，每次输入两个缺陷样本。

需要说明的是，批次的大小可以影响第一神经网络模型优化的速率。若批次设置的过小，则会导致第一神经网络模型优化的速率较慢，这样需要经过较多的训练轮数才能得到较优的缺陷目标检测模型。若批次设置的过大，则会对第一神经网络模型造成较大的处理负担，很有可能会导致第一神经网络模型崩溃，并且一次输入较多样本也会导致该批次的第一神经网络模型优化的时间较长。

训练轮数(epoch)是指第一神经网络模型的训练的轮数。

示例性，计算设备可以将训练论述设置为300。上述仅为训练轮数的一种示例性的说明，训练轮数还可以为其他值(例如，310)，本申请对此不作任何限制。

学习率(Learning rate)用于控制第一神经网络模型的学习进度。

需要指出的是，由于学习率过大会导致第一神经网络模型的损失函数梯度爆炸，产生振荡，而学习率过小会导致第一神经网络模型的损失函数过拟合，收敛速度降低，因此，计算设备需要将学习率设置在合理范围内。

S203、计算设备将多个缺陷样本输入第一神经网络模型中进行训练，确定缺陷目标检测模型。

其中，缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

作为一种可选的实现方式，计算设备可以对第一神经网络模型进行多次的训练和验证，直至当前训练轮数达到预设训练轮数，计算设备确定最后一次得到的神经网络模型为缺陷目标检测模型。

在一种示例中，上述目标面板可以液晶面板。

上述技术方案至少带来以下有益效果：本申请提供的模型训练方法，计算设备通过预设损失函数构建第一神经网络模型，这样使得计算设备是通过预设损失函数对第一神经网络模型进行优化的。其中，预设损失函数的参数包括：缺陷目标的实际边界框的坐标信息、缺陷目标的任一个预测边界框的坐标信息、缺陷目标的实际面积、以及缺陷目标的多个预测面积。由上述可知，本申请的预设损失函数是依靠缺陷目标的实际边界框和预测边界框的坐标信息、以及缺陷目标的实际面积和多个预测面积，不过度依赖缺陷目标的边界框的长宽比，这样对于一些较小的目标来说，即使不存在长宽比，也能被计算到，不会被丢失，这样本申请的预设损失函数相比于现有技术的CIOU损失函数来说，能够更加适应于较小的缺陷目标的检测，提高了对面板中的较小的目标的检测准确度。

需要说明的是，预设损失函数的参数中包括缺陷目标的实际边界框的坐标信息，因此，为了构建基于预设损失函数的第一神经网络模型，计算设备需要事先确定缺陷目标的实际边界框的坐标信息。结合图2，如图4 所示，计算设备确定缺陷目标的实际边界框的坐标信息的具体实现过程可以通过以下S401至S402确定。

S401、计算设备获取一个缺陷面板的采集图。

其中，采集图的尺寸大于或等于预设尺寸。

在一种可行的实现方式中，上述S401的具体实现过程为：生产人员可以从面板的生产流水线上安装的图像采集装置(例如，高清相机)中获取多个面板的采集图，根据经验从上述多个面板的采集图中筛选出存在缺陷的面板的采集图，并将筛选得到的存在缺陷的面板的采集图传输至计算设备。

可选的，计算设备可以将上述存在缺陷的面板的采集图，按照缺陷类型分类，得到至少一个缺陷集合(或者缺陷文件夹)。一个缺陷集合对应一种缺陷类型。

示例性的，预设尺寸可以为1024×1024。

需要说明的是，上述仅为预设尺寸的一种示例性的描述，计算设备还可以将预设尺寸设置为其他尺寸，本申请对此不做任何限制。

示例性的，采集图的分辨率为2400×2400。

S402、计算设备通过目标工具确定一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

示例性的，目标工具可以为LabelImg工具。

结合上述示例，上述S402的具体实现过程为：计算设备通过LabelImg 工具对上述一个缺陷面板的采集图中缺陷目标进行标注，生成具有该缺陷目标的实际边界框的位置信息的xml文件，并将上述xml文件格式转换为神经网络模型适应的格式。

上述技术方案至少带来以下有益效果：本申请提供的模型训练方法，计算设备获取的缺陷面板的采集图的尺寸需要大于或等于预设尺寸(例如， 1024×1024)，相比于现有技术中640×640尺寸的采集图来说，本申请获取的缺陷面板的采集图即使通过多个下采样的过程，也不容易丢失，使得神经网络模型在经过多个下采样的过程之后，仍然可以检测到该缺陷面板的采集图中的缺陷目标的特征，这样尽可能的确保了在神经网络模型训练的阶段中，缺陷目标的特征的清晰度。在一种可选的实施例中，如S203 中计算设备需要对第一神经网络模型进行训练，以便于得到缺陷目标检测模型，在图2示出的方法实施例的基础上，本实施例提供一种可能实现方式，如图5所示，计算设备对第一网络模型进行训练的具体实现过程可以包括以下步骤S501至S507。

S501、计算设备获取第i次训练的多个训练样本。

其中，在i为1的情况下，一个训练样本为一个缺陷样本。在i大于1 的情况下，一个训练样本包括：一个缺陷样本、以及第i-1次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息。目标预测边界框为多个预测边界框中，损失函数值大于或等于预设阈值的预测边界框。i为正整数。

可以理解的是，当第一神经网络模型进行初次训练时，计算设备只需输入多个缺陷样本即可。当第一神经网络模型进行后续训练时，计算设备需要将上一次训练确定的多个缺陷样本中每个缺陷样本的目标预测边界框的坐标信息、以及多个缺陷样本共同输入第一神经网络模型中，这样第一神经网络模型在对上述多个缺陷样本中缺陷目标的边界框的坐标信息进行预测的过程中，可以参考上一次训练确定的多个缺陷样本的边界框的坐标信息，这样可以提高该次训练得到的多个缺陷样本的边界框的坐标信息的准确性。

S502、计算设备对多个训练样本中的每个训练样本执行如下操作，以得到第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和第i次训练时每个缺陷样本中缺陷目标的目标值。

计算设备确定第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息和第i次训练时一个缺陷样本中缺陷目标的目标值的具体实现过程可以通过以下S5021-S5023确定。

S5021、计算设备将一个训练样本输入第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息。

其中，多个第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的多个预测边界框的坐标信息。

需要说明的是，上述一个训练样本为上述多个训练样本中的任一个训练样本。每一个训练样本输入第i次训练的第一神经网络模型中，均会得到该训练样本中缺陷目标的多个预测边界框的坐标信息。

在一种可选的情形中，计算设备需要先搭建基于YOLOV5模型训练环境，才能将第一神经网络模型置于该基于YOLOV5模型的训练环境中进行训练。该基于YOLOV5模型的训练环境所使用的基本框架为pytorch，编程语言为python。计算设备需要先通过pytorch对基于YOLOV5模型的训练环境进行搭建，再对输入端进行改进，进行第一神经网络模型的训练。

S5022、计算设备根据预设损失函数确定多个第一预测边界框中每个第一预测边界框的损失函数值。

作为一种可选的实现方式，上述S5022的具体实现过程为：计算设备可以先获取该训练样本的实际边界框的坐标信息，再根据该训练样本的实际边界框的坐标信息和上述公式3确定该训练样本的实际面积。计算设备根据多个第一预测边界框的坐标信息和上述公式3确定该训练样本的多个预测面积。计算设备根据该训练样本的实际边界框的坐标信息、任一个第一预测边界框的坐标信息、以及上述公式2确定该训练样本的实际边界框的中心点与任一个第一预测边界框的中心点之间的欧式距离(记为目标欧式距离)。计算设备根据该训练样本的实际面积、该训练样本的多个预测面积、目标欧式距离、以及上述公式1确定上述任一个第一预测边界框的损失函数值。

S5023、计算设备确定多个第一预测边界框中，损失函数值大于或等于预设阈值的第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为第i次训练时一个缺陷样本中缺陷目标的目标值。

作为一种可行的实现方式，上述S5023的具体实现过程为：计算设备从多个第一预测边界框中，确定损失函数值最高的第一预测边界框的坐标信息为第i次训练时目标预测边界框的坐标信息，并确定该第i次训练时目标预测边界框的损失函数值为第i次训练时该缺陷样本中缺陷目标的目标值。在该情况下，预设阈值为该第i次训练时目标预测边界框的损失函数值。

S503、计算设备根据第i次训练时每个缺陷样本中缺陷目标的目标值对第i次训练的第一神经网络模型进行优化，确定第i次训练的第二神经网络模型。

在一种可行的情形中，计算设备通过调整第i次训练的第一神经网络模型的参数，来实现对第i次训练的第一神经网络模型的优化，并确定参数调整后的第i次训练的第一神经网络模型为第i次训练的第二神经网络模型。

S504、计算设备确定第i-1次训练的第二神经网络模型的评估指标和第i次训练的第二神经网络模型的评估指标，并确定第i-1次训练的第二神经网络模型和第i次训练的第二神经网络模型中，评估指标较优的神经网络模型为第i次训练的第三神经网络模型。

需要说明的是，在第二神经网络模型经过新一轮的训练训练后，计算设备可以通过验证样本确定当次训练时优化得到的第二神经网络模型的评估指标和上一次训练时优化得到的第二神经网络模型的评估指标，并对比上述两个第二神经网络模型的评估指标，确定评估指标较优的第二神经网络模型为当次训练时的第三神经网络模型。

S505、计算设备确定当前训练轮数是否达到预设训练轮数。

若当前训练轮数未达到预设训练轮数(即当前训练轮数小于预设训练轮数)，则计算设备执行S506。

S506、计算设备将第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及每个缺陷样本确定为第i+1次训练的多个训练样本，将第i次训练的第三神经网络模型确定为第i+1次训练的第一神经网络模型，依次执行S501-S505。

需要指出的是，若当前训练轮数未达到预设训练轮数，则计算设备需要控制神经网络模型进行新一轮的训练。

若当前训练轮数达到预设训练轮数(即当前训练轮数等于预设训练轮数)，则计算设备执行S507。

S507、计算设备确定最后一次训练得到的第三神经网络模型为缺陷目标检测模型。

可选的，在计算设备确定了缺陷目标检测模型之后，计算设备还可以获取测试样本，并将测试样本输入缺陷目标检测模型中，确定缺陷目标检测模型的准确率。

示例性的，若通过相同的测试样本测试基于CIOU损失函数的缺陷目标检测模型和本申请的缺陷目标检测模型，则基于CIOU损失函数的缺陷目标检测模型的准确率(例如，0.91)低于本申请的缺陷目标检测模型的准确率(例如，0.92)；基于CIOU损失函数的缺陷目标检测模型的召回率(例如，0.87)低于本申请的缺陷目标检测模型的召回率(例如，0.89)。

上述技术方案至少带来以下有益效果：本申请提供的模型训练方法，计算设备需要通过多次训练，直至当前训练轮数达到预设训练轮数后，才确定缺陷目标检测模型，这样使得最终确定的缺陷目标检测模型的稳定性更高，性能更好。

在一种可选的实施例中，如S504中计算设备确定第i次训练的第一神经网络模型的评估指标和第i次训练的第二神经网络模型的评估指标，在图5示出的方法实施例的基础上，本实施例提供一种可能实现方式，如图 6所示，计算设备确定第一神经网络模型的评估指标和第二神经网络模型的评估指标的具体实现过程可以包括以下步骤S601至S603。

S601、计算设备获取多个验证样本和多个验证样本中每个验证样本的实际边界框的坐标信息。

其中，一个验证样本也是一个缺陷面板的采集图。

需要说明的是，计算设备确定多个验证样本中每个验证样本的实际边界框的坐标信息可以参考上述图4所示的方法进行理解，此处不再赘述。

S602、计算设备将多个验证样本输入第四神经网络模型中，确定多个验证样本的目标预测边界框的坐标信息。

其中，第四神经网络模型为第i-1训练的第二神经网络模型或者第i 训练的第二神经网络模型。

需要指出的是，验证样本的目标预测边界框的坐标信息可以参考上述训练样本的目标预测边界框的坐标信息进行理解，此处不再赘述。

S603、计算设备根据多个验证样本的实际边界框的坐标信息和多个验证样本的目标预测边界框的坐标信息，确定第四神经网络模型的评估指标。

作为一种可行的实现方式，上述S603的具体实现过程为：计算设备可以根据一个验证样本的实际边界框的坐标信息与该一个验证样本的目标预测边界框的坐标信息的差异程度，确定该一个验证样本的准确程度。计算设备通过上述多个验证样本中每个验证样本的准确程度，确定第四神经网络模型的评估指标。

上述技术方案至少带来以下有益效果：本申请提供的模型训练方法，计算设备通过多个验证样本确定第i-1训练的第二神经网络模型的评估指标和第i训练的第二神经网络模型的评估指标，这样使得后续确定第三神经网络模型的性能均是每次训练中性能较好的神经网络模型，进而提高了最终确定的缺陷目标检测模型的准确性。

为了解决上述现有技术中存在的问题，本申请实施例提出了一种缺陷目标检测方法，应用于包括上述图2、图4-图6所记载的缺陷目标检测模型中，能够提高对液晶面板中的较小的目标的检测准确度。如图7所示，该方法包括：

S701、计算设备获取目标面板的采集图。

需要说明的是，关于计算设备如何获取目标面板的采集图的具体实现过程可以参考上述S401的具体实现过程进行理解，此处不再赘述。

S702、计算设备将采集图输入缺陷目标检测模型中，确定采集图中的缺陷目标的边界框的坐标信息。

在一种可选的情形中，计算设备将缺陷目标检测模型的文件(例如， best.pt)与YOLOV5模型进行结合，并将结合得到的具有缺陷目标检测模型和YOLOV5模型的神经网络模型安装至实际生产目标面板的工厂的计算设备中。

上述技术方案至少带来以下有益效果：本申请提供的缺陷目标检测方法，计算设备可以通过基于预设损失函数构建和优化的缺陷目标检测模型，确定采集图中的缺陷目标的边界框的坐标信息。本申请的预设损失函数是依靠缺陷目标的实际边界框和预测边界框的坐标信息、以及缺陷目标的实际面积和多个预测面积，不过度依赖缺陷目标的边界框的长宽比，这样对于一些较小的目标来说，即使不存在长宽比，也能被计算到，不会被丢失，这样本申请的预设损失函数相比于现有技术的CIOU损失函数来说，能够更加适应于较小的缺陷目标的检测，提高了对面板中的较小的目标的检测准确度，也不会影响对较大的缺陷目标的检测。

可以理解的是，上述模型训练方法可以由模型训练装置实现。模型训练装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本申请公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请公开实施例的范围。

本申请公开实施例可以根据上述方法示例生成的模型训练装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图8为本发明实施例提供的一种模型训练装置的结构示意图。如图8 所示，模型训练装置80可以用于执行图2、图4-图6所示的模型训练方法。该模型训练装置80包括：处理单元801。可选的，该模型训练装置80还包括：通信单元802。

处理单元801，用于：确定多个缺陷样本和预设损失函数；一个缺陷样本为一个缺陷面板的采集图；预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、预设缺陷目标的任一个预测边界框的坐标信息、预设缺陷目标的实际面积、以及预设缺陷目标的多个预测面积；实际面积根据实际边界框的坐标信息确定；多个预测面积根据预设缺陷目标的多个预测边界框的坐标信息确定；预设缺陷目标为多个缺陷样本中的任一个缺陷样本中的缺陷目标；基于预设损失函数构建第一神经网络模型；将多个缺陷样本输入第一神经网络模型中进行训练，确定缺陷目标检测模型；缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

在一种可能的实现方式中，预设损失函数满足以下公式：

其中，PDA为损失函数值；L为预设缺陷目标的实际边界框的中心点与预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离；S为实际面积与多个预测面积之和；

L满足以下公式：

其中，(A_x1，A_y1)和(A_x2，A_y2)为实际边界框中任一条对角线的两个端点；(B_x1，B_y1)和(B_x2，B_y2)为任一个预测边界框中任一条对角线的两个端点；

S满足以下公式：

其中，W为任一个预测边界框的宽；h为任一个预测边界框的长；R 为任一个预测边界框的半径。

在一种可能的实现方式中，处理单元801，还用于：获取一个缺陷面板的采集图；采集图的尺寸大于或等于预设尺寸；通过目标工具确定一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

在一种可能的实现方式中，处理单元801，还用于：步骤1、获取第i 次训练的多个训练样本；在i为1的情况下，一个训练样本为一个缺陷样本；在i大于1的情况下，一个训练样本包括：一个缺陷样本、以及第i-1 次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息；目标预测边界框为多个预测边界框中，损失函数值大于或等于预设阈值的预测边界框；i为正整数；步骤2、对多个训练样本中的每个训练样本执行如下操作，以得到第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和第i次训练时每个缺陷样本中缺陷目标的目标值；将一个训练样本输入第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息；多个第一预测边界框的坐标信息为第i次训练时一个缺陷样本中缺陷目标的多个预测边界框的坐标信息；根据预设损失函数确定多个第一预测边界框中每个第一预测边界框的损失函数值；确定多个第一预测边界框中，损失函数值大于或等于预设阈值的第一预测边界框的坐标信息为第 i次训练时一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定第i次训练时一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为第i次训练时一个缺陷样本中缺陷目标的目标值；步骤3、根据第i次训练时每个缺陷样本中缺陷目标的目标值对第i次训练的第一神经网络模型进行优化，确定第i次训练的第二神经网络模型；步骤4、确定第i-1次训练的第二神经网络模型的评估指标和第i次训练的第二神经网络模型的评估指标，并确定第i-1次训练的第二神经网络模型和第i次训练的第二神经网络模型中，评估指标较优的神经网络模型为第i次训练的第三神经网络模型；步骤5、若当前训练轮数小于预设训练轮数，则将第i次训练时每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及每个缺陷样本确定为第i+1次训练的多个训练样本，将第i次训练的第三神经网络模型确定为第i+1次训练的第一神经网络模型，依次执行步骤1、步骤2、步骤3、步骤4、以及步骤5；若当前训练轮数等于预设训练轮数，则确定最后一次训练得到的第三神经网络模型为缺陷目标检测模型。

在一种可能的实现方式中，处理单元801，还用于：获取多个验证样本和多个验证样本中每个验证样本的实际边界框的坐标信息；将多个验证样本输入第四神经网络模型中，确定多个验证样本的目标预测边界框的坐标信息；第四神经网络模型为第一神经网络模型或者第二神经网络模型；根据多个验证样本的实际边界框的坐标信息和多个验证样本的目标预测边界框的坐标信息，确定第四神经网络模型的评估指标。

可以理解的是，上述缺陷目标检测方法可以由缺陷目标检测装置实现。缺陷目标检测装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本申请公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请公开实施例的范围。

本申请公开实施例可以根据上述方法示例生成的缺陷目标检测装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9为本发明实施例提供的一种缺陷目标检测装置的结构示意图。如图9所示，缺陷目标检测装置90可以用于执行图7所示的缺陷目标检测方法。该缺陷目标检测装置90包括：通信单元901和处理单元902。

通信单元901，用于获取目标面板的采集图。

处理单元902，用于将采集图输入缺陷目标检测模型中，确定采集图中的缺陷目标的边界框的坐标信息。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种模型训练方法，其特征在于，包括：

确定多个缺陷样本和预设损失函数；一个缺陷样本为一个缺陷面板的采集图；所述预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、所述预设缺陷目标的任一个预测边界框的坐标信息、所述预设缺陷目标的实际面积、以及所述预设缺陷目标的多个预测面积；所述实际面积根据所述实际边界框的坐标信息确定；所述多个预测面积根据所述预设缺陷目标的多个预测边界框的坐标信息确定；所述预设缺陷目标为所述多个缺陷样本中的任一个缺陷样本中的缺陷目标；

基于所述预设损失函数构建第一神经网络模型；

将所述多个缺陷样本输入所述第一神经网络模型中进行训练，确定缺陷目标检测模型；所述缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

2.根据权利要求1所述的方法，其特征在于，所述预设损失函数满足以下公式：

其中，所述PDA为损失函数值；所述L为所述预设缺陷目标的实际边界框的中心点与所述预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离；所述S为所述实际面积与所述多个预测面积之和；

所述L满足以下公式：

其中，(A_x1，A_y1)和(A_x2，A_y2)为所述实际边界框中任一条对角线的两个端点；(B_x1，B_y1)和(B_x2，B_y2)为所述任一个预测边界框中任一条对角线的两个端点；

所述S满足以下公式：

其中，所述W为所述任一个预测边界框的宽；所述h为所述任一个预测边界框的长；所述R为所述任一个预测边界框的半径。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述一个缺陷面板的采集图；所述采集图的尺寸大于或等于预设尺寸；

通过目标工具确定所述一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

步骤1、获取第i次训练的多个训练样本；在所述i为1的情况下，一个训练样本为所述一个缺陷样本；在所述i大于1的情况下，所述一个训练样本包括：所述一个缺陷样本、以及第i-1次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的坐标信息；所述目标预测边界框为所述多个预测边界框中，所述损失函数值大于或等于预设阈值的预测边界框；所述i为正整数；

步骤2、对所述多个训练样本中的每个训练样本执行如下操作，以得到所述第i次训练时所述每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和所述第i次训练时所述每个缺陷样本中缺陷目标的目标值；

将所述一个训练样本输入所述第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息；所述多个第一预测边界框的坐标信息为所述第i次训练时所述一个缺陷样本中缺陷目标的多个预测边界框的坐标信息；根据所述预设损失函数确定所述多个第一预测边界框中每个第一预测边界框的损失函数值；确定所述多个第一预测边界框中，所述损失函数值大于或等于所述预设阈值的第一预测边界框的坐标信息为所述第i次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定所述第i次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为所述第i次训练时所述一个缺陷样本中缺陷目标的目标值；

步骤3、根据所述第i次训练时所述每个缺陷样本中缺陷目标的目标值对所述第i次训练的第一神经网络模型进行优化，确定所述第i次训练的第二神经网络模型；

步骤4、确定所述第i-1次训练的第二神经网络模型的评估指标和所述第i次训练的第二神经网络模型的评估指标，并确定所述第i-1次训练的第二神经网络模型和所述第i次训练的第二神经网络模型中，所述评估指标较优的神经网络模型为所述第i次训练的第三神经网络模型；

步骤5、若当前训练轮数小于预设训练轮数，则将所述第i次训练时所述每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及所述每个缺陷样本确定为所述第i+1次训练的多个训练样本，将所述第i次训练的第三神经网络模型确定为所述第i+1次训练的第一神经网络模型，依次执行所述步骤1、所述步骤2、所述步骤3、所述步骤4、以及所述步骤5；若所述当前训练轮数等于所述预设训练轮数，则确定最后一次训练得到的第三神经网络模型为所述缺陷目标检测模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取多个验证样本和所述多个验证样本中每个验证样本的实际边界框的坐标信息；

将所述多个验证样本输入第四神经网络模型中，确定所述多个验证样本的目标预测边界框的坐标信息；所述第四神经网络模型为所述第一神经网络模型或者所述第二神经网络模型；

根据所述多个验证样本的实际边界框的坐标信息和所述多个验证样本的目标预测边界框的坐标信息，确定所述第四神经网络模型的评估指标。

6.一种缺陷目标检测方法，其特征在于，应用于上述权利要求1-5任一项所述的缺陷目标检测模型中，包括：

获取目标面板的采集图；

将所述采集图输入缺陷目标检测模型中，确定所述采集图中的缺陷目标的边界框的坐标信息。

7.一种模型训练装置，其特征在于，包括：处理单元；所述处理单元，用于：

确定多个缺陷样本和预设损失函数；一个缺陷样本为一个缺陷面板的采集图；所述预设损失函数的参数包括：预设缺陷目标的实际边界框的坐标信息、所述预设缺陷目标的任一个预测边界框的坐标信息、所述预设缺陷目标的实际面积、以及所述预设缺陷目标的多个预测面积；所述实际面积根据所述实际边界框的坐标信息确定；所述多个预测面积根据所述预设缺陷目标的多个预测边界框的坐标信息确定；所述预设缺陷目标为所述多个缺陷样本中的任一个缺陷样本中的缺陷目标；

基于所述预设损失函数构建第一神经网络模型；

将所述多个缺陷样本输入所述第一神经网络模型中进行训练，确定缺陷目标检测模型；所述缺陷目标检测模型用于确定目标面板的采集图中缺陷目标的边界框的坐标信息。

8.根据权利要求7所述的装置，其特征在于，所述预设损失函数满足以下公式：

其中，所述PDA为损失函数值；所述L为所述预设缺陷目标的实际边界框的中心点与所述预设缺陷目标的任一个预测边界框的中心点之间的欧氏距离；所述S为所述实际面积与所述多个预测面积之和；

所述L满足以下公式：

其中，(A_x1，A_y1)和(A_x2，A_y2)为所述实际边界框中任一条对角线的两个端点；(B_x1，B_y1)和(B_x2，B_y2)为所述任一个预测边界框中任一条对角线的两个端点；

所述S满足以下公式：

其中，所述W为所述任一个预测边界框的宽；所述h为所述任一个预测边界框的长；所述R为所述任一个预测边界框的半径。

9.根据权利要求7或8所述的装置，其特征在于，所述处理单元，还用于：

获取所述一个缺陷面板的采集图；所述采集图的尺寸大于或等于预设尺寸；

通过目标工具确定所述一个缺陷面板的采集图中缺陷目标的实际边界框的坐标信息。

10.根据权利要求7或8所述的装置，其特征在于，所述处理单元，还用于：

步骤1、获取第i次训练的多个训练样本；在所述i为1的情况下，一个训练样本为所述一个缺陷样本；在所述i大于1的情况下，所述一个训练样本包括：所述一个缺陷样本、以及第i-1次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的坐标信息；所述目标预测边界框为所述多个预测边界框中，所述损失函数值大于或等于预设阈值的预测边界框；所述i为正整数；

步骤2、对所述多个训练样本中的每个训练样本执行如下操作，以得到所述第i次训练时所述每个缺陷样本中缺陷目标的目标预测边界框的坐标信息和所述第i次训练时所述每个缺陷样本中缺陷目标的目标值；

将所述一个训练样本输入所述第i次训练的第一神经网络模型中，得到多个第一预测边界框的坐标信息；所述多个第一预测边界框的坐标信息为所述第i次训练时所述一个缺陷样本中缺陷目标的多个预测边界框的坐标信息；根据所述预设损失函数确定所述多个第一预测边界框中每个第一预测边界框的损失函数值；确定所述多个第一预测边界框中，所述损失函数值大于或等于所述预设阈值的第一预测边界框的坐标信息为所述第i次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的坐标信息，并确定所述第i次训练时所述一个缺陷样本中缺陷目标的目标预测边界框的损失函数值为所述第i次训练时所述一个缺陷样本中缺陷目标的目标值；

步骤3、根据所述第i次训练时所述每个缺陷样本中缺陷目标的目标值对所述第i次训练的第一神经网络模型进行优化，确定所述第i次训练的第二神经网络模型；

步骤4、确定所述第i-1次训练的第二神经网络模型的评估指标和所述第i次训练的第二神经网络模型的评估指标，并确定所述第i-1次训练的第二神经网络模型和所述第i次训练的第二神经网络模型中，所述评估指标较优的神经网络模型为所述第i次训练的第三神经网络模型；

步骤5、若当前训练轮数小于预设训练轮数，则将所述第i次训练时所述每个缺陷样本中缺陷目标的目标预测边界框的坐标信息、以及所述每个缺陷样本确定为所述第i+1次训练的多个训练样本，将所述第i次训练的第三神经网络模型确定为所述第i+1次训练的第一神经网络模型，依次执行所述步骤1、所述步骤2、所述步骤3、所述步骤4、以及所述步骤5；若所述当前训练轮数等于所述预设训练轮数，则确定最后一次训练得到的第三神经网络模型为所述缺陷目标检测模型。

11.根据权利要求10所述的装置，其特征在于，所述处理单元，还用于：

获取多个验证样本和所述多个验证样本中每个验证样本的实际边界框的坐标信息；

将所述多个验证样本输入第四神经网络模型中，确定所述多个验证样本的目标预测边界框的坐标信息；所述第四神经网络模型为所述第一神经网络模型或者所述第二神经网络模型；

根据所述多个验证样本的实际边界框的坐标信息和所述多个验证样本的目标预测边界框的坐标信息，确定所述第四神经网络模型的评估指标。

12.一种缺陷目标检测装置，其特征在于，应用于上述权利要求7-11任一项所述的模型训练方法中，包括：通信单元和处理单元；

所述通信单元，用于获取目标面板的采集图；

所述处理单元，用于将所述采集图输入缺陷目标检测模型中，确定所述采集图中的缺陷目标的边界框的坐标信息。

13.一种模型训练装置，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求1-5任一项中所述的模型训练方法。

14.一种缺陷目标检测装置，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求6中所述的缺陷目标检测方法。

15.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行上述权利要求1-5任一项中所述的模型训练方法，或者权利要求6所述的缺陷目标检测方法。

Images