CN109118482A - 一种面板缺陷分析方法、装置及存储介质 - Google Patents

Abstract

本发明实施例公开了一种面板缺陷分析方法、装置及存储介质，本发明实施例可以获取待分析的面板对应的面板图像；对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型；按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像；通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果。该方案实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

Description

一种面板缺陷分析方法、装置及存储介质

技术领域

本发明涉及面板检测技术领域，具体涉及一种面板缺陷分析方法、装置及存储介质。

背景技术

产品质量是制造业最为重视的生产指标之一，为了保证产品质量，在产品生产过程中对产品进行缺陷检测成为不可或缺的工序，例如，以薄膜晶体管液晶显示器(TFT-LCD，Thin Film Transistor-Liquid Crystal Display)为例，每条产线都需要对TFT-LCD进行缺陷检测。

现有技术中，在对TFT-LCD进行缺陷检测的过程中，需要采集TFT-LCD的图像，并利用传统的图像分析方法对特定的缺陷进行识别，从而实现对特定的缺陷部分进行判定和检测，然后由人工根据检测出的缺陷，评估和分析该缺陷对产品以及产品生产流程造成的影响，以及由人工决定后续针对该缺陷所需采取的处理方式。

在对现有技术的研究和实践过程中，本发明的发明人发现，现有方法仅对特定的缺陷进行简单检测，而且后续需要工人进行评估和分析，由于人工评估人工评估存在主观判断的差异和疲劳等因素会导致的误判及效率低下的问题，因此不仅消耗了大量的人力，而且导致分析结果非常不准确及效率低。

发明内容

本发明实施例提供一种面板缺陷分析方法、装置及存储介质，旨在提高对面板进行缺陷分析的准确性及效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种面板缺陷分析方法，包括：

获取待分析的面板对应的面板图像；

对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型；

按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；

根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像；

通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果。

一种面板缺陷分析装置，包括：

获取单元，用于获取待分析的面板对应的面板图像；

检测单元，用于对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型；

分割单元，用于按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；

截取单元，用于根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像；

分析单元，用于通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果。

一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种面板缺陷分析方法中的步骤。

本发明实施例可以对待分析的面板对应的面板图像中的缺陷进行检测，得到缺陷的位置和类型(例如液体残留、磨损或刮伤等)，以及按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，然后可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像，此时可以通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响(例如该缺陷对电路造成的短路或断路等影响)，得到缺陷分析结果。该方案通过缺陷的位置和类型进行检测及对面板图像进行电路区域分割，可以根据缺陷的位置从电路分割图像中截取包含缺陷的待分析图像，并通过机器学习模型基于待分析图像和缺陷的类型分析缺陷对面板中电路造成的影响，实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的面板缺陷分析方法的场景示意图；

图2是本发明实施例提供的面板缺陷分析方法的流程示意图；

图3是本发明实施例提供的面板图像的示意图；

图4是本发明实施例提供的对面板图像中的缺陷进行检测的示意图；

图5是本发明实施例提供的缺陷分割图像的示意图；

图6是本发明实施例提供的缺陷分割图像的另一示意图；

图7是本发明实施例提供的缺陷分割图像的另一示意图；

图8(a)是本发明实施例提供的模板的示意图；

图8(b)是本发明实施例提供的从模板中截取得到的目标区域的示意图；

图9是本发明实施例提供的分割电路区域得到电路分割图像的示意图；

图10是本发明实施例提供的对模板图像进行调整的示意图；

图11是本发明实施例提供的面板缺陷分析的架构示意图；

图12是本发明实施例提供的面板缺陷分析方法的另一流程示意图；

图13是本发明实施例提供的对面板图像进行电路区域分割的流程示意图；

图14是本发明实施例提供的面板缺陷分析装置的结构示意图；

图15是本发明实施例提供的面板缺陷分析装置的另一结构示意图；

图16是本发明实施例提供的面板缺陷分析装置的另一结构示意图；

图17是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种面板缺陷分析方法、装置及存储介质。

请参阅图1，图1为本发明实施例所提供的面板缺陷分析方法的场景示意图，该面板缺陷分析方法可以应用于面板缺陷分析装置，该面板缺陷分析装置具体可以集成在网络设备如终端或服务器等设备中，例如，网络设备可以获取待分析的面板对应的面板图像，该面板可以是TFT-LCD面板或集成电路面板等，并对面板图像中的缺陷进行检测，得到缺陷的位置和类型，例如，图1中，可以分别检测出缺陷1、缺陷2和缺陷3对应的位置，以及缺陷1对应的类型为存在异物(例如纤维物)，缺陷2对应的类型为磨损(例如表面性的摩擦)，缺陷3对应的类型为刮伤(例如尖锐物的深度刮痕)等。以及可以按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，例如，可以获取包含目标电路区域的模板，按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置，并根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。其中，电路区域可以是按照元器件进行划分，每个元器件可以所在的区域可以是分别对应一个电路区域，例如图1中元器件A、元器件B、元器件C或元器件D等所在的区域均为电路区域，或者是电路区域可以是按照其他方式进行划分。然后可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像。此时可以通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响(例如造成电路短路或断路等)，根据缺陷对面板中电路造成的影响确定缺陷修复策略(例如需要对面板进行清洗或修复等)，根据缺陷修复策略生成面板对应的缺陷分析结果；等等。

需要说明的是，图1所示的面板缺陷分析方法的场景示意图仅仅是一个示例，本发明实施例描述的面板缺陷分析方法的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着面板缺陷分析方法的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

以下分别进行详细说明。

在本实施例中，将从面板缺陷分析装置的角度进行描述，该面板缺陷分析装置具体可以集成在服务器或终端等网络设备中。

一种面板缺陷分析方法，包括：获取待分析的面板对应的面板图像；对面板图像中的缺陷进行检测，得到缺陷的位置和类型；按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像；通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果。

请参阅图2，图2是本发明一实施例提供的面板缺陷分析方法的流程示意图。该面板缺陷分析方法可以包括：

在步骤S101中，获取待分析的面板对应的面板图像。

面板图像的获取方式可以包括：在生产面板的产线上预先设置图像采集装置(例如摄像头或照相机等)，并在面板生产的过程中，通过图像采集装置实时或每间隔预设时间采集待分析的面板对应的面板图像；或者是，从面板缺陷分析装置的本地存储空间中获取预存的面板图像；或者是，向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的面板图像等；当然，面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，面板可以包括TFT-LCD面板、LCD面板、集成电路面板或芯片面板等，还可以是其他类型的面板，例如，如图3所示，该面板中可以包括电路区域和非电路区域等，图3中斜线部分可以是非电路区域，非斜线部分可以是电路区域。

在步骤S102中，对面板图像中的缺陷进行检测，得到缺陷的位置和类型。

在得到面板图像后，可以通过深度学习网络对面板图像中的缺陷进行检测，例如，可以利用卷积神经网络或区域检测卷积神经网络(Mask-RCNN，Mask-RegionConvolutional Neural Network)对面板图像中的缺陷进行检测；或者，可以通过图像分割方法对面板图像中的缺陷进行检测等，具体检测方式可以根据实际需要进行灵活设置。

在某些实施方式中，对面板图像中的缺陷进行检测，得到缺陷的位置和类型的步骤可以包括：

采用预设的检测模型对面板图像中的缺陷进行特征提取，得到缺陷特征；根据缺陷特征确定缺陷的类型，以及根据缺陷特征对面板图像进行像素分割，得到缺陷分割图像；将缺陷分割图像中像素值为预设数值所在的区域设置为缺陷的位置。

为了提高对面板图像中的缺陷进行检测的准确性，可以采用预设的检测模型进行检测，其中，预设的检测模型可以是Mask-RCNN或者是其他检测模型，为了描述方便，在本发明实施例中，将以利用Mask-RCNN检测面板图像中的缺陷为例进行说明。首先，需要进行模型训练：采集多张包含缺陷的面板所对应的样本图像，得到训练样本集；其中，每张样本图像中可以包括一种或多种不同的缺陷，以及包括由多种元器件组成的电路等，例如，样本图像A中包括缺陷1，样本图像B中包括缺陷1和缺陷2，样本图像C中包括缺陷3、缺陷4和缺陷5等，预先在每张样本图像中包含的缺陷的位置和类型进行标注。然后根据训练样本集对Mask-RCNN进行训练，得到训练样本集中每张样本图像对应的缺陷预测值，该缺陷预测值可以包括Mask-RCNN计算得到的缺陷位置和缺陷类型，例如，可以采用Mask-RCNN对面板图像中的缺陷进行特征提取，得到缺陷特征，并根据缺陷特征确定缺陷的类型及缺陷的位置等，其中，该缺陷位置可以是坐标位置或像素位置等，该缺陷类型可以包括异物、液体残留、刮伤或磨损等。以及，获取每张样本图像的缺陷真实值，该缺陷真实值包括样本图像预先标注的缺陷位置和缺陷类型，此时可以对缺陷预测值和缺陷真实值进行收敛，得到训练后的Mask-RCNN，即将缺陷预测值和缺陷真实值进行比较(包括将缺陷位置预测值和缺陷位置真实值进行比较，及将缺陷类型预测值和缺陷类型真实值进行比较)，通过降低缺陷预测值和缺陷真实值之间的误差，以对Mask-RCNN进行不断训练，从而可以调整Mask-RCNN的参数或权重等至合适数值，便可得到训练后的Mask-RCNN，训练后的Mask-RCNN对于输入的任何一张存在缺陷的面板图像均可以检测出缺陷的位置和类型，该训练后的Mask-RCNN即为预设的检测模型。

此时，可以采用训练后的Mask-RCNN对面板图像进行缺陷检测，当未检测到面板图像中存在缺陷时，可以确定该面板图像对应的面板合格，不需要执行后续的步骤；当检测到面板图像中存在缺陷时，可以对面板图像中的缺陷进行特征提取，得到缺陷特征，例如，纤维物的缺陷特征为细长丝状物，刮伤的缺陷特征为形成较深的凹痕，磨损的缺陷特征为形成表面性的摩擦痕，等等。然后可以根据缺陷特征确定缺陷的类型，例如可以根据纤维物的缺陷特征确定缺陷的类型为存在纤维物，或者根据刮伤的缺陷特征确定缺陷的类型为刮伤。例如，如图4所示，当检测到面板图像中存在缺陷1、缺陷2和缺陷3时，可以根据缺陷1、缺陷2和缺陷3各自对应缺陷特征，确定缺陷1的类型为存在纤维物，缺陷2的类型为磨损，及缺陷3的类型为刮伤等。

以及，可以根据缺陷特征对面板图像进行像素分割，得到缺陷分割图像，该缺陷分割图像可以用不同的像素值对缺陷区域和非缺陷区域进行分割，该缺陷分割图像的大小可以与面板图像的大小一致，该缺陷分割图像可以称为mask图像。当面板图像中仅存在一种缺陷时，可以输出一张包含用预设数值标识该缺陷的缺陷分割图像；当面板图像中存在多种缺陷时，可以输出一张包含用不用数值标识分别标识多种缺陷的缺陷分割图像，或者可以输出每张仅标识有一种缺陷的缺陷分割图像。此时将缺陷分割图像中像素值为预设数值所在的区域设置为缺陷的位置，还可以在缺陷分割图像中标注出缺陷的类型，即输出该缺陷所属的类型，该预设数据值可以根据实际需要进行灵活设置，例如可以将缺陷分割图像中缺陷所在区域的像素值设置为1，其他区域的像素值设置为0等，当然，缺陷所在区域的像素值或其他区域的像素值也可以分别设置为0至N中任意一数值，其中N的取值可以根据实际需要进行灵活设置，例如可将缺陷分割图像中缺陷所在区域的像素值设置为6，其他区域的像素值设置为1等。

例如，如图5所示，当面板图像中存在缺陷1、缺陷2和缺陷3等3种缺陷时，在对面板图像进行像素分割时，可以分别输出各个缺陷对应缺陷分割图像(即mask图像)，即分别输出仅包含缺陷1的mask图像(a)、仅包含缺陷2的mask图像(b)、仅包含缺陷3的mask图像(c)，其中，每张mask图像中缺陷所在区域的像素值可以均设置为1，其他区域的像素值设置为0。

又例如，如图6所示，当面板图像中存在缺陷1、缺陷2和缺陷3等3种缺陷时，在对面板图像进行像素分割时，可以分别输出各个缺陷对应mask图像，即分别输出仅包含缺陷1的mask图像(d)、仅包含缺陷2的mask图像(e)、仅包含缺陷3的mask图像(f)。其中，mask图像(d)中缺陷1所在区域的像素值可以均设置为1，其他区域的像素值设置为0；mask图像(e)中缺陷2所在区域的像素值可以均设置为2，其他区域的像素值设置为0；mask图像(f)中缺陷3所在区域的像素值可以均设置为3，其他区域的像素值设置为0。

又例如，如图7所示，当面板图像中存在缺陷1、缺陷2和缺陷3等3种缺陷时，在对面板图像进行像素分割时，可以仅输出一张mask图像，在该mask图像中缺陷1所在区域的像素值可以均设置为1，缺陷2所在区域的像素值可以均设置为2，缺陷3所在区域的像素值可以均设置为3，其他区域的像素值设置为0。这样通过mask图像中的像素值就可以获知各个缺陷的位置及类型。

在步骤S103中，按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

需要说明的是，步骤S102和步骤S103之间的执行顺序可以互换，例如，可以先执行步骤S102，后执行步骤S103；或者，先执行步骤S103，后执行步骤S102。

其中，面板图像中可以包括电路，该电路可以是各个元器件的集合，例如，元器件可以包括三极管、二极管、电阻、电容、电感、两个元器件之间连接的线路、电位器、散热器、传感器及开关等，电路区域可以包括各个元器件所在的区域，例如，三极管区域、电阻区域、电容区域及传感器区域等。该预设策略可以是根据各个元器件所在的区域对面板图像进行电路区域分割，或者是对深度学习网络进行训练，并根据训练后的深度学习网络对面板图像进行电路区域分割，或者是利用图像分割方法对面板图像进行电路区域分割，或者是根据模板匹配的方式对面板图像进行电路区域分割等，具体策略可以根据实际需要进行灵活设置，在此处不作限定。为了方便描述，在本发明实施例中，以下将以模板匹配的方式对面板图像进行电路区域分割为例进行详细说明。

在某些实施方式中，按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤可以包括：

获取包含目标电路区域的模板；按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置；根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

具体地，首先，需要获取模板，例如，可以从面板缺陷分析装置的本地存储空间或服务器中获取预先设置的模板等，当然，模板的获取方式也可以是其他方式，具体内容在此处不作限定。预先设置的模板可以是与面板图像中的局部区域一致，该模板中可以是包括目标电路区域，该目标电路区域可以是与面板图像中部分电路区域一致，该电路区域可以是电路中元器件所在的区域，例如，当面板图像为如图3所示时，该面板图像中存在多个重复相同的局部区域，此时可以将模板设置为与该局部区域一致，如图8(a)所示，该模板中可以包括面板图像中各个类型的元器件。然后对模板中包含的所有元器件进行人工或自动标注，不同的元器件可以用不用标识进行标注，例如，不同的元器件可以用不同的颜色进行标注(例如元器件A用红色标注及元器件B用蓝色标注等)，或者不同的元器件可以用不同的数字或字母进行标注，或者不同的元器件可以用不同的坐标点进行标注等。

需要说明的是，也可以将模板设置为mask模板图像，在该mask模板图像中不同元器件所在的区域的像素值不同，例如，元器件A所在的区域的像素值为1，元器件B所在的区域的像素值为2，元器件C所在的区域的像素值为3等。另外，当面板图像中包含的电路较简单时，可以仅设置一个模板；当面板图像中包含的电路较复杂时，可以设置多个模板，为了方便描述，在本发明实施例中，以下将以设置一个模板为例进行详细说明，可以理解的是，本发明实施例只是为了便于描述所举的例子，不应理解为是对模板数量的限定，但不管设置有多少个模板，面板缺陷分析的过程都是类似的，都可以按照该示例进行理解。

在得到模板后，可以按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置，该匹配位置可以是面板图像中与模板相似度最高所在的局部区域的位置，例如，可以根据模板中包含的元器件在面板图像中查找匹配的局部区域，并计算该局部区域与模板之间的相似度，直到找到相似度最高所在的局部区域。此时，可以根据匹配位置及模板中的目标电路区域对面板图像进行电路区域分割，例如，可以以匹配位置为基准，在面板图像中依次排开设置模板，使得无缝且无重叠设置的多个模板可以覆盖该面板图像，然后将多个模板中目标电路区域所在的位置一一对应到面板图像上电路区域所在的位置，并在面板图像上对应位置对电路区域进行标注，即对各个元器件进行分割标注，得到包括多个电路区域的电路分割图像。该电路分割图像中可以标注有各个电路区域的位置和类型(即各个元器件的位置和类型)，例如，电路分割图像中可以用不同的像素值对各个元器件所在的区域进行分割，该电路分割图像的大小可以与面板图像的大小一致。

例如，当面板图像中存在多种元器件时，在对面板图像进行电路区域分割的过程中，可以输出一张包含用不用数值分别标识多种元器件的电路分割图像，或者可以输出每张仅标识有一种元器件的电路分割图像。此时将电路分割图像中像素值为不同预设数值所在的区域分别设置为各个元器件的位置，还可以在电路分割图像中标注出各个元器件的类型，该预设数据值可以根据实际需要进行灵活设置，例如元器件D所在的区域的像素值为9，或元器件E所在的区域的像素值为8等。

例如，如图9所示，一个面板图像中可以包括多个同一种类型的元器件，例如同一种类型的元器件A可以包括位于不同的位置的元器件A1至A5等，同一种类型的元器件B可以包括位于不同的位置的元器件B1至B5等，同样的，同一种类型的元器件C至G也可以包括位于不同的位置的元器件。此时，可以分别用不同的颜色或数值或字母等标注分别对元器件A1至A5、元器件B1至B5、元器件C1至C5、元器件D1至D5、元器件E1至E4、元器件F1至F4及元器件G1和G2等进行分割及分类等，得到电路分割图像。

在某些实施方式中，按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置的步骤可以包括：

按照预设策略从面板图像中截取与模板大小一致的多个局部区域；计算每个局部区域与模板之间的相似度，得到相似度集合；从相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域；将目标局部区域的位置设置为匹配位置。

为了提高了匹配的可靠性，可以通过计算与模板相似度的方式来确定匹配位置，具体地，在确定匹配位置的过程中，首先可以按照模板的大小及模板中包含的目标电路区域等预设策略，对面板图像进行划分，得到多个与模板大小一致的局部区域，然后计算每个局部区域与模板之间的相似度，得到相似度集合，该相似度集合中包括每个局部区域对应的相似度。其次，从相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域；当相似度集合中存在多个相似度均为最大时，可以从最大的多个相似度中随机选择其中任意一个作为目标相似度，并将该目标相似度所对应的局部区域确定为目标局部区域，或者是，按照预设规则从最大的多个相似度中选择位置靠近面板图像中间的一个作为目标相似度，并将该目标相似度所对应的局部区域确定为目标局部区域等，最后得到的该将目标局部区域的位置即为匹配位置。

在某些实施方式中，按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置的步骤可以包括：

按照预设策略从模板中截取预设区域，得到目标区域；计算面板图像中与目标区域大小一致的多个局部区域，与目标区域之间的相似度；筛选出相似度最大所对应的局部区域，并将局部区域的位置设置为匹配位置。

为了进一步提高处匹配的效率及灵活性，可以利用模板中的部分区域进行匹配来确定匹配位置，具体地，首先按照预设策略从模板中截取预设区域，得到目标区域，例如，如图8(b)所示，可以从图8(a)的模板中截取没有缺陷且特征丰富的部分区域作为目标区域，即截取包含元器件较多的区域作为目标区域。需要说明的是，可以从模板中仅截取一个预设区域作为目标区域，也可以从模板中截取多个预设区域作为目标区域，例如，当模板包含的元器件较少时，可以从模板中仅截取一个预设区域作为目标区域；当模板包含的元器件较多时，可以从模板中截取多个预设区域作为目标区域，为了方便描述，在本发明实施例中，以下将以截取一个预设区域作为目标区域为例进行详细说明，而不管截取多少个预设区域作为目标区域，面板缺陷分析的过程都是类似的，都可以按照截取一个预设区域作为目标区域的示例进行理解。

然后，可以对按照目标区域的大小及目标区域中包含的元器件等对面板图像进行划分，得到多个与目标区域大小一致局部区域，其次计算面板图像中每个局部区域与目标区域之间的相似度，并从计算得到的每个局部区域与目标区域之间的相似度中，筛选出相似度最大所对应的局部区域，最后得到的该局部区域的位置即为匹配位置。当多个局部区域与目标区域之间的相似度中，存在多个相似度均为最大时，可以从最大的多个相似度中随机选择其中任意一个作为目标相似度，并将该目标相似度所对应的局部区域所在的位置设置为匹配位置，或者是，按照预设规则选择位置靠近面板图像中间的一个局部区域所在的位置设置为匹配位置，等等。

在某些实施方式中，根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤可以包括：

根据匹配位置将模板与面板图像对齐，生成模板图像，模板图像由覆盖面板图像的多个模板组成；根据模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

具体地，在对面板图像进行电路区域分割的过程中，在确定匹配位置后，可以根据匹配位置将模板与面板图像对齐，生成由覆盖面板图像的多个模板组成的模板图像，例如，可以先将模板放置于面板图像中的匹配位置，并将面板图像中匹配位置对应的局部区域与模板对齐，然后以匹配位置上的模板为基准，向面板图像中的上、下、左、或右等其他位置依次排开分别放置多个模板，直至多个模板可以覆盖面板图像，例如可以以匹配位置上的模板为基准，复制模板并向面板图像中的上、下、左、或右等移动复制得到的模板，使得匹配位置上的模板与移动后的模板的边对齐，并进行无缝且无重叠拼接，多个模板拼接得到模板图像，该模板图像的大小可以与面板图像的大小一致。其次，根据模板图像中包含的目标电路区域，以及预先标注的电路区域的位置和类型，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，例如，由于将模板图像中标注的电路区域的位置和类型复制到面板图像对应的位置上，使得面板图像中所有的电路区域都可以识别出来。

在某些实施方式中，根据模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤可以包括：

计算模板图像与面板图像之间的匹配度；根据匹配度对模板图像进行调整，直至匹配度达到最大值，得到调整后模板图像；根据调整后模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

由于若模板图像与面板图像之间对齐得不好，则会存在误差，因此为了减小误差，可以通过计算模板图像与面板图像之间的匹配度来调整模板图像，即为了减小模板图像与面板图像之间的匹配误差，提高匹配的精准性，可以对得到的模板图像进行局部优化。具体地，在生成模板图像后，可计算模板图像与面板图像之间的匹配度(例如互信息量)，例如，若模板图像与面板图像完全吻合，则模板图像与面板图像之间的匹配度最高，若模板图像与面板图像存在不对齐的区域越多，则模板图像与面板图像之间的匹配度越低，若模板图像与面板图像存在不对齐的区域越少，则模板图像与面板图像之间的匹配度越高。

然后，可以保持面板图像的位置不变，根据匹配度对模板图像进行向左、右、上或下移动m个像素值等的调整(m的取值可以根据实际需要进行灵活设置)，直至得到模板图像与面板图像之间的匹配度达到最大值，得到调整后模板图像。例如，如图10所示，刚开始生成的模板图像存在非对齐部分，计算得到的模板图像与面板图像之间的匹配度较小，在对模板图像进行调整后，可以将模板图像与面板图像对齐，使得模板图像与面板图像之间不存在非对齐部分。此时，可以根据调整后模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，该电路分割图像中可以使用不同的像素值对各个元器件所在的区域进行标识。

在步骤S104中，根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像。

在得到缺陷的位置和电路分割图像后，可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像。例如，当缺陷1的位置位于电路区域A时，可以将电路区域A的图像作为待分析图像；当缺陷2的位置位于电路区域B和电路区域C时，可以将电路区域B和电路区域C的图像作为待分析图像，等等。

在某些实施方式中，根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像的步骤可以包括：将面板图像与电路分割图像进行配准，得到面板图像上位置与电路分割图像上位置之间的对应关系；根据对应关系确定缺陷的位置在电路分割图像中的区域，得到缺陷所在的电路区域；截取缺陷所在的电路区域，得到待分析图像。

具体地，由于电路分割图像与面板图像的大小一致，因此可以将面板图像与电路分割图像进行配准，例如，可以将面板图像与电路分割图像的边缘及包含的电路区域等进行对齐，从而可以得到面板图像上位置与电路分割图像上位置之间的对应关系，例如，元器件A在面板图像中位置与元器件A在电路分割图像中位置之间是对应的。然后可以根据面板图像上位置与电路分割图像上位置之间的对应关系，确定面板图像中缺陷的位置对应在电路分割图像中的位置所在的区域，得到缺陷所在的电路区域，此时可以截取缺陷所在的电路区域，得到待分析图像，该待分析图像中既包括了缺陷区域，又包括电路区域，该电路区域可以包括元器件所在的区域和非元器件所在的区域等，该待分析图像可以是缺陷区域与元器件区域的重叠部分的特征图像。

在步骤S105中，通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果。

其中，机器学习模型可以是卷积神经网络(CNN，Convolutional Neural Network)或深度神经网络(DNN，Deep Neural Networks)等，还可以是其他的模型。首先可以预先对机器学习模型进行训练，例如，可以采集多张包含不同缺陷及电路区域等的样本分析图像，然后利用多张样本分析图像和缺陷的类型对机器学习模型进行训练，得到缺陷对面板中电路造成的预测影响，以及获取预先设置的该缺陷对面板中电路造成的真实影响，该真实影响可以是基于历史记录或者经验处理等确定的影响，此时，可以对预测影响和真实影响进行收敛，得到训练后的机器学习模型。

为了提高分析的准确率，在得到待分析图像和缺陷的类型后，可以通过训练后的机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，例如，造成电路中一条或多条线路的短路或断路等。其中，不同类型的缺陷及其所在的位置可以对面板中电路造成不同的影响，根据缺陷对面板中电路造成的影响可以生成缺陷分析结果，例如，当纤维物存在于非元器件所在的区域时，可以忽略该纤维物对面板中电路造成的影响；当刮伤存在于两个元器件之间连接的线路上时，会对面板中电路造成断路的影响；等等。

在某些实施方式中，通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响的步骤可以包括：通过机器学习模型计算待分析图像中缺陷的位置，与电路区域中元器件位置之间的重叠区域；根据重叠区域和缺陷的类型分析缺陷对面板中电路造成的影响。

具体地，在分析缺陷对面板中电路造成的影响的过程中，可以通过机器学习模型从待分析图像中识别出缺陷的位置以及电路区域中元器件位置，然后计算待分析图像中缺陷的位置与电路区域中元器件位置之间的重叠区域，此时可以根据重叠区域和缺陷的类型分析缺陷对面板中电路造成的影响。例如，针对某种类型的缺陷，其与元器件之间重叠区域越大，该缺陷对面板中电路造成的影响越大，反之，其与元器件之间重叠区域越小，该缺陷对面板中电路造成的影响越小，甚至可以忽略；而针对另一种类型的缺陷，其与元器件之间只要存在重叠区域，不管该重叠区域的大小该缺陷均可以对面板中电路造成同等程度的影响；等等。

在某些实施方式中，通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果的步骤可以包括：

通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响；根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果。

由于缺陷对面板中电路造成的影响决定了后续需要采取的缺陷修复策略，因此在通过机器学习模型确定缺陷对面板中电路造成的影响后，可以基于缺陷对面板中电路造成的影响进一步确定针对该缺陷所需采取的缺陷修复策略，该缺陷修复策略可以包括报废、对面板进行清洗或者通过某个修复部门对面板进行修复等，此时可以根据缺陷修复策略生成面板对应的缺陷分析结果。例如，缺陷1为存在异物且位于多个元器件所在的区域，可能会造成电路短路，其对应的缺陷修复策略为需要去部门A进行表面清洁处理；缺陷2为磨损且位于面板的空白区域(及非元器件区域)，对电路影响不大，其对应的缺陷修复策略为可以将缺陷2忽略，不需要做任何处理；缺陷3为刮伤且刮伤的槽痕恰好位于某个元器件的线路部分，其对应的缺陷修复策略为报废或者去维修部门B进行修复后再进行功能检测；等等。本发明实施例中可以在解决在对缺陷检测和分类的同时，可以评估和分析缺陷对电路造成的影响，以及后续采取的缺陷修复策略，能够替代现有的人工分类及判断流程，提高了对面板缺陷分析的效率。

在某些实施方式中，根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果的步骤可以包括：根据缺陷对面板中电路造成的影响，获取电路中元器件的受损程度；根据受损程度确定缺陷修复策略，并根据缺陷修复策略生成面板对应的缺陷分析结果。

具体地，在确定缺陷修复策略的过程中，可以先根据缺陷对面板中电路造成的影响，获取电路中元器件的受损程度，该受损程度可以包括轻微受损或严重受损等，例如可以将受损程度分为多个等级，每个等级与每个受损程度对应，不同的等级可以对应不同的缺陷修复策略，例如，缺陷1对面板中电路造成的影响1，所对应的电路中元器件的受损程度为等级A，该等级A对应采取的处理方式为的缺陷修复策略a；缺陷2对面板中电路造成的影响2，所对应的电路中元器件的受损程度为等级B，该等级B对应采取的处理方式为的缺陷修复策略b；等等。此时，可以根据受损程度确定缺陷修复策略，并根据缺陷修复策略生成面板对应的缺陷分析结果。

由上可知，本发明实施例可以对待分析的面板对应的面板图像中的缺陷进行检测，得到缺陷的位置和类型(例如液体残留、磨损或刮伤等)，以及按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，然后可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像，此时可以通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响(例如该缺陷对电路造成的短路或断路等影响)，得到缺陷分析结果。该方案通过缺陷的位置和类型进行检测及对面板图像进行电路区域分割，可以根据缺陷的位置从电路分割图像中截取包含缺陷的待分析图像，并通过机器学习模型基于待分析图像和缺陷的类型分析缺陷对面板中电路造成的影响，实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

根据上述实施例所描述的方法，以下将举例作进一步详细说明。

本实施例中，面板缺陷分析装置可以可搭载于云服务器中，也可以部署在产线的数据中心，还可以集成到产线的信息技术(IT，Information Technology)系统等网络设备，以下将以面板缺陷分析装置为终端或服务器等网络设备为例，并以面板为TFT-LCD为例进行详细说明。

在一实施例中，网络设备也可以自行采集待分析的面板对应的面板图像，并对面板图像进行缺陷分析，得到缺陷分析结果，然后将缺陷分析结果发送给相关的质检人员进行处理等。

在另一实施例中，例如，如图11所示，网络设备可以与图像存储系统和产线管理系统连接，其中，图像存储系统可以包括制造执行系统(MES，Manufacturing ExecutionSystem)、自动光学检测(AOI，Automatic Optic Inspection)系统、或IT系统等，产线管理系统可以包括AOI系统或IT系统等。在进行面板缺陷分析的过程中，可以由图像存储系统采集待分析的面板对应的面板图像，并对面板图像进行存储，然后图像存储系统可以将面板图像发送给网络设备，此时网络设备可以对面板图像进行缺陷分析，得到缺陷分析结果，并将缺陷分析结果发送给产线管理系统，产线管理系统将缺陷分析结果发送给相关的质检人员进行处理等。以下将以该实施例为例进行详细说明。

请参阅图12，图12为本发明实施例提供的面板缺陷分析方法的另一流程示意图。该方法流程可以包括：

S201、网络设备获取待分析的面板对应的面板图像，及对面板图像中的缺陷进行检测，并当检测到面板图像中存在缺陷时，确定缺陷的位置和类型。

网络设备可以接收图像存储系统主动发送的待分析的TFT-LCD面板对应的面板图像，或者是，网络设备可以向图像存储系统发送图像获取请求，并接收图像存储系统基于图像获取请求返回的待分析的TFT-LCD面板对应的面板图像，该面板图像可以是在产线对TFT-LCD面板生产的过程中，图像存储系统通过预先设置的摄像头实时或每间隔预设时间采集得到的，并对该面板图像进行存储。

在得到面板图像后，为了提高对面板图像中的缺陷进行检测的准确性，网络设备可以采用Mask-RCNN等深度学习网络对面板图像中的缺陷进行检测，具体可以包括建立Mask-RCNN模型、训练Mask-RCNN模型及应用Mask-RCNN模型进行检测等步骤。其中，在建立Mask-RCNN模型时，可以根据缺陷检测的需求建立一个可以检测图像中缺陷的位置和类型等的Mask-RCNN模型。然后，在训练Mask-RCNN模型时，可以采集多张包含缺陷的面板所对应的样本图像，得到训练样本集；其中，每张样本图像中可以包括一种或多种不同的缺陷，例如，样本图像A中包括缺陷1和缺陷2，样本图像B中包括缺陷3和缺陷4，样本图像C中包括缺陷5、缺陷6和缺陷7等。此时可以根据训练样本集对Mask-RCNN模型进行训练，得到训练样本集中每张样本图像对应的缺陷预测值，该缺陷预测值可以包括Mask-RCNN计算得到的缺陷位置和缺陷类型，其中，该缺陷位置可以是坐标位置或像素位置等，该缺陷类型可以包括异物、液体残留、刮伤或磨损等。以及，获取每张样本图像的缺陷真实值，该缺陷真实值包括样本图像预先标注的缺陷位置和缺陷类型，此时可以对缺陷预测值和缺陷真实值进行收敛，得到训练后的Mask-RCNN模型。

在应用Mask-RCNN模型进行检测时，训练后的Mask-RCNN模型对于输入的任何一张存在缺陷的面板图像均可以检测出缺陷的位置和类型，例如，可以采用训练后的Mask-RCNN对面板图像进行缺陷检测，当检测到面板图像中存在缺陷时，可以对面板图像中的缺陷进行特征提取，得到缺陷特征，然后可以根据缺陷特征确定缺陷的类型，以及，可以根据缺陷特征对面板图像进行像素分割，得到缺陷分割图像(即mask图像)，该mask图像的大小可以与面板图像的大小一致，mask图像中可以用不同的像素值对缺陷区域和非缺陷区域进行分割，这样通过mask图像中的像素值就可以获知各个缺陷的位置及类型。当面板图像中存在多种缺陷时，可以输出一张包含用不用像素值分别标识多种缺陷的缺陷分割图像，例如，如图7所示，像素值为1所在的区域表示缺陷1所在的区域，像素值为2所在的区域表示缺陷2所在的区域，像素值为3所在的区域表示缺陷3所在的区域，像素值为0所在的区域表示非缺陷所在的区域等；或者可以输出每张用像素值仅标识有一种缺陷的缺陷分割图像，例如，如图6所示，第一张mask图像中像素值为1所在的区域表示缺陷1所在的区域，第二张mask图像中像素值为2所在的区域表示缺陷2所在的区域，第三张mask图像中像素值为3所在的区域表示缺陷3所在的区域。

S202、网络设备获取包含目标电路区域的模板，并按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置。

网络设备需要对面板图像进行电路区域分割，以得到电路分割图像，例如，网络设备可以采用深度学习网络对面板图像进行电路区域分割，或者采用模板匹配的方式对面板图像进行电路区域分割等。例如，如图13所示，对面板图像进行电路区域分割的流程可以包括首先获取模板，然后对面板图像进行模板匹配，得到匹配位置，其次，根据匹配位置将模板与面板图像对齐，得到模板图像，以及对模板图像进行局部优化，得到优化后的模板图像，最后可以根据优化后的模板图像对电路进行分割，得到电路分割图像等，以下将进行详细说明。

具体地，首先网络设备需要获取包含目标电路区域的模板，该模板可以是与面板图像中的局部区域一致，该模板中包含的目标电路区域可以是与面板图像中部分电路区域一致，该电路区域可以是电路中元器件所在的区域，例如，当面板图像为如图3所示时，该面板图像中存在多个重复相同的局部区域，此时可以将模板设置为与该局部区域一致，如图8(a)所示，该模板中可以包括面板图像中各个类型的元器件，以及模板中包含的所有元器件均进行标注，其中，不同的元器件可以用不用标识进行标注，例如，不同的元器件所在的区域可以用不同数值进行标注等。

在得到模板后，网络设备可以按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置，例如，为了提高了匹配的可靠性，可以通过计算与模板相似度的方式来确定匹配位置，可选地，网络设备可以按照预设策略从面板图像中截取与模板大小一致的多个局部区域，计算每个局部区域与模板之间的相似度，得到相似度集合，从相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域，将目标局部区域的位置设置为匹配位置。或者是，为了进一步提高处匹配的效率及灵活性，可以利用模板中的部分区域进行匹配来确定匹配位置，可选地，网络设备可以按照预设策略从模板中截取预设区域，得到目标区域，该目标区域可以是包含元器件较多的区域，如图8(b)所示，然后可以对按照目标区域的大小及目标区域中包含的元器件等对面板图像进行划分，得到多个与目标区域大小一致局部区域，计算面板图像中与目标区域大小一致的多个局部区域，与目标区域之间的相似度，此时可以筛选出相似度最大所对应的局部区域，并将该局部区域的位置设置为匹配位置。

S203、网络设备根据匹配位置将模板与面板图像对齐，生成包含多个模板的模板图像，并对模板图像进行局部优化。

在确定匹配位置后，网络设备可以根据匹配位置将模板与面板图像对齐，例如，可以先将第一张模板放置于面板图像中的匹配位置，并将面板图像中匹配位置对应的局部区域与模板对齐，然后以匹配位置上的模板为基准，复制第一张模板，得到第二张模板，将第二张模板向面板图像中的上、下、左、或右等移动，使得匹配位置上的第一张模板与移动后的第二张模板的边缘对齐，并进行无缝且无重叠拼接，以此类推，复制第一张模板或第二张模板，得到第三张模板，将第三张模板放置于面板图像中与模板匹配的局部局域，直至多张模板拼接可以覆盖面板图像，从而可以得到模板图像，该模板图像的大小可以与面板图像的大小一致。

在得到模板图像后，为了减小模板图像与面板图像之间的匹配误差，提高匹配的精准性，可以对得到的模板图像进行局部优化。例如，网络设备可以计算模板图像与面板图像之间的匹配度，根据匹配度判断模板图像与面板图像之间是否完全对齐(例如是否存在非对齐部分)，若未对齐，则可以保持面板图像的位置不变，并根据匹配度对模板图像进行调整，直至匹配度达到最大值，说明模板图像与面板图像之间已经完全对齐，此时不需要再对模板图像进行调整，可以得到调整后模板图像(即优化后的模板图像)。

S204、网络设备根据优化后的模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

在得到优化后的模板图像后，网络设备可以根据优化后的模板图像中包含的目标电路区域，以及预先标注的目标电路区域的位置和类型等，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。例如，可以将模板图像中标注的目标电路区域的位置和类型复制到面板图像对应的位置上，使得面板图像中所有的电路区域都可以分割出来。可将每个元器件分割为对应的电路区域，例如，如图9所示，可从面板图像中分割出多个元器件区域，得到包括多个元器件区域的电路分割图像，在电路分割图像中，可以分别用不同的颜色或数值等对元器件A1至A5、元器件B1至B5、元器件C1至C5、元器件D1至D5、元器件E1至E4、元器件F1至F4及元器件G1和G2等进行分割及分类等。

S205、网络设备根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像。

在得到缺陷的位置和电路分割图像后，网络设备可以将面板图像与电路分割图像进行配准，例如，可以将面板图像与电路分割图像的边缘及包含的电路区域等进行对齐，从而可以得到面板图像上位置与电路分割图像上位置之间的对应关系，然后可以根据面板图像上位置与电路分割图像上位置之间的对应关系，确定面板图像中缺陷的位置对应在电路分割图像中的位置所在的区域，得到缺陷所在的电路区域，此时可以截取缺陷所在的电路区域，得到待分析图像。例如，当缺陷1的位置位于电路区域A时，可以将电路区域A的图像作为待分析图像；当缺陷2的位置位于电路区域B和电路区域C时，可以将电路区域B和电路区域C的图像作为待分析图像，等等。

S206、网络设备通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响。

为了提高分析的准确率，在得到待分析图像和缺陷的类型后，网络设备可以通过CNN或DNN等机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，例如，计算待分析图像中缺陷的位置，与电路区域中元器件位置之间的重叠区域；根据重叠区域和缺陷的类型分析缺陷对面板中电路造成的影响(例如造成电路的短路或断路等)，不同类型的缺陷及其所在的位置可以对面板中电路造成不同的影响，例如，当刮伤存在于两个元器件之间连接的线路上时，会对面板中电路造成断路的影响等。其中，该机器学习模型可以是预先训练好的模型，例如，可以采集多张包含不同缺陷及电路区域等的样本分析图像，然后利用多张样本分析图像和缺陷的类型对机器学习模型进行训练，得到缺陷对面板中电路造成的预测影响，以及获取预先设置的该缺陷对面板中电路造成的真实影响，此时可以对预测影响和真实影响进行收敛，得到训练后的机器学习模型。

S207、网络设备根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果。

由于缺陷对面板中电路造成的影响决定了后续需要采取的缺陷修复策略，因此在通过机器学习模型确定缺陷对面板中电路造成的影响后，网络设备可以基于缺陷对面板中电路造成的影响获取电路中元器件的受损程度，此时可以根据元器件的受损程度进一步确定针对该缺陷所需采取的缺陷修复策略，该缺陷修复策略可以包括报废、对面板进行清洗或者通过某个修复部门对面板进行修复等，此时可以根据缺陷修复策略生成面板对应的缺陷分析结果。网络设备可以将缺陷分析结果发送给产线管理系统，产线管理系统将缺陷分析结果发送给相关的质检人员进行处理等。

需要说明的是，可以建立用于存储的数据库不同类型的缺陷及其所在的位置可以对面板中电路造成不同的影响，以及针对不同影响所需采集的缺陷修复策略等，例如，数据库中可以存储：元器件A存在损伤(即缺陷所在的位置与元器件A之间存在重叠)、损伤类型(即缺陷类型)、损伤程度(即缺陷对电路造成的影响)、及缺陷修复策略等之间的对应关系；元器件B存在损伤、损伤类型、损伤程度、及缺陷修复策略等之间的对应关系；元器件C和D同时损伤、损伤类型、损伤程度、及缺陷修复策略等之间的对应关系；等等。或者是，数据库中可以存储：缺陷1编号、缺陷1类型、缺陷1影响到的元器件A、及缺陷修复策略等之间的对应关系；缺陷2编号、缺陷2类型、缺陷2影响到的元器件B和C、及缺陷修复策略等之间的对应关系；等等。

可以理解的是，也可以建立两个数据库，其中一个数据库中存储各个元器件受损对应的缺陷修复策略，或者多个元器件同时受损对应的缺陷修复策略等，其存储的是受损与缺陷修复策略(即处理方式)之间的对应关系，而另一个数据库中存储的是受损的类型(即缺陷的类型)和可能造成元器件损伤程度之间的关系，其中，针对不同的缺陷的类型及不同的元器件，可能存在同样的缺陷修复策略或不同的缺陷修复策略等，后续可以根据查询需求到对应的数据库进行查询。当然，这两个数据库也可以建立一个或两个模型来替代，其中一个模型可以根据受损的类型计算出可能造成元器件损伤程度，另一个模型可以根据元器件受损计算出对应的缺陷修复策略等。

在得到待分析图像后，可以计算待分析图像中缺陷区域与电路区域中每个元器件之间的重叠区域，根据缺陷与元器件之间的重叠区域计算出元器件受损的概率和面积等，得到元器件的受损程度，以确定该缺陷的类型是否会损伤元器件，例如，某些缺陷与元器件之间存在重叠会造成元器件百分之百损伤，缺陷与元器件之间存在重叠会造成元器件的概率性损伤，因此当缺陷与元器件之间存在重叠后，可以根据缺陷的类型计算元器件受损的概率，例如刮伤缺陷对于元器件损伤的概率较大，纤维缺陷对于元器件损伤的概率较小等。此时可以根据元器件的受损程度查询数据库确定缺陷修复策略(即采取的处理方式)，例如，可忽略或可采取某种方式修复等。

本发明实施例中，通过缺陷的位置和类型进行检测及对面板图像进行电路区域分割，可以根据缺陷的位置从电路分割图像中截取包含缺陷的待分析图像，并通过机器学习模型基于待分析图像和缺陷的类型分析缺陷对面板中电路造成的影响，不仅可以对缺陷进行检测和分类等，而且还可以分析缺陷对电路造成的影响，以及后续采取的缺陷修复策略，能够替代现有的人工分类及判断等流程，实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

为便于更好的实施本发明实施例提供的面板缺陷分析方法，本发明实施例还提供一种基于上述面板缺陷分析方法的装置。其中名词的含义与上述面板缺陷分析方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图14，图14为本发明实施例提供的面板缺陷分析装置的结构示意图，其中该面板缺陷分析装置可以包括获取单元301、检测单元302、分割单元303、截取单元304及分析单元305等。

其中，获取单元301，用于获取待分析的面板对应的面板图像。

获取单元301可以在生产面板的产线上预先设置图像采集装置(例如摄像头或照相机等)，并在面板生产的过程中，通过图像采集装置实时或每间隔预设时间采集待分析的面板对应的面板图像；或者是，获取单元301从面板缺陷分析装置的本地存储空间中获取预存的面板图像；或者是，获取单元301向图像存储服务器发送图像获取请求，并接收服务器基于图像获取请求返回的面板图像等；当然，面板图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。其中，面板可以包括TFT-LCD面板、LCD面板、集成电路面板或芯片面板等，还可以是其他类型的面板。

检测单元302，用于对面板图像中的缺陷进行检测，得到缺陷的位置和类型。

在得到面板图像后，检测单元302可以通过卷积神经网络或Mask-RCNN等深度学习网络对面板图像中的缺陷进行检测，或者可以通过图像分割方法对面板图像中的缺陷进行检测等，具体检测方式可以根据实际需要进行灵活设置。

在某些实施方式中，检测单元302具体可以用于：采用预设的检测模型对面板图像中的缺陷进行特征提取，得到缺陷特征；根据缺陷特征确定缺陷的类型，以及根据缺陷特征对面板图像进行像素分割，得到缺陷分割图像；将缺陷分割图像中像素值为预设数值所在的区域设置为缺陷的位置。

为了提高对面板图像中的缺陷进行检测的准确性，检测单元302可以采用预设的检测模型进行检测，其中，预设的检测模型可以是Mask-RCNN或者是其他检测模型，为了描述方便，在本发明实施例中，将以利用Mask-RCNN检测面板图像中的缺陷为例进行说明。首先，需要进行模型训练：采集多张包含缺陷的面板所对应的样本图像，得到训练样本集；其中，每张样本图像中可以包括一种或多种不同的缺陷，以及包括由多种元器件组成的电路等，预先在每张样本图像中包含的缺陷的位置和类型进行标注。然后根据训练样本集对Mask-RCNN进行训练，得到训练样本集中每张样本图像对应的缺陷预测值，该缺陷预测值可以包括Mask-RCNN计算得到的缺陷位置和缺陷类型，例如，可以采用Mask-RCNN对面板图像中的缺陷进行特征提取，得到缺陷特征，并根据缺陷特征确定缺陷的类型及缺陷的位置等，其中，该缺陷位置可以是坐标位置或像素位置等，该缺陷类型可以包括异物、液体残留、刮伤或磨损等。以及，获取每张样本图像的缺陷真实值，该缺陷真实值包括样本图像预先标注的缺陷位置和缺陷类型，此时可以对缺陷预测值和缺陷真实值进行收敛，得到训练后的Mask-RCNN。训练后的Mask-RCNN对于输入的任何一张存在缺陷的面板图像均可以检测出缺陷的位置和类型，该训练后的Mask-RCNN即为预设的检测模型。

此时，检测单元302可以采用训练后的Mask-RCNN对面板图像进行缺陷检测，当未检测到面板图像中存在缺陷时，可以确定该面板图像对应的面板合格，不需要执行后续的步骤；当检测到面板图像中存在缺陷时，可以对面板图像中的缺陷进行特征提取，得到缺陷特征，例如，纤维物的缺陷特征为细长丝状物，刮伤的缺陷特征为形成较深的凹痕，磨损的缺陷特征为形成表面性的摩擦痕，等等。然后可以根据缺陷特征确定缺陷的类型，例如可以根据纤维物的缺陷特征确定缺陷的类型为存在纤维物，或者根据刮伤的缺陷特征确定缺陷的类型为刮伤。

以及，可以根据缺陷特征对面板图像进行像素分割，得到缺陷分割图像，该缺陷分割图像可以用不同的像素值对缺陷区域和非缺陷区域进行分割，该缺陷分割图像的大小可以与面板图像的大小一致，该缺陷分割图像可以称为mask图像。当面板图像中仅存在一种缺陷时，可以输出一张包含用预设数值标识该缺陷的缺陷分割图像；当面板图像中存在多种缺陷时，可以输出一张包含用不用数值标识分别标识多种缺陷的缺陷分割图像，或者可以输出每张仅标识有一种缺陷的缺陷分割图像。此时将缺陷分割图像中像素值为预设数值所在的区域设置为缺陷的位置，还可以在缺陷分割图像中标注出缺陷的类型，即输出该缺陷所属的类型，该预设数据值可以根据实际需要进行灵活设置，例如可以将缺陷分割图像中缺陷所在区域的像素值设置为1，其他区域的像素值设置为0等，当然，缺陷所在区域的像素值或其他区域的像素值也可以分别设置为0至N中任意一数值，其中N的取值可以根据实际需要进行灵活设置，例如可将缺陷分割图像中缺陷所在区域的像素值设置为6，其他区域的像素值设置为1等。

分割单元303，用于按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

其中，面板图像中可以包括电路，该电路可以是各个元器件的集合，例如，元器件可以包括三极管、电阻、电容及电感等，电路区域可以包括各个元器件所在的区域。该预设策略可以是根据各个元器件所在的区域对面板图像进行电路区域分割，或者是对深度学习网络进行训练，并根据训练后的深度学习网络对面板图像进行电路区域分割，或者是利用图像分割方法对面板图像进行电路区域分割，或者是根据模板匹配的方式对面板图像进行电路区域分割等，具体策略可以根据实际需要进行灵活设置，在此处不作限定。为了方便描述，在本发明实施例中，以下将以模板匹配的方式对面板图像进行电路区域分割为例进行详细说明。

在某些实施方式中，如图15所示，分割单元303可以包括获取子单元3031、匹配子单元3032及分割子单元3033等，具体可以如下：

获取子单元3031，用于获取包含目标电路区域的模板。

匹配子单元3032，用于按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置。

分割子单元3033，用于根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

具体地，首先，获取子单元3031需要获取模板，例如，可以从面板缺陷分析装置的本地存储空间或服务器中获取预先设置的模板等，当然，模板的获取方式也可以是其他方式，具体内容在此处不作限定。预先设置的模板可以是与面板图像中的局部区域一致，该模板中可以是包括目标电路区域，该目标电路区域可以是与面板图像中部分电路区域一致，该电路区域可以是电路中元器件所在的区域，例如，当面板图像为如图3所示时，该面板图像中存在多个重复相同的局部区域，此时可以将模板设置为与该局部区域一致，如图8(a)所示，该模板中可以包括面板图像中各个类型的元器件。然后对模板中包含的所有元器件进行人工或自动标注，不同的元器件可以用不用标识进行标注，例如，不同的元器件可以用不同的颜色进行标注，或者不同的元器件可以用不同的数字或字母进行标注，或者不同的元器件可以用不同的坐标点进行标注等。

需要说明的是，也可以将模板设置为mask模板图像，在该mask模板图像中不同元器件所在的区域的像素值不同。另外，当面板图像中包含的电路较简单时，可以仅设置一个模板；当面板图像中包含的电路较复杂时，可以设置多个模板。

在得到模板后，匹配子单元3032可以按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置，该匹配位置可以是面板图像中与模板相似度最高所在的局部区域的位置，例如，可以根据模板中包含的元器件在面板图像中查找匹配的局部区域，并计算该局部区域与模板之间的相似度，直到找到相似度最高所在的局部区域。此时，分割子单元3033可以根据匹配位置及模板中的目标电路区域对面板图像进行电路区域分割，例如，可以以匹配位置为基准，在面板图像中依次排开设置模板，使得无缝且无重叠设置的多个模板可以覆盖该面板图像，然后将多个模板中目标电路区域所在的位置一一对应到面板图像上电路区域所在的位置，并在面板图像上对应位置对电路区域进行标注，即对各个元器件进行分割标注，得到包括多个电路区域的电路分割图像。该电路分割图像中可以标注有各个电路区域的位置和类型(即各个元器件的位置和类型)，例如，电路分割图像中可以用不同的像素值对各个元器件所在的区域进行分割，该电路分割图像的大小可以与面板图像的大小一致。

例如，当面板图像中存在多种元器件时，在对面板图像进行电路区域分割的过程中，可以输出一张包含用不用数值分别标识多种元器件的电路分割图像，或者可以输出每张仅标识有一种元器件的电路分割图像。此时将电路分割图像中像素值为不同预设数值所在的区域分别设置为各个元器件的位置，还可以在电路分割图像中标注出各个元器件的类型，该预设数据值可以根据实际需要进行灵活设置，例如元器件D所在的区域的像素值为9，或元器件E所在的区域的像素值为8等。

在某些实施方式中，匹配子单元3032具体可以用于：按照预设策略从面板图像中截取与模板大小一致的多个局部区域；计算每个局部区域与模板之间的相似度，得到相似度集合；从相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域；将目标局部区域的位置设置为匹配位置。

为了提高了匹配的可靠性，匹配子单元3032可以通过计算与模板相似度的方式来确定匹配位置，具体地，在确定匹配位置的过程中，首先匹配子单元3032可以按照模板的大小及模板中包含的目标电路区域等预设策略，对面板图像进行划分，得到多个与模板大小一致的局部区域，然后计算每个局部区域与模板之间的相似度，得到相似度集合，该相似度集合中包括每个局部区域对应的相似度。其次，从相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域；当相似度集合中存在多个相似度均为最大时，可以从最大的多个相似度中随机选择其中任意一个作为目标相似度，并将该目标相似度所对应的局部区域确定为目标局部区域，或者是，按照预设规则从最大的多个相似度中选择位置靠近面板图像中间的一个作为目标相似度，并将该目标相似度所对应的局部区域确定为目标局部区域等，最后得到的该将目标局部区域的位置即为匹配位置。

在某些实施方式中，匹配子单元3032具体可以用于：按照预设策略从模板中截取预设区域，得到目标区域；计算面板图像中与目标区域大小一致的多个局部区域，与目标区域之间的相似度；筛选出相似度最大所对应的局部区域，并将局部区域的位置设置为匹配位置。

为了进一步提高处匹配的效率及灵活性，匹配子单元3032可以利用模板中的部分区域进行匹配来确定匹配位置，具体地，首先匹配子单元3032按照预设策略从模板中截取预设区域，得到目标区域，例如，如图8(b)所示，可以从图8(a)的模板中截取没有缺陷且特征丰富的部分区域作为目标区域，即截取包含元器件较多的区域作为目标区域。需要说明的是，可以从模板中仅截取一个预设区域作为目标区域，也可以从模板中截取多个预设区域作为目标区域，例如，当模板包含的元器件较少时，可以从模板中仅截取一个预设区域作为目标区域；当模板包含的元器件较多时，可以从模板中截取多个预设区域作为目标区域。

然后，匹配子单元3032可以对按照目标区域的大小及目标区域中包含的元器件等对面板图像进行划分，得到多个与目标区域大小一致局部区域，其次计算面板图像中每个局部区域与目标区域之间的相似度，并从计算得到的每个局部区域与目标区域之间的相似度中，筛选出相似度最大所对应的局部区域，最后得到的该局部区域的位置即为匹配位置。当多个局部区域与目标区域之间的相似度中，存在多个相似度均为最大时，可以从最大的多个相似度中随机选择其中任意一个作为目标相似度，并将该目标相似度所对应的局部区域所在的位置设置为匹配位置，或者是，按照预设规则选择位置靠近面板图像中间的一个局部区域所在的位置设置为匹配位置，等等。

在某些实施方式中，分割子单元3033可以包括生成模块和分割模块等，具体可以如下：

生成模块，用于根据匹配位置将模板与面板图像对齐，生成模板图像，模板图像由覆盖面板图像的多个模板组成；

分割模块，用于根据模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

具体地，在对面板图像进行电路区域分割的过程中，在确定匹配位置后，生成模块可以根据匹配位置将模板与面板图像对齐，生成由覆盖面板图像的多个模板组成的模板图像，例如，可以先将模板放置于面板图像中的匹配位置，并将面板图像中匹配位置对应的局部区域与模板对齐，然后以匹配位置上的模板为基准，向面板图像中的上、下、左、或右等其他位置依次排开分别放置多个模板，直至多个模板可以覆盖面板图像，例如可以以匹配位置上的模板为基准，复制模板并向面板图像中的上、下、左、或右等移动复制得到的模板，使得匹配位置上的模板与移动后的模板的边对齐，并进行无缝且无重叠拼接，多个模板拼接得到模板图像，该模板图像的大小可以与面板图像的大小一致。其次，分割模块根据模板图像中包含的目标电路区域，以及预先标注的电路区域的位置和类型，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，例如，由于将模板图像中标注的电路区域的位置和类型复制到面板图像对应的位置上，使得面板图像中所有的电路区域都可以识别出来。

在某些实施方式中，分割模块具体可以用于：计算模板图像与面板图像之间的匹配度；根据匹配度对模板图像进行调整，直至匹配度达到最大值，得到调整后模板图像；根据调整后模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

由于若模板图像与面板图像之间对齐得不好，则会存在误差，因此为了减小误差，分割模块可以通过计算模板图像与面板图像之间的匹配度来调整模板图像，即为了减小模板图像与面板图像之间的匹配误差，提高匹配的精准性，可以对得到的模板图像进行局部优化。具体地，在生成模板图像后，分割模块可计算模板图像与面板图像之间的匹配度(例如互信息量)，例如，若模板图像与面板图像完全吻合，则模板图像与面板图像之间的匹配度最高，若模板图像与面板图像存在不对齐的区域越多，则模板图像与面板图像之间的匹配度越低，若模板图像与面板图像存在不对齐的区域越少，则模板图像与面板图像之间的匹配度越高。

然后，可以保持面板图像的位置不变，根据匹配度对模板图像进行向左、右、上或下移动m个像素值等的调整(m的取值可以根据实际需要进行灵活设置)，直至得到模板图像与面板图像之间的匹配度达到最大值，得到调整后模板图像。例如，如图10所示，刚开始生成的模板图像存在非对齐部分，计算得到的模板图像与面板图像之间的匹配度较小，在对模板图像进行调整后，可以将模板图像与面板图像对齐，使得模板图像与面板图像之间不存在非对齐部分。此时，可以根据调整后模板图像中包含的目标电路区域，对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，该电路分割图像中可以使用不同的像素值对各个元器件所在的区域进行标识。

截取单元304，用于根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像。

在某些实施方式中，截取单元304具体可以用于：将面板图像与电路分割图像进行配准，得到面板图像上位置与电路分割图像上位置之间的对应关系；根据对应关系确定缺陷的位置在电路分割图像中的区域，得到缺陷所在的电路区域；截取缺陷所在的电路区域，得到待分析图像。

具体地，由于电路分割图像与面板图像的大小一致，因此截取单元304可以将面板图像与电路分割图像进行配准，例如，可以将面板图像与电路分割图像的边缘及包含的电路区域等进行对齐，从而可以得到面板图像上位置与电路分割图像上位置之间的对应关系，例如，元器件A在面板图像中位置与元器件A在电路分割图像中位置之间是对应的。然后截取单元304可以根据面板图像上位置与电路分割图像上位置之间的对应关系，确定面板图像中缺陷的位置对应在电路分割图像中的位置所在的区域，得到缺陷所在的电路区域，此时可截取缺陷所在的电路区域，得到待分析图像，该待分析图像中既包括了缺陷区域，又包括电路区域，该电路区域可以包括元器件所在的区域和非元器件所在的区域等，该待分析图像可以是缺陷区域与元器件区域的重叠部分的特征图像。

分析单元305，用于通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果。

其中，机器学习模型可以是CNN或DNN等，还可以是其他的模型。首先分析单元305可以预先对机器学习模型进行训练，例如，可以采集多张包含不同缺陷及电路区域等的样本分析图像，然后利用多张样本分析图像和缺陷的类型对机器学习模型进行训练，得到缺陷对面板中电路造成的预测影响，以及获取预先设置的该缺陷对面板中电路造成的真实影响，此时，可以对预测影响和真实影响进行收敛，得到训练后的机器学习模型。

为了提高分析的准确率，在得到待分析图像和缺陷的类型后，分析单元305可以通过训练后的机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，例如，造成电路中一条或多条线路的短路或断路等。其中，不同类型的缺陷及其所在的位置可以对面板中电路造成不同的影响，根据缺陷对面板中电路造成的影响可以生成缺陷分析结果，例如，当纤维物存在于非元器件所在的区域时，可以忽略该纤维物对面板中电路造成的影响；当刮伤存在于两个元器件之间连接的线路上时，会对面板中电路造成断路的影响；等等。

在某些实施方式中，在某些实施方式中，如图16所示，分析单元305可以包括分析子单元3051及确定子单元3052等，具体可以如下：

分析子单元3051，用于通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响；

确定子单元3052，用于根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果。

由于缺陷对面板中电路造成的影响决定了后续需要采取的缺陷修复策略，因此在分析子单元3051通过机器学习模型确定缺陷对面板中电路造成的影响后，确定子单元3052可以基于缺陷对面板中电路造成的影响进一步确定针对该缺陷所需采取的缺陷修复策略，该缺陷修复策略可以包括报废、对面板进行清洗或者通过某个修复部门对面板进行修复等，此时可以根据缺陷修复策略生成面板对应的缺陷分析结果。

在某些实施方式中，分析子单元3051具体可以用于：通过机器学习模型计算待分析图像中缺陷的位置，与电路区域中元器件位置之间的重叠区域；根据重叠区域和缺陷的类型分析缺陷对面板中电路造成的影响。

具体地，在分析缺陷对面板中电路造成的影响的过程中，分析子单元3051可以通过机器学习模型从待分析图像中识别出缺陷的位置以及电路区域中元器件位置，然后计算待分析图像中缺陷的位置与电路区域中元器件位置之间的重叠区域，此时可以根据重叠区域和缺陷的类型分析缺陷对面板中电路造成的影响。例如，针对某种类型的缺陷，其与元器件之间重叠区域越大，该缺陷对面板中电路造成的影响越大，反之，其与元器件之间重叠区域越小，该缺陷对面板中电路造成的影响越小，甚至可以忽略；而针对另一种类型的缺陷，其与元器件之间只要存在重叠区域，不管该重叠区域的大小该缺陷均可以对面板中电路造成同等程度的影响；等等。

在某些实施方式中，确定子单元3052具体可以用于：根据缺陷对面板中电路造成的影响，获取电路中元器件的受损程度；根据受损程度确定缺陷修复策略，并根据缺陷修复策略生成面板对应的缺陷分析结果。

具体地，在确定缺陷修复策略的过程中，确定子单元3052可以先根据缺陷对面板中电路造成的影响，获取电路中元器件的受损程度，该受损程度可以包括轻微受损或严重受损等，例如可以将受损程度分为多个等级，每个等级与每个受损程度对应，不同的等级可以对应不同的缺陷修复策略，例如，缺陷1对面板中电路造成的影响1，所对应的电路中元器件的受损程度为等级A，该等级A对应采取的处理方式为的缺陷修复策略a；缺陷2对面板中电路造成的影响2，所对应的电路中元器件的受损程度为等级B，该等级B对应采取的处理方式为的缺陷修复策略b；等等。此时，可以根据受损程度确定缺陷修复策略，并根据缺陷修复策略生成面板对应的缺陷分析结果。

由上可知，本发明实施例可以由获取单元301获取待分析的面板对应的面板图像，以及由检测单元302对待分析的面板对应的面板图像中的缺陷进行检测，得到缺陷的位置和类型(例如液体残留、磨损或刮伤等)，以及分割单元303按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，然后截取单元304可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像，此时分析单元305可以通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响(例如该缺陷对电路造成的短路或断路等影响)，得到缺陷分析结果。该方案通过缺陷的位置和类型进行检测及对面板图像进行电路区域分割，可以根据缺陷的位置从电路分割图像中截取包含缺陷的待分析图像，并通过机器学习模型基于待分析图像和缺陷的类型分析缺陷对面板中电路造成的影响，实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

本发明实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备。如图17所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图17中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现本发明实施例提供的面板缺陷分析方法，如下：

获取待分析的面板对应的面板图像；对面板图像中的缺陷进行检测，得到缺陷的位置和类型；按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像；通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果。

可选地，按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤可以包括：获取包含目标电路区域的模板；按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置；根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

可选地，通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果的步骤包括：通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响；根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对面板缺陷分析方法的详细描述，此处不再赘述。

由上可知，本发明实施例可以对待分析的面板对应的面板图像中的缺陷进行检测，得到缺陷的位置和类型(例如液体残留、磨损或刮伤等)，以及按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像，然后可以根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像，此时可以通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响(例如该缺陷对电路造成的短路或断路等影响)，得到缺陷分析结果。该方案通过缺陷的位置和类型进行检测及对面板图像进行电路区域分割，可以根据缺陷的位置从电路分割图像中截取包含缺陷的待分析图像，并通过机器学习模型基于待分析图像和缺陷的类型分析缺陷对面板中电路造成的影响，实现了自动对面板缺陷进行检测及分析，而无需工人参与，不仅减少了人工的工作量，而且提高了对面板进行缺陷分析的准确性及效率。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种面板缺陷分析方法中的步骤。例如，该指令可以执行如下步骤：

获取待分析的面板对应的面板图像；对面板图像中的缺陷进行检测，得到缺陷的位置和类型；按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；根据缺陷的位置从电路分割图像中，截取缺陷所在的电路区域，得到待分析图像；通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果。

可选地，按照预设策略对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤可以包括：获取包含目标电路区域的模板；按照预设策略根据模板对面板图像进行模板匹配，得到匹配位置；根据匹配位置及目标电路区域对面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

可选地，通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响，得到缺陷分析结果的步骤包括：通过机器学习模型并基于待分析图像和缺陷的类型，分析缺陷对面板中电路造成的影响；根据缺陷对面板中电路造成的影响确定缺陷修复策略，根据缺陷修复策略生成面板对应的缺陷分析结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种面板缺陷分析方法中的步骤，因此，可以实现本发明实施例所提供的任一种面板缺陷分析方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种面板缺陷分析方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种面板缺陷分析方法，其特征在于，包括：

获取待分析的面板对应的面板图像；

对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型；

按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；

根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像；

通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果。

2.根据权利要求1所述的面板缺陷分析方法，其特征在于，所述按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤包括：

获取包含目标电路区域的模板；

按照预设策略根据所述模板对所述面板图像进行模板匹配，得到匹配位置；

根据所述匹配位置及所述目标电路区域对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

3.根据权利要求2所述的面板缺陷分析方法，其特征在于，所述根据所述匹配位置及所述目标电路区域对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤包括：

根据所述匹配位置将所述模板与面板图像对齐，生成模板图像，所述模板图像由覆盖所述面板图像的多个所述模板组成；

根据所述模板图像中包含的目标电路区域，对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

4.根据权利要求3所述的面板缺陷分析方法，其特征在于，所述根据所述模板图像中包含的目标电路区域，对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像的步骤包括：

计算所述模板图像与所述面板图像之间的匹配度；

根据所述匹配度对所述模板图像进行调整，直至所述匹配度达到最大值，得到调整后模板图像；

根据所述调整后模板图像中包含的目标电路区域，对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

5.根据权利要求2所述的面板缺陷分析方法，其特征在于，所述按照预设策略根据所述模板对所述面板图像进行模板匹配，得到匹配位置的步骤包括：

按照预设策略从所述面板图像中截取与所述模板大小一致的多个局部区域；

计算每个局部区域与所述模板之间的相似度，得到相似度集合；

从所述相似度集合中筛选出相似度最大所对应的局部区域，得到目标局部区域；

将所述目标局部区域的位置设置为匹配位置。

6.根据权利要求2所述的面板缺陷分析方法，其特征在于，所述按照预设策略根据所述模板对所述面板图像进行模板匹配，得到匹配位置的步骤包括：

按照预设策略从所述模板中截取预设区域，得到目标区域；

计算所述面板图像中与所述目标区域大小一致的多个局部区域，与所述目标区域之间的相似度；

筛选出相似度最大所对应的局部区域，并将所述局部区域的位置设置为匹配位置。

7.根据权利要求1所述的面板缺陷分析方法，其特征在于，所述对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型的步骤包括：

采用预设的检测模型对所述面板图像中的缺陷进行特征提取，得到缺陷特征；

根据所述缺陷特征确定所述缺陷的类型，以及根据所述缺陷特征对所述面板图像进行像素分割，得到缺陷分割图像；

将所述缺陷分割图像中像素值为预设数值所在的区域设置为缺陷的位置。

8.根据权利要求1所述的面板缺陷分析方法，其特征在于，所述根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像的步骤包括：

将所述面板图像与所述电路分割图像进行配准，得到所述面板图像上位置与所述电路分割图像上位置之间的对应关系；

根据所述对应关系确定所述缺陷的位置在所述电路分割图像中的区域，得到所述缺陷所在的电路区域；

截取所述缺陷所在的电路区域，得到待分析图像。

9.根据权利要求1至8任一项所述的面板缺陷分析方法，其特征在于，所述通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果的步骤包括：

通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响；

根据所述缺陷对所述面板中电路造成的影响确定缺陷修复策略，根据所述缺陷修复策略生成所述面板对应的缺陷分析结果。

10.根据权利要求9所述的面板缺陷分析方法，其特征在于，所述通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响的步骤包括：

通过机器学习模型计算所述待分析图像中所述缺陷的位置，与所述电路区域中元器件位置之间的重叠区域；

根据所述重叠区域和缺陷的类型分析所述缺陷对所述面板中电路造成的影响。

11.根据权利要求9所述的面板缺陷分析方法，其特征在于，所述根据所述缺陷对所述面板中电路造成的影响确定缺陷修复策略，根据所述缺陷修复策略生成所述面板对应的缺陷分析结果的步骤包括：

根据所述缺陷对所述面板中电路造成的影响，获取所述电路中元器件的受损程度；

根据所述受损程度确定缺陷修复策略，并根据所述缺陷修复策略生成所述面板对应的缺陷分析结果。

12.一种面板缺陷分析装置，其特征在于，包括：

获取单元，用于获取待分析的面板对应的面板图像；

检测单元，用于对所述面板图像中的缺陷进行检测，得到缺陷的位置和类型；

分割单元，用于按照预设策略对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像；

截取单元，用于根据所述缺陷的位置从所述电路分割图像中，截取所述缺陷所在的电路区域，得到待分析图像；

分析单元，用于通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响，得到缺陷分析结果。

13.根据权利要求12所述的面板缺陷分析装置，其特征在于，所述分割单元包括：

获取子单元，用于获取包含目标电路区域的模板；

匹配子单元，用于按照预设策略根据所述模板对所述面板图像进行模板匹配，得到匹配位置；

分割子单元，用于根据所述匹配位置及所述目标电路区域对所述面板图像进行电路区域分割，得到包括多个电路区域的电路分割图像。

14.根据权利要求12或13所述的面板缺陷分析装置，其特征在于，所述分析单元包括：

分析子单元，用于通过机器学习模型并基于所述待分析图像和所述缺陷的类型，分析所述缺陷对所述面板中电路造成的影响；

确定子单元，用于根据所述缺陷对所述面板中电路造成的影响确定缺陷修复策略，根据所述缺陷修复策略生成所述面板对应的缺陷分析结果。

15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的面板缺陷分析方法中的步骤。